IT时代网11月8日消息，一位搭建家用推理环境的玩家用二手英特尔傲腾持久内存，在纯 CPU 平台上跑起了 2.8 万亿参数的 Kimi K3 模型。Kimi K3 并非为家用设计，官方建议使用数据中心的推理引擎，即便是最小的社区量化版本也需要至少 610GB 内存。二手傲腾是家用环境下少数能达到这一容量的途径。所用硬件为 2020 年发布的傲腾持久内存 200 系列，配合第三代至强可扩展处理器，单条容量有 128GB、256GB 与 512GB 三种。在双路平台上，其有效传输速率高于第一代产品，平均内存带宽最多提升三成以上。它支持内存模式与应用直连模式，前者把傲腾当作系统内存、由 DRAM 做缓存，后者把傲腾暴露为独立的持久区域由软件直接映射，本次搭建采用的是后者。代价是速度。在三比特量化下，生成速度只有每秒 0.75 个词元。此前一版方案在内存模式基础上额外用一块 RTX 3060 分担部分计算，并采用二比特量化跑更小的模型，速度约为每秒 4 个词元。散热是另一个难题。每根傲腾模组功耗 12W 至 15W，四根并排就有最高 60W 的热量紧贴系统内存，持续推理时模组温度很高，存在烤坏相邻内存的风险。英特尔规格要求 2.4 至 2.7 米每秒的强制风冷，这与数据中心的工况相当，家用需要额外加装涡轮风扇。

编辑：林一舟