双3090加持2.8万亿参数Kimi K3提速41%

个人玩家基于第二代傲腾主机完成了 Kimi K3 本地部署优化,搭配两块 RTX3090 显卡,把 2.8 万亿参数的 Kimi K3 跑通,对比纯傲腾存储方案,生成速度直接提升 41%。这套方案不是把整个模型塞进显卡显存,因为双 3090 合计显存只有 48GB,远远放不下完整模型文件,所以采用异构分片思路,一部分模型权重放到内存盘 tmpfs,剩下的放在傲腾持久内存,两块 3090 专门承担注意力计算、KV 缓存这类计算任务,路由专家张量留在 CPU 侧内存里,靠这种分工来加速推理。实测新方案生成速度来到 3.11 token/s,提示词评估速度 16.8 token/s,提示词评估相比纯傲腾版本提速 26%。Kimi K3 本身是 MoE 混合专家模型,一共 896 个专家,每次生成只会激活 16 个专家,激活参数约 1040 亿,完整模型 16 位存储体量接近 5.6TB,模型文件 865GB,这次测试把 94 个分片里的 45 份、合计 414GB 放到高速内存盘,是提速的核心关键点。这个成果属于爱好者社区的自建实验,不是月之暗面官方的优化方案,用来验证消费级硬件搭配傲腾内存,跑超大开源 MoE 模型的可行性。

一、新旧方案性能对比表

部署方案模型存放方式生成速度 (token/s)提示词评估 (token/s)提速幅度
纯傲腾方案全部 94 个分片放在傲腾持久内存2.2013.3基准
双 3090 + 傲腾 + 内存盘方案45 分片放 tmpfs 内存盘,剩余放傲腾3.1116.8生成提速 41%,评估提速 26%

二、硬件与模型分片分工

  • GPU(双 RTX3090,合计 48GB 显存):负责注意力计算、共享专家、KV 缓存计算
  • CPU 侧存储:路由专家张量,分为傲腾持久内存 + tmpfs 内存盘
  • 模型分片:总共 94 份,45 份(414GB)移入内存盘,剩余 49 份留在傲腾
  • 模型基础规格:Kimi K3,总参数 2.8 万亿,MoE 架构,激活参数 1040 亿,100 万 token 上下文,原生视觉

三、提速核心原理

  1. tmpfs 内存盘读写速度远高于傲腾持久内存,高频访问的模型分片放到内存盘,减少慢速存储拖慢推理
  2. 任务拆分,不强行把全部模型塞进显存,用 3090 承担计算密集部分,而不是存储权重
  3. 适配 MoE 模型特性,只把需要实时计算的专家张量做高速缓存,降低 IO 瓶颈

四、方案局限说明

  1. 双 3090 显存只有 48GB,只能负责计算,无法容纳 Kimi K3 完整权重
  2. 需要大容量内存支撑 tmpfs,硬件门槛很高,普通家用电脑很难复刻
  3. 属于爱好者个人实验,稳定性、散热都没有商用级别保障,傲腾运行时发热明显
  4. 速度指标只有 3.11 token/s,和云 API 服务速度差距很大,只适合本地研究调试

【相关 FAQ】

问题 1:双 RTX3090 加持 2.8 万亿参数 Kimi K3 提速 41%,这个提速是和哪个版本对比?

回答 1:双 RTX3090 加持 2.8 万亿参数 Kimi K3 提速 41%,对比基准是全部模型分片都放在傲腾持久内存、没有搭配内存盘的旧版傲腾主机方案。

问题 2:双 RTX3090 显存只有 48GB,为什么还能跑 2.8 万亿参数 Kimi K3?

回答 2:这套双 RTX3090 跑 2.8 万亿参数 Kimi K3 的方案没有把模型权重放进显存,显卡只负责注意力、KV 缓存计算,模型权重放在傲腾和内存盘,靠 CPU 侧大容量内存来承载模型。

问题 3:Kimi K3 是 2.8 万亿参数大模型,它是什么类型架构?

回答 3:Kimi K3 是 2.8 万亿参数的 MoE 混合专家模型,一共有 896 个专家,每次 token 推理只激活 16 个专家,实际激活参数约 1040 亿,支持 100 万 token 长上下文。

问题 4:这个双 RTX3090 提速 41% 跑 Kimi K3 的成果,是月之暗面官方发布的吗?

回答 4:不是,双 RTX3090 提速 41% 跑 2.8 万亿参数 Kimi K3 是海外社区个人服务器爱好者的自建测试成果,不属于月之暗面官方优化版本。

【参考资料】

[2026-11-21](双 3090 加持 2.8 万亿参数 Kimi K3 提速 41%)网易

[2026-11-21](Homelabber’s second-gen Optane build uses two RTX 3090s to run 2.8-trillion-parameter Kimi AI model)Wisevoter

[2026-07-27](Kimi K3 开放日:模型权重、技术报告和关键 Infra 技术同步开放)Kimi 官网

[2026-07-17](Kimi K3:智能的新前沿)Kimi 官网

【免责声明】

本文内容仅为社区测试信息整理,双 RTX3090 本地部署 2.8 万亿参数 Kimi K3 提速 41% 属于个人爱好者实验数据,不代表官方性能;该方案硬件门槛高、不适合商用部署,所有模型部署风险由部署者自行承担,不构成硬件采购、项目落地建议。

本文来自作者[Elias31]投稿,不代表海博商机网立场,如若转载,请注明出处:https://www.hb12369.net/qyzx/202611/2166.html

赞 (1)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • Elias31
    Elias31 2026年11月21日

    我是海博商机网的签约作者“Elias31”!

  • Elias31
    Elias31 2026年11月21日

    希望本篇文章《双3090加持2.8万亿参数Kimi K3提速41%》能对你有所帮助!

  • Elias31
    Elias31 2026年11月21日

    本站[海博商机网]内容主要涵盖:互联网行业的追踪与探索

  • Elias31
    Elias31 2026年11月21日

    本文概览:个人玩家基于第二代傲腾主机完成了 Kimi K3 本地部署优化,搭配两块 RTX3090 显卡,把 2.8 万亿参数的 Kimi K3 跑通,对比纯傲腾存储方案,生成速度直接提升 41%。这套方案不是把整个模型塞进显卡显存,因为双 3090 合计显存只有 48GB,远远放不下完整模型文件,所以采用异构分片思路,一部分模型权重放到内存盘 tmpfs,剩下的放在傲腾持久内存,两块 3090 专门承担注意力计算、KV 缓存这类计算任务,路由专家张量留在 CPU 侧内存里,靠这种分工来加速推理。实测新方案生成速度来到 3.11 token s,提示词评估速度 16.8 token s,提示词评估相比纯傲腾版本提速 26%。Kimi K3 本身是 MoE 混合专家模型,一共 896 个专家,每次生成只会激活 16 个专家,激活参数约 1040 亿,完整模型 16 位存储体量接近 5.6TB,模型文件 865GB,这次测试把 94 个分片里的 45 份、合计 414GB 放到高速内存盘,是提速的核心关键点。这个成果属于爱好者社区的自建实验,不是月之暗面官方的优化方案,用来验证消费级硬件搭配傲腾内存,跑超大开源 MoE 模型的可行性。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们