个人玩家基于第二代傲腾主机完成了 Kimi K3 本地部署优化,搭配两块 RTX3090 显卡,把 2.8 万亿参数的 Kimi K3 跑通,对比纯傲腾存储方案,生成速度直接提升 41%。这套方案不是把整个模型塞进显卡显存,因为双 3090 合计显存只有 48GB,远远放不下完整模型文件,所以采用异构分片思路,一部分模型权重放到内存盘 tmpfs,剩下的放在傲腾持久内存,两块 3090 专门承担注意力计算、KV 缓存这类计算任务,路由专家张量留在 CPU 侧内存里,靠这种分工来加速推理。实测新方案生成速度来到 3.11 token/s,提示词评估速度 16.8 token/s,提示词评估相比纯傲腾版本提速 26%。Kimi K3 本身是 MoE 混合专家模型,一共 896 个专家,每次生成只会激活 16 个专家,激活参数约 1040 亿,完整模型 16 位存储体量接近 5.6TB,模型文件 865GB,这次测试把 94 个分片里的 45 份、合计 414GB 放到高速内存盘,是提速的核心关键点。这个成果属于爱好者社区的自建实验,不是月之暗面官方的优化方案,用来验证消费级硬件搭配傲腾内存,跑超大开源 MoE 模型的可行性。
一、新旧方案性能对比表
| 部署方案 | 模型存放方式 | 生成速度 (token/s) | 提示词评估 (token/s) | 提速幅度 |
|---|---|---|---|---|
| 纯傲腾方案 | 全部 94 个分片放在傲腾持久内存 | 2.20 | 13.3 | 基准 |
| 双 3090 + 傲腾 + 内存盘方案 | 45 分片放 tmpfs 内存盘,剩余放傲腾 | 3.11 | 16.8 | 生成提速 41%,评估提速 26% |
二、硬件与模型分片分工
- GPU(双 RTX3090,合计 48GB 显存):负责注意力计算、共享专家、KV 缓存计算
- CPU 侧存储:路由专家张量,分为傲腾持久内存 + tmpfs 内存盘
- 模型分片:总共 94 份,45 份(414GB)移入内存盘,剩余 49 份留在傲腾
- 模型基础规格:Kimi K3,总参数 2.8 万亿,MoE 架构,激活参数 1040 亿,100 万 token 上下文,原生视觉
三、提速核心原理
- tmpfs 内存盘读写速度远高于傲腾持久内存,高频访问的模型分片放到内存盘,减少慢速存储拖慢推理
- 任务拆分,不强行把全部模型塞进显存,用 3090 承担计算密集部分,而不是存储权重
- 适配 MoE 模型特性,只把需要实时计算的专家张量做高速缓存,降低 IO 瓶颈
四、方案局限说明
- 双 3090 显存只有 48GB,只能负责计算,无法容纳 Kimi K3 完整权重
- 需要大容量内存支撑 tmpfs,硬件门槛很高,普通家用电脑很难复刻
- 属于爱好者个人实验,稳定性、散热都没有商用级别保障,傲腾运行时发热明显
- 速度指标只有 3.11 token/s,和云 API 服务速度差距很大,只适合本地研究调试
【相关 FAQ】
问题 1:双 RTX3090 加持 2.8 万亿参数 Kimi K3 提速 41%,这个提速是和哪个版本对比?
回答 1:双 RTX3090 加持 2.8 万亿参数 Kimi K3 提速 41%,对比基准是全部模型分片都放在傲腾持久内存、没有搭配内存盘的旧版傲腾主机方案。
问题 2:双 RTX3090 显存只有 48GB,为什么还能跑 2.8 万亿参数 Kimi K3?
回答 2:这套双 RTX3090 跑 2.8 万亿参数 Kimi K3 的方案没有把模型权重放进显存,显卡只负责注意力、KV 缓存计算,模型权重放在傲腾和内存盘,靠 CPU 侧大容量内存来承载模型。
问题 3:Kimi K3 是 2.8 万亿参数大模型,它是什么类型架构?
回答 3:Kimi K3 是 2.8 万亿参数的 MoE 混合专家模型,一共有 896 个专家,每次 token 推理只激活 16 个专家,实际激活参数约 1040 亿,支持 100 万 token 长上下文。
问题 4:这个双 RTX3090 提速 41% 跑 Kimi K3 的成果,是月之暗面官方发布的吗?
回答 4:不是,双 RTX3090 提速 41% 跑 2.8 万亿参数 Kimi K3 是海外社区个人服务器爱好者的自建测试成果,不属于月之暗面官方优化版本。
【参考资料】
[2026-11-21](双 3090 加持 2.8 万亿参数 Kimi K3 提速 41%)网易
[2026-11-21](Homelabber’s second-gen Optane build uses two RTX 3090s to run 2.8-trillion-parameter Kimi AI model)Wisevoter
[2026-07-27](Kimi K3 开放日:模型权重、技术报告和关键 Infra 技术同步开放)Kimi 官网
[2026-07-17](Kimi K3:智能的新前沿)Kimi 官网
【免责声明】
本文内容仅为社区测试信息整理,双 RTX3090 本地部署 2.8 万亿参数 Kimi K3 提速 41% 属于个人爱好者实验数据,不代表官方性能;该方案硬件门槛高、不适合商用部署,所有模型部署风险由部署者自行承担,不构成硬件采购、项目落地建议。
本文来自作者[Elias31]投稿,不代表海博商机网立场,如若转载,请注明出处:https://www.hb12369.net/qyzx/202611/2166.html
评论列表(4条)
我是海博商机网的签约作者“Elias31”!
希望本篇文章《双3090加持2.8万亿参数Kimi K3提速41%》能对你有所帮助!
本站[海博商机网]内容主要涵盖:互联网行业的追踪与探索
本文概览:个人玩家基于第二代傲腾主机完成了 Kimi K3 本地部署优化,搭配两块 RTX3090 显卡,把 2.8 万亿参数的 Kimi K3 跑通,对比纯傲腾存储方案,生成速度直接提升 41%。这套方案不是把整个模型塞进显卡显存,因为双 3090 合计显存只有 48GB,远远放不下完整模型文件,所以采用异构分片思路,一部分模型权重放到内存盘 tmpfs,剩下的放在傲腾持久内存,两块 3090 专门承担注意力计算、KV 缓存这类计算任务,路由专家张量留在 CPU 侧内存里,靠这种分工来加速推理。实测新方案生成速度来到 3.11 token s,提示词评估速度 16.8 token s,提示词评估相比纯傲腾版本提速 26%。Kimi K3 本身是 MoE 混合专家模型,一共 896 个专家,每次生成只会激活 16 个专家,激活参数约 1040 亿,完整模型 16 位存储体量接近 5.6TB,模型文件 865GB,这次测试把 94 个分片里的 45 份、合计 414GB 放到高速内存盘,是提速的核心关键点。这个成果属于爱好者社区的自建实验,不是月之暗面官方的优化方案,用来验证消费级硬件搭配傲腾内存,跑超大开源 MoE 模型的可行性。