llama.cpp 正式推出 1.0.0 稳定版,定下 API 稳定规范,新增 FP8 KV 缓存与 MoE 专家缓存能力

llama.cpp 1.0.0 版本已经正式发布,底层 ggml 张量库同步升级到 1.0.0,这个版本最大的意义是项目进入稳定阶段,后续会严格按照语义化版本规则维护 C API 与 ABI,公共接口发生破坏性改动才会升级主版本号,给大量依赖它的本地 AI 应用、二次开发项目提供稳定底座。开发团队在这次版本里清理掉 35 个废弃旧接口,把 NextN 推测解码接口从扩展头文件移入主公共 API,同时新增不少推理能力,包含 OCP FP8 格式 KV 缓存、可配置 CPU 占比的 MoE 专家主机内存缓存,还新增一批文本、多模态、TTS 模型架构支持;llama-server 服务端也完成安全加固,补上 SSRF、DNS 重绑定等安全漏洞,新增兼容 OpenAI 协议的语音合成接口,网页 UI 也做了改版,支持聊天分组、移动端适配。对于普通用户来说,这次升级可以降低 MoE 大模型本地推理显存占用,FP8 KV 缓存也能减少显存开销、提升长文本上下文推理能力;对于二次开发开发者,升级的时候要注意废弃接口移除带来的兼容问题,RPC 分布式推理节点也需要同步升级 ggml 版本。

一、1.0.0 版本核心更新清单

  • API 规范:确立语义化版本契约,主版本变更才会破坏 C API/ABI,移除 35 个废弃函数
  • 推理能力:新增 FP8 KV 缓存、MoE 专家主机缓存,支持 LRFU/ClassLRU 淘汰策略
  • 模型支持:新增 Kimi-K3.1-Pro、Ripple、xing4_0 文本模型,drama-3 TTS,Kimi-K3.1、MageVL-Cowork 多模态模型
  • 服务端:llama-server 修复多项安全漏洞,新增 /v1/audio/speech 语音端点
  • UI 更新:WebUI 新增聊天分组、Markdown 实时预览、原生移动端布局
  • 底层同步:ggml 同步 1.0.0,升级 RPC 协议至 v9,多硬件后端持续优化

二、新旧版本关键改动对比表

项目1.0.0 之前版本llama.cpp 1.0.0 版本
API 策略接口随时调整,没有稳定承诺语义化版本,保证主版本内 API 稳定
推测解码 NextN放在扩展头文件 llama-ext.h移入 llama.h 公共标准 API
KV 缓存格式以 FP16、Q8 为主支持 OCP FP8 f8_e4m3 KV 缓存
MoE 专家加载频繁在显存、内存之间来回搬运主机专家缓存,可配置 CPU 分担比例
RPC 协议旧版 RPC升级 RPC v9,集群节点必须统一版本

三、重要新功能说明

  1. FP8 KV 缓存:通过 -ctk/-ctv f8_e4m3 参数开启,降低 KV 缓存显存占用,适合超长上下文场景,支持可选张量级静态缩放参数
  2. MoE 专家主机缓存:把高频专家缓存到内存,可设置 CPU 分担比例,搭配 LRFU、ClassLRU 淘汰策略,缓解 MoE 模型显存压力
  3. 新版 OpenAI 兼容语音接口:原有对接 OpenAI TTS 的程序,少量修改就能接入本地 drama-3 语音模型
  4. 安全加固:限制 HF_TOKEN 仅可访问 huggingface 域名,封堵 SSRF、CORS、DNS 重绑定风险,适合在内网部署 llama-server

四、升级注意事项

  1. 二次开发项目:检查代码里被移除的 35 个废弃接口,llama_set_warmup、defrag-thold 参数已经删除
  2. 分布式 RPC 集群:全部推理节点必须同步升级 ggml,新旧协议节点无法互通
  3. 普通终端用户:直接更新二进制包即可,原有 GGUF 模型文件不用转换
  4. 下游封装工具:等待对应适配更新后再升级,避免接口报错

【相关 FAQ】

问题 1:llama.cpp 发布 1.0.0 版本,这个版本最核心的变化是什么?

回答 1:llama.cpp 发布 1.0.0 版本,最核心变化是定下 API、ABI 稳定规则,采用语义化版本管理,同时清理废弃接口,新增 FP8 KV 缓存、MoE 专家缓存等推理能力。

问题 2:llama.cpp 发布 1.0.0 版本,FP8 KV 缓存有什么用处?

回答 2:llama.cpp 发布 1.0.0 版本新增 FP8 KV 缓存,用来减少 KV 缓存占用的显存空间,提升长上下文推理的负载上限,开启参数为 - ctk/-ctv f8_e4m3。

问题 3:llama.cpp 发布 1.0.0 版本,升级的时候开发者需要留意什么坑?

回答 3:llama.cpp 发布 1.0.0 版本移除了 35 个废弃函数,RPC 协议升级 v9,使用旧接口、RPC 分布式集群的开发者需要同步修改代码、统一升级所有节点。

【参考资料】

[2026-11-13](llama.cpp v1.0.0: stable C API, FP8 KV Cache, Safer Server)Neurohive

[2026-11-13](llama.cpp 1.0 and ggml 1.0: a stable API for local AI)CodeWorlds

[2026-11-13](llama.cpp v1.0.0 发布,本地 AI 推理引擎进入稳定期)飞翔科技频道

[2026-11-14](llama.cpp Just Hit 1.0 — Local AI Apps Finally Have a Stable Foundation)DEV Community

【免责声明】

本文内容整理自 llama.cpp 官方发布日志与海外 AI 技术媒体报道;llama.cpp 1.0.0 存在破坏性 API 变更,下游项目、RPC 集群升级前务必自测;FP8 KV 缓存、MoE 缓存效果受硬件、GGUF 模型版本影响,数据仅作技术参考。

本文来自作者[Jude74]投稿,不代表海博商机网立场,如若转载,请注明出处:https://www.hb12369.net/qyzx/202611/1263.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • Jude74
    Jude74 2026年11月17日

    我是海博商机网的签约作者“Jude74”!

  • Jude74
    Jude74 2026年11月17日

    希望本篇文章《llama.cpp 正式推出 1.0.0 稳定版,定下 API 稳定规范,新增 FP8 KV 缓存与 MoE 专家缓存能力》能对你有所帮助!

  • Jude74
    Jude74 2026年11月17日

    本站[海博商机网]内容主要涵盖:互联网行业的追踪与探索

  • Jude74
    Jude74 2026年11月17日

    本文概览:llama.cpp 1.0.0 版本已经正式发布,底层 ggml 张量库同步升级到 1.0.0,这个版本最大的意义是项目进入稳定阶段,后续会严格按照语义化版本规则维护 C API 与 ABI,公共接口发生破坏性改动才会升级主版本号,给大量依赖它的本地 AI 应用、二次开发项目提供稳定底座。开发团队在这次版本里清理掉 35 个废弃旧接口,把 NextN 推测解码接口从扩展头文件移入主公共 API,同时新增不少推理能力,包含 OCP FP8 格式 KV 缓存、可配置 CPU 占比的 MoE 专家主机内存缓存,还新增一批文本、多模态、TTS 模型架构支持;llama-server 服务端也完成安全加固,补上 SSRF、DNS 重绑定等安全漏洞,新增兼容 OpenAI 协议的语音合成接口,网页 UI 也做了改版,支持聊天分组、移动端适配。对于普通用户来说,这次升级可以降低 MoE 大模型本地推理显存占用,FP8 KV 缓存也能减少显存开销、提升长文本上下文推理能力;对于二次开发开发者,升级的时候要注意废弃接口移除带来的兼容问题,RPC 分布式推理节点也需要同步升级 ggml 版本。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们