
用大模型干长活的团队大概都算过账:一个 Agent 任务跑下来几十轮工具调用,账单里的大头全是旗舰模型的生成式输出。想换开源模型省钱,翻遍榜单又总觉得差半口气。11 月 4 日,月之暗面把 K3.1 系列的首款权重 Kimi K3.1 Pro 放上了 Hugging Face,总参数 2.8 万亿,上下文一百万 token——这是目前开放权重里个头最大的那一档。
架构上动了什么
模型卡的配置值得细看。总参数 2.8 万亿,每个 token 只激活 1040 亿,896 个路由专家里选 16 个,外加 2 个共享专家。真正有意思的是注意力的改法:93 层里,69 层保留自家的 Kimi Delta Attention,剩下 24 层把上一代的全注意力 Gated MLA 换成了 Gated DeepSeek Sparse Attention,就是 DeepSeek 那套稀疏注意力。索引器先给历史 token 打分,每次查询只挑得分最高的 2048 个交给主注意力算,上下文越长省得越多。vLLM 团队的分析给了个直观数字:长文本解码场景下,这些层的内存读取量降到稠密方案的 23% 左右。
权重的量化也提前做了功课。MXFP4 权重配 MXFP8 激活,是训练时就带着量化意识练出来的,不是训完再压。视觉这边挂了个 4.01 亿参数的 MoonViT-V2 编码器,原生吃图。
版本关系也交代一下:K3.1 Pro 是 Kimi K3 的后训练升级版,不是从零重训的新模型,base 换了注意力、规模没动。官方的发布节奏分两段——10 月 23 日先发布模型和 API,承诺 11 月 4 日前放权重,这次是兑现了承诺。同一个发布里还带了个 K3.1 Pro Highspeed 变体,走 KV 缓存和调度优化的路线,官方口径快两到三倍,适合对延迟敏感的线上业务。
成绩单有赢有输,反而可信
月之暗面自己的表格里,Terminal-Bench 4.0 拿了 65.7%,只比 Claude Opus 5.5 的 66.4% 差 0.7 分,把 GPT-6 Astra(58.2%)甩开一截。长任务软件工程评测 SWE Marathon 上反超:51.7 对 Opus 的 46.3。幻觉压力测试的事实断言错误率从上一代 K3 的 23.4% 压到 8.3%。成本那栏更实际:max 推理档平均每任务 5.25 美元,Opus 5.5 同口径 14.30 美元。
不过有两项输得明白:Program Bench 只有 31.5%(Opus 是 65.0%),Terminal-Bench-Science 38.1%(GPT-6 Astra 68.1%),纯函数级代码生成和科学终端任务是短板。榜单是厂商自己测的,第三方复测还没出来,这两处失利反而让整张表更像真的。
想自己跑?先过三道门槛
门槛一是显存。2.8 万亿参数就算 MXFP4 量化,单卡免谈,得多节点组集群,个人玩家直接劝退。门槛二是许可:不是 Apache 也不是 MIT,是自定义的 Kimi K3.1 Pro License,商用之前把条款读一遍。门槛三是配套:官方推荐 vLLM、SGLang、TokenSpeed 三种引擎,部署配方都给了;宣传里的 Highspeed 版号称快两到三倍,但权重至今没见到,先当 API 专属。
用 API 的话简单得多:开放平台建个 Key,base_url 设 api.moonshot.cn/v1,模型名 kimi-k3.1-pro,OpenAI 和 Anthropic 两种协议都兼容。推理强度分 low、high、max 三档,默认 max。有个坑要记:多轮工具调用时,assistant 的完整消息要原样传回下一轮,工具结果按调用 ID 回传,漏了这步模型表现会悄悄变差。
还有个少见的细节:月之暗面在模型卡里主动交代,训练管线里移除了网络安全攻击向的数据,内部漏洞研究基准 xdev-bench-hard 从 90.5% 压到发布版的 81.0%,官方明说攻击能力是刻意削过的。但自托管权重在 ExploitBench 上仍有 74.7 分,企业把它接进内网之前,访问控制和日志监控得先到位。
剩下的成绩单再补几行,方便对号入座:网页导航类评测 BrowseComp 92.1,是整张表里领先最多的一项;带工具的综合难题 HLE-Full 拿 70.0,也压过 Opus 的 67.7;桌面操作 OSWorld 79.6,跟 Opus 的 81.8 咬得很近。翻译成大白话:让它在浏览器里替你跑多步网页任务、或者接进桌面自动化,把握较大;让它从零写一段纯算法函数,另请高明。
生态适配这步走得比想象快。华为已经宣布了推理支持,vLLM Ascend 和 SGLang 都能在 Atlas A3 和 Ascend 950 上跑这套权重,国产卡部署的路是通的,这对不想把推理压在英伟达上的团队是个加分项。
我的看法
开放权重和闭源旗舰的差距这次缩到了 1 个点以内,对跑长任务的团队是实打实的选项。我的建议分两类:有算力的团队值得拿自己的任务集测一轮,重点看它输的那两项跟业务重不重叠;纯 API 用户,5.25 对 14.30 美元的单任务成本差异已经够换一次试试。至于那 24 层稀疏注意力,更大的意义在于路线——长上下文的成本曲线正被架构改动压下来,这比单纯堆参数有用。
文章标题:Kimi 把 2.8 万亿旗舰开源了:稀疏注意力接管长文本,先看三道部署门槛
文章链接:https://www.muooy.cn/16706.html
更新时间:2026年11月13日
1.本站大部分内容均收集于网络!若内容若侵犯到您的权益,请发送邮件至:305582964@qq.com,我们将第一时间处理!2.资源所需价格并非资源售卖价格,是收集、整理、编辑详情以及本站运营的适当补贴,并且本站不提供任何免费技术支持。
3.所有资源仅限于参考和学习,版权归原作者所有,更多请阅读用户协议和免责声明。
- 1千问旗舰预览版开放两周:一百万上下文,11月25日前把它测完11月13日
- 2谷歌发布只做判断题的模型:一次判1000题,输出还不要钱11月12日
- 3Claude Fable 5.2连夜上线:一句话出片变强了,也更贵了11月11日
- 4open-design:本地优先的开源 AI 设计工作区11月9日
- 5实时语音转写不再跳字:网易有道开源 R2T2 登顶 HF 热榜11月6日
- 6美团LongCat-2.5上线:1.6万亿参数主打智能体,网页上就能试11月4日
- 7Kimi K3.1 Pro 实测:国产旗舰把 3D 建模和视频动效卷上新台阶10月31日
- 89个MCP服务器同天爆命令注入,8个连补丁都没有10月28日
- 9Claude Opus 5.5 八种玩法:从手写字体到一个人做出 Steam 好评游戏10月22日
- 102GB 老电视被 Claude Code 救活:开源 CleanYourTV 清出九成可用内存10月21日


想问下Agent这部分在手机端是不是也要单独处理,我这边试出来不太一样。