个 8B 参数的大模子，频频需要约 16GB 显存。参数越多，越吃显存，这即是为什么鹤岗塑料挤出设备，内存价钱天比天。

刻下，有种法，不错省下 6 倍显存，却险些不损耗模子能。

昔日两年，围绕这个看似端的想路，条环球的时刻竞赛正在成型。而就在这条赛说念上，个基于国产算力的案，刚刚给出了我方的个回话。

手机：18631662662（同微信号）

模子被压到了不到 3B，同期，才能却不错保留 97，致使跳动，若是结 MoE 架构，异日不错胜利在部 8GB 内存的手机，运行 600 亿参数的大模子。

听上去匪夷所想，何如作念到的？

三个值，能跑大模子吗

传统大模子用卓越精准的数字存储，意味着每个权重不错取几万种不同的数值，精度很，但也很占内存。三值量化是个端的反向操作：胜利把可选的数值从几万种到三种。时刻上，这被称为 1.58-bit，因为编码三个值碰劲需要约 1.58 个二进制位。

这个压缩有多端？个比：若是传统大模子的权重是幅全彩像片，三值量化即是把它压成惟有黑、白、灰三的简图形。

直观上你会合计这然耗损惨重。但昔日两年的征询反复阐发注解，模子权重里存在普遍冗余信息。三个值，若是分派允洽，足以承载大部分的模子才能。

这不是个新倡导。2024 年鹤岗塑料挤出设备，微软征询院发布了 BitNet b1.58，次鹤岗塑料挤出设备系统论证了三值大模子不错贴近全精度模子的能。微软随后在客岁跳动发布了 BitNet b1.58 2B4T，个 20 亿参数、4 万亿 token 考研的开源三值模子。上个月，好意思国公司 PrismML 发布了 Ternary Bonsai 系列，声称是批买卖可用的 1.58-bit 模子。

▲

上：Llama FP16架构，下：微软征询院开发的BitNet架构

学术界也一样在跟进：Tequila 提议了责罚三值量化中「死权重陷坑」的新法，TernaryLM 探索了从初始的原生三值考研。

条环球赛说念正在成型。但有个重要问题永远莫得被回话：

三值大模子考研，能在国产算力上跑通吗？

昇腾上的次

此次，在华为鲲鹏昇腾开发者大会（KADC 2026）上，面壁智能给出了谜底。

BitCPM-CANN 是面壁智能联清华大学、OpenBMB 开源社区发布的三值大模子系列。它的真理不仅在于「又发了个三值模子」。在环球赛说念上，BitCPM-CANN 作念到了三个此前莫得东说念主作念到的事情。

次，在华为昇腾上端到端完成三值大模子考研。此前统统公开的三值模子考研都在 NVIDIA GPU 上完成。国产芯片阵营次领有了我方的三值考研才能。

次，次把边界到 8B。此前昇腾上的低比特考研停留在较小边界的考证阶段。BitCPM-CANN 胜利发布了 0.5B、1B、3B、8B 四个档位，遮掩从手机到 PC 的完满端侧场景。

次，收场了与全精度模子的完满对照评测。11 项任务、四大类评测（学问、阅读团结、学科知识、数学理），1B 到 8B 档位的才能保留率在 95.7到 97.2之间。

97.2的才能保留率意味着什么？在 ARC、CMMLU、GSM8K 等主流评测中，BitCPM-CANN 三值模子与同尺寸 MiniCPM4 全精度模子的差距，一经小于好多全精度模子之间的差距。其中，3B 档位的保留率，达到 97.2。

况且，这不仅仅论文里的数字，是能着实不错「拿来就用」的效劳。BitCPM-CANN 的沿途尺寸版块一经开源，0.5B 到 8B 四个档位都不错胜利下载复现。

关于闇练面壁智能 MiniCPM 系列的开发者来说，BitCPM-CANN 即是 MiniCPM 族的三值版块，照旧套生态。在同个 GitHub 社区，族前辈积聚了 3 万颗星、Hugging Face 总下载量 3000 万的「产」，刻下滋长出来了新的向。

6 倍显存，从做事器得手机都「吃到红利」

比较 BF16 全精度模子，BitCPM-CANN 纯粹约 6 倍显存，这个数字开发者能胜利感知：个 8B 参数的全精度模子需要约 16GB 显存，BitCPM-CANN 三值版块不到 3GB，不错运动运行在部手机上，配 MoE 与激活范围抑止，60B 边界的模子有望装入结尾蛊惑。

硬件端也一经准备好了。通新的旗舰芯片 8850 和 8397 因循 2-bit 原生理，BitCPM-CANN 提供的碰劲是不错胜利喂进去的低比特权重。

芯片厂商等供给，模子厂商等芯片鹤岗塑料挤出设备，刻下双方同期到位了，何如不是种「双向奔赴」。

手机厂商对端侧大模子的参预直在加快。上周 Google I/O 上，Gemini Intelligence 罗致 Android 蛊惑，从手机得腕表到车机；苹果也将在 6 月 WWDC 上展示下代 Apple Intelligence 的重要升。

两大手机操作系统同期发力，共同指向个执行：手机端侧要跑越来越强的 AI，塑料挤出设备内存即是硬的瓶颈。谁能用少的内存跑强的模子，谁就掌捏了下轮竞争的主动权。

本体上，若是结通盘 AI 产业正在履历的阵痛，价值又会表层楼：4 月时，盛把全年 DRAM 价钱涨幅预期上调到 280，好意思银预估环球 HBM 市集将达到 546 亿好意思元。

AI 基础要道紧缺的资源即是内存，6 倍显存红利意味着不增多物理内存，就能把模子才能提高数倍。在内存连接加价的情况下，这不是化，是刚需。

三值量化不是「用精度换内存」的调和。当 97的才能被保留住来时，阐发传统 16 位模子里普遍的精度可能是冗余的。三个值，足以承载个大模子的大部分知识。低比特不再是工程上的纯粹妙技，而是种新的权重知识承载式。

为什么是面壁智能，为什么是刻下

当 AI 从云表走向结尾，端侧模子正在成为个东说念主智能蛊惑的中枢才能。手机、电脑、车机，每个贴近用户的结尾都在等个富余小、富余强、富余省内存的模子。这条赛说念的输赢手，不会是那些只会把模子作念大的团队，而是能把模子作念小、作念轻、作念到着实能跑起来的玩。

为什么是面壁智能，能在端侧大模子这条路上，直走在前沿？这个问题的谜底不在 BitCPM-CANN 自己，而在这公司昔日几年，直在作念的件看起来有些「不群」的事。

面壁智能从修复之初就押注率，在国内大多数团队追赶大模子的时候，他们花了普遍时代作念底层考研框架 BM-Train，责罚「何如用少的资源，训出富余好的模子」，这套基础要道积聚是其后切的伊始。

在 1.58-bit 进取，面壁智能的判断早于行业共鸣。好多数团队还在盘桓低比特是否可行时，面壁智能就选择了这条阶梯，先在 GPU 上跑通了完满的考研经过和法论，再举座迁徙到昇腾平台上。不错说，BitCPM-CANN 不是把个模子移植到了国产芯片上，而是把整套经过考证的考研法、率阶梯和工程体系，搬进了国产算力的底座。

在模子层面，面壁智能的端侧模子 MiniCPM 系列在 GitHub 上积聚了过 3 万颗星，Hugging Face 开源总下载量过 3000 万，是端侧大模子域受接待的开源模子族。

BitCPM-CANN 恰是 MiniCPM 族向三值量化的蔓延，远不啻个展示的「PPT 模子」，是个着实可复用的工程地基。它背后的考研链路一经被千里淀为昇腾低比特考研的基础要道，后续统统想在昇腾上作念低比特考研的团队，都不错在同套底座上起步。

值得提的是，BitCPM-CANN 还在华为昇腾上完成了端到端的三值考研，考研率达到老例基线的 95。这阐发注解了这套法论不依赖特定硬件平台，国产算力一样不错跑通。

不是等硬件变得富余广宽来相宜模子，要让模子变得富余灵巧来相宜硬件。

从考研端的华为昇腾，到理端的结尾芯片，再到开源的模子和考研剧本，这是条完满的国产闭环，框架国产，芯片国产，模子国产，法论自主。面壁智能的下步一经明确：跳动提高模子的才能保留率，用 MoE 架构彭胀大边界模子的容量，把 6 倍显存红利完满开释到部署中。长久的讨论，是遮掩从预考研到对都的全经过低比特化。

从底层考研框架 BM-Train，到端侧模子族 MiniCPM，再到 BitCPM-CANN，面壁智能用几年时代搭建了套完满的端侧大模子时刻体系。在环球赛说念上，濒临微软、PrismML，面壁智能展现出了特的不同势之处在于：从框架、法论、模子到芯片适配，构建了条完满的端侧时刻阶梯。

当 AI 竞争从「谁的模子大」转向「谁能让智能着实跑在每台蛊惑上」时，掌捏端侧时刻说话权的东说念主，才站在了故意的位置。

　　声明：网稿件，未经授权谢绝转载。 --> 相关词条:铁皮保温    塑料挤出机     钢绞线    玻璃卷毡厂家    保温护角专用胶

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述鹤岗塑料挤出设备，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。