查梦解码面壁小钢炮4.0发布:性能比肩 Qwen-3-8B,极限220倍提速
新浪科技讯 6月10日下午消息,近日,面壁智能第四代“面壁小钢炮” MiniCPM4.0 端侧模型(代号“前进四”)发布。据(🎍)悉,第四代小钢炮拥有 8B 、0.5B两种参数规模,实现了同级最佳的(🍿)模型性能。可让长文本、深思考在端侧(🔧)真正跑起来,实现220倍极限加速。
其(🍙)中,MiniCPM 4.0-8B 模型为稀疏注意力模型,在MMLU、CEval、MATH500、HumanEval等基准测试中,以仅22%的训练开销,性能比肩 Qwen-3-8B、超越Gemma-3-12B。MiniCPM 4.0-0.5B在性(😷)能上,也较更大的Qwen-3-0.6B、Llama 3.2实现仅2.7%的训练开销,一半参数性能翻倍,并实现了最快 600 Token/s的极速推理速度。
相较于Qwen-3-8B、Llama-3-8B、GLM-4-9B等同等参数规模端侧模型(👒),实现了长文本推理速度5倍常规加速以及最高 220倍加速(显存受限极限场景下测出),让端侧模型长文本推理“快如闪电”。面壁智能联合创始人兼首席科学家刘知远在与新浪科技沟通中表示,“最高220倍加速,其实是建立在我们模型架构、数据治理、软硬件结(🔋)合、(🐄)训练等方面全栈创新优化成果之上的。”
查梦解码 刘知远指出,220倍的加速看上去比较夸张,但本身其实存在一个特殊性——由于MiniCPM4.0 在处(📂)理更长序列的数据时,可以更好地去处理Transformer架构带来的内存爆(🔝)炸(❗)问题,避免了长序列数据处理带来的内存占用倍增,而同尺寸的Qwen-3-8B、Llama-3-8B等模型并未就此进行(🕝)优化,因此MiniCPM4.0有了突出的表现。
据悉,MiniCPM 4.0 模型采用的InfLLMv2稀疏注意力架构改变了传统 Transformer 模型(🤠)的相关性计算方式,有效摆脱了逐字重复计算的低效,将稀疏度从行业普遍(🔈)的40%-50%,降至极致的5%,注意力层仅需1/10的计算量即可完成长文本计算。且对算子底层重写,进一步加速提升,并使得对文本相关性精准性大大提升。
值得一提的是,DeepSeek 使(💧)用的长文本处理架构NSA(Native Sparse Attention)也引用并采用了与InfLLM相同的分块(🎈)注意力计算思(🎹)路,但其对(📎)于(🚟)短文本的推理较慢,InfLLMv2则很好地解决了(🦐)NSA在短文本推理上的短板。
查梦解码 在缓存消耗上,MiniCPM 4.0-8B在 128K 长文本场景下相较于Qwen3-8B仅需 1/4 的缓存存储空间。在速度、性能飙升的同时,又做到了模型极致压缩,让端侧算力不再有压力。
查梦解码 据悉,基于 8B 版本,面壁智能已微调出两个特定能力模型,分别可以用(🥑)作 MCP Client 和纯端侧性能比肩Deep Research的研究报告神器MiniCPM4-Surve。截至目前,面壁小钢炮 MiniCPM 系列全平台下载量累计破1000万。(文猛)
相关新闻
- 查梦解码金价接近两个月高点 中东冲突升级促使投资者避险详细阅读
金价周一上涨,接近两个月高点,因以色列和伊朗之间的冲突加剧,引发了对更广泛地区冲突的担忧,投资者纷纷寻求避险资产。现货黄金上涨0.4%,至每盎司3...
2025-06-1685
- 查梦解码报告披露率不足30% 评级整体处于中低水平 小家电上市公司ESG征途为何“掉队”详细阅读
登录新浪财经APP 搜索【信披】查看更多考评等级 电饭锅、净水器、扫地机器人、智能音箱等各类不同功能、不同样式的小家电产品正快速走入千家万户。随着...
2025-06-1689
- 查梦解码新疆公安机关启动“阳光下的守护”法治公安主题宣传活动详细阅读
中新网乌鲁木齐6月13日电 (陶拴科)13日,新疆公安机关“阳光下的守护”法治公安主题宣传活动启动仪式在昌吉市公安局举行,旨在推进法治公安建设,强...
2025-06-1691
- 详细阅读
- 查梦解码中行交行同日完成定增 2850亿元募资到账详细阅读
中国银行、交通银行6月13日相继披露了定增收官公告,两者合计获得2850亿元募资。这些定增股份,锁定期均为5年,可谓典型的长线资金。 定增完成...
2025-06-16103
- 查梦解码中国与非洲多国签署28项基础设施合作项目详细阅读
中新社长沙6月12日电 (刘曼)中非基础设施合作交流活动12日在湖南长沙举行。活动现场,中国与非洲多国达成28项基础设施合作项目,签约总金额达52...
2025-06-16113
- 查梦解码A股,急跌后怎么走?详细阅读
周五(6月13日),中东形势风云突变,金融市场避险情绪升温。A股全天震荡调整,创业板指、深成指均跌超1%。沪深两市全天成交1.47万亿元,较上个交...
2025-06-16126
- 查梦解码新闻1+1丨高校毕业生,如何“就好业”?详细阅读
2025年,我国高校毕业生数量预计为1222万,较2024年增加43万人。为全力促进高校毕业生顺利就业,现在,教育部正在开展2025高校毕业生就业...
2025-06-16131