MiniCPM3-4B 是 MiniCPM 系列的第三代产品,整体性能超过了 Phi-3.5-mini-Instruct 和 GPT-3.5-Turbo-0125,媲美多款 70 亿~90 亿参数的 AI 模型。
![](http://n.sinaimg.cn/spider20240906/786/w1080h1306/20240906/25b5-ed35b068bdc1b65a57c1d7dcc52d704b.jpg)
相比 MiniCPM1.0 / MiniCPM2.0,MiniCPM3-4B 拥有更强大、更多用途的技能集,可用于更广泛的用途。MiniCPM3-4B 支持函数调用和代码解释器。
![](http://n.sinaimg.cn/spider20240906/764/w1062h1302/20240906/09a9-a6dbf8ec4265c892906c595719d2a479.jpg)
下面是 3 个版本的模型结构(1->2->3)的区别:
词表大小:123K->73K->73K
模型层数:40->52->62
隐藏层节点:2304->1536->2560
最大长度:4k->4K->32k
系统提示词:不支持-> 不支持-> 支持
工具调用和代码解释器:不支持-> 不支持-> 支持
MiniCPM3-4B 有一个 32k 上下文窗口。MiniCPM3-4B 借助 LLMxMapReduce,不需要占用太高的内存,可以处理理论上的无限上下文。
![](http://n.sinaimg.cn/spider20240906/706/w1080h2026/20240906/3403-8678c502a349af301e43d70abf5c0168.jpg)
面壁智能还发布了 RAG 套件 MiniCPM-Embedding 模型和 MiniCPM-Reranker 模型,针对 RAG 场景还发布了微调版 MiniCPM3-RAG-LoRA 模型。
![](http://n.sinaimg.cn/spider20240906/602/w1080h1122/20240906/b9bc-7ae8c2a18bb28a3e1f9fa737c0ab3bcd.jpg)
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
![新浪科技公众号 新浪科技公众号](http://n.sinaimg.cn/tech/content/tech_qr2x.png)
新浪科技公众号
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
![](http://n.sinaimg.cn/tech/content/tech_weixin2.png)