过去半年,大模型的风向悄然变迁,与以往不断追求规模的趋势不同,更小更强的端侧模型成了当下的香饽饽。
前不久,在遭斯坦福大学 AI 团队抄袭后,国内头部大模型厂商面壁智能狠狠地刷了一波存在感,也让国内外见识到了这家公司在 AI 领域的不凡实力。
今天,面壁智能重磅上新了「小钢炮」MiniCPM-V 2.6 模型,再次将端侧多模态能力提升到了一个新的高度。
尽管该模型仅有 8B 参数,但它在 20B 以下单图、多图、视频理解 取得了 3 SOTA 成绩,一举将端侧 AI 多模态能力拉升至全面对标超越 GPT-4V 水平。
简单划重点:
- 首次在端侧实现单图、多图、视频理解等多模态核心能力全面超越 GPT-4V,单图理解越级比肩 Gemini 1.5 Pro 和 GPT-4o mini。
- 引入实时视频理解、多图联合、ICL 视觉学习、OCR 等,开启端侧模型真实世界观察与学习。
- 小钢炮 2.6 取得了两倍于 GPT-4o 的单 token 编码像素密度。视觉 token 相比上一代下降 30% ,比同类模型低 75%。
- 量化后端侧内存仅占 6 GB;端侧推理速度高达 18 tokens/s,相比上代模型快 33%。并且发布即支持 llama.cpp、ollama、vllm 推理;且支持多种语言。
![](http://n.sinaimg.cn/spider20240806/141/w720h1021/20240806/a8a3-3d70ca1ff1cf249ba3120f0dcdcaa2a8.jpg)
「长眼睛」的实时视频理解首次上端,让智能设备更懂你
先来感受一下 MiniCPM-V 2.6 模型的实际演示效果。
视频中显示,在多模态能力的加持下,MiniCPM-V 2.6 犹如长了一双「眼睛」,能够实时看到真实世界。在开启飞行模式的情况下,搭载该模型的端侧设备能够精准地识别面壁智能公司的室内场景。
从面壁智能公司的 Logo、到植物、办公桌、饮水机等物品,MiniCPM-V 2.6 的物品识别能力表现得毫无压力,甚至可以说是游刃有余。
面对小票繁多的记账或报销流程,只需拍照上传至 MiniCPM-V 2.6,它不仅能够识别出每张小票的具体金额,还能计算出总和,极大地简化了整个流程。
得益于其先进的 OCR 和 CoT(思维链)技术,MiniCPM-V 2.6 不仅能准确捕捉小票上的金额,还能以清晰简洁的方式呈现解题过程:
比如面对一段 1 分钟左右的天气预报视频,MiniCPM-V 2.6 可以在无声的条件下,用「肉眼」识别并描述不同城市的具体天气情况。
MiniCPM-V 2.6 的端侧多模态复杂推理能力也有所「长进」。
以 GPT-4V 经典的官方演示——调整自行车车座为例,MiniCPM-V 2.6 能通过多轮对话清晰指导用户调低自行车车座,并根据说明书和工具箱推荐合适的工具。
![](http://n.sinaimg.cn/spider20240806/471/w720h551/20240806/0ce2-493bde42cffd39931f5407b4fe5c662c.png)
又或者, 2G 网速的你看不懂年轻人广为传播的梗图,那不妨让其耐心地给你解释梗图背后的槽点。
![](http://f.sinaimg.cn/spider20240806/180/w400h580/20240806/9282-gif9bd24a3371814219ae9e5a37119c9ade.gif)
甚至它还能比人类更有幽默细胞,捕捉到梗图中的潜台词。作为程序员的你也许看着这张图,笑着笑着就哭了。
![](http://n.sinaimg.cn/spider20240806/268/w720h1148/20240806/511b-f28a31ea1357158545844f15b4e4c573.png)
以小胜大,MiniCPM-V 2.6 号称三合一最强端侧多模态
以小博大,是端侧模型的核心竞争力。
据面壁智能官方介绍,在 MiniCPM-V 2.6 的知识压缩率方面,MiniCPM-V 2.6 取得了两倍于 GPT-4o 的最高多模态大模型像素密度(Token Density)。
Token Density = 编码像素数量 / 视觉 token 数量,是指单个 token 承载的像素密度即图像信息密度,直接决定了多模态模型实际的运行效率,数值越大,模型运行效率越高。
![](http://n.sinaimg.cn/spider20240806/799/w720h879/20240806/ea8c-453ecad77ccd492ce858388655fea7a8.png)
闭源模型的 Token Density 由 API 收费方式估算得到。结果表明 MiniCPM-V 2.6 是所有多模态模型中 Token Density 最高的,延续了其一贯的极致高效特点。
从分享的基准测试结果来看, MiniCPM-V 2.6 在综合评测权威平台 OpenCompass 上,单图理解能力越级超越 Gemini 1.5 Pro 和 GPT-4o mini。
在多图评测平台 Mantis-Eval 榜单上,MiniCPM-V 2.6 多图联合理解能力实现开源模型 SOTA ,且超越 GPT-4V。在视频评测平台 Video-MME 榜单上,MiniCPM-V 2.6 的视频理解能力达到端侧 SOTA,超越 GPT-4V。
![▲OpenCompass | Mantis-Eval | Video-MME 榜单成绩](http://n.sinaimg.cn/spider20240806/219/w720h299/20240806/9213-67e86bd8236379f7616224659d252291.png)
▲OpenCompass | Mantis-Eval | Video-MME 榜单成绩
此外,MiniCPM-V 2.6 OCR 性能在 OCRBench 上实现开源+闭源模型 SOTA。
在幻觉评测榜单 Object HalBench 上,MiniCPM-V 2.6 的幻觉水平(幻觉率越低越好)也都优于 GPT-4o、GPT-4V、Claude 3.5 Sonnet 等众多商用模型。
![▲Obiect HalBench | OCRBench 榜单成绩](http://n.sinaimg.cn/spider20240806/422/w720h502/20240806/8c0a-7c706abcf7f238dc9c0e4b71046b99ef.png)
▲Obiect HalBench | OCRBench 榜单成绩
新一代小钢炮 MiniCPM-V 2.6 交出优秀成绩单的背后,主要归功于其采用了统一高清视觉架构。
官方表示,统一高清视觉框架,不仅继承了传统单图的多模态优势功能,更实现了一通百通。
例如,OCR SOTA 能力 将 MiniCPM-V 单图场景的「180 万高清图像解析」进行能力迁移和知识共享,无缝拓展至多图场景和视频场景,并将这三种视觉理解场景统一形式化为图文交替的语义建模问题,共享底层视觉表示机制,实现相比同类型模型,视觉 token 数量节省超过 75% 。
![](http://n.sinaimg.cn/spider20240806/324/w720h404/20240806/40f7-ce807a65438efa267bf25da8c0194749.png)
在 OCR 信息提取的基础上,MiniCPM-V 2.6 还能进一步对表格信息进行类似 CoT(思维链)的复杂推理。
以 2008 年奥运会为例,该模型能够计算出获得金牌数最多的三个国家共获得的金牌总数。
[图片]
这一过程包括:
在 AI 可信度方面,MiniCPM-V 2.6 以 8.2% 的幻觉率,延续了小钢炮系列的传统优势。此外,面壁 RLAIF-V 的对齐技术,以及 Ultra 系列对齐技术的应用等技术也都是藏在 MiniCPM-V 2.6 背后的黑科技。
![](http://n.sinaimg.cn/spider20240806/400/w720h480/20240806/2578-33a4700c05b5ae7bfa392b8b8dc25ce6.png)
官方数据显示,小钢炮系列下载量已破百万。从开启端侧部署,多模态能力先河,到最强端侧多模态模型,再到端侧全面对标 GPT-4V 的新时代,面壁智能只用了短短半年的时间。
「聪明、流畅,快得不像一款端侧模型!」这句话,是对小钢炮系列最贴切的描述。
给面壁智能更多时间、也给国内场外大模型厂商更多时间,我们坚信未来面壁智能将继续推出更多优质的端侧 AI 模型,与国内外大模型厂商一同推动端侧 AI 的发展。
而在这个过程中,独立开发者和普通用户将成为最大的受益者。
最后附上 MiniCPM-V 2.6 开源地址:
GitHub🔗 https://github.com/OpenBMB/MiniCPM-V
HuggingFace: 🔗 https://huggingface.co/openbmb/MiniCPM-V-2_6
![新浪科技公众号 新浪科技公众号](http://n.sinaimg.cn/tech/content/tech_qr2x.png)
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
![](http://n.sinaimg.cn/tech/content/tech_weixin2.png)