谷歌开源「全模态六边形战士」!7.4 亿参数,手机断网照样跑

谷歌开源「全模态六边形战士」!7.4 亿参数,手机断网照样跑
2026年10月12日 08:40 市场资讯

(来源:AI信息Gap)

你手机相册里那几千张说好回头再看的照片,这回真有救了。

谷歌前几天开源了一个名为 EmbeddingGemma 2 的全模态嵌入模型。照片、截图、视频、录音,你打几个字描述一下,它就能在你手机或电脑本地帮你翻出来,全程不用联网。只搜索文字的话,它在手机上只占用 191MB 内存。网友,「比我微信缓存还小得多。」

我用中文实测了一轮。搜「6583」,它从一堆照片里翻出了那张写着取件码的快递截图。你敢信,它事先根本没把图里的字识别出来,全靠看图。接着我让它听中文语音找图,6 次只找对了 1 次。

EmbeddingGemma 2 眼睛很尖,中文耳朵还不太灵。

嵌入模型名气没有文本模型那么大,可搜索、推荐、AI 知识库(RAG)背后都得靠它。它干的活儿,是把一段内容变成一串数字,相当于在一张地图上给它标个坐标,语义相近的离得近,不相干的离得远。

以前这张地图基本只认识文字,图片得先配上文字说明,录音得先转成文字,才能到地图上去搜索。EmbeddingGemma 2 把文字、代码、图片、视频、音频全都标在了同一张地图上。一张火烈鸟的照片、一段火烈鸟的视频、一段解释火烈鸟为什么是粉红色的文字,坐标邻近,你搜其中一个,另外两个也会被带出来。

EmbeddingGemma 2 总计有 7.4 亿参数,可以拆分为三部分,文字部分 2.7 亿,看图看视频的视觉部分 1.7 亿,听声音的音频部分 3 亿,用不上的那部分参数可以不加载。所以,它量化后在谷歌 Pixel 11 Pro 手机上,只搜文字时仅占用 191MB 内存,三部分参数全部加载也才占用 567MB。

作为开源模型,EmbeddingGemma 2 的许可证是 Apache 2.0,可以放心拿去商用。谷歌官方称它和自家的 Gemini Embedding 嵌入模型底层用的是同一套技术。但 Gemini Embedding 只能调用谷歌的云端接口,用量大了要按量付费;EmbeddingGemma 2 能装进手机和电脑,算是一个完全免费的青春版。

EmbeddingGemma 2 和大香蕉 Nano Banana 2.1 同一天发布,网友吐槽,「除了 Gemini 4 Argon,谷歌把能发布的都发布了。」

谷歌官方的演示全是英文,我更关心中文行不行。

我在一台 MacBook Pro 上把 EmbeddingGemma 2 跑了起来,没有独显,全靠 CPU。测试素材是 24 张照片,火锅、长城、熊猫、麻将、春联、早高峰的地铁,再加上我照着常见 App 样式制作的 8 张手机截图,高铁票、外卖单、快递取件码、体检报告、群聊记录。

用中文描述去搜照片,24 次测试有 23 次,第一个结果就是对的。口语它也轻松拿捏,12 句口语有 9 句一次过,搜索「我家主子在电脑上睡着了」,出来的是一只趴在键盘上的猫;「上次撸串」找到烤羊肉串,「早高峰」找到挤满人的地铁车厢。但 EmbeddingGemma 2 偶尔也会犯迷糊,把「国宝」认成了长城,「国粹」认成了舞狮,搜「加班写 bug」,第一名还是那只猫。毕竟只是个小模型。

搜索截图我发现 EmbeddingGemma 2 意外的强。8 张截图和 6 张照片混在一起,16 次搜索有 15 次第一个就对,搜「G1234」找到高铁票,搜「胆固醇偏高」找到体检报告,搜「香山爬山」找到了群聊截图。

它甚至连你的语音备忘录也能搜。

8 段电脑合成的中文语音,模型同样没有事先将语音转成文字,我打字问「这个月房租多少钱」「快递取件码」「回老家的高铁几点发车」,8 次找对了 6 次。

继续测试,让它分辨环境噪音,以及用中文和它对话。

15 段环境声,狗叫、下雨、海浪、翻书,用英文描述去搜,9 次一遍正确;同样的音频换成中文,就只有 4 次正确。换成用语音找照片,实测英文准确率出奇得高,中文依旧稍差一点。

EmbeddingGemma 2 体感速度相当快。

根据谷歌官方的数据,M5 Pro 芯片的 MacBook Pro + CPU 处理一张图要 0.15 秒,Pixel 11 Pro XL + NPU 只要 0.05 秒。

EmbeddingGemma 2,全模态支持 + 同体量最强。

代码检索,它只调用 2.7 亿参数的文字部分就能获得 78.68 分,比上一代的 68.76 分高出一大截,也超过了阿里 Qwen3-Embedding-0.6B 的 75.41 分。纯文字的综合跑分倒是和上一代几乎一样,61.36 vs 61.15。

音频检索它输给了 Jina AI 的 jina-embeddings-v5-omni-nano。

不过 Jina 这个模型用的是非商用许可。10 亿参数以内、文字图片视频音频都能处理的开源嵌入模型里,目前能免费商用的只有谷歌这一个。

想试试 EmbeddingGemma 2,最省事的方法是手机。

谷歌官方 App Google AI Edge Gallery,这次新增了两个新功能。「即时媒体搜索」用一句话或者一张照片搜相册,边打字边出结果;「视频时刻查找」里,选一段本地视频,输入一段描述,它会标出对应的时间点。Google AI Edge Gallery 里全是本地 AI 模型,完全免费。

懒得下载 App,浏览器里也能玩。Hugging Face 专门上线了一个 EmbeddingGemma 2 网页演示,输入中文「鸟」,不到半秒,屏幕上就排满了各种鸟的照片。

本地部署推荐用 Ollama,一行命令 ollama pull embeddinggemma-2 就能把 EmbeddingGemma 2 下载到本地。

新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片