谷歌Gemini 1.5技术报告:轻松证明奥数题,Flash版比GPT-4 Turbo快5倍

谷歌Gemini 1.5技术报告:轻松证明奥数题,Flash版比GPT-4 Turbo快5倍
2024年05月18日 12:57 机器之心Pro

谷歌表示,Gemini 1.5 相比 Claude 3.0 和 GPT-4 Turbo 实现了代际提升。

今年 2 月,谷歌上线了多模态大模型 Gemini1.5,通过工程和基础设施优化、MoE 架构等策略大幅提升了性能和速度。拥有更长的上下文,更强推理能力,可以更好地处理跨模态内容。

本周五,Google DeepMind 正式发布了 Gemini 1.5 的技术报告,内容覆盖 Flash 版等最近升级,该文档长达 153 页。

技术报告链接:https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf

在本报告中,谷歌介绍了 Gemini 1.5 系列模型,它是代表了下一代高计算效率的多模态大模型,能够从数百万 token 上下文中调用细粒度信息并进行推理,包括多个长文档、数小时的视频。

该系列包括两个新型号:

更新的 Gemini 1.5 Pro,其大部分功能和基准都超过了 2 月份的版本

Gemini 1.5 Flash,一种更轻量级的变体,专为提高效率而设计,并且在性能方面的减益很小。

有关本周谷歌 I/O 大会上提到的 Flash 版,报告中表示,Gemini 1.5 Flash 是一个 Transformer 解码器模型,具有与 Gemini 1.5 Pro 相同的 2M+ 上下文和多模态功能,旨在高效利用张量处理单元 (TPU),并具有较低的模型服务延迟。例如,Gemini 1.5 Flash 可以并行计算注意力和前馈分量,并且也是拥有更大网络在线提取能力的 Gemini 1.5 Pro 模型。它使用高阶预处理方法进行训练以提高质量。

报告评估了从 Gemini 1.5 和 Vertex AI 流 API 中获取的英语、中文、日语和法语查询的每个输出字符的平均时间。

英语、中文、日语和法语响应的每个输出字符的时间(毫秒),在输入 1 万个字符的情况下,Gemini 1.5 Flash 在所有测试的语言中实现了最快生成速度。

Gemini 1.5 Pro、1.5 Flash 和 Gemini 1.0 模型在标准编码、多语言以及数学、科学和推理基准上的评估结果。1.5 Pro 和 1.5 Flash 的所有数字都是在指令调整后获得的。

Gemini 1.5 Pro 与 Gemini 1.0 Pro 和 Ultra 在视频理解基准上的比较。

Gemini 1.5 Pro 与 USM、Whisper、Gemini 1.0 Pro 和 Gemini 1.0 Ultra 在音频理解任务上的比较。

Gemini 1.5 模型在跨模态的长上下文检索任务上实现了近乎完美的召回,提高了长文档 QA、长视频 QA 和长上下文 ASR 的最优水平,并匹配或超越 Gemini 1.0 Ultra 在一系列广泛的基准测试中表现出最先进的性能。此外,谷歌也表示,到今年 5 月,Gemini 1.5 的性能相比 2 月份已有明显提升。

Gemini 1.5 Pro(5 月)与初始版本(2 月)在多个基准测试中的比较。最新的 Gemini 1.5 Pro 在所有推理、编码、视觉和视频基准测试中进行了改进,而音频和翻译性能保持不变。注意,对于 FLEURS,分数越低越好。

Google DeepMind 副总裁,Gemini 项目联合负责人 Oriol Vinyals 总结道,Gemini 1.5 Pro > 1.0 Ultra、1.5 Flash(目前最快型号) ~= 1.0 Ultra。

通过研究 Gemini 1.5 的长上下文能力的极限,我们可以看到在下一个 token 预测和近乎完美的检索(>99%)方面持续改进。相比 Claude 3.0 (200k) 和 GPT-4 Turbo (128k) 等现有模型实现了一代的飞跃。

在报告的第七章节,谷歌介绍了 Gemini 1.5 Pro 数学增强版本的跑分,它在竞赛级数学问题上表现出色,包括在未使用工具的情况下在 Hendryck 的 MATH 基准测试中取得了 91.1% 的突破级性能。

以下是该模型解决亚太数学奥林匹克(APMO)题目的一些示例,这些问题是此前模型显然无法解决的。Oriol Vinyals 表示,这个回答相当棒,因为它是一个证明(而不是计算),解决方案切中要害,而且「很漂亮」。

最后,谷歌重点介绍了大模型在现实世界的用例,例如 Gemini 1.5 与专业人士合作完成任务并实现目标,在 10 个不同的工作类别中可节省 26-75% 的时间。

这种前沿大语言模型也展示出了一些令人惊讶的新功能。当给定 Kalamang(一种巴布亚新几内亚西部不到 200 人使用的语言)的语法手册时,该模型可以学会将英语翻译成 Kalamang,与从相同内容中学习的人类处于相似的水平。

谷歌flash基准
新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片