中国经济时报记者 段树军
“能够利用自己的数据构建具有真正商业价值的生成式AI应用的公司，将会是成功的公司。”在日前举行的“2024亚马逊云科技数据技术媒体沟通会”上，亚马逊云科技大中华区产品部总经理陈晓建表示，企业需要的是懂业务、懂用户的生成式AI应用，而打造这样的应用需要从数据做起。亚马逊云科技构建数据基座的三大核心能力涵盖从基础模型训练到生成式AI应用构建的重要场景，能够帮助企业轻松应对海量多模态数据，提升基础模型能力，助力企业在生成式AI时代取得成功。
利用现有数据支持微调或预训练模型
从原始数据集到训练出基础模型需要解决三个主要问题：找到合适的存储来承载海量数据（维权）；清洗加工原始数据为高质量数据集；对整个组织内数据的发现编目治理。
在数据存储方面，扩展性和响应速度是关键。数据存储方面的需求主要体现在两个方面：能够承载海量数据、存储性能必须跟上计算资源。亚马逊云科技Amazon S3的容量、安全和功能都满足微调和预训练基础模型对数据存储上的要求。
在数据清洗方面，亚马逊云科技Amazon EMR Serverless和Amazon Glue可以帮助企业轻松完成数据清理、去重，乃至分词的操作，让企业专注于生成式AI业务创新。
在数据治理方面，亚马逊云科技Amazon DataZone让企业能够跨组织边界大规模地发现、共享和管理数据，不但能够为多源多模态数据进行有效编目和治理，而且还提供简单易用的统一数据管理平台和工具，从而为用户解锁所有数据的潜能。
将现有数据快速结合模型产生独特价值
用户期待生成式AI给出高质量答案，但简单的对话背后蕴藏着复杂的提示工程。通过提示工程获取模型介绍，从企业数据库获取用户背景信息，从检索增强生成（RAG）获取上下文，最后才是用户的问题及问题相关的提示词。
RAG技术的关键是向量嵌入，核心组件就是向量存储。向量存储的理想情况是将向量搜索和数据存储结合在一起，因为这样无需额外学习新的向量存储，无需添加额外的组件和费用，无需迁移现有数据，将向量检索和现有数据关联时也会有更快的体验。
亚马逊云科技已经在八种数据存储中添加了向量搜索功能，让客户在构建生成式AI应用程序时有更大的灵活性。以知识图谱为例，它被广泛应用于制造业当中，用于建设跨产品全生命周期集成的数字主线。亚马逊云科技专门构建了图数据库Amazon Neptune，并为其推出了分析数据库引擎，能够提升80倍的图数据分析速度，使用内置算法可在几秒钟分析数百亿个连接。通过将图和向量数据一直存储能够实现更快的向量搜索。
有效处理新数据助力生成式AI应用飞速发展
对生成式AI应用程序而言，基础模型频繁调用将会导致成本的增加和响应的延迟。相对于数据库调用毫秒级甚至微秒级的响应时间，基础模型每次调用时长往往达到秒级。此外，每次调用基础模型也会增加成本。
很多企业反映，终端用户绝对大部分问题是类似甚至重复的。因此可以通过将之前问答生成的新数据存入缓存，从而在面对类似问题时，可以不调用模型，而直接通过缓存给出回答，这不但能够减少模型调用，还可以节约成本。
亚马逊云科技Amazon Memory DB内存数据库本身就是一个高速的缓存，同时也支持向量搜索。它能够存储数百万个向量，只需要几毫秒的响应时间，能够以99%的召回率实现每秒百万次的查询性能。
“这样，企业就可以高效安全地将海量的多模态数据和各种基础模型结合在一起，创建出一系列具有独特价值的生成式AI应用程序并收到终端用户的欢迎，进而产生更多的数据。这些新数据又会继续提升模型的准确度，创造更好的用户体验，从而实现生生不息的正向生成式AI数据飞轮，带动企业的业务走向成功。”陈晓建表示，亚马逊云科技希望每一个企业在生成式AI时代借助亚马逊云科技的服务打造坚实的数据基础。
VIP课程推荐
APP专享直播
热门推荐
收起
24小时滚动播报最新的财经资讯和视频，更多粉丝福利扫描二维码关注（sinafinance）
