4月8日，腾讯云宣布云存储解决方案面向AIGC场景全面升级，能够针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。数据显示，采用腾讯云AIGC云存储解决方案，可将大模型的数据清洗和训练效率均提升一倍，需要的时间缩短一半。
据介绍，腾讯云AIGC云存储解决方案主要由对象存储COS、高性能并行文件存储CFS Turbo、数据加速器GooseFS和数据万象CI等产品组成，是国内首个实现存储引擎全面自研的云存储解决方案。
目前，已经有80%的头部大模型企业选择了腾讯云AIGC云存储解决方案，包括百川智能、智谱、元象等明星大模型企业。
一般来说，AI大模型的研发生产流程，分成数据采集与清洗、模型训练、推理三大环节，各环节都涉及海量的数据处理。
在数据采集与清洗环节，由于原始训练数据规模海量，且来源多样，对存储技术提出了多协议支持、高性能、大带宽的需求。
腾讯云存储总经理马文霜表示，“在数据采集阶段我们基于海量的对象存储引擎提供高性价比的数据湖服务，让原始数据可以方便的入湖。在数据清洗的阶段，我们升级了数据加速器GooseFS，提升对海量数据的访问速度。在数据训练阶段，我们升级了并行文件存储CFS Turbo，加速训练阶段中Checkpoint的写入以及海量样本的读取速度，提升训练的效率。那么在数据审核和治理阶段，我们升级了数据万象，来支持全媒体语义的特征提取。”
据介绍，在模型训练环节，通常需要每2-4小时保存一次训练成果，以便能在GPU故障时时能回滚，因此快速地读写checkpoint（检查点）文件也成了能否高效利用算力资源、提高训练效率的关键。
腾讯云自主研发并行文件存储CFS Turbo ，面向AIGC训练场景的进行了专门优化，每秒总读写吞吐达到TiB/s级别，每秒元数据性能高达百万OPS。3TB checkpoint 写入时间从10分钟，缩短至10秒内，使大模型训练效率大幅提升。
大模型推理场景对数据安全与可追溯性提出更高要求。腾讯云数据万象CI为此提供图片隐式水印、AIGC内容审核、智能数据检索MetaInsight等能力，为数据生产从“用户输入——预处理——内容审核——版权保护——安全分发——信息检索“业务全流程提供有力支撑，优化AIGC内容生产与管理模式，顺应监管导向，拓宽存储边界。
腾讯云文件存储总监陆志刚说，AIGC业务场景对数据存储提出了更高的挑战，尤其是在模型训练和推理方面，需要超高的写吞吐和对小文件超高的OPS性能。
据马文霜介绍，目前已经有80%的头部大模型企业选择腾讯云AIGC云存储解决方案，包括百川智能、智谱AI、元象科技等明星大模型企业。
此外，针对AIGC的checkpoint记录、大视频文件读写、小图片读写等场景，腾讯云CFS Turbo还自研了分级缓存、自适应条带化、分布式元数据的技术，大幅提升了AIGC场景下的读写性能。除了大模型企业以外，CFS Turbo也被广泛应用于自动驾驶与工业仿真场景，包括博世汽车、蔚来等自动驾驶厂商，上海电气、深势等仿真场景，墨镜天合、追光等影视特效场景。
“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）
