火山引擎云基础、模型服务等多产品更新发布,为企业大模型应用落地再提效

火山引擎云基础、模型服务等多产品更新发布,为企业大模型应用落地再提效
2024年12月19日 17:02 飞象网

每一次工业革命 ,都为我们带来了跃迁式发展。当以 AI 为代表的又一次技术变革浪潮向我们奔来时,企业如何才能获得所必须的技术支撑。为开启通用人工智能时代做好充分准备?12月18日,2024火山引擎FORCE原动力大会·冬 技术主论坛,带来了一系列全新产品及升级。帮助企业解决,落地大模型所面临的实际问题。

字节跳动基础架构负责人 赵鹏伟字节跳动基础架构负责人 赵鹏伟

“为了迎接通用人工智能时代的来临,企业需要在性价比、创新以及安全等方面做好准备。火山引擎为企业提供了 AI 云原生式的全链路产品服务能力,以豆包大模型、大模型服务、AI 基础设施、数据和安全方向的产品新成果,与众多企业和开发者用户在未来的 AI 创新变革之路上携手共进。”字节跳动 基础架构负责人赵鹏伟表示。

AI云原生 打造以AI负载为中心的基础架构新范式

过去十年中,云原生架构的弹性、存算分离以及服务化等能力,成为了企业高效构建大规模业务系统的有力支持。随着 AI 时代的来临,更多的计算变成以 GPU 为核心,旧有架构难以充分发挥 GPU 高算力、高带宽优势,同时 GPU 训练和推理场景,也对高速互联、在线存储和隐私安全提出了更高的要求。

火山引擎认为,下一个十年,计算范式应该进入 AI 云原生的新时代。AI 云原生,将以 GPU 为核心重新来优化计算、存储与网络架构,GPU 可以直接访问存储和数据库,来显著的降低 IO 延迟。同时,全系统提供更高规模的高速互联,和端到端的安全保护。为此,火山引擎将打造以 AI 负载为中心的基础架构新范式,推出新一代计算、网络、存储和安全产品。

✔ 在计算层面,新一代的火山引擎 GPU 实例,通过 vRDMA 网络,支持大规模并行计算和 P/D 分离推理架构,显著提升训练和推理效率,降低成本。

✔ 存储上,新推出的 EIC 弹性极速缓存,能够实现 GPU 直连,使大模型推理时延降低至1/50;成本降低20%。

✔ 在安全层面,火山将推出 PCC 私密云服务,构建大模型的可信应用体系。基于 PCC,企业能够实现用户数据在云上推理的端到端加密,而且性能很好,推理时延比明文模式的差异在5%以内。

火山方舟加速大规模落地 全新发布Prompt优解

作为一站式大模型服务平台,火山方舟将凭借 Cache、离线推理模式等产品与升级,以及全新发布的 Prompt 优解,加速大模型能力落地。

大模型落地过程中,prompt(提示词)的编写,往往是横在面前的第一道门槛,大模型能力越强,对指示词、指令的遵循程度也就越高。

火山引擎发布 Prompt 优解,可以通过“自动+互动”方式协助用户编写提示词,让用户在互动中表达需求,快速上手。用机器实现类似人类的反思、类比、错误总结能力,全自动优化  prompt,助力企业低成本高效率获得高质量  prompt。目前,Prompt 优解已通过火山方舟开放全量公测。

火山引擎始终把更低、更好的成本和价格放在首位。为进一步践行“人人用得起,才是好模型”理念,火山引擎发布离线批量推理方案和上下文缓存,帮助用户实现更为精细化和低成本的运营。

全新扣子1.5、HiAgent1.5 助力打造企业级AI原生应用

从通用大模型到企业 AI 应用落地,需跨越“到一个好用的应用”、“到 N 个好用的应用”、“到组织、流程、战略”三道鸿沟。

此外,豆包大模型最新发布的豆包·视觉理解模型、豆包·文生图模型2.1和豆包·音乐模型,都可以在扣子通过插件的方式体验,将有助于更多多模态 AI 应用在扣子诞生。

数据飞轮2.0发布 开启数智生产力新时代

为了帮助企业用好数据,用数据驱动业务价值的提升,火山引擎发布数据飞轮2.0,通过 AI 创新,来重新定义企业数据智能。数据飞轮2.0将全面注入大模型,带来前所未有的决策洞察;通过一体化数智研发与一站式数据智能运营,让工作流程化繁为简;在多元异构计算引擎的加速下,快速处理结构与非结构数据资产,激发企业更多潜在数据资产,实现更大的动力。

围绕企业数据建设与数据应用的各个环节,数据飞轮2.0的全系产品迎来了全面实现 AI 创新的新阶段。此外,发布两大核心方案:

✔ Data Fabric 驱动下的 ChatBI 智能体,可以让数据消费变得更简单直接。该方案通过构建完整的智能数据服务体系,打破数据“专业”壁垒,帮助企业内每个业务都能定制专属智能体,持续降低数据使用门槛,提升大模型能力下的数据反馈效率和准确率。

✔ 多模态数据湖,拓宽了数据资产的边界,可以实现海量结构化、半结构化及非结构化数据的统一精细化管理,全方位兼容各类数据格式,为 LLM 预训练、持续训练和微调全程各个环节提供更好的数据支持。

让智能更安全,让安全更智能

火山引擎云安全围绕“让智能更安全、让安全更智能”理念,为 AI 基础设施提供透明可信的安全保障,同时也通过安全智能体,希望字节跳动沉淀的安全经验服务好每个企业。

大模型应用进入开花结果阶段,企业对模型能力、价格以及落地难度都提出了更高要求。火山引擎本次发布的多款全新产品与升级,进一步降低模型训练、推理应用难度,以更高性价比、更强安全保障,为企业落地 AI 能力形成增长奠定了坚实基础。

未来,火山引擎将继续强化全栈 AI 服务能力,不断推动技术与行业场景深度融合,助力企业凭借 AI 等创新技术,实现更大价值飞跃。

新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片