网易数帆联合华泰证券开源Arctic，剑指金融实时湖仓架构升级|华泰证券_新浪财经

转自：经济日报

今年1月，中国人民银行印发《金融科技发展规划（2022-2025年）》，提出了夯实数字基础底座、激活数字化经营动能、强化金融数据全生命周期管理体系等要求。金融企业落实这一规划需要解决什么问题？构建哪些能力？近日，网易数帆联合华泰证券共同交出一份答卷。

8月11日，网易数帆携手华泰证券举办企业级流式湖仓服务Arctic开源线上发布会，宣布以开源的Arctic完善现有数据湖底座，拓展数据平台的边界，推动湖仓一体、流批融合落地，提升企业用数效率，实现数据价值。

金融行业数智中台建设面临挑战

近年来大量金融科技子公司的成立，各种金融数字化/信息化管委会的设置，无不彰显金融公司对技术升级的渴望。以华泰证券为例，公司推进科技赋能财富管理和机构服务，并规划了涵盖数据计算、中间件到一体化研发的下一代技术平台，正在构筑融合实时能力的数智中台，实时数据资产、实时数据模型、实时数据质量等，以便更好地提供数据订阅、BI报表、运营分析、AI建模等各种服务。

“实时”是数智中台的核心诉求，流批割裂则是落地的一大挑战，华泰证券大数据流计算技术专家陈丰介绍，实时湖仓在华泰证券日内数据离线加工、实时关联大量历史数据、金融数据频繁修正、统一埋点加工链路等方面具有极大的价值，然而当前数仓建设面临流批链路分开建设、纯实时业务逻辑复杂、数据存储不统一、数据更新复杂以及演进难等五大问题。

参与到金融行业数字化转型，网易数帆同样发现了新的挑战。网易数帆大数据产品线总经理余利华表示，金融企业希望融合实时数据湖与数据仓库，打造实时数据中台支撑其数字化业务创新，这本质上正是湖仓一体的思路。然而，余利华也认识到，目前的主流数据湖技术等只解决了更新、大表访问性能、流式消费等问题，仍然遗留小文件导致性能损耗、兼容性和流失更新等性能和易用性相关问题，而开源社区尚未出现对应的解决方案。

“业界给出了Iceberg、Hudi等解决方案，但我们业务、平台需要的不仅仅是单一的开源数据湖组件。”陈丰说，华泰证券对实时数据湖建设设定了流批一体、高性能低延迟、兼容现有Hive/Impala等多重目标。

余利华表示，秉承开放式架构原则，Arctic立足开源数据湖，不绑定计算引擎，注重与传统数仓Hive的兼容，能做到100%兼容 Iceberg / Hive 的表格式和语法。这是继SQL统一入口之后，网易数帆大数据体系再次在存储层面实现统一，这使得数据中台体系可以无缝扩展到实时场景，金融数据价值的发挥将不再被孤岛所困扰。

助力金融实时湖仓架构升级

发布会上，网易数帆大数据实时计算技术专家、湖仓一体项目负责人马进详细介绍了Arctic项目的目标、特性、规划以及给开源用户带来的价值。Arctic 定位是一个搭建在 Apache Iceberg之上的流式湖仓服务，马进表示，流式强调向实时能力的拓展，服务则强调管理、标准化度量，以及其他可以抽象到基础软件中的湖仓一体能力。

通过 Arctic，用户可以在 Flink、Spark、Trino 等引擎上实现更加优化的 CDC、流式更新、OLAP 等功能，结合数据湖高效的离线处理能力，Arctic 能够服务于更多流批混用的场景；同时，Arctic 的结构自优化、并发冲突解决以及标准化的湖仓管理功能，将有效减少用户在数据湖管理和优化上的负担。

当前数据湖技术虽多，提供的都是各种数据湖格式，而非真正的湖仓一体平台。这些格式已经存在于企业环境。而有了Arctic服务，金融企业可以去适配不同的数据湖格式，无需担心数据湖技术的选型问题，持续优化数据分析能力，也让数据流管理变得简单。

华泰证券与网易数帆合作，引入Arctic实现数智中台实时湖仓，并在融资融券、埋点日志运营等场景实现了良好的应用和出色的性能。例如融资融券场景包括了大量历史数据联合计算，从离线架构到实时湖仓架构的升级后，端到端延迟时间从T+1天缩短到了T+20分钟。

创新社区协作模式

在整个数字基础底座全面升级的时代，开源的模式也悄悄发生变化，如同Arctic，越来越多的企业级能力走向完全开源，同时技术型企业组织参与开源的程度越来越深。另一方面，金融行业在数字化转型及开源政策的双重吸引下，对参与开源、推动金融数字底座发展也产生了浓厚的兴趣。

在此背景下，Arctic开源社区同步启动了共建企业参与计划，华泰证券作为 Arctic 社区的首家共建单位，在 Arctic 项目开源之初率先了加入社区参与建设，不仅作为用户结合业务场景提供真实的使用反馈，也作为开发力量共同持续探索流式湖仓技术领域创新性功能。

陈丰表示，未来华泰证券将进一步繁荣 Arctic 社区生态，与Arctic 社区伙伴一起，共同打造一款全球领先的流式湖仓服务创新产品，构建繁荣的实时湖仓生态圈。（经济日报记者李华林）