九章云极张亮：大模型赋能金融机构业务数智化_新浪财经

股市瞬息万变，投资难以决策？来#A股参谋部#超话聊一聊，[点击进入]

　　第二十届中国国际金融论坛于2023年12月14-15日在上海召开，北京九章云极科技有限公司高级解决方案专家张亮受邀出席，并发表演讲。

　　以下为演讲实录：

　　今天分享的题目：大模型赋能金融机构业务数智化。

　　2023年作为大模型的元年，这一年大模型技术发展日新月异，快速更迭。在图一中可以看到，左图中蓝色代表GTP3.5的性能，绿色代替GTP4的性能，GTP3.5到GPT4性能的提升非常大。而GPT3.5到GPT4的迭代时间仅仅在一年之内。大模型技术对这个社会的发展也产生了非常深远的影响，右边的图可以发现，横轴是实现50%自动化率所达到的预期时间。大家可以关注一下这个横轴上的两个点，大模型的应用可以使整个社会的自动化水平大幅度提升，至少10年多。

　　在国家政策方面，国家也在积极鼓励大模型的落地和相应推广。比如说今年7月份，国家网信办等七部门发布《生成式人工智能服务管理暂行办法》，“鼓励生成式人工智能技术在各行业、各领域的创新应用。支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能技术创新、数据资源建设、转化应用、风险防范等方面开展协作。”相比于其他行业，大模型在金融行业的落地应用更加值得期待，我认为这与金融行业本身的特点有关的。

　　首先金融行业有大量的数据，其中包括大量的非结构化数据。其次，金融行业本身有大量业务线，每种业务线很复杂，大量的金融服务需要语言沟通。第三，金融行业是服务性行业，针对服务本身也是很复杂、多样性的服务，对金融交易的时效性要求比较高。因此，结合以上这些金融行业的特点，通过与大模型能力相结合，我们就可以发现大模型对金融行业可产生潜在影响可能更大。结合一组来自麦肯锡的数据，银行业效率提升占到整个收入的2.8%—4.7%这样的区间。

　　大模型的应用场景贯穿于金融行业的各个环节，包括前台、中台、后台。结合金融行业用户关注比较多的场景，比如现在的前端有类似于广告文案自动生成需求，对产品开发人员目前流行自动代码生成，对客户关系方面需求比较多的如智能客服、知识库的管理搜索等等，这些场景通过运用大模型之后，可以大幅提升金融行业的业务效率以及对客户服务质量。

　　接下来我们结合一些大模型实际应用场景展开谈一谈。从大模型更具商业化价值的落地方案层面来讲，一般首选知识管理场景。金融机构用户在知识管理方面所碰到的问题、难点非常相似，比较具有普遍性。比如知识检索效率很低、知识管理复杂、知识碎片严重、知识融合受阻等。

　　针对这些问题，知识管理场景的技术方案日趋成熟。目前最成熟的方案是基于RAG（ retrieval augmented generation）技术的方案，主要核心组件将知识进行切片，向量化，通过向量数据库对相应的语义级别搜索，再结合大模型技术底座，可以更好地理解文本内容，理解人的诉求，从而实现专业、高效的整合性文档的输出。

　　通过建设智能知识管理场景，可以融合企业内部的知识体系，为金融机构利用大模型技术创造更大的业务价值。首先可以极大程度上丰富知识管理功能，比如可以实现智能问答，类似于智能客服的场景；自动的文档分析；合同审核这样的相对复杂的场景，极大提升员工的工作效率。

　　大模型对于数据的加工及数据分析所带来的新的范式。在传统的数据架构下，对数据加工和数据分析主要是由数据团队加工对应的数据，清洗数据，将数据交给到业务部门，由业务部门的专家对数据进一步的分析、挖掘。运用大模型之后，可以极大赋能业务的自主性。例如通过运用大模型，可以实现原数据的智能化，也可以实现数据处理、数据获取的智能化工作。

　　一个最典型的场景就是NL2SQL。NL2SQL将人类自然语言需求转化为SQL语句，数据分析人员可直接输入业务需求，据此自动生成SQL语句，缓解了数据加工人员的压力。另外一方面，NL2SQL准确率达到一定标准，可以直接赋能业务侧，业务人员即使缺乏专业SQL知识，也能够通过输入自然语言，实现数据获取和分析。

　　获取数据之后，可通过将大模型结合Agent技术实现对数据的高级建模分析。Agent技术，进一步扩展了大模型能力，让大模型做到类似人类大脑的角色。以数据分析Agent这个场景为例，这个场景下大模型通过自主利用统计科学、机器学习算法、因果推断等高级建模技术从数据中做更深层次的挖掘，提供指导业务的深刻见解，通过Agent方式更好扩展大模型能力。

　　前面提到了NL2SQL、Agent，还可以结合向量数据库，三者进行整合建设智能数据加工分析平台。通过数据加工分析平台实现从数据的获取到数据分析的整个全链路的、低代码甚至零代码，这种方式可以极大赋能业务侧，让业务人员能够高效、便捷地获取、分析数据，并催生出更多的业务场景，同时也能为业务提供更具商业价值的智能决策。

　　前面介绍了很多大模型具体的应用场景和方案，但是大模型应用落地过程依旧还有很多的难点，比如在训练大模型时需要大量的算力资源，训练大模型对语料也有很大的要求，各家金融机构仍需要探索适合自身最佳实践。

　　同时，尤其在数据安全、内容合规、模型安全方面也面临各种挑战。举个例子，大家经常提到的模型幻觉问题。所谓的模型幻觉是指大模型“乱说话”。假如说我们有一个智能的客服对外“乱说话”，将造成非常严重的后果。所以，我们也需要重点考虑将大模型应用上线必须解决这些安全性方面的问题。

　　九章云极DataCanvas是一家定位在AI基础软件供应商的高科技软件公司，九章云极DataCanvas在2023年6月推出AIFS这一产品体系，包括了大模型训练、大模型微调，大模型服务等。同时，公司自研的九章元识大模型也进行了开源。在大模型时代，向量数据库几乎成为一种标配，九章云极DataCanavas通过自研的多模向量数据库，结合公司大模型的能力，可以更好赋能金融行业客户，快速落地在大模型方面的应用场景。

　　最后分享一个在银行落地的案例。这是某银行建设的大模型智慧型运维知识管理平台，分为三个阶段，第一是运维知识库基础能力建设，结合大模型能力构建智能化的知识问答场景，第二阶段是完成知识管理的闭环，基于大模型更进一步扩展知识管理能力，第三阶段是突出一些更高级的基于大模型的运用，如基于大模型的智能排障能力，以及用大模型自动生成对应运维脚本等能力。

　　感谢各位！我今天的分享就到这里。有关大模型场景落地过程中有任何问题，欢迎和我们联系沟通。联系邮箱：contact@zetyun.com。

股市回暖，抄底炒股先开户！智能定投、条件单、个股雷达……送给你>>