孙元浩：每个行业都可以用大模型增强或重构原有应用_新浪财经

　　“2023中国AIGC产业发展论坛”于9月4日在北京召开。星环科技创始人、 CEO孙元浩出席并演讲。

　　以下为演讲实录：

　　下午好，我介绍一下在AI大时代的变革。

　　这里我引用了Google画一张图，看到AIGC特别是大语言模型的能力跟参数有很大的关系，我们发现在百亿参数规模的时候让大模型做自然语言理解还是可行的，到300-500亿规模的可以用来编代码，做文本和代码生成，可能有50%左右的准确度，今天可能会更高一点，到1000亿以上才有推理能力，也能比较准确做指令遵循，用提示词给它下指令，可以按照你的要求生成文本。看起来模型越大，能力越强一些。这张图认为到5000亿以上才较好掌握语义解析、谚语及常识理解、阅读理解、逻辑推理、模式识别、对话及问答等能力。

　　再看大模型本身应用场景，这是一个另外风险投资机构的分析报告，它认为每家企业几乎所有的职能部门都可以用上大模型，都可以发挥作用，从管理层经营决策到市场部的营销，到销售团队报告生成，做销售预测，到客户支持，客服，到HR，到法律部门，到IT团结都可以使用大模型，意味着企业所有的部门都可以用大模型提升效率。

　　我们在实践中发现，一开始在构建大模型应用的时候，有两种方法：一种方法是用大模型做自然语言理解，这种做法利用数百亿参数规模的模型来做就行；第二把AI作为一个Agent嵌入当中，有一定的智能化推理能力。在基于通用大模型构建应用的时候，由于通用大模型的训练语料没有行业知识，会有三个缺陷：第一，它无法理解行业术语。比如在金融行业，对于营业数据、财务报表等很多术语不能准确理解；第二，无法完成特定行业任务，比需要分析特定事件对股票或板块的影响，它无法识别，因为未被训练过；第三，输出的结果每次都不一样，需要校准，不能提供特别精确的答案。基于这三个重要的原因，我们需要打造一个行业大模型。

　　每个行业的领域知识还是比较多的，从金融到政务，到能源、交通各个行业，比如金融行业，需要数万亿的token来做语料训练。如果要打造行业模型，我们需要使用LLMOps工具来做预训练模型，来做SFT监督微调，或者 RLHF基于人类反馈的强化学习来调整结果，这样我们就可以得到一个行业模型。现在经过近一年的尝试我们发现也有一个问题，行业模型跟通用模型的训练代价一模一样，还是需要从底向上完全重来一遍，它的难度跟通用大模型是相当的。

　　其实有一些高性价比的方法帮助大家构建行业大模型，这是微软给出两种方法。一种是微调（Fine-Tuning），通过构造一个指令集来训练通用大模型，让它能够完成行业相关的特定任务。这种方案需要构造的样本数量只需要几千至几万个，它比深度学习方法的好处是样本数量不用太多。比如以前我们做图象识别的标注需要100万个样本才可以达到一定的准确度，现在几千个样本就可以实现。第二个用文本嵌入（Embeddings）的方法，用向量数据库把行业知识放到数据库中，把一个词变成向量嵌入到向量数据库中去，在问问题的时候先把问题向量化后，再在向量库搜索，找到相似的资料，再把相似的资料组成提示词发给大模型，让大模型进行回答。这种方法比较经济，能够立刻让你的大模型具备行业知识，比如政务法律法规的知识、政务福利补贴的知识、金融行业资讯都可以用这个方法打造。

　　通过大模型的不断落地实践我们发现，整个软件开发栈正在发生比较大的变化。从底到上以前是以CPU为核心，现在是以GPU为核心，一个GPU计算量一张卡可以达到几百个TFLOPS，不光是算力、功耗全部集中在一个GPU上，一台机器绝大部分的成本也在GPU上。数据库层以前是关系型数据库，现在以向量数据库库为主，它可以作为一个工具的外挂存储。在模型层，需要基于大模型进行微调，因为在完成特定的下游任务的时候，不微调的模型效果还是比较糟糕的，因此需要一系列的工具来提升模型效果。这个LLMOps工具链跟以前的MLOps工具链也有比较大的不同。在有了算力、训练框架工具链及基础模型之后，可以基于这些基础设施进行应用开发，打造行业的大模型，再基于行业大模型，让各类应用百花齐放。

　　所以整体的硬件和软件开发栈，以及生态和供应链都发生了很大的变化。其中第一个是我们需要有一个工具链去做大模型的训练，包含三个步骤，要做预训练，要做SFT，以及RLHF。这个LLMOps工具链对原来的MLOps工具链也进行了比较大的补充，并且需要配合知识库来做提示工程，才能构建一个行业大模型的应用。

　　最后讲一下向量数据库，它会在三个方向补偿通用大模型。第一，可以把最新的知识放到向量数据库中去，因为大模型预训练的时间非常长，通常几个月到一年时间。预训练的知识通常是几个月前的知识，如果这些最新的知识放到向量数据库中去，提问的时候就可以从向量数据库中获取最新的咨询。这个相当于大模型有一个“短期记忆”，但是向量数据库可以让大模型拥有“长期记忆”，大量信息可以放到向量库中去。一些专业领域的知识可能不一定适合训练给大模型，就可以放到向量数据库中，也有可能公司的一些机密信息，因为大模型回答的时候不能区分访问权限，我们需要给不同级别的人，设置不同的访问信息权限。我们可以把领域知识放到这个向量数据库中，当然还有一些个人的偏好习惯也可以放到向量数据库中，从而构建一个更加个性化的行业模型。

　　下面介绍一个例子，我们星环科技做的金融大模型，也是使用LLMOps工具打造的，通过预训练和微调来实现的。看一下这个视频。

　　我们可以看到，通过预训练和微调打造一个金融大模型，可以具备一定的能力，能理解金融行业的术语，也能够对现有的资讯年报进行总结。大家也看到它有初步的分析能力，对某些新闻事件对于行业板块的影响可以进行推理和分析。

　　总的来说，在AI大模型时代，整个软件开发栈都发生了比较大的变化，从底向上从硬件到软件都充满了变革，这个时代我们发现也出现了很多新的机会，每个行业都可以使用大模型来把原来的应用进行增强或重构，从而开启人机交互的新时代。

　　谢谢大家。