开普云：共筑AIGC时代内容安全防线|开普云_新浪财经

　　近日，上海市委网信办“清朗e企来”系列惠企沙龙2024年首场活动举行。本次活动以“AIGC时代的信息真相：识别与应对价值观偏见”为主题，汇聚了众多业界专家。开普云受邀参会，并发表主题演讲。

　　随着大模型使用日趋广泛，如何确保大模型价值观对齐和内容安全成为不可忽视的问题。开普云首席技术官杨春宇博士在会上发表了题为《生成式人工智能价值观对齐现状与应对》的演讲，就AIGC时代内容安全建设的有效路径提出见解。

　　针对大模型价值观偏见的潜在问题，杨春宇博士提出了多项针对性措施。从模型层面来说，大模型企业可以通过调整模型来加强安全措施；从系统层面来看，对模型输入和输出进行检测可能是一种性价比更高、更可控的方法，但仍然需要包括监管部门进行抽检或自检方法来确保模型安全可控。

　　他认为，促进大模型生态系统的健康发展，需在治标和治本两个层面上共同努力。具体来说，大模型企业需要从语料的质量入手，同时在应用环节进行改进和提升。此外，企业还需与网络监管部门合作参与大模型治理。大模型时代的安全治理需要社会各界共同投入。

　　杨春宇还分享公司在保障AIGC内容安全方面的实践。公司坚持发展与治理双轮驱动策略，面向AIGC内容安全审核和大模型应用安全，研发了新一代AI内容安全产品“鸠摩智”。“鸠摩智”可以协助大模型厂商及监管部门对生成式人工智能产品的输入、输出内容进行深度分析，提供系统级内容安全检测服务，围绕社会主义核心价值观、政治立场、基本道德规范等维度，对大模型产品进行集出卷、阅卷、评价于一体的全自动评估。目前“鸠摩智”已投入市场，并在国家计算机网络应急技术处理协调中心部署，协助主管部门对大模型领域进行常态化监管。

　　此外，开普云副总裁王瑛同步接受了澎湃科技的采访，他表示，大模型时代生成式内容有两个主要特征，一是生成式内容传播呈现碎片化和不可复现性，导致对生成式内容传播效果的度量变得更加复杂；二是经过大模型处理和输出的信息，可能会在全网范围内产生二次污染，对大模型自我迭代、下游衍生产品产生消极影响。

　　开普云主动承担社会责任，始终坚持发展和安全并重，坚持技术创新和依法治理相结合。公司将与监管部门、合作伙伴携手并进，提高内容安全保障能力，共同引导生成式人工智能技术朝着更加安全的方向发展。