IDC首发中国市场代码生成产品评估报告

国际数据公司（IDC）于近日发布了《中国市场代码生成产品评估，1H24》（Doc# CHC51598624，2024年10月），报告分析了整体代码生成市场情况，对当前主流产品进行了多维度评估和实际测评，从C++和Java两种语言来评估AI产品的生成代码和注释准确率和可帮助性，旨在为企业选择产品时提供更好的参考。

本文引用地址：

IDC预测，到2030年，AI会累计为全球经济带来19.4万亿的经济收入，每在AI解决方案和服务上花费1美元，就可以产生4.6美元的经济收益，包括直接价值链收益和间接全生态影响。

代码生成产品作为生成式AI的主要服务形式之一，拥有巨大的发展空间和前景。IDC全球数据显示，82%的开发人员已经使用具有自动完成或智能代码生成功能的IDE或代码编辑器，其中71%的人表示他们编写的代码中有40%以上是自动生成的。另一项面向中国市场的调研数据显示，对于已经探索和应用GenAI的企业，其中有31%的人员已经使用了代码生成产品。

本次报告收录了CodeGeeX、豆包MarsCode、Q Developer、通义灵码、腾讯云AI代码助手、文心快码、小浣熊Raccoon、亚信图灵程序员共8个产品（按产品拼音首字母排序），并从产品能力水平（实测项）、功能丰富度、产品架构、开发者体验、商业化水平、工程化落地支持、生态布局、战略领先性维度进行评估，呈现不同产品的能力水平和优势。

实测结果如下图所示

从上述结果可以看出，各代码生成产品在C++和Java语言上已经具备了基本的问题解决能力，可以生成有效且可用的代码和注释，帮助开发人员提高效率。

但在实际测评过程中IDC发现产品仍有很大改进空间：

●   编程范式支持不足：各家均支持面向过程、对象的范式，但对于面向组件、服务、切面、函数、并发、泛型编程，头部支持更佳；

●   理解问题表面：部分任务仅停留在处理问题的表层描述，系统应根据用户输入识别目的，例如进行数据处理、构建算法、实现接口、性能优化，不仅生成任务框架本身，还需考虑安全性问题、状态管理；

●   可扩展性不足：生成的代码不仅是短期有效，还应具备可维护性和扩展性，遵循软件开发的设计模式、SOLID原则等最佳实践；

●   性能优化不足：在处理涉及大量数据、复杂计算或实时要求的场景时，系统生成的代码应考虑效率问题，选择高效的算法和数据结构，例如排序算法应考虑数据规模和场景，而不只是单纯返回通用的冒泡排序；

●   健壮性和容错能力不足：生成的代码应当能够处理意外情况、异常输入和潜在的错误，确保在各种场景下都能运行，自动生成异常处理逻辑；

●   安全考虑不足：生成的代码在处理涉及用户数据、身份认证、数据库查询等敏感信息时，系统还应当自动加入必要的安全性检查，防止潜在的安全漏洞，避免直接拼接用户输入。

IDC给技术供应商的建议：

●   产品应该深入挖掘背后的业务逻辑，很多问题的解决不仅仅依赖生成符合语法规范的代码，还涉及如何高效的访问、处理数据、针对场景进行优化；

●   代码注释和文档也非常重要，帮助开发者理解思路和决策设计，特别是在复杂逻辑（如并发处理或异步操作）中，应详细说明各步骤的目的和流程；

●   在面对不同复杂度的问题时，应生成灵活的代码结构，如模块化、服务化的结构，确保考虑功能实现、性能优化、可扩展性；

●   生成内容要提供扩展性建议，考虑未来可能的扩展和优化；

●   在某些特定场景下，不应仅搭建简单的框架，例如还要考虑线程管理、锁机制、死锁避免等问题；

●   当涉及特定技术栈时，系统能识别并生成与该技术栈相匹配的最佳实践代码，而非通用代码结构。

李浩然

IDC中国高级分析师

IDC中国新兴科技研究组高级分析师李浩然表示，中国市场目前仍有较大培育和发展的空间，代码生成产品可以极大帮助企业提高开发效率、缩短产品更新周期。但企业也需要注意到，当前生成代码的采纳率普遍在20%-30%之间，近四分之三的开发人员（72%）表示，他们需要大幅修改超过40%的自动生成代码，这意味着大模型产品仍需持续提升准确度，并开发新的代码审核工具，来帮助企业审查和修订AI生成的内容，这也是产品从探索走向实际落地的关键。

IDC更多大数据、人工智能领域研究相关报告：

●   IDC PeerScape：生成式 AI 最佳实践案例与探索（IDC CHC51597724，即将发布）

●   Market Glance：生成式 AI 市场概览（IDC CHC51597624，即将发布）

●   Market Presentation：中国生成式 AI 技术进展与趋势，2024（IDC CHC51597427，即将发布）

如需进一步了解与此研究相关的信息或对其他相关项目研究感兴趣，请与IDC高级分析师李浩然（邮箱：leli@idc.com）联系。

免责声明

本文中的内容和数据均来源于IDC所发布的报告，所有内容及数据均为我公司所有。未经IDC书面许可，任何机构和个人不得以任何形式翻版、复制、刊登、发表或引用。