一边训一边跑，京东云抢跑大模型产业落地

来源：36氪

让大模型在产业先跑起来。

封面来源｜企业供图

眼瞅着大模型的热闹就两周年了，市场不再相信故事。大模型玩家们，也逐渐分成了两大派别。

第一派继续卷性能。比如Meta发布Llama 3.1，最大参数可达405B 。法国AI公司Mistral AI则推出新一代旗舰模型Mistral Large 2，以1230亿参数应战Llama 3.1，GPT4-o和Claude 3.5 Sonnet。

第二派开始聚焦大模型应用。比如OpenAI刚刚发布了全新AI搜索引擎SearchGPT，号称是一种“新搜索方式”。而国内的企业也开始愈发重视模型的落地，比如京东公布超35万小哥已经用上了大模型。

模型大不大与应用好不好，是否存在必然的联系？一个超强的大模型，又是否能解决一切难题？我相信市场没有绝对正确的答案，但每个企业都有适合自己的选择。

    基础大模型靠卡堆出来的，

企业模型要自己用出来的

据测评，Llama 3.1 405B能力超强，在超过150个基准测试集中的表现追平甚至超越了GPT-4o 和 Claude 3.5 Sonnet 等强大的闭源模型。但训练Llama 3.1也是代价极高。尽管Meta 优化了整个训练堆栈，还是使用了超过 1.6万块H100 GPU。

GPU万卡集群已是超大规模，仅仅是GPU的采买就极其烧钱。然而，科技狂人马斯克今年底的新目标，再次推高了大模型训练算力资源规模上限。他计划年底推出Grok-3大模型，“有可能超越目前的人工智能基准”，但需要10万块英伟达的H100。

虽然模型能力越来越强大，但堆卡训练超大参数的模型应用却有两难。

第一难是“你太贵了”。现实情况是，Llama 3.1405B的参数规模太大，本地部署及运行非常消耗算力。外国网友用一张英伟达4090运行Llama 3.1405B，仅仅一个问题的回答，就整整用了20个小时。

第二难是“你不懂我”。尽管大模型越来越强，但通用大模型依旧缺乏特定领域的知识，无法满足企业的业务需求，所以企业应用还需要对模型进行微调。这背后又是大量的财务和时间成本。

2023年7月，京东云发布言犀大模型。经过一年来大模型在京东供应链场景的大规模应用，京东云对上述问题的回应是：基座大模型是靠卡训出来的，企业大模型是靠人用出来的。

与其等待或费尽心思挑选能力强大的大模型，不如对现有的低成本模型进行适企化改造，通过持续的数据注入和场景迭代，实现大模型在企业的落地。

让企业把大模型先用起来，首先需要解决大模型的应用成本和效率问题。为此他们提出了模型压缩及拉升技术，使模型耗能更低的同时，更符合企业需求。其次需要找到真正体现大模型价值的应用的场景。让大模型在特定场景跑出业务价值绝非易事。京东的策略是，把大模型业务应用场景的决策权交给一线员工。

比如，京东云言犀打造的采销东哥数字人、京东618总裁数字人直播，在直播电商赛道率先实现大规模商业化。还依托全新升级3.0版本，以超100位个性化角色、超50个行业特定属性场景，闲时直播超30%的转化率提升，向企业提供更加个性化、风格化的数字人定制解决方案。

京东云言犀数字人3.0

又比如，京东科技金融运营团队，将数十年在行业理解、营销流程、运营策略知识、实操经验的积累，结合大模型封装进AI增长营销平台，大幅优化营销机会洞察、营销素材生成、营销策略制定与投放全流程，据京东数据显示，实现整体运营配置提效超30%，推动业务增长25%。

大模型先在供应链上跑起来了

从本次京东云峰会发布的多个产品来看，近35万京东自有配送员、超20万商家、超5万副主任级别以上医生、超2万采销运营、超1万研发人员，已经在京东100多个AI场景开始应用。

京东言犀大模型深度融入业务流程，得益于京东供应链长链路、复杂协同的原生数据，更适合产业大模型训练及落地。回看过去这一年，京东在产业土壤中种植大模型，秉承“把大模型做实、把供应链做透”的理念，越来越多的大模型应用，正在京东供应链上生长。

在零售行业，基于京东言犀大模型的AIGC营销工具“京点点”，不仅可以帮助商家一键生成商品图，还支持了超过2000种视觉元素道具；不仅可以丰富图片的视觉层次，还能根据商品的特点和营销需要个性化布局。支持能生成商品卖点文案、商品种草文案、直播脚本，还具备商品短视频、AI店铺运营等多个场景的生成能力。如今，据京东数据统计，京点点AIGC营销生成图片的采纳率能达到65%，生成营销文案的准确率能达到95%以上。它服务了京东商城20多万商家，帮助平台商家提升经营转化。

大模型在零售全流程应用

在物流行业，小哥终端智能助手将物流配送这一流程复杂的工作效率，大幅提升。小哥的工作包括揽收、派送、站内、辅助、客户服务五大类，需要熟悉的规范包括货物处理规程、安全操作标准、客户服务要求等多达上百个，把这些统统记牢，需要耗费大把时间。如今有了小哥终端智能助手，这些问题就都迎刃而解，关于物流的问题它都能回答。不仅会“动脑”，还能直接“下手”，只需要快递小哥动动嘴，小哥终端智能助手就能将送货通知直接发给客户。如今，小哥终端智能助手已服务近35万京东自有配送员。

在健康行业，基于行业内首个实物与服务相联通、知识与数据相融合的医疗大模型京医千询，免费智能医生“康康”，结合京东健康亿级高质量医患会话和丰富的实物、服务、内容等供应链资源，提供专业、有温度的健康咨询服务；专属个人医助，可以支持病情收集、诊断推荐、治疗方案推荐、病情解释、智能病历等功能，全流程辅助医生提升问诊效率。京东数据显示，如今，京东健康皮肤医院基于大模型的AI辅诊准确率超过95%。

开放平台支持企业用出自己的大模型

基于内部丰富的场景打磨，京东云构建了简单、开放的全栈产品，从基础设施到Agent应用，构建面向全场景的大模型服务能力。

在Agent应用方面，京东云最新发布了言犀智能体平台。作为一站式 AI Agent 开发平台，言犀智能体平台平台目前已接入数十个大模型，无论用户是否有编程基础，从解决简单的问答到处理复杂逻辑的业务问题，都可以在言犀智能体平台上低成本快速搭建基于 AI 模型的各类快捷应用。通过言犀智能体平台，AI场景的探索落地从3个月缩短到1周，新应用的创建，从以前几个月排期研发一个应用，到每个月产生上千应用。目前，京东内部基于言犀智能体平台的智能体超过3300个。

言犀智能体平台

在模型服务方面，京东云推出了企业大模型服务，将垂直领域知识注入到模型的同时，不损失模型的通用能力，且更加经济适用。通过大模型压缩技术，减去对企业权重低的模型神经元，同时提高模型推理速度，使模型耗能更低；基于大模型拉升技术，通过激活更匹配企业诉求的神经元，实现特定领域数据自进化并注入拉升模型中，使得问题处理结果更符合企业使用诉求；大模型推拉技术的使用，让推理侧模型显存节约 70%，速度提升 1.5倍，极大提升企业模型使用效率。

在工具链方面，京东云言犀AI开发计算平台2.0，提供包括数据准备、模型开发、模型训练、模型部署在内的AI开发全链路服务，让用户可以快速把一个通用模型，转化成适合自身场景的专业模型，新版本进一步简化了模型开发流程，内置20余种开源模型和丰富的数据集，并提供100余种算法和工具链，为客户的大模型开发，提供低门槛、高性价比的AI服务能力。

在基础设施方面，京东云高性能计算集群、超低延迟网络、高性能分布式存储等，提供极致的数字基础设施能力，并基于混合多云操作系统，对AI异构资源进行灵活调度，更好地满足大模型的算力需求。最新升级的新一代存储云海3.0，在性能层面持续提升，基于融合超低延时RDMA网络及软件架构优化，4K随机写IOPS达到1000万级，平均延迟在100微秒级，支持百GB级超大带宽，更好地支持千亿级参数AI大模型。

在产业的沃土中孕育而生，大模型正以不可阻挡之势，成为企业数智化转型的中坚力量。京东云以其深厚的技术底蕴和创新实践，不仅为大模型在行业落地和企业应用提供了坚实的基石，更在这场技术革新的征途中，率先迈出了坚定而有力的一步。