数据蒸馏是一种业内常见的技术做法,是指通过一系列算法和策略,将原始的、复杂的数据进行去噪、降维、提炼等操作,从而得到更为精炼、有用的数据。
中国人工智能初创公司DeepSeek在过去一周成为硅谷热议的对象,并触发了本周一美国科技股“崩盘”。
1月29日,OpenAI最新称,它发现有证据表明中国人工智能初创公司DeepSeek使用其专有模型来训练自己的开源模型,并暗示这可能违反了OpenAI的服务条款。但OpenAI没有进一步列举哪些证据。OpenAI的服务条款规定,用户不能“复制”其任何服务或“使用其输出来开发与OpenAI竞争的模型”。

一种“常见技术”引发争议
与Meta的Llama开源模型可免费使用不同,OpenAI的模型系统是封闭的,但个人用户仍可付费接入其编程接口(API)获取数据。截至发稿,DeepSeek尚未予以回应。
此前,美国政府称正在组织专家紧急评估DeepSeek的技术及影响。美国白宫AI和加密货币事务负责人大卫·萨克斯(David Sacks)表示,未来几个月,美国领先的人工智能公司将采取措施,试图防止其他公司对“蒸馏技术”的获取。
DeepSeek模型取得的技术突破已经引起美国总统特朗普的关注。特朗普周一表示,DeepSeek这款中国AI应用程序应该成为美国公司的“激励因素”,他表示:“如果中国业界能够开发出更便宜的人工智能技术,美国公司也会效仿。你不必花费数十亿美元,而是花更少的钱,希望找到相同的解决方案。”
数据蒸馏是一种业内常见的技术做法,是指通过一系列算法和策略,将原始的、复杂的数据进行去噪、降维、提炼等操作,从而得到更为精炼、有用的数据。数据蒸馏的目的是将复杂模型的知识提炼到简单模型。
据DeepSeek-V3的技术文档,该模型使用数据蒸馏技术生成的高质量数据提升了训练效率。通过已有的高质量模型来合成少量高质量数据,作为新模型的训练数据,从而达到接近于在原始数据上训练的效果。
“以前的大模型训练相当于使用题海战术,在大量的数据中训练。而蒸馏就相当于让在题海战术里磨练过的优秀大模型充当新模型的老师,筛选出有效题目,再让新的大模型训练。”一位计算机研究人员这样解释。
不过此前有学者认为,蒸馏技术存在“隐性天花板”,它虽然可以提高模型训练效率,但借此开发的模型无法超越基础模型的能力,当考虑到需要将能力扩展到新领域或应对以前从未见过的挑战时,这种限制就愈发成为问题;而且这种技术在多模态数据方面效果不好。
而DeepSeek的模型从某种程度上打破了这种业内普遍存在的观念,其大模型的水平已经能与原始的基础模型相提并论。这是引发美国担忧的根本原因之一。就在1月28日凌晨,DeepSeek发布了最新视觉模型Janus-Pro,在多模态理解和文生图指令遵从能力都收获了显著提升,并在多个基准上超越了DALL-E 3与Stable Diffusion。
英国伦敦大学学院(UCL)名誉教授和计算机科学家彼得·本特利曾在接受采访时称:“蒸馏技术对一些不具备OpenAI或谷歌这样巨额研发预算的小型机构的研究进展将会产生重大影响。”
“蒸馏模型”何以超越原创?
一位美国科技巨头公司AI相关项目开发人员对第一财经记者表示:“我并不认为蒸馏类似Llama这样的开源模型有什么问题,尤其是像DeepSeek这样在蒸馏后采取开源的模型,其实是有存在的合理性的,这样能加速大模型的迭代,没有必要所有的公司都从头开始训练大模型,这会导致资源的浪费。”
他还表示,全球很多AI初创公司也同样使用多种大模型的蒸馏融合技术,形成了所谓的“多专家模型”(MoE),这样的蒸馏模型是有可能在性能方面超越原始模型的,因为它有更强的泛化能力,得到的信息更加丰富,提升最终性能。
“这就好比你有一个团队,里面有本科生、研究生、博士生、工业界初级工程师、资深工程师,当你遇到问题时,可以把不同难度的任务分派给不同的’专家’。这样会以最高效的方式给出最匹配的答案。”他解释道。
上述人士分析称,关键的核心问题不在于DeepSeek蒸馏了其他大模型,而是为何同样是在蒸馏开源模型的基础上,DeepSeek能够脱颖而出,以如此低廉的成本价格就能实现如此高的性能,并不是所有的公司投入这些资源后都能够实现的。
他认为,DeepSeek完美平衡了多专家模型、训练时长,预训练、后训练等工作,使得投入和产出达到一个最高效的值。“当你做得好到对别人有威胁了,总会有一些官司找上门。”他表示。
但也有AI研究人员指出,过度依赖蒸馏技术的“捷径”,会导致研发人员为了快速取得成果而放弃对基础模型的探索。上海交通大学副教授刘鹏飞曾在一篇学术报告中提到:“蒸馏技术为在数学推理任务中取得显著性能提升提供了一条诱人的捷径。虽然这种方法带来了直接且可见的好处,但它掩盖了一系列深刻的挑战,无法提出根本性的解决方案。”
责任编辑:石秀珍 SF183








APP专享直播
热门推荐
乘客遭司机多次涨价,拒付钱被持刀威胁?海南通报 收起乘客遭司机多次涨价,拒付钱被持刀威胁?海南通报
- 2025年02月21日
- 23:55
- APP专享
- 扒圈小记
5,371
《哪吒2》票房破130亿!有人包场16家影院请市民免费观看,能否冲击全球影史前三?
- 2025年02月21日
- 15:23
- APP专享
- 扒圈小记
3,542
特朗普:对于结束俄乌冲突,泽连斯基根本“无牌可打”
- 2025年02月21日
- 22:26
- APP专享
- 北京时间
2,697

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
投资研报 扫码订阅
股市直播
-
趋势领涨今天 07:46:21
在全球开发者先锋大会上,商汤科技联合创始人、首席科学家王晓刚表示,以模仿学习为主的端到端技术面临挑战,一方面高质量场景数据稀缺,驾驶数据质量参差不齐;另一方面模仿学习存在性能瓶颈。他还透露,商汤下一代与世界模型协同交互的端到端自动驾驶方案将在4月车展发布,此外,日日新大模型6.0也将在今年发布。 -
趋势领涨今天 04:06:31
=加入潜伏擒牛VIP,享四大顶级服务=【1】购买VIP自动加入私密小直播间!【2】每周3-5只超短金股调入调出服务,适合实时看盘的投资者!【3】每周一份高端内部绝密文章:包含近期布局、热点版块、指数预判!【4】每月2~3只高端中线金股服务!(VIP超短、中线个股均有涉足,让上班族也能跟上VIP节奏!)现月课7.5折,1288元!季课6.9折,3558元,续费季度更划算!新朋友可先月课体验!点网址,直接买,订购地址:【更多独家重磅股市观点请点击】【更多独家重磅股市观点请点击】 -
趋势领涨今天 02:07:22
【年内公募基金斥资超33亿元参与定增】财联社2月22日电,今年,定增市场发展迎来新机遇。1月22日,多部门联合印发的《关于推动中长期资金入市工作的实施方案》提出,允许公募基金、商业保险资金、基本养老保险基金、企(职)业年金基金、银行理财等作为战略投资者参与上市公司定增。在参与新股申购、上市公司定增、举牌认定标准方面,给予银行理财、保险资管与公募基金同等政策待遇。在业内看来,允许公募基金等作为战略投资者参与上市公司定增,将给定增项目带来更丰富的资金来源,为定增市场注入新活力,有利于推动定增市场规模的扩大。东方财富(sz300059)Choice数据显示,以增发上市日计算,今年以来已有诺德基金管理有限公司、财通基金管理有限公司、易米基金管理有限公司等7家公募基金参与上市公司定增,定增认购总额达33.29亿元。 -
趋势领涨今天 02:06:13
三、美股大跌 中概股上涨美股三大指数集体大跌,纳指跌2.2%,本周累跌2.51%,创去年11月以来最大单周跌幅;标普500指数跌1.71%,本周累跌1.66%,创1月中旬以来最大单周跌幅;道指跌1.69%,本周累跌2.51%,创去年10月下旬以来最大单周跌幅。大型科技股普跌,特斯拉、英伟达、英特尔跌超4%,奈飞、谷歌、亚马逊跌逾2%,微软、Meta跌超1%,苹果小幅下跌。纳斯达克中国金龙指数收涨1.65%,本周累涨1.57%,连涨六周,逼近去年10月份高点。阿里巴巴、拼多多涨超5%,小鹏汽车、理想汽车涨逾4%,京东涨3%,百度、蔚来涨近2%。美股大跌的主要原因是美国2月服务业采购经理指数初值疲弱,引发了投资者对经济前景的担忧,但这些数据跟我们关系不大,无非就是降不降息的问题,但昨晚中概股、富时A50都是上涨的,特别是本轮领涨龙头阿里大涨超过5%,所以,下周大盘低开高走的概率是很大的,错过了周五加仓的朋友,下周一应该有机会。 -
趋势领涨今天 02:06:04
美股大跌 中概股上涨 晚间三大消息昨天是非常激情的一天,大盘指数迎来了突破,个股更是上演了疯狂,导.火.索就是阿里财报超预期,激发了科技股的疯狂,美股有英伟达,A股有寒武纪(sh688256),现在又出了一个阿里,乱世出英雄,国内科技英雄层出不穷,这是好事!在这种情况下,如果今年A股和港股不能牛冠全球,那确实对不起投资者了,不过今年以来,港股已经是牛冠全球,现在就看A股了!前天我们发布文章提示,这两天会有一个急跌,但昨天市场出现了利好,市场选择了向上,但向上就没有急跌吗?我们认为这个概率不大,向上只是改变了方向,但一天的量能不能决定任何事情,下周如果大盘不能继续放量,想大盘连续大涨是不现实的,特别是昨晚美股出现了大跌,下周A股低开不可避免,这个低开回踩应该就是机会。一、证监会:加快培育耐心资本 吸引更多优秀民营企业借助资本市场发展壮大DeepSeek的成功激发了各方的信心,杭州“六小龙”之一群核科技也要到港股上市,但这些科技公司起步都是需要大量烧钱的,DeepSeek通过量化赚了很多钱,才有了现在的DeepSeek,但现在光靠量化显然是不现实的,所以,前期爆出了要融资,当然市场还有很多潜在的“DeepSeek”,这些公司都需要上市,证监会提出了要吸引更多的民营企业,其意思说明A股融资要加速了,对市场是利空。但,从另外一方面来说,正常的市场就应该是优胜劣汰,A股垃圾公司太多,才引发了现在的肥胖,港股近期之所以走势很强,就是因为港股有腾讯、阿里等很多优秀的公司,所以,A股放开IPO,只要是好公司,对市场不是坏事,重点是要加速淘汰垃圾公司。二、国资委部署深化中央企业“AI+”专项行动国资央企要抓住人工智能产业发展的战略窗口期,强化科技创新,聚焦关键领域加快掌握“根技术”,坚定攻关大模型,积极参与开放生态建设,推动产生更多“从0到1”的原始创新,加速推进成果转化和产业化发展。这次AI,民企先行,攻克了第一个堡垒,剩下就看国企了,国企不能拖后腿,难怪昨天中联通、中电信涨停,三大运营商作为AI的最前沿,这波科技贡献是不是太小了?所以,后期要加把劲了!三大运营商能稳定,科技板块就还有机会。不过,我们要提醒的是,2018年炒作的大消费;2020年炒作的新能源;去年炒作的ChatGPT,随后都回到了起点。科技股这波抱团比较猛,行情没有走完,但炒作完要注意撤离。 -
趋势领涨今天 01:41:19
【年内公募基金斥资超33亿元参与定增】今年,定增市场发展迎来新机遇。1月22日,多部门联合印发的《关于推动中长期资金入市工作的实施方案》提出,允许公募基金、商业保险资金、基本养老保险基金、企(职)业年金基金、银行理财等作为战略投资者参与上市公司定增。在参与新股申购、上市公司定增、举牌认定标准方面,给予银行理财、保险资管与公募基金同等政策待遇。在业内看来,允许公募基金等作为战略投资者参与上市公司定增,将给定增项目带来更丰富的资金来源,为定增市场注入新活力,有利于推动定增市场规模的扩大。东方财富(sz300059)Choice数据显示,以增发上市日计算,今年以来已有诺德基金管理有限公司、财通基金管理有限公司、易米基金管理有限公司等7家公募基金参与上市公司定增,定增认购总额达33.29亿元。 -
趋势领涨今天 00:54:15
大家早上好!趋势为王,做股海的领航者,新的一天,新的战斗,欢迎你来到本直播室!新进的朋友请注意点赞,收藏本直播室,以方便你下次观看,谢谢大家的支持!【更多独家重磅股市观点请点击】 -
趋势领涨2025-02-21 10:54:37
证监会发布会,注意两个要点: 1、资本市场是数亿老百姓(sh603883)投资的重要渠道,这个应该是第一次说,说明开始重视2亿多散户。 2、证监会坚持重拳出击,切实维护好广大投资者的根本利益。以前都是“保护”,现在变成了“维护”。 -
数字江恩2025-02-21 09:48:38
所以下周还会有一次回踩,第一支撑10周线,第二支撑15分钟图轮峰线。只要支撑不跌破,那么宽幅震荡完成之后,大盘会继续向上运行。 -
数字江恩2025-02-21 09:48:33
30分钟图来看,之前的行情展望已经说过,可以突破三角形顶点,也可以突破红色轮谷线。本周收盘在顶点之上,刚好收盘在红色轮谷线,还不算站上红色轮谷线。从30分钟图的三角形来看,蓝色轮峰线突破后变为支撑,这个位置和10周线的支撑是完全吻合的。【更多独家重磅股市观点请点击】