英伟达也认可了!
据英伟达官网最新消息,为了帮助开发人员安全地试验这些功能并构建自己的专用代理,6710亿参数的DeepSeek-R1模型现已作为NVIDIA NIM微服务预览版在Build.nvidia.com上提供。DeepSeek-R1 NIM微服务可以在单个NVIDIA HGX H200系统上每秒提供多达3872个令牌。开发人员可以使用应用程序编程接口(API)进行测试和试验,该接口预计很快将作为可下载的NIM微服务提供,是NVIDIA AI Enterprise软件平台的一部分。
此外,英伟达还在官网中表示,DeepSeek-R1是一个具有最先进推理能力的开放模型。DeepSeek-R1等推理模型不会提供直接响应,而是对查询进行多次推理,采用思路链、共识和搜索方法来生成最佳答案。

来自英伟达的认可
英伟达称,DeepSeek-R1等推理模型不会提供直接响应,而是对查询进行多次推理,采用思路链、共识和搜索方法来生成最佳答案。执行这一系列推理过程(使用推理得出最佳答案)称为测试时间扩展。DeepSeek-R1是此扩展定律的完美示例,证明了加速计算对于代理AI推理的需求至关重要。
由于模型可以反复“思考”问题,因此它们会创建更多输出标记和更长的生成周期,因此模型质量会不断提高。大量的测试时计算对于实现实时推理和来自DeepSeek-R1等推理模型的更高质量响应至关重要,这需要更大规模的推理部署。R1在需要逻辑推理、推理、数学、编码和语言理解的任务中提供了领先的准确性,同时还提供了高推理效率。
为了帮助开发人员安全地试验这些功能并构建自己的专用代理,6710亿参数的DeepSeek-R1模型现已作为NVIDIA NIM微服务预览版在Build.nvidia.com上提供。DeepSeek-R1 NIM微服务可以在单个NVIDIA HGX H200系统上每秒提供多达3872个令牌。开发人员可以使用应用程序编程接口(API)进行测试和试验,该接口预计很快将作为可下载的NIM微服务提供,是NVIDIA AI Enterprise软件平台的一部分。
DeepSeek-R1 NIM微服务通过支持行业标准API简化了部署。企业可以通过在其首选的加速计算基础设施上运行NIM微服务来最大限度地提高安全性和数据隐私。通过使用NVIDIA AI Foundry和NVIDIA NeMo软件,企业还可以为专门的AI代理创建定制的DeepSeek-R1 NIM微服务。
DeepSeek-R1是一个大型混合专家(MoE)模型。它包含了令人印象深刻的6710亿个参数——比许多其他流行的开源LLM多10倍——支持128000个Token的大输入上下文长度。该模型还在每个层中使用了极多的专家。R1的每一层都有256位专家,每个Token并行路由到八个不同的专家进行评估。
为R1提供实时答案需要许多具有高计算性能的GPU,并通过高带宽和低延迟通信进行连接,以将提示令牌路由到所有专家进行推理。结合NVIDIA NIM微服务中提供的软件优化,一台使用NVLink和NVLink Switch连接的带有八个H200 GPU的服务器可以以每秒高达3872个令牌的速度运行完整的6710亿参数DeepSeek-R1模型。这种吞吐量是通过在每一层使用 NVIDIA Hopper 架构的FP8 Transformer Engine实现的,并且使用900GB/s的NVLink带宽进行MoE专家通信。
充分利用GPU的每秒浮点运算(FLOPS)性能对于实时推理至关重要。下一代NVIDIA Blackwell架构将通过第五代Tensor Core大幅提升 DeepSeek-R1等推理模型的测试时间扩展,第五代Tensor Core可提供高达20 petaflops的峰值FP4计算性能,以及专门针对推理优化的72-GPU NVLink域。
从开源到复现
近日,加州大学伯克利分校的研究人员开发出了中国开发的 AI 语言模型DeepSeek R1-Zero的小规模语言模型复制品,成本约为30美元。语言模型TinyZero是由校园研究生Jiayi Pan和其他三名研究人员领导的项目,由校园教授Alane Suhr教授和伊利诺伊大学厄巴纳-香槟分校助理教授Hao Peng指导。
DeepSeek的R1模型权重和代码库采用公共MIT许可证,因此Pan和他的团队能够访问基础代码来训练一个明显小得多的模型。潘表示,TinyZero同样是开源的,这意味着代码可供公众使用。他说,TinyZero 的开源性质允许人们下载代码并尝试训练和修改模型。“小规模复制非常容易实现,而且成本非常低,即使人们将其作为实验的副项目,”潘说。“从项目一开始,我们的目标基本上就是揭开如何训练这些模型的神秘面纱,更好地理解它们背后的科学和设计决策。”
昨天,微软(399.73, 1.83, 0.46%)官网显示,DeepSeek R1现已在Azure AI Foundry和 GitHub上的模型目录中提供,加入了1800多个模型的多样化产品组合,包括前沿、开源、行业特定和基于任务的AI模型。作为Azure AI Foundry的一部分,DeepSeek R1可在值得信赖、可扩展且企业级就绪的平台上访问,使企业能够无缝集成高级AI,同时满足SLA、安全性和负责任的AI承诺——所有这些都由Microsoft的可靠性和创新支持。
黑石(159.46, 2.23, 1.42%)最新态度
本周,硅谷、华盛顿、华尔街等地的领导人因中国人工智能公司DeepSeek的意外崛起而陷入混乱。许多分析师认为DeepSeek的成功动摇了推动美国人工智能行业发展的核心信念。
但人工智能科学家反驳说,许多担忧都是夸大其词。他们表示,尽管DeepSeek确实代表了人工智能效率的真正进步,但美国人工智能行业仍然具有关键优势。兰德公司人工智能研究员伦纳特·海姆表示:“这并不是人工智能前沿能力的飞跃。我认为市场只是搞错了。”
另外,截至目前,私募股权巨头、全球主要人工智能系统数据中心投资者黑石集团仍持乐观态度。“我们仍然认为,实体基础设施、数据中心和电力的需求十分迫切,”黑石总裁乔纳森·格雷(Jonathan Gray)周四在与投资者举行的第四季度财报电话会议上表示。“这些需求的使用方式可能会发生变化。”
格雷表示,与投资界和企业界的大多数人一样,黑石集团的高管在过去一周花了大量时间来权衡DeepSeek的影响。近年来,黑石集团积极购买和建设数据中心,这是科技公司运行人工智能系统所使用的物理基础设施。2021年,黑石集团以100亿美元收购了美国数据中心公司QTS,去年,黑石集团牵头以约160亿美元收购了在亚洲运营数据中心的AirTrunk。
格雷同时预计,随着人工智能计算能力成本的大幅下降,人工智能将得到更广泛的应用。换句话说,虽然人工智能模型回答特定问题所需的能力可能会减少,但人们会提出更多问题。格雷表示,黑石集团只为签订长期租约的科技公司建造数据中心。“我们不会投机性地建造它们。”他指出,客户使用这些数据中心的方式很可能会改变。
责编:罗晓霞








APP专享直播
热门推荐
收起
24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
股市直播
-
冯矿伟今天 04:30:42
冯矿伟:背离周一形成的60分钟、90分钟、半天线背离虽然昨天消失,但是背离条件(钝化)还在,所以背离的影响依然存在,今天上午又向下倾斜了,最近的波动节奏很快,没有规则会比较难办,所以无条件坚持规则,依然很重要。 -
波段擒龙今天 04:29:48
【2月27日周四午评】 A股三大指数早盘集体调整,截至午盘,沪指跌0.41%,深成指跌0.76%,创业板指跌1.14%,北证50指数涨1.06%。全市场半日成交额13373亿元,较上日放量1611亿元。全市场近4000只个股飘绿。今日市场出现分化,要注意前期涨幅过大的标的,会有一定的调整,而重点关注大消费和固态电池等板块。【板块分析】板块题材上,海南自贸区、固态电池、大消费板块涨幅居前;铜缆高速连接、国资云、CPO板块跌幅居前。上证指数3300-3350点的支撑比较明显,接下来有机会挑战3400点,目前市场资金在进行板块的切换,昨天提到还有智能驾驶固态电池,接下来仍旧会有一定的表现,请密切关注市场动向,今日市场出现正常的调整洗盘,注意部分标的需要及时止盈,电池相关板块有望重新启动。(以上所有观点为投顾观点,以上有关数据采摘在上交所,深交所,同花顺(sz300033),财联社,通达信等专业财经网站。不作为未来的走势依据,不作为推荐和入市依据,据此参考,盈亏自负,市场有风险,投资需谨慎, 首席投资顾问王君毅,执业证书编号:S1350620030001) -
宋谈股经今天 04:00:44
上午A股数据统计!【更多独家重磅股市观点请点击】 -
北京红竹今天 03:36:56
收摊,下午见 -
北京红竹今天 03:36:48
3、1.25万亿成交额没问题,继续保持健康的状态。上涨1280家,下跌4010家,涨停55家,跌停5家。上午黄线在下,情绪不是很好,看下午黄线是否能上来。半天内资卖出750亿,题材走弱,大消费走强,每次都是这样两者跷跷板,不让指数那么难看。AI行业出现多条利空消息,莫让AI成为操纵市场的工具,我被AI骗了!AI越强大越容易说谎,等等等。总之,这两天的市场,除非券商带动放量上涨打开空间,否则市场只有滞涨品种补涨的事。静等市场给结果吧。我的主观是滞涨品种还要继续补涨几天,跌破防守线也要等几天。但我认为不行,需要市场认为。 -
北京红竹今天 03:36:44
2、突破上方空间还有一种走势,就是不跌破防守线,券商和互金放量大涨把指数打开空间,那样还能在多玩一段时间,仓位也可以从半仓提升至7成以上。昨天券商尾盘异动,今天又辟谣,不知道会不会放量。那就等市场给答案吧。人形机器人(sz300024)和DS防守线也是明确的。策略上咱们还是不变,高位股规避,滞涨股可以玩,一旦防守线跌破就别玩了。 -
北京红竹今天 03:36:39
1、不太妙这几天几大指数陆续构造出防守线,而且恒生科技指数也是不断的上移防守线。高位股筹码已经松动2个星期了,最近2个星期都是滞涨品种在补涨。今天指数有点摇摇欲坠的感觉。反正已经提前做好预感了,已经把仓位降低至半仓左右了。那就看下午吧,是否跌破吧。沪指防守线:3337点。科创50防守线:1079点。恒生科技指数防守线:5537点。目前不能确定的是滞涨品种有没有补涨结束,确实还有一批滞涨的没补涨。如果补涨的结束了,那就更能确认了,现在还是有继续补涨的需求。 -
徐小明今天 03:35:26
【盘中直播】下午见 -
宋谈股经今天 03:34:14
2月27日午间收评:创业板指半日跌超1%,大消费板块逆势走强1、市场早间震荡调整,创业板指跌超1%。固态电池概念股逆势大涨,德尔股份(sz300473)、上海洗霸(sh603200)、光华科技(sz002741)、三祥新材(sh603663)等多股涨停。食品、旅游等消费股反弹,好想你(sz002582)、庄园牧场(sz002910)、同庆楼(sh605108)、凯撒旅业(sz000796)等封板。下跌方面,铜高速连接、CPO等算力方向走弱,博创科技(sz300548)跌超10%;机器人(sz300024)概念股走低,五洲新春(sh603667)一度跌停。个股跌多涨少,沪深京三市超4000股飘绿,上午半天成交1.34万亿。午间收盘沪指跌0.41%,深成指跌0.76%,创业板跌1.14%。2、板块概念方面,固态电池、食品、旅游、零售等板块领涨;铜高速连接、CPO、算力、机器人(sz300024)等板块领跌; 3、两市共1191只个股上涨,54只个股涨停;3846只个股下跌,5只个股跌停;14只股票炸板,炸板率25%。 -
量化伏妖今天 03:33:38
【股票午评】:重回振荡区间今日早盘低开后振荡,稍有冲高后9点50分就开始下行,晚间中金与银河两公司及时澄清否认合并传言,早盘前担心昨日指数由所透支,预期今天会出现纠正,果然指数回落过程基本没有像样的抵抗,接近最低收市。技术上粘合线日线微微拐头向下,价值陡峭日线微微拐头向下。板块方面电池,乳业,海南板块,免税概念,固态电池等微涨;市场并没有切换回科技股,本身涨幅也已经不小了,国资云概念,CPO概念,EDR概念,数字哨兵,铜缆高速连接,ERP概念等跌幅靠前也正常。总体来看市场还是处于之前的振荡区间,中期行情依然有期待,只是需要继续蓄势。