近日，NVIDIA宣布其NIM（NVIDIA Inference Microservices）技术现已支持DeepSeek-R1。NIM是一种云原生微服务技术，旨在简化生成式AI模型在云端、数据中心及GPU加速工作站上的部署流程。
NVIDIA官网发布文章指出，DeepSeek-R1是目前最先进的推理开放模型。该模型通过对查询进行多次推理处理，采用连锁思维、共识和搜寻方法来生成最佳答案。为了帮助开发者安全地试验这些功能，并构建自己的专门代理，DeepSeek-R1模型现已作为NVIDIA NIM微服务预览版上线使用。
在性能测试方面，根据外媒的测试，RTX 5090在DeepSeek R上的推理性能显著优于AMD的RX 7900 XTX，性能至少翻了一倍。测试结果显示，在多个DeepSeek R1型号中，RTX 5090不仅明显领先于RX 7900 XTX，也比RTX 4090快了不少。
具体来说，在Distill Qwen 7b和Distill Llama 8b模型中，RTX 5090每秒可运行200个Tokens，几乎是RX 7900 XTX的两倍。这一数据进一步证实了RTX 5090在推理性能上的显著优势。
新浪科技公众号
“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）
