2月25日消息,第四范式推出大模型推理端侧解决方案ModelHub AIoT,据悉,用户在端侧可轻松部署如DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸馏模型,离线运行,并可灵活在多个模型之间切换,兼顾了模型压缩、推理性能,解决了部署与优化的复杂性。据介绍,该方案不仅能够满足用户对隐私和实时性的需求,还极大降低了AI大模型推理成本。(定西)
本文来自网易科技报道,更多资讯和深度内容,关注我们。

海量资讯、精准解读,尽在新浪财经APP
VIP课程推荐
加载中...
APP专享直播
热门推荐
收起
新浪财经公众号
24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
