英伟达推出 NIM AI 护栏服务,防止模型遭用户“越狱”

英伟达推出 NIM AI 护栏服务,防止模型遭用户“越狱”
2025年01月18日 22:45 网易新闻

IT之家 1 月 18 日消息,英伟达宣布推出一项名为“NIM”的 AI 护栏服务,该服务现已以英伟达 NeMo 护栏(NeMo Guardrails)套件的形式提供,可以让开发人员为大语言模型(LLM)添加一系列护栏规则,旨在解决用户通过提示词“越狱”大模型,防止 AI 生成不符合预期的内容。

英伟达表示,相应AI护栏服务套件基于英伟达的 Aegis 内容安全数据集进行训练而成,该数据集包含了 3.5 万个标注的数据样本,并已在 Hugging Face 上公开,IT之家附地址如下(点此访问)。

英伟达指出,相应AI护栏套件具有体积小、效率高的特点,在大部分场合中都能流畅运行,企业可以在开发 AI 模型时直接嵌入相应安全套件,可以改善医疗、汽车、制造业等领域部署的AI安全性。

此外,英伟达还提供了公布了一项名为 Garak 的漏洞扫描工具,用于检测模型的安全性,防止模型可能输出幻觉内容或泄露企业内部机密信息。

海量资讯、精准解读,尽在新浪财经APP
英伟达 AI it之家

VIP课程推荐

加载中...

APP专享直播

1/10

热门推荐

收起
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间

7X24小时

  • 01-17 宏海科技 920108 5.57
  • 01-16 海博思创 688411 19.38
  • 01-16 亚联机械 001395 19.08
  • 01-14 富岭股份 001356 5.3
  • 01-13 超研股份 301602 6.7
  • 新浪首页 语音播报 相关新闻 返回顶部