OpenAI宣布公开招募“红队”网络 面向AI的超级专家库呼之欲出

OpenAI宣布公开招募“红队”网络 面向AI的超级专家库呼之欲出
2023年09月20日 03:05 媒体滚动

  财联社

  北京时间周三凌晨,美国科技初创公司OpenAI发布公告,宣布启动全球招募“红队”网络成员,旨在引入外部力量,提前挖掘出AI系统存在的缺陷和风险。

(来源:OpenAI)(来源:OpenAI)

  所谓的“红队”网络,即Red Teaming,概念来自于军事模拟。即找一队人来模拟假想的“敌人”,来测试本方(即“蓝队”)的准备水平。在AI领域中,“红队”的任务就是模拟黑客或者其他的潜在危险人物,试图找到大语言模型的漏洞,从而避免AI在现实社会中协助从事危害社会安全等不法目的。

  OpenAI表示,过去几年里一直有不同领域的专家来协助测试未发布的模型,现在则是要组建一支“常规部队”,网罗大量来自不同地域、不同语言、不同专业领域、不同生活经验的人,共同使得AI模型更加安全。与过往仅在重要版本上线前招一批人集中测试不同,OpenAI将会根据需求在整个开发周期中启用数量不定的成员展开测试。

  同时这个“红队”网络也将成为OpenAI的全球专家库,同时OpenAI也会提供平台,让“红队”成员之间进行交流。OpenAI也在官网上列出部分他们希望招募的专家方向,但也强调并不局限于这些领域。

Cognitive Science:认知科学

Chemistry:化学

Biology:生物学

Physics:物理学

Computer Science:计算机科学

Steganography:隐写术

Political Science:政治学

Psychology:心理学

Persuasion:说服

Economics:经济学

Anthropology:人类学

Sociology:社会学

HCI (Human-Computer Interaction):人机交互

Fairness and Bias:公平与偏见

Alignment:目标对齐

Education:教育

Healthcare:医疗保健

Law:法律

Child Safety:儿童安全

Cybersecurity:网络安全

Finance:金融

Mis/disinformation:误/假信息

Political Use:政治应用

Privacy:隐私

Biometrics:生物识别

Languages and Linguistics:语言与语言学

  顺便一提,OpenAI也表示会给参与“红队”项目的成员支付酬金(但没讲具体会给多少钱),但OpenAI也强调,参与“红队”的项目一般会要求签署保密协议,或者在某一段不特定的时间内保持沉默。

  OpenAI表示,申请通道将会在今年12月1日前保持开放,公司将滚动审核申请,后续将评估是否需要再进行公开招募。

  走上台面的OpenAI“红队”成员

  正如OpenAI所述,“红队”的建制已经存在很久,而且有不少成员已经接受过媒体的公开专访了。

  在今年4月英国《金融时报》的揭秘文章中,美国罗彻斯特大学的化学工程教授Andrew White介绍称他参加了GPT-4的“红队”测试,他的攻击目标是用ChatGPT来创造一种全新的神经毒素。White表示他用了“插件”功能,向大模型输送化学论文和化学制造商的目录,大模型甚至还给他找到了一个可以生产假想毒素的地方。

  White表示,大模型最终可以帮助许多人更快、更准确地做化学试验,但这里也有一个严重的危险,就是会有些人拿AI去做一些危险的尝试。

  在得到White的反馈后,OpenAI对系统做出了改动,确保不会回应类似的提问。根据媒体找到的10来个背景迥异的“红队”成员——有律师、教师、风控人员、安全研究人员等,大多数都位于美国和欧洲。他们透露,在GPT-4发布前的几个月里,他们大致花了10-40个小时来测试这个模型,报酬大概是每个小时100美元。

现在送您60元福利红包,直接提现不套路~~~快来参与活动吧!
海量资讯、精准解读,尽在新浪财经APP

责任编辑:周唯

美国

0条评论|0人参与网友评论
最热评论

APP专享直播

开播时间 | 1-17 19:00
南方基金:“出海”投资 QDII基金大揭秘
开播时间 | 1-17 19:00
创金合信基金 陈建军、刘毅恒:内需发力,消费能否破茧成蝶?
开播时间 | 1-17 16:00
招商基金 汪洋:债市波动加大,配置性价比还在吗?
开播时间 | 1-17 16:00
国君资管:步入2025,股债市怎么看?
开播时间 | 1-17 16:00
嘉实基金:【我是顾问 】守住钱袋子,过好幸福年
开播时间 | 1-17 16:00
光大证券李泉:四季度GDP提速,政策促进经济明显回升
开播时间 | 1-17 15:30
国投瑞银:“债”与你相遇 | 债券“牛市”还能持续吗?
开播时间 | 1-17 14:00
2025中国房地产年度趋势论坛:高培勇、伍戈、仇保兴等演讲
开播时间 | 1-17 14:00
摩根士丹利基金:“多元视角前瞻2025”摩根士丹利基金市场洞察2025年度主题策略会
开播时间 | 1-17 13:40
天弘基金:春季躁动,A股开启反弹行情?
开播时间 | 1-17 19:00
南方基金:“出海”投资 QDII基金大揭秘
开播时间 | 1-17 19:00
创金合信基金 陈建军、刘毅恒:内需发力,消费能否破茧成蝶?
开播时间 | 1-17 16:00
招商基金 汪洋:债市波动加大,配置性价比还在吗?
开播时间 | 1-17 16:00
国君资管:步入2025,股债市怎么看?
开播时间 | 1-17 16:00
嘉实基金:【我是顾问 】守住钱袋子,过好幸福年
开播时间 | 1-17 16:00
光大证券李泉:四季度GDP提速,政策促进经济明显回升
开播时间 | 1-17 15:30
国投瑞银:“债”与你相遇 | 债券“牛市”还能持续吗?
开播时间 | 1-17 14:00
2025中国房地产年度趋势论坛:高培勇、伍戈、仇保兴等演讲
开播时间 | 1-17 14:00
摩根士丹利基金:“多元视角前瞻2025”摩根士丹利基金市场洞察2025年度主题策略会
开播时间 | 1-17 13:40
天弘基金:春季躁动,A股开启反弹行情?
上一页下一页
1/10

热门推荐

男孩未完成作业被批评后举报父亲藏罂粟壳,民警查出8个 收起
男孩未完成作业被批评后举报父亲藏罂粟壳,民警查出8个

男孩未完成作业被批评后举报父亲藏罂粟壳,民警查出8个

  • 2025年01月17日
  • 02:15
  • APP专享
  • 广西台新闻910
  • 17,762
APP专享
钟睒睒连发3条朋友圈炮轰电商平台:经济的“绞肉机”,中小经营户的“周扒皮”

钟睒睒连发3条朋友圈炮轰电商平台:经济的“绞肉机”,中小经营户的“周扒皮”

  • 2025年01月17日
  • 00:09
  • APP专享
  • 我是山河君
  • 7,406
APP专享
支付宝回应付款优惠失误:未发资金追回短信,不会向用户追款

支付宝回应付款优惠失误:未发资金追回短信,不会向用户追款

  • 2025年01月16日
  • 22:40
  • APP专享
  • 我是山河君
  • 2,781
APP专享
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间
更多>
股票简称 最新价 涨跌幅
以下为热门股票
三峡能源 4.22 +0.48%
京东方A 4.34 +0.70%
TCL科技 4.92 -0.61%
中远海控 14.28 -0.90%
格力电器 46.00 -0.65%
广告

7X24小时

  • 09-27 陕西华达 301517 --
  • 09-27 润本股份 603193 --
  • 09-22 中集环科 301559 --
  • 09-21 浩辰软件 688657 103.4
  • 09-20 开特股份 832978 7.37
  • 广告
    新浪首页 语音播报 相关新闻 返回顶部