财联社
北京时间周三凌晨,美国科技初创公司OpenAI发布公告,宣布启动全球招募“红队”网络成员,旨在引入外部力量,提前挖掘出AI系统存在的缺陷和风险。
所谓的“红队”网络,即Red Teaming,概念来自于军事模拟。即找一队人来模拟假想的“敌人”,来测试本方(即“蓝队”)的准备水平。在AI领域中,“红队”的任务就是模拟黑客或者其他的潜在危险人物,试图找到大语言模型的漏洞,从而避免AI在现实社会中协助从事危害社会安全等不法目的。
OpenAI表示,过去几年里一直有不同领域的专家来协助测试未发布的模型,现在则是要组建一支“常规部队”,网罗大量来自不同地域、不同语言、不同专业领域、不同生活经验的人,共同使得AI模型更加安全。与过往仅在重要版本上线前招一批人集中测试不同,OpenAI将会根据需求在整个开发周期中启用数量不定的成员展开测试。
同时这个“红队”网络也将成为OpenAI的全球专家库,同时OpenAI也会提供平台,让“红队”成员之间进行交流。OpenAI也在官网上列出部分他们希望招募的专家方向,但也强调并不局限于这些领域。
Cognitive Science:认知科学
Chemistry:化学
Biology:生物学
Physics:物理学
Computer Science:计算机科学
Steganography:隐写术
Political Science:政治学
Psychology:心理学
Persuasion:说服
Economics:经济学
Anthropology:人类学
Sociology:社会学
HCI (Human-Computer Interaction):人机交互
Fairness and Bias:公平与偏见
Alignment:目标对齐
Education:教育
Healthcare:医疗保健
Law:法律
Child Safety:儿童安全
Cybersecurity:网络安全
Finance:金融
Mis/disinformation:误/假信息
Political Use:政治应用
Privacy:隐私
Biometrics:生物识别
Languages and Linguistics:语言与语言学
顺便一提,OpenAI也表示会给参与“红队”项目的成员支付酬金(但没讲具体会给多少钱),但OpenAI也强调,参与“红队”的项目一般会要求签署保密协议,或者在某一段不特定的时间内保持沉默。
OpenAI表示,申请通道将会在今年12月1日前保持开放,公司将滚动审核申请,后续将评估是否需要再进行公开招募。
走上台面的OpenAI“红队”成员
正如OpenAI所述,“红队”的建制已经存在很久,而且有不少成员已经接受过媒体的公开专访了。
在今年4月英国《金融时报》的揭秘文章中,美国罗彻斯特大学的化学工程教授Andrew White介绍称他参加了GPT-4的“红队”测试,他的攻击目标是用ChatGPT来创造一种全新的神经毒素。White表示他用了“插件”功能,向大模型输送化学论文和化学制造商的目录,大模型甚至还给他找到了一个可以生产假想毒素的地方。
White表示,大模型最终可以帮助许多人更快、更准确地做化学试验,但这里也有一个严重的危险,就是会有些人拿AI去做一些危险的尝试。
在得到White的反馈后,OpenAI对系统做出了改动,确保不会回应类似的提问。根据媒体找到的10来个背景迥异的“红队”成员——有律师、教师、风控人员、安全研究人员等,大多数都位于美国和欧洲。他们透露,在GPT-4发布前的几个月里,他们大致花了10-40个小时来测试这个模型,报酬大概是每个小时100美元。
责任编辑:周唯
APP专享直播
热门推荐
男孩未完成作业被批评后举报父亲藏罂粟壳,民警查出8个 收起男孩未完成作业被批评后举报父亲藏罂粟壳,民警查出8个
- 2025年01月17日
- 02:15
- APP专享
- 广西台新闻910
- 17,762
钟睒睒连发3条朋友圈炮轰电商平台:经济的“绞肉机”,中小经营户的“周扒皮”
- 2025年01月17日
- 00:09
- APP专享
- 我是山河君
- 7,406
支付宝回应付款优惠失误:未发资金追回短信,不会向用户追款
- 2025年01月16日
- 22:40
- APP专享
- 我是山河君
- 2,781
24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
投资研报 扫码订阅
股市直播
-
数字江恩今天 09:48:45
综上所述,大盘3140的反弹尚未完成,目前5分钟级别有所减速,但只要不跌破5分钟图上左肩低点,都只是上涨中继,中继震荡之后还会继续发春节红包。 -
数字江恩今天 09:48:38
1小时图来看,3674之后的三角形已经向下突破了,那么第一次反弹的压力,一定是图上的蓝色轮峰线和红色轮谷线的交点位置。这便是春节前的3140反弹15分钟级别的压力。【更多独家重磅股市观点请点击】 -
数字江恩今天 09:48:23
15分钟图来看,如果只是反弹本周这124个点,显然只是下跌中的反弹,和周线的穿头破脚线也不对应。3140终结3494的下跌之后,15分钟级别的反弹还会继续,这和5分钟级别分析的上涨中继结构是完全一致的。【更多独家重磅股市观点请点击】 -
数字江恩今天 09:47:45
5分钟图来看3140之后上周返V了最后3246的5分钟级别下跌,但这第一阶段的蓝色轮谷线,周五收盘也跌破了。这现实下周初大盘会有所震荡。但对应3140之前的结构来说,只要左边震荡最低点不跌破,那也只是头肩底结构的构筑而已,是上涨中继结构。【更多独家重磅股市观点请点击】 -
数字江恩今天 09:47:33
大盘本周成交金额略微高于上周,而成交量则略微低于上周,其实差别都很细微。大盘本周探底反弹,虽然被5周均线所压制,但也吃掉了上周的周阴线,构成了穿头破脚线组合,虽然成交量有所欠缺,但至少算是3494的下跌暂时止跌了。 -
数字江恩今天 09:47:25
下周行情展望2025.01.17 -
波段擒龙今天 08:41:50
中信证券(sh600030)公告,2024年营业收入637.89亿元,同比增长6.19%;营业利润285.06亿元,同比增长9.16%;利润总额284.18亿元,同比增长8.53%;归属于母公司股东的净利润217.04亿元,同比增长10.06%;归属于母公司股东的扣除非经常性损益的净利润215.66亿元,同比增长11.24%;基本每股收益1.41元/股,同比增长8.46%;加权平均净资产收益率8.09%,增加0.28个百分点。2024年12月31日,资产总额1.71万亿元,同比增长17.79%;归属于母公司股东权益2931.09亿元,同比增长9.03%;总股本1.48万;归属于母公司股东的每股净资产19.78元/股,同比增长9.04%。 -
波段擒龙今天 08:12:19
港股收盘,恒生指数涨0.31%,恒生科技指数涨1.40%。半导体板块涨幅居前,中芯国际(sh688981)涨超9% -
徐小明今天 07:09:54
【盘中直播】语音课见 -
波段擒龙今天 07:08:17
A股三大指数今日集体上涨,截至收盘,沪指涨0.18%,深成指涨0.60%,创业板指涨0.78%,北证50指数跌0.39%。全市场成交额11511亿元,较上日缩量1419亿元。全市场超2600只个股上涨。板块题材上,半导体、PCB、化工板块涨幅居前,小红书概念、服装家纺板块跌幅居前。