来源:电商天下
编辑 | 周博
报道 | 电商天下
近日,多个微信群流传一则消息:“某头部大厂的大模型训练被实习生入侵,注入了破坏代码,导致其训练成果不可靠,可能需要重新训练。据称遭到入侵的代码注入了8000多张卡,带来的损失可能超过千万美元。”
据了解,此事发生于今年6月,起因是某高校的博士在字节跳动商业化技术团队实习,因对团队资源分配不满,使用攻击代码破坏团队的模型训练任务。
传闻显示,该田姓实习生利用了HF(huggingface)的漏洞,在公司的共享模型里写入破坏代码,导致模型的训练效果忽高忽低,无法产生预期的训练效果,而且AML团队无法核查原因。
据一位前字节技术员工表示:“字节AI Lab的实习生权限和正职员工差异不大,也使得此次事件有了发生的机会,”其也对此次事件带来的恶性影响表达了担忧,“这件事之后肯定会极大地收缩实习生的权限”。
10月19日,字节跳动回应称,确有实习生发生严重违纪行为并已被辞退,但相关消息存在部分夸大及失实信息。
字节跳动称,涉事实习生恶意干扰商业化技术团队研究项目的模型训练任务,但并不影响商业化的正式项目及线上业务,也不涉及字节跳动大模型等其他业务;网传“涉及8000多卡、损失上千万美元”严重夸大。
并且,经核实,涉事人一直在商业化技术团队实习,并没有AI Lab实习经历;其社交媒体个人简介等有误。该实习生已在8月被公司辞退。公司也将其行为同步给行业联盟和所在学校,交由校方处理。
事情至此告一段落,但大模型在安全性方面的问题显然必须引起高度关注。
今年8月,中国信通院发文称,近年来,以大模型为核心的人工智能技术飞速发展,成为数字经济增长新动能。然而,作为新质生产力的大模型在安全性方面仍存在较多缺陷,这为其大规模落地应用带来了不确定性。
近期,中国信通院发布的大模型安全基准AI Safety Benchmark的测试结果显示,大模型(尤其是开源大模型)在恶意诱导手段下的攻击成功率均较原始输入有明显提升。因此,对大模型进行安全对齐防护刻不容缓。
特别声明:以上内容仅代表作者本人的观点或立场,不代表新浪财经头条的观点或立场。如因作品内容、版权或其他问题需要与新浪财经头条联系的,请于上述内容发布后的30天内进行。
400-690-0000 欢迎批评指正
All Rights Reserved 新浪公司 版权所有