转自:中国科技网
科技日报记者 刘霞
来自美国俄勒冈州立大学工程学院和Adobe公司的科学家携手,开发出一种用于训练人工智能(AI)的新技术FairDeDup。该技术不仅能降低训练成本,而且有望减少AI系统的社会偏见。研究团队已经在近期于美国西雅图举行的IEEE/CVF计算机视觉和模式识别会议大会上介绍了FairDeDup算法。该会议是由电子电气工程师学会(IEEE)计算机协会和计算机视觉基金会(CVF)共同主办的全球顶级学术会议。
![图片来源:物理学家组织网](http://n.sinaimg.cn/sinakd20240628s/440/w800h440/20240628/d88e-ec7e6397a7a5e73cc82d0826004a8ed1.jpg)
FairDeDup是“公平重复数据消除”的缩写,指从用于训练AI系统的数据中删除冗余信息,从而大幅降低训练成本。研究人员表示,之所以将新方法命名为FairDeDup,也是因为它基于此前一种具有成本效益的方法SemDeDup。SemDeDup可以用更少的资源对AI进行训练。但这一过程会强化AI的社会偏见。在最新研究中,他们通过引入公平机制,对SemDeDup进行了改进,FairDeDup因此面世。
FairDeDup的工作原理是:通过一种名为“修剪”的过程,细化从网络上收集的图像字幕数据集。“修剪”指选择能代表整个数据集的数据子集。该工具可以感知内容,并决定保留或删除哪些数据。结果显示,FairDeDup删除了冗余数据,同时结合了可控的、人为定义的多样性维度,从而减少偏见。
![](http://n.sinaimg.cn/finance/cece9e13/20240627/655959900_20240627.png)
海量资讯、精准解读,尽在新浪财经APP
VIP课程推荐
加载中...
APP专享直播
热门推荐
收起![新浪财经公众号 新浪财经公众号](http://n.sinaimg.cn/finance/72219a70/20180103/_thumb_23666.png)
新浪财经公众号
24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)