转自：科创中国
记者5月4日从天津理工大学获悉，该校计算机科学与工程学院副教授亓帆及其研究生李帅，针对多模态联邦学习中常见的模态不兼容问题展开深入研究，提出了一种创新的自适应超图聚合的多模态联邦学习框架。近日，该成果论文被计算机视觉和人工智能领域国际公认的顶级会议CVPR 2024录用。
据介绍，现有联邦学习方法只会传输模型参数或梯度，不会传输每个客户端的隐私数据，这有助于保护用户隐私。然而，大多数现有联邦学习方法在训练时仍然使用单模态数据。随着边缘计算不断发展，多模态数据越来越多。基于此，研究多模态联邦学习十分必要。
该框架通过结构化设计客户模型、全局共识原型增强器及自适应超图聚合协作图三大关键模块，可自适应地完成多模态客户端之间模型的聚合，实现跨模态数据客户端之间的联邦协同训练，解决了模态不兼容和统计异质性挑战。
（来源:科技日报 作者: 陈曦）
海量资讯、精准解读，尽在新浪财经APP
VIP课程推荐
加载中...
APP专享直播
热门推荐
收起
新浪财经公众号
24小时滚动播报最新的财经资讯和视频，更多粉丝福利扫描二维码关注（sinafinance）
