搜索
返回主站
English

  • 学院概况
    • 学院简介
    • 院长致辞
    • 学院手册
    • 学院视频
    • 联系我们
  • 学院资讯
    • 学院新闻
    • 学院简报
    • “师说”教授专访
    • 最新公告
  • 教育教学
    • 本科专业
      • 数学与应用数学
      • 物理学
      • 化学
      • 材料科学与工程
      • 新能源科学与工程
      • 电子与计算机工程
      • 金融工程(与经管学院、数据科学学院联合开办)
      • 香港中文大学特别交流学习计划
      • 双主修项目
      • 哥伦比亚大学工程学院3+2直硕项目(哥大班)
      • 本硕连读精英班(翔龙鸣凤班)
      • 直硕计划
      • 直博班
      • 教务Q&A
    • 理学硕士项目
      • 通信工程理学硕士
      • 计算机与信息工程理学硕士
      • 人工智能与机器人理学硕士
      • 集成电路与系统理学硕士
      • 金融数学理学硕士
      • 供应链与物流管理高级管理人员硕士(兼读制)
    • 研究型硕博项目
      • 数学
      • 物理学
      • 化学
      • 材料科学与工程
      • 能源科学与工程
      • 计算机与信息工程
      • 生物医学工程
  • 师资力量
    • 教职人员
    • 研究人员
  • 学术科研
    • 科研领域
    • 实验室
    • 科研速递
    • 学术活动
      • 翔龙鸣凤科学论坛
      • 活动预告
      • 活动回顾
    • 材料表征与制备中心
  • 理工学生
    • 学生活动
    • 学生成就
    • 学生风采
    • 学生社团
    • 创新作坊
      • 关于我们
      • 设备列表
      • 创意点子
  • 职业发展
    • 关于我们
    • 职业手册
    • 国际合作与交流
      • 交流交换项目
      • 联合培养项目
    • 升学与就业活动
      • 最新动态
      • 行业分享
      • 求职工作坊
      • 升学工作坊
    • 升学就业咨询平台
    • 校友录
  • 人才招聘
  • 学院概况
    • 学院简介
    • 院长致辞
    • 学院手册
    • 学院视频
    • 联系我们
  • 学院资讯
    • 学院新闻
    • 学院简报
    • “师说”教授专访
    • 最新公告
  • 教育教学
    • 本科专业
      • 数学与应用数学
      • 物理学
      • 化学
      • 材料科学与工程
      • 新能源科学与工程
      • 电子与计算机工程
      • 金融工程(与经管学院、数据科学学院联合开办)
      • 香港中文大学特别交流学习计划
      • 双主修项目
      • 哥伦比亚大学工程学院3+2直硕项目(哥大班)
      • 本硕连读精英班(翔龙鸣凤班)
      • 直硕计划
      • 直博班
      • 教务Q&A
    • 理学硕士项目
      • 通信工程理学硕士
      • 计算机与信息工程理学硕士
      • 人工智能与机器人理学硕士
      • 集成电路与系统理学硕士
      • 金融数学理学硕士
      • 供应链与物流管理高级管理人员硕士(兼读制)
    • 研究型硕博项目
      • 数学
      • 物理学
      • 化学
      • 材料科学与工程
      • 能源科学与工程
      • 计算机与信息工程
      • 生物医学工程
  • 师资力量
    • 教职人员
    • 研究人员
  • 学术科研
    • 科研领域
    • 实验室
    • 科研速递
    • 学术活动
      • 翔龙鸣凤科学论坛
      • 活动预告
      • 活动回顾
    • 材料表征与制备中心
  • 理工学生
    • 学生活动
    • 学生成就
    • 学生风采
    • 学生社团
    • 创新作坊
      • 关于我们
      • 设备列表
      • 创意点子
  • 职业发展
    • 关于我们
    • 职业手册
    • 国际合作与交流
      • 交流交换项目
      • 联合培养项目
    • 升学与就业活动
      • 最新动态
      • 行业分享
      • 求职工作坊
      • 升学工作坊
    • 升学就业咨询平台
    • 校友录
  • 人才招聘
返回主站
English

面包屑

  • 首页
  • 学术科研
  • 科研速递
  • 科研速递丨理工学院唐晓莹教授团队在机器学习会议ICML2023上发表文章

科研速递丨理工学院唐晓莹教授团队在机器学习会议ICML2023上发表文章

2023-05-06 科研速递

会议介绍

ICML(International Conference on Machine Learning,国际机器学习大会)为国际机器学习学会主办的国际会议,被公认是人工智能、机器学习领域最顶级的国际会议之一。

 

摘要

联邦学习是一种隐私保护的分布式机器学习范式。为了提高通信效率,通常使用local SGD进行模型训练。然而,由于不同客户端设备上数据的多样性,这种方案目前有收敛缓慢、不稳定的缺点。本论文提出了FedBR,通过减少特征提取器和分类器在本地训练时相对全局模型的偏移,来解决local SGD带来的问题。本论文在多种数据集(MNIST,CIFAR10和CIFAR100)以及多种网络结构(CNN,VGG,Transformer)上进行实验,结果说明了FedBR相对于其他SOTA算法的有效性。

 

主要贡献

1. 本论文提供了一个统一的视角,来解释面对异构数据的FL本地训练中的困难。本论文提出了三个关键的问题:(1)本地分类器的输出分布不均衡;(2)对于相同的输入数据,本地特征与全局特征的不一致;(3)对于不同输入数据,本地特征过于接近。

 

2. 本论文提出了FedBR,通过使用少量的全局虚拟数据来解决本地训练偏移的问题。FedBR包含两个部分:(1)约束分类器输出,使分类器输出分布更均衡;(2)通过对抗对比学习的方式使学习到的本地特征与全局特征更接近,同时使不同输入数据得到的本地特征之间的边界更清晰。

 

3. 本论文通过实验充分证明了FedBR相对其他SOTA解决方案的有效性,且FedBR的两个组成部分都可以有效的改善FL的本地训练过程。此外,相比于其他使用全局虚拟数据的方法,FedBR可以在使用更少的全局数据的情况下得到更好的训练结果,从而提高了训练的效率。

 

作者简介

本论文通讯作者为香港中文大学(深圳)理工学院助理教授唐晓莹。

唐晓莹,香港中文大学(深圳)理工学院助理教授、博士生导师,兼任深圳市人工智能与机器人研究院副研究员。分别于电子科技大学英才实验学院、香港中文大学信息工程系获学士、博士学位,2016至2019分别在瑞士联邦理工学院担任研究科学家以及在香港中文大学任职博士后研究员。入选龙岗区深龙英才。入选IEEE PES中国区电动汽车技术委员会委员,并担任电动汽车与能源交通系统融合技术分委会常务理事。目前主持国家自然科学基金青年项目一项。

唐晓莹教授的主要研究方向为联邦学习算法理论、模型泛化以及充电网络优化等人工智能交叉领域。以第一作者获得IEEE SmarGridComm 2013年唯一最佳论文奖,以第一作者在国际知名出版社Springer出版科研专著“Optimal charging control of electric vehicles in smart grids”。曾担任IEEE ICC 2019智能电网研讨会副主席、ICCC2021MWN分会主席、WOCC2022注册与财务主席以及国际顶级会议如IEEE SmartGridComm、IEEE PSCC、IEEE Globecom等技术委员会会员,以及ICML、NeurIPS、TSG、TPWRS、TII、IOJT等国际顶级期刊或会议的审稿人。

 

本论文第一作者为香港中文大学(深圳)在读博士生郭永新。

郭永新,2020年毕业于南开大学软件工程专业,目前在香港中文大学(深圳)唐晓莹教授团队攻读博士学位。主要研究方向为时空异构数据下的联邦学习。

 

相关推荐

科研速递 | 理工学院张祺教授团队在Science Advances上发表文章

科研速递 | 理工学院沈闓明教授团队在IEEE TWC发表文章
科研速递 | 理工学院李镇教授团队在Nature Communications发表文章
关注我们
发现我们
  • 校园地图 联系方式 工作机会
探索更多
  • 招生办 教务处 学术交流处 科研处 图书馆
传媒聚焦
  • 学院新闻
版权所有 © 香港中文大学(深圳)理工学院