当前位置: 首页 > news >正文

联邦元学习实现个性化物联网的框架

随着数据安全和隐私保护相关法律法规的出台,需要直接在中央服务器上收集和处理数据的集中式解决方案,对于个性化物联网而言,训练各种特定领域场景的人工智能模型已变得不切实际。基于此,中山大学,南洋理工大学,北京大学,奥斯陆大学以及普林斯顿大学联合提出了一个安全、经济高效且领域自适应的框架——Cedar,以隐私保护的方式训练个性化模型。本质上,Cedar 集成了联邦学习和元学习,从而在个性化物联网中实现安全的知识转移,从而构建具有高泛化能力且可被客户端快速调整的模型。通过使用来自不同领域的标准数据集进行评估,Cedar 在效率和安全性等方面均取得了显著的提升。这些结果揭示了联邦元学习的可行性和稳健性,从而释放了人工智能在改革个性化物联网方面的潜力。

fig1

论文:You, L., Guo, Z., Yuen, C. et al. A framework reforming personalized Internet of Things by federated meta-learning. Nat Commun 16, 3739 (2025). https://doi.org/10.1038/s41467-025-59217-z
论文链接:https://www.nature.com/articles/s41467-025-59217-z
项目地址:https://github.com/IntelligentSystemsLab/generic_and_open_learning_federator

目录

  • 联邦元学习与PIoT
  • Cedar框架

联邦元学习与PIoT

PIoT即个性化IoT,兼顾整体系统效率和IoT端的个性化服务。AI模型在服务端收集高质量样本训练,然后根据个人偏好微调。为了发挥PIoT在边缘计算的优势,目前面临以下问题:

  • 服务器上的集中训练不足:原因是客户端隐私保护导致服务端的数据难以进一步扩展和质量提高。
  • PIoT客户端的个性化需求越来越明显:集中模型不能给个体带来最合适的response,在客户端定制和微调模型非常必要。

因此,需要一个以协作为导向的隐私保护FL框架。通过聚合学习参与者上传的本地模型来训练全局模型,而不是直接在服务器上收集和处理私人数据。目前FL为了获得一个与全局模型能力相当的客户端模型依然面临下面挑战:

  • 不同客户端的数据是Non-IID的,直接汇总客户端模型,会导致全局模型在主要样本上过拟合,阻碍个性化
  • 需要降低协作的成本:服务器和客户端频繁上传和发送模型会造成通信成本增加
  • 在开放的网络中,会面临攻击,恶意客户端会上传有毒的模型

针对三个挑战,分别有下面解决方案:

  • 对于数据异质性:1.过滤局部数据训练,2.知识蒸馏,元学习,原型学习提取代表性知识训练全局模型
  • 对于成本:1.减少模型大小和学习轮数,2.优化云-边缘的协作拓扑
  • 对于攻击:同态加密,安全多方计算防御恶意客户端

目前这些方案的缺陷是,不能直接组合到PIoT中,比如提高了安全性,学习成本会增大,或者降低成本,模型性能下降。Cedar集成了联邦学习和元学习,可以保护隐私并用元模型快速适应个性化领域,非对称的模型上传机制提高协作效率,并防御攻击。Cedar封装在GOLF中(generic and open learning federator)。

Cedar框架

Cedar的三个阶段,1.学习准备,2.元模型训练,3.模型部署(图a)

  • 阶段1:服务端(协调器-coordinator)收到客户端的更新请求,首先会激活有训练数据集的客户端
  • 阶段2:元模型通过协调器与客户端交互进行训练,首先,协调器把任务规范发给激活的客户端,每个客户端在本地训练,上传重要层(节省成本)到服务器聚合更新为全局元模型。
    对于阶段2,考虑到Non-IID的数据异质性,Cedar不从客户端提取局部知识再聚合,而是用元学习获得可泛化的全局元模型----图b
    Cedar自动过滤重要模型层,并只上传重要层,节省成本----图c
    Cedar利用非对称模型进行防御,协调器可以检测异常的更新----图d
  • 阶段3:训练完全局元模型后,PIoT中的客户端下载元模型,根据本地数据微调,获得个性化模型—图e

fig2

相关文章:

  • 类加载器与jvm的内存
  • 【数学建模】孤立森林算法:异常检测的高效利器
  • 3.1goweb框架gin下
  • 大模型学习笔记------Llama 3模型架构之分组查询注意力(GQA)
  • 轻量级别的htpp客户端--Forest
  • Mysql 读写分离(3)之 schema.xml基本配置
  • Linux系统之----进程的概念
  • 【动手学强化学习】番外8-IPPO应用框架学习与复现
  • [预备知识]4. 概率基础
  • DES、3DES、SM4 加密算法简介
  • 【RuleUtil】适用于全业务场景的规则匹配快速开发工具
  • Post-Processing PropertySource instance详解 和 BeanFactoryPostProcessor详解
  • 信息系统项目管理师_第十三章 项目干系人管理
  • MySQL 双主复制架构入门
  • Sentinel数据S2_SR_HARMONIZED连续云掩膜+中位数合成
  • JDK安装超详细步骤
  • Java中实现单例模式的多种方法:原理、实践与优化
  • 【Git】fork 和 branch 的区别
  • 复盘2025北京副中心马拉松赛
  • 大模型面经 | 春招、秋招算法面试常考八股文附答案(四)
  • 因高颜值走红的女通缉犯出狱后当主播自称“改邪归正”,账号已被封
  • 一个失败的赛季咎由自取,皇马只能把希望留到夏天
  • 最高法知产庭年度报告:民事案件二审发回重审率持续下降
  • 人民日报任仲平:为什么中国意味着确定性、未来性、机遇性
  • 三亚一景区发生游客溺亡事件,官方通报:排除他杀
  • 政治局会议:创新推出债券市场的“科技板”,加快实施“人工智能+”行动