READ-2355 Byzantine-robust Federated Learning through Collaborative Malicious Gradient Filtering

论文名称 Byzantine-robust Federated Learning through Collaborative Malicious Gradient Filtering
作者 Jian Xu; Shao-Lun Huang; Linqi Song; Tian Lan
来源 IEEE ICDCS 2022
领域 Machine Learning - Federal learning - Security – poisoning attack
问题 1.辅助数据在实践中可并不总是可用的;2.精心设计的攻击可以绕过大多数基于中值和距离的统计防御方法
方法 由于梯度向量的元素符号可以在检测模型中毒攻击方面提供有价值的洞察力,提出SignGuard:首先处理接收到的梯度以生成相关的幅度、符号和相似性统计信息,然后由多个过滤器协作地利用这些统计信息以在最终聚合之前消除恶意梯度

阅读记录

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


总结

  • 从客户端更新的大小上看,小幅度的梯度对训练的危害较小,而大幅度的梯度是恶意的,因此应该执行宽松的下阈值和严格的上阈值;从客户端更新的方向上看,梯度向量的元素符号分布可以为检测高级模型投毒攻击提供有价值的信息