文章针对其他联邦学习框架存在的问题,包括:

中央服务器需要和所有节点进行通信,对于计算性能较差的节点性能负担大,整个框架的通信成本高

各个节点共用一个全局模型,未考虑节点的个性化需求(非独立同分布的用户任务数据)

提出了对应的解决方案(PerFedRec framework):

框架由两部分组成,user-side 端到端本地推荐网络和server-side聚合器组成。

user-side 端到端本地推荐网络分为三部分,负责原始数据编码的Raw Embedding Model、Local GNN Model(图卷积网络,文章实验中使用了Light GCN)、Personalized Prediction Module(生成预测模型)

在Raw Embedding Model中,文章基于用户属性信息、item 信息,使用attention机制,将用户与item的协作信息结合(文章未详细说明结合信息,猜测根据接单频次,对不同类型任务进行了降权重等操作),训练过程中,用户embeddings本地存储,item embeddings全局共享。

在Local GNN Model中,文章将用户embeddings和这个用户协作过的item的ID加密并上传到服务器,服务器将信息发送给同样与该item交互过的用户(其中所谓的ID具体用作何用,未解释,文章只提到采用与Federated Social Recommendation with Graph Neural Network相同的方式),最终每个用户使用本地user-item交互矩阵和从服务器获得的信息,训练自己的模型。

在Personalized Prediction Module,文章分别训练节点本地模型、用户簇模型和全局模型,并将三个模型根据权重α,α,α,最终实现个性化预测。

server-side聚合器主要实现相似用户的聚类、聚类后参与训练的用户选择、以及全局模型和用户簇模型的聚合、用户embeddings与服务器交互(加密的情况下)、item embeddings全局更新。

文章未对Raw Embedding Model中使用的特征信息作详细说明,例如任务类型、任务空间信息等。其次在相似用户簇中随机挑选用户进行训练的方式,未考虑用户参与训练的积极性,未采取相应的激励机制,同时随机挑选的用户是否能代表用户簇内绝大多数用户偏好,文章并未验证说明;

因文章中提到了GNN,最近也对GNN的相关概念进行了学习,但是并不够深入,GNN在推荐系统中被应用,但阅读文章时有很多涉及原理的知识,不是很懂,后面也会继续学习相关知识。最后,关于文章中提到的Federated Social Recommendation with Graph Neural Network,使用GNN实现推荐,打算进行详细阅读。