实现隐私保护的人工智能训练,助力日常设备智能升级

麻省理工学院(MIT)的研究团队研发出一种新技术,能够将隐私保护型人工智能训练方法的速度提升约81%。这一突破有望让更多资源有限的边缘设备,如传感器和智能手表,能够在保障用户数据安全的前提下,运行更精准的AI模型。

该团队针对联邦学习(federated learning)技术进行了效率优化。联邦学习是一种通过连接多个设备协同训练共享AI模型的方法。在此过程中,中央服务器将模型发送至各无线设备,设备利用本地数据训练模型后,将更新结果传回服务器,数据始终保留在本地,确保隐私安全。

然而,网络中并非所有设备都具备足够的存储、计算能力和稳定的连接,无法及时完成模型的存储、训练和传输,导致训练延迟,影响整体性能。

为解决这些问题,MIT研究人员提出了一种名为FTTE(Federated Tiny Training Engine)的新框架,专门应对异构无线设备网络中存在的内存限制和通信瓶颈。

FTTE的核心创新包括:

  1. 不再向所有设备广播完整模型,而是发送模型参数的子集,显著降低设备的内存需求。通过特殊搜索算法,选择在内存限制内能最大化模型准确性的参数集合。

  2. 服务器采用半异步更新策略,不必等待所有设备的反馈,而是在收到一定数量的更新后即进行训练,减少等待时间。

  3. 根据更新接收时间对设备反馈进行加权,较旧的更新权重较低,避免过时数据拖慢训练速度和降低准确率。

该方法旨在让算力较弱的设备也能参与训练,同时避免算力较强设备长时间空闲,提升整体资源利用效率。

在数百台异构设备的模拟测试中,FTTE使训练速度平均提升81%,设备内存占用降低80%,通信负载减少69%,且模型准确率接近传统方法。研究人员指出,虽然速度提升带来一定准确率的轻微下降,但在许多应用场景中这种权衡是可以接受的,尤其是在资源受限设备上节省电池寿命更为重要。

此外,FTTE在实际设备网络中也表现出良好的适应性和扩展性,特别适合发展中国家等使用较低端手机的用户群体。

未来,研究团队计划探索如何利用该方法提升每台设备上AI模型的个性化表现,并开展更大规模的真实硬件实验。

该研究部分由Takeda博士奖学金资助,成果将于IEEE国际神经网络联合会议上发布。


分享:


发表评论

登录后才可评论。 去登录