首页 资讯头条人工智能正文

研究人员提出Falcon,一种用于AI训练和推理的保护隐私的通信协议

2020-04-11_071028.jpg

在本周于预印本服务器上发表的一篇学术论文中,来自普林斯顿大学,微软公司,非营利组织Algorand Foundation和Technion的研究人员团队提出了Falcon,这是一种用于在分布式系统上安全计算AI模型的端到端框架。他们声称这是第一个支持大容量AI模型和批处理规范化的安全C ++框架,该技术可同时提高模型的速度和稳定性。此外,他们说,猎鹰在检测到恶意攻击者时会自动中止,它的性能可能比现有解决方案高200倍。

这些说法是崇高的,但如果事实真相如此,那么猎鹰可能会朝着针对隐私和安全性至关重要的领域量身定制的渠道迈出一步,例如医疗保健。尽管出现了诸如联合学习和同态加密之类的技术,但在没有计算权衡的情况下以保护隐私的方式运行机器学习模型仍然是一项尚未解决的挑战。

从本质上讲,Falcon假定在分布式AI使用场景中有两种类型的用户:拥有培训数据集的数据持有者和查询系统后学习的查询用户。在来自数据持有者的数据上训练感兴趣的机器学习模型,然后由查询用户查询,以便数据持有者在服务器之间安全地共享其数据(服务器使用共享数据并安全地训练模型)。查询用户可以将查询提交到系统,并根据新训练的模型接收答案,这样,数据持有者的输入就可以从计算服务器获得隐私,并且查询是保密的。

Falcon利用新协议来计算非线性函数,例如整流线性单元(ReLU)(一种激活函数)。AI模型包含神经元(数学功能),这些神经元分层排列以传输来自输入数据的信号并调整每个连接的强度(权重)。他们就是这样提取特征并学会做出预测的。节点的激活函数在考虑给定权重和错误源的情况下定义给定输入的节点输出。

Falcon还使用半诚实的协议,其中当事方必须严格遵守预先规定的规则,并且不能更改其输入或输出;而恶意协议则使用恶意的协议,其中被破坏的当事方可以通过切换输入和输出或忽略所述规则来偏离规则。此外,它结合了现有技术以对较小的数据类型进行操作,从而将通信复杂性降低了多达2倍。

为了评估Falcon的性能,该团队将其运行在六个不同的模型上,范围从具有118,000个参数的3层网络(进行预测时所需的模型内部配置变量)到具有1.38亿个参数的16层网络。根据网络规模在MINST,CIFAR-10和Tiny ImageNet上进行了培训。他们测试了具有不同地理区域的服务器的WAN网络和LAN网络,在两种情况下,他们都依赖Amazon Elastic Cloud Compute实例进行计算(具有16核Intel处理器和64GB RAM)。

根据合著者的说法,Falcon的推理速度快了几个数量级,分别比基线Gazelle,XONN和SecureNN快32倍,16倍和8倍。在私人培训中,它比ABY快4.4倍,比SecureNN快6倍。

研究人员还断言,与纯文本,不安全的模型执行相比,Falcon(包含约12,300行代码)不会造成很多性能损失。在针对图像分类模型AlexNet的单个历元(即完整通过训练数据)的测试中,Falcon在CPU上花费了2300秒,而在纯文本上花费了570秒,相差6倍。

该团队将Falcon的大部分性能提升归功于其对批量归一化的支持,他们说通过允许更高的学习率来加快模型训练的速度。防止激活的极端值;并通过提供可提高训练稳定性的正则化效果来减少过度拟合(当模型对数据集学习得太好时发生的现象)。

研究人员总结道:“ [某些]数据的敏感本质需要深度学习框架,该框架允许对来自多个实体的数据进行训练,同时确保强大的隐私和机密性保证。” “安全计算基元与深度学习算法的协同结合将使敏感应用程序受益于神经网络的高预测精度。”

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

Copyright © 2020 未知资讯 特别赞助:智慧城市 群晖NAS 苏ICP备19070053号-2