在当今社会，数据已成为推动人工智能发展的核心驱动力。然而，数据的安全性和隐私问题却阻碍了其潜力的充分释放。微软致力于推动负责任的人工智能，并正在开发多种技术，以增强隐私保护和数据安全。本文将介绍微软亚洲研究院在机器学习隐私领域的最新研究进展，同时探讨深度学习中的隐私攻击与保护措施。
数据不仅是人工智能创新的动力，也是组织和个人的重要资产。因此，只有在确保数据安全和隐私的基础上，云计算与人工智能的结合才能充分释放数据的潜能，实现效能共享。
加密数据已成为存储和传输的行业标准，而机密计算则进一步保护在计算过程中的数据，降低恶意软件、内部攻击及管理者失误等风险。机密计算主要关注数据在计算过程中的保护及攻击方法。那么，发布计算结果是否会导致隐私泄露呢？比如，发布一个经过训练的深度神经网络模型是否会暴露其训练数据？如何控制和降低计算结果中隐私泄露的风险？接下来我们将探讨这些问题。
训练好的模型真的会泄露隐私吗？
这个问题的答案并不简单：一方面，训练好的神经网络与训练数据之间存在一定的关系，互信息大于零；另一方面，从模型参数中精确恢复训练数据是极其困难的。一个较为简单的概念是成员推断——给定一个训练好的模型，判断某个特定样本是否源自训练集。如果成员推断的准确率很高，那么模型泄露隐私的风险也相对较大，且在某些情况下，成员信息本身也是需要保护的隐私信息。
最近有研究利用成员推断成功识别出GPT-2（一种大型语言模型）所记住的训练数据，提取了诸如地址、姓名、电话和邮箱等敏感信息。这表明，发布在敏感数据上训练的大型模型可能会带来显著的隐私风险。
通常认为，隐私泄露与过拟合密切相关，过拟合表明模型记住了训练集中的样本。尽管过拟合是隐私泄露的充分条件，许多研究也利用过拟合进行隐私攻击，但过拟合与隐私泄露之间的关系并不完全相同。
在刚刚结束的AAAI 2021大会上，微软亚洲研究院与中山大学合作的研究“数据增强对机器学习隐私的影响”对此进行了深入探讨。人们通常认为，泛化误差较小的模型隐私泄露风险较低。然而，该研究表明数据增强如何影响成员推断，挑战了这一观念。数据增强是一种广泛应用于机器学习的训练技巧，可显著提高模型的泛化能力。在模型训练中使用数据增强时，研究人员提出了一种新的成员推断算法，将成员推断视为集合分类问题，即对一组增强实例进行分类，而非单个数据点。对此，研究人员还设计了输入置换不变的神经网络。
实验证明，当模型经过数据增强训练时，该方法普遍优于原始方法。在某些经过数据增强训练的模型上，成员推断的成功率甚至高于未经过数据增强训练的模型，而前者通常具有更高的测试准确率。这些结果表明，通过数据增强训练的模型隐私风险可能被严重低估。
既然我们意识到了模型泄露隐私的风险，那么如何构建具备隐私保证的共享模型呢？这就需要引入差分隐私。差分隐私确保计算结果的安全共享。由于其严谨的数学基础，差分隐私被视为隐私保护的黄金标准。应用差分隐私可以从数据集中提取有用信息，同时确保模型无法从结果中识别出任何个体。
差分隐私从统计学角度衡量和控制模型对训练数据的泄露。它描述了单个数据样本对模型的影响：一个随机算法M符合(ϵ, δ)-DP意味着对于任何两个相邻的数据集S, S’以及任何事件E，有P(M(S)∈E)≤e^ϵ P(M(S’)∈E)+δ。具体而言，差分隐私通常是通过对每次查询结果增加少量噪声来掩盖单个数据点的影响，并跟踪累积查询的隐私损失，直到达到总隐私预算，之后不再允许查询。为保证差分隐私所添加的噪声可能会影响结果的准确性，但如果查询结果的维数较小，则影响不大。
噪声扰动哪家强？
在机器学习中实现差分隐私的一种常用方法是添加噪声，以掩盖单个数据点的影响。微软亚洲研究院与中山大学在最近的研究“梯度扰动在差分隐私凸优化中的被低估性”中介绍了相关工作，该论文被IJCAI 2020接收。研究人员发现，加入噪声的梯度扰动算法与优化算法之间存在相互影响，噪声可以使优化算法避开最差曲率方向，而优化算法的收缩性则可以减弱之前步骤所添加的噪声。因此，研究人员在分析中利用这一相互影响，推导出基于期望曲率的理论性能，明确显示梯度扰动相较于其他两种扰动方式的优势。梯度扰动依赖于期望曲率，而目标扰动或输出扰动则依赖于最差曲率，这在实践中期望曲率通常较大。研究人员还指出了其他两种扰动无法利用这种相互影响的原因——在目标扰动和输出扰动中，需要确定单个数据点对最终模型的影响，而这些影响由目标函数的Lipschitz系数和强凸系数决定，且与优化算法无关。由此，梯度扰动成为实现差分隐私机器学习的有效算法。
然而，在应用DP-SGD训练大规模深度神经网络模型时，依然面临巨大的挑战。由于差分隐私性能存在明显的维数依赖，模型参数越多，添加的噪声越多，这导致大模型的性能显著下降。而如今的深度学习模型通常包含大量参数，使用合理的隐私预算时，应用DP-SGD训练的深度神经网络表现并不理想。那么，如何克服DP-SGD的维数依赖问题呢？
模型大，维数高，保证DP再难也要上？
维数依赖性是应用差分隐私的一个根本性难题。为应对“维数”挑战，微软亚洲研究院的研究人员在最近的论文“不要让隐私过度影响效用：用于私有学习的梯度嵌入扰动”中提出了一种新算法“梯度嵌入扰动（GEP）”。其基本思路是，尽管模型维数较大，但梯度通常在低维空间中，这一认知在实践中得到了广泛验证。研究人员利用这一特性，将模型梯度先投影到低维空间，再进行扰动，从而巧妙地绕过维数依赖的问题。
具体而言，在每个梯度下降步骤中，首先使用辅助数据估计一个锚点空间，然后将私有梯度投影到锚点空间，得到低维梯度嵌入和小范数的残余梯度，随后分别对梯度嵌入和残余梯度进行扰动，以确保差分隐私预算。总体而言，可以使用比原始梯度扰动低得多的扰动，以保证相同的隐私水平。
梯度嵌入扰动的特点包括：首先，使用的非敏感辅助数据假设相比于以往工作中的公开数据假设要弱很多——梯度嵌入扰动仅需少量非敏感无标记数据，并要求其特征分布与私有数据相似。其次，梯度嵌入扰动同时对低维梯度嵌入和残余梯度进行扰动，这是一种目标梯度的无偏估计，也是实现良好性能的关键。第三，使用幂法估计梯度矩阵的主成分，从而实现简单高效。
这种分解所使用的噪声相对较小，有助于打破隐私学习中的维度障碍。借助梯度嵌入扰动，研究人员在合理的隐私预算下实现了深度模型的良好准确性。在隐私预算ϵ=8的情况下，实验在CIFAR10上达到了74.9%的测试准确度，在SVHN上达到了95.1%的测试准确度，大幅提升了现有结果。梯度嵌入扰动是首个从头训练实现此效果的算法，并且隐私预算仅为“个位数”。如果使用ImageNet预训练模型，梯度嵌入扰动还可以在CIFAR10验证集上取得94.8%的准确率。
通过深入研究隐私攻击以及利用训练深度神经网络模型时梯度的低秩特性，微软亚洲研究院的研究人员正努力将隐私保护应用于深度神经网络模型中，使用户在处理敏感数据时也能安全使用现代机器学习技术。研究人员相信，隐私保护与机器学习性能并不对立，因为它们从根本上是互补的——隐私保护个体，学习挖掘整体。未来，隐私保护研究将进一步释放可利用的“燃料”，推动人工智能的边界和性能提升。
