【论文笔记】Reconstructing Training Data with Informed Adversaries(S&P 2022)
摘要&介绍
由于机器学习模型可以有“记忆”功能,那么当训练数据涉及隐私信息时,若被攻击者还原出原始训练数据,就会很危险。这个论文就是探讨这样的攻击是否可能。
所有的训练数据中,只有一个是未知的。目标就是还原出这一个未知的数据样本,找到攻击的方式、泄露多少信息可以达到被还原、哪些特性会导致可还原、自我检查模型的安全性(不泄露信息)
本文提出了一种研究ML模型重构攻击的可行性的通用方法,而无需假设模型的类型或访问中间梯度,并启动了一项能够防止这类攻击的缓解策略的研究
RecoNN一种用于重现数据而训练的神经网络