研究& Innovation

制作技术值得信赖:bt356体育团队解决公平的隐私

bt356体育的跨学科团队获得了国家科学基金会奖,以改善保护防范攻击的公平

Abstract depiction of cybersecurity

每个人都思考网络安全有时 - 但如果我们告诉你对私人数据的攻击不会影响所有人的方式,那么怎么样?事实证明,取决于数据集,一些人口统计数据更容易受到隐私攻击的影响,可用的防御不会考虑这些差异,让一些人具有更大的风险。

这是一个由bt356体育的团队识别的网络形势,由此引领 慧(温迪)王,副教授 计算机科学系 (CS)和包括 徐徐,CS助理教授,和 俞涛,社会科学副教授 艺术学院。该团队最近颁发国家科学基金会的安全可靠的计算计划计划资助全面的项目,以公平隐私为目标。

什么是公平的隐私?

在隐私和公平的Nexus工作对王来说是很多意义。 “当我在2008年加入bt356体育时,我在数据安全上工作,然后我最终转移到数据隐私,”王说。 “近年来,我开始对机器学习的公平感兴趣。这是一个快速增长的研究主题......都在工业和学术界。然后我问自己,“为什么不在这两个主题的重叠上工作?”“

数据隐私是为了确保未经授权的用户无法访问个人数据,包括特定类型的隐私攻击,例如会员推断攻击(MIA)和属性推断攻击(AIA)。当攻击者尝试确定个人是否包含在用于培训机器学习模型的数据集中或推断个人的身份特征(例如他们的性别或政治隶属关系)的数据集中时出现。

机器学习的公平地看着人类偏置影响数据和模型本身的方式。这方面的经典例子是性别偏见。如果模型培训,其中包含包含具有烹饪和男性的性别偏见的妇女的性别偏见,那么模型将学习偏差并将其传递。

一个新的研究边境

在一起,公平的隐私探讨了嵌入式偏见如何使一些数据 - 以及人们更容易受到攻击。 “当我们考虑隐私攻击时,[我们倾向于认为这些袭击不会区分不同的人口群体,”王。 “但是当我们衡量隐私袭击 - 特别是结果 - 我们发现一些人口群与其他群体相比,一些人口统计群体特别容易受到这种攻击的影响。”

一组对隐私攻击的漏洞是与数据分发的平衡有关,所以在数据集中较小的较小数字中显示的组更脆弱。在某些情况下,如果它的备用含义,该模型可以泄漏有关某些组的信息 - 意味着它模拟培训数据,但不会概括未经概括的数据。例如,该团队研究了1994年美国人口普查数据库建造的分类模型,发现女性记录更容易受到数据集上的隐私攻击。这意味着一个真实世界的攻击者试图弄清楚某人是否是数据集的一部分如果他们的目标是一个女人,就会有更好的机会。

由于针对隐私攻击的可用防御尚未考虑这些差异,因此弱势群体不公平辩护。 “如果隐私攻击更加成功反对黑色或反对非黑人,但防御机制不会在这两组之间进行任何区分,然后当然,我们不希望通过相同机制的相当数量的保护,“王解释道。 “那么,这就是为什么,在我们的项目中,我们尝试从这个角度调查。我们希望设计一种可以在不同人口群体中提供公平保护的机制。“

该项目 - 在1月开始开球,将持续四年 - 从技术和社会角度接近公平隐私问题。该团队的使命是将公平隐私的概念正式化,使用MIAS和AIAS来展示如何以及为什么不同漏洞发生并探索现有防御机制的缺点。他们还将解决问题,设计减缓机制,以确保公平保护对这些袭击进行公平,并雇用社会科学框架来塑造这一新的研究领域。

在机器学习中建立公众信任

该项目是数据隐私研究的大小 - 但含义也是有形的。王希望解决现有的不公平性将为机器学习的可信度建立公众信心。

“人们担心机器学习可以用作攻击者的武器,”王。 “如果我们可以提供公平保证 - 也许其他项目可以提供稳健的保障或安全保障 - 人们可以更有信心在日常生活中使用机器学习。”

该项目是bt356体育学生的福音,他们将有机会在出现的情况下参加公平的隐私研究。该团队正在开发尖端课程材料作为项目的一个结果。最终,他们希望释放其他大学的教师使用课程,但bt356体育学生可以预期立即访问。

了解bt356体育的网络安全: