给机器下「遗忘咒」?谷歌发起首个机器遗忘挑战赛

机器学习经常被提及,那你有听过机器遗忘吗?

机器学习的目的大家都了解,它能够帮助我们的工作提升效率。但是机器遗忘是何目的?难道是「弃学」?

给机器下「遗忘咒」?谷歌发起首个机器遗忘挑战赛

现在,不仅关于机器话题的讨论变得火热,甚至出现专门为机器遗忘组织的挑战。

近日,谷歌 AI 宣布联合广泛的学界与业界研究团队,组织首个机器遗忘挑战赛(Machine Unlearning Challenge)。

至于举办这一机器遗忘挑战赛的目的,谷歌表示希望有助于推进机器遗忘的 SOTA 水平,并鼓励开发高效、有效和合乎道德的遗忘算法。

给机器下「遗忘咒」?谷歌发起首个机器遗忘挑战赛图片

比赛内容都有啥?

具体地讲,该挑战赛考虑这样一个真实场景:其中一个年龄预测器在人脸图像数据上进行了训练,接着在训练后,训练图像的某个子集必须被遗忘,以保护相关个人的隐私或其他权利。

给机器下「遗忘咒」?谷歌发起首个机器遗忘挑战赛图片

摘自 Face synaesthetics 数据集的图像以及年龄注释。

比赛将在 Kaggle 平台上举办,提交的作品将根据遗忘质量和模型实用性进行自动评分。

其中对于评估遗忘,本次挑战赛将使用受成员推理(Membership inference attacks, MIAs)启发的工具,如 LiRa。MIAs 最初是在隐私和安全文献中开发,其目的是推断哪些示例是训练集的一部分。

直白地讲,如果遗忘成功,遗忘过的模型中将不包含被遗忘示例的痕迹,这会导致 MIA 失败,即进攻者无法获知被遗忘集实际上是原始训练集的一部分。

此外,评估中还将使用统计测试来量化「遗忘模型的分布」与从头开始重新训练的模型的分布的差异程度。

相关比赛的信息可以查阅以下两个链接:

或许有读者要问了,为什么在机器学习的浪潮中,还会有这样一股机器遗忘的「逆流」奔涌呢?

什么是机器遗忘

机器遗忘是机器学习的一个新兴领域,最终目的是消除一个训练模型特定训练样本子集的影响,即消除「遗忘集」(forget set)的影响。

此外,较为理想的遗忘算法在消除某些样本影响的同时,还应该保留其他有益的特性,比如在其余训练集上的准确性以及对保留样本的泛化性。

下图为遗忘学习的剖析。遗忘算法将一个预训练模型以及要遗忘的训练集中的一个或多个样本作为输入。然后基于该模型、遗忘集和保留集,遗忘算法会生成一个更新模型。理想遗忘算法生成的模型与没有遗忘集参与训练的模型没有区别。

给机器下「遗忘咒」?谷歌发起首个机器遗忘挑战赛图片

其实,有一个很「暴力」的方法能够得到这种理想的模型,就是在排除遗忘集样本后,重新训练模型。这个「暴力」手段虽立竿见影,但并不可行,因为重新训练深度模型的成本实在太过高昂。

因此,遗忘学习算法应该是以训练好的模型作为基点,并对其进行调整,来消除所要求数据带来的影响。

机器遗忘学习不仅仅应用于保护用户隐私,还能够通过训练,删除训练模型中不准确或者过时的信息,甚至是异常或者有害的数据。当然,这比消除几个指定遗忘集难度大得多,这也意味着它更有用处,比如它可以通过纠正偏见或对属于不同群体的歧视来提高模型的公平性。

给机器下「遗忘咒」?谷歌发起首个机器遗忘挑战赛「清扫、清扫,全都扔掉」

为何要发展机器遗忘

大家都受益于网络信息的易得性,但是往往忽略了在整个网络上删除某一信息的艰难。这堪比将一捧沙子撒入海里,再从不断涌动的海水中将沙粒一个个捡起,更重要的是,这些沙粒有不断复制的可能。

由此可见,信息及时被删除了也能通过各种手段有所保留。

在网络中留下的足迹,虽可能不被查询,但印记永存。2012 欧盟委员会就曾公布草案提出数据主体应享有「被遗忘权」。这对大数据背景下互联网产业发展具有深远而广泛的影响。

更别说近期正火热的大型语言模型,更是以海量的数据集作为基础进行发展的。大模型对于训练集的细节内容会进行学习和记忆,其中不乏用户的隐私信息,这导致可能涉及的隐私风险更加严峻。

因此机器学习模型中的安全和隐私问题是研究者必定面临的挑战。

给机器下「遗忘咒」?谷歌发起首个机器遗忘挑战赛图片

网友表示,这场挑战赛将推动隐私保护。

在这样艰难、复杂的条件下,机器遗忘应运而生,有关于它的讨论和学习也日益成为机器学习领域的焦点之一。

文章版权声明

 1 原创文章作者:1972,如若转载,请注明出处: https://www.52hwl.com/85426.html

 2 温馨提示:软件侵权请联系469472785#qq.com(三天内删除相关链接)资源失效请留言反馈

 3 下载提示:如遇蓝奏云无法访问,请修改lanzous(把s修改成x)

 免责声明:本站为个人博客,所有软件信息均来自网络 修改版软件,加群广告提示为修改者自留,非本站信息,注意鉴别

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年7月18日 上午8:13
下一篇 2023年7月18日 上午8:14