不出所料, “AI教父”Hinton得诺奖被质疑了

虎嗅APP2024-10-10 14:16:05  113

今年的诺贝尔物理学奖颁给了两位享誉盛名的AI研究者JohnJ.Hopfield和GeoffreyE.Hinton,这确实让很多人感到意外。

第一层疑问是:Hinton和物理学有什么关系吗?

第二层疑问是:AI科学家是如何提名物理学奖的?这程序合理吗?

连GPT-4o都不敢相信:

当然,更深层的质疑来自一些同赛道的AI科学家,比如挑战Hinton多年的LSTM之父——JürgenSchmidhuber。

一、JürgenSchmidhuber又来了

在统计物理学中,Hopfield模型成为最常研究的Hamiltonians学派之一,关于它的论文和书籍已有数万篇。这个想法为数百名物理学家进入神经科学和AI领域提供了切入点。

在计算机科学中,Hopfield网络是促使AI寒冬(1974~1981年)结束以及随后人工神经网络复兴的主要驱动思想。Hopfield在1982年发表的论文标志着现代神经网络时代的开始。

但JürgenSchmidhuber认为:“诺贝尔物理学奖授予了计算机科学领域的剽窃和错误归属,主要涉及Amari的Hopfield网络和玻尔兹曼机。”

在发表于X平台的小作文中,JürgenSchmidhuber洋洋洒洒列了四条依据,内容如下:

1.Lenz-Ising神经元递归结构发表于1925年。1972年,甘利俊一(Shun-IchiAmari)使其具有自适应能力,通过改变连接权重,学会将输入模式与输出模式联系起来。不过,在“2024年诺贝尔物理学奖的科学背景”中,Amari只是被简单引用。遗憾的是,Amari的网络后来被称为“Hopfield网络”。Hopfield在10年后重新发表了它,但没有引用Amari,甚至在后来的论文中也没有引用。

2.Ackley、Hinton和Sejnowski的相关玻尔兹曼机论文是关于神经网络隐藏单元内部表征的学习。它没有引用Ivakhnenko和Lapa提出的第一个内部表征深度学习算法,也没有引用Amari通过随机梯度下降(SGD)在深度NN中端到端学习内部表征的独立工作(1967~1968年)。甚至连作者后来的调查和“2024年诺贝尔物理学奖的科学背景”都没有提到深度学习的这些起源。玻尔兹曼机也没有引用Sherrington&Kirkpatrick和Glauber之前的相关工作。

3.诺贝尔奖委员会还称赞了Hinton等人2006年提出的深度神经网络分层预训练方法(2006年)。然而,这项工作既没有引用Ivakhnenko和Lapa(1965年)对深度神经元进行分层训练的原始方法,也没有引用对深度神经元进行无监督预训练的原始方法。

4.如“主流信息”所说:“在20世纪60年代末,一些令人沮丧的理论结果让许多研究人员怀疑这些神经网络永远不会有任何实际用途”。然而,深度学习研究在20世纪60~70年代显然是活跃的,尤其是在英国以外的地区。

Jürgen还表示,关于剽窃和错误署名的更多案例,参见以下参考文献,可以从第3节开始:《3位图灵奖获得者如何重新发表他们未能归功于创造者的关键方法和想法》。

(有关该领域的历史请参阅以下参考文献:《现代人工智能和深度学习的注释历史》)

但情况真的如Jürgen所说吗?至少一些网友已经指出了表述中的问题:

“在机器学习中,那些无法真正证明其想法可行的想法论文比比皆是,而且往往不会被广泛阅读或采用。除此之外,我们实际上并没有一个统一的理论,因此不同的阵营使用完全不同的术语,直到你真正深入研究它,你才会意识到独立创建的各种模型之间存在数学等价性。”

维基百科词条中,关于Hopfield网络的简介如下:

第二个要添加的组成部分是对刺激的适应。中野薰(KaoruNakano)于1971年和甘利俊一(Shun'ichiAmari)于1972年分别对此进行了描述,他们提出通过Hebbian学习规则修改Ising模型的权重,使其成为联想记忆模型。WilliamA.Little于1974年发表了同样的想法,Hopfield在1982年的论文中对他表示了感谢。

基本上,有3个不同的人想到使用Hebbian学习进行联想记忆。因此Hopfield将这个想法归功于他所知道的人,尽管看起来Amari更早(或许Nakano甚至比Amari还早)。

还有网友说,玻尔兹曼机论文并没有使用反向传播、Hebbian学习或Schmidhuber认为没被引用的任何方法。这篇论文本身并没有说它发明了第一个学习算法,只是说它发现了一种可以产生有用且有趣的中间表示的学习算法。

而Hinton早就在几年前解释过JürgenSchmidhuber指出的问题,并表示“从此不会再做出任何回应”。

与Schmidhuber就学术信用问题进行公开辩论并不可取,因为这只会助长他的气焰,而且他会不惜花费大量时间和精力来诋毁他所认为的对手。他甚至不惜使用维基百科中的多重别名等伎俩,让别人看起来似乎同意他的说法。他网站上关于艾伦?图灵的页面就是一个很好的例子,说明他是如何试图削弱其他人的贡献的。

尽管我有最好的判断力,但我觉得我不能完全不回答他的指控,所以我只回应一次。我从未声称反向传播是我发明的。DavidRumelhart是在其他领域的人发明反向传播很久之后才独立发明它的。的确,当我们第一次发表论文时,我们并不了解这段历史,所以我们没有引用之前的发明者。我所声称的是,是我清楚地证明了反向传播可以学习有趣的内部表征,而这正是它广受欢迎的原因。我是通过强迫神经网络学习单词的向量表征来做到这一点的,这样它就能根据前一个单词的向量表征来预测序列中的下一个单词。正是这个例子说服了《自然》杂志的审稿人发表了1986年的论文。

的确,媒体上有很多人说我发明了反向传播,我也花了很多时间来纠正他们。以下是MichaelFord2018年出版的《智能架构师》(ArchitectsofIntelligence)一书的节选:

在DavidRumelhart之前,很多不同的人发明了不同版本的反向传播。他们主要是独立的发明,我觉得我的功劳太大了。我在媒体上看到有人说是我发明了反向传播,这完全是错误的。这是一个罕见的例子,一个学者觉得他在某件事情上获得了太多的荣誉!我的主要贡献是展示了如何使用它来学习分布式表征,所以我想澄清这一点。

也许Jürgen想澄清是谁发明了LSTM?

二、Nature:诺奖的提名过程必须更加公开透明

在诺贝尔奖的物理学奖和化学奖分别颁发给AI之后,大家开始怀疑:莫非今年的诺贝尔文学奖要颁给ChatGPT?

面对诺贝尔奖评选结果的多重“意外”,顶刊也是早有预料了。

前两天,Nature杂志就发表了一篇社论,炮轰诺贝尔奖在全球范围内代表性不足,提名过程必须更加公开透明。

类似于AI的推理过程还是个“黑盒”,诺贝尔奖的评选过程也是一个有点像“黑盒”的机制,提名人和被提名人名单在评奖结果公布之前必然严格保密,被提名名单更是要保密50年。因此,诺贝尔奖评选的具体细节,我们无从得知。

为了预测下一年的诺贝尔奖得主,人们只能从往年的获奖者中寻找规律。于是,一直有传言称,诺贝尔文学奖的评选存在一个不成文的规定,即来自五大洲的作家轮流获奖。

与此相对照的是,负责评选诺贝尔奖的组织表示过,他们正在积极努力提升诺贝尔奖得主的多样性,并且已经取得了显著进展。整个20世纪,诺贝尔化学奖、物理学奖以及生理学或医学奖仅有11次被授予女性;而在2000年至2023年间,这个数字就提升到了15次。

1910年~2020年女性获得诺贝尔奖的数量变化

虽然性别的多样性取得了可喜的进展,但大家似乎已经习惯了科学界权力和资金分配在全球范围内的不均衡,往往忽视了这一点。在诺贝尔奖的历史中,只有10位获奖者出生于目前被世界银行归类为中低收入以下的国家,并且他们中的绝大多数在获奖时已经移居北美或欧洲。

正如《TWASat20(第三世界科学院20年)》这本书中所写,四十年前,许多非发达地区的科学家面临着艰难的选择:“背弃你的家乡,专注于职业生涯;或者留在家乡,献祭你的职业生涯。”

在更隐秘的角落,诺贝尔奖之上还笼罩着一层巨大而无形的“人情网”。Nature的调查显示,无论看起来有多离谱,几乎所有诺贝尔奖得主都存在某种联系。令人惊讶的是,获得科学类以及经济学奖项中的736位得主中,有702位属于同一个学术家族——他们通过学术关系在历史的某个节点彼此相连。

这可能与诺贝尔奖提名采用邀请制有关。根据诺贝尔基金会章程,历届诺贝尔奖得主、瑞典、丹麦、芬兰、冰岛和挪威的大学教授、瑞典皇家科学院成员以及相关诺贝尔奖评审委员会成员可以无需许可,直接提名候选人。其他有资格参与评奖的人则必须获得官方邀请函,才能提名入围名单。

提名过程分为两个阶段:首先高级领导、院长和教授们收到诺奖官方的信件;然后,这些被选中的科学家们会按照标准进行提名。来自斯德哥尔摩大学的PeterBrzezinski对Nature表示,瑞典皇家科学院今年联系了大约1250所大学。但由于人力有限,平均每五年,每所大学只会收到一次邀请。

这种情况可能是诺贝尔在设立奖项时未曾预见的。诺贝尔奖的评选历史已接近120年,当初科学研究还是个小众领域。20世纪初,全世界的物理学家大约只有1000人,而如今广义上的物理学家已多达数百万。

诺贝尔奖的揭晓再次激起了世人对科学与技术的热情,但如何在当今科技日新月异的时代设立一个更加全面和包容的评奖机制,确实也是不容忽视的重要议题。

转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/1345180.html
0
最新回复(0)