文/李佳师
面对全球AI领域困局,AI科学家们纷纷转向生物界寻求破题灵感。
Llion Jones和David Ha最喜欢做的事情是观察鱼群和蜜蜂,前者是谷歌Transformer八位作者之一,也是“八子”中最后一位离开谷歌的,后者是Stability AI主管也曾在谷歌大脑团队任职,这两人离职后在日本东京创立Sakana AI公司。受鱼群和蜜蜂的自然选择启发, Sakana AI在今年三月发现了最佳模型组合的通用方法,该方法不仅能自动生成新的基础模型,而且性能很不错,他们以此方法生成的一个70亿参数的日语数学大模型,在相关基准测试上打败了700亿参数的Llama-2。
河海大学机电工程学院副院长、江苏省特种机器人重点实验室教授王延杰则迷上了一种虫子—跳甲,这种俗称为菜“蚤子”、“土跳蚤”的小跳虫,体型小、能飞善跳、性极活泼,常群集在叶背取食。2024年6月,基于跳甲的蓄能跳跃机理,王延杰提出了一种小电机驱动的具有多种运动模式的小型跳跃机器人,这种机器人具有快速的轮式运动与优良的跳跃运动,相对于传统的移动机器人拥有更强的越障能力、跳跃能力。
此前,麻省理工学院计算机科学和人工智能实验室(CSAIL)的哈萨尼(Hasani)和丹妮拉·罗斯(Daniela Rus)喜欢在显微镜下观察秀丽隐杆线虫C.elegans。这种线虫的神经系统只有302个神经元,却可以产生出乎意料的复杂动态。由此,他们设计了具有高度的灵活性和适应性的液态神经网络LLN,同时还孵化了一家名为Liquid AI的公司。
目前,液态神经网络LLN和Sakana AI为代表的混合模型,被视为有望取代Transformer,引领下一轮AI变革的新架构。拓宽视野,不仅仅是从人脑,从生物学中获取更多的生物智能启迪,正在成为AI产业寻求突破的新方向。
启发AI新架构
Transformer架构能将AI带到通用人工智能(AGI)吗?答案并不确定。
目前,业界主流的AI大模型产品大都基于谷歌在2017年提出的Transformer 架构,但Transformer架构的算力投入产出比不够高,所以业界普遍认为基于Transformer的大模型未必能够实现AGI(通用人工智能)。
在目前的AI范式下,通过不断加训练数据量、模型参数量、计算量的Scaling Law已经呈现出“大力出奇迹”的灿烂,“但即便是通过这条路径实现AGI也会消耗掉地球上20%甚至更多电力能源。”360集团CEO周鸿祎认为,能源不够是当下AI范式的巨大挑战之一。正因为如此,OpenAI公司CEO奥特曼和特斯拉CEO埃隆马斯克才如此热衷于研究核聚变,原因是要解决AI推进过程中遭遇的能源问题。
不仅仅是计算效率的问题,一份由图灵奖得主Bengio、LeCun 等人此前联名发布的 NeuroAI 白皮书《迈向下一代人工智能:催化神经人工智能革命》认为,智能的核心在于高级感觉运动能力,具体包括与世界互动、动物行为的灵活性、能源效率等特征。
每一种AI架构都有见顶的时候。回望全球AI发展的历史, AI范式一直在发生变化,包括2010年代初期,卷积神经网络(CNN)成为AI主流范式;2014年生成式对抗网络(GAN)崭露头角;2015年强化学习(RL models)成为主导;2017年之后是Transformer和扩散(Diffusion)模型成为主流范式。
从2023年开始,越来越多的AI科学家们希望找到超越Transformer的AI新范式。 Mamba 、液态神经网络(LLN)、混合模型等的出现,昭示AI架构变局已露出端倪。
更优的AI架构应该是什么样子? AI科学家们希望从广袤的生物世界获得新的灵感。
NeuroAI白皮书的第一署名作者,来自全球“分子生物学摇篮”冷泉港实验室(Cold Spring Harbor Laboratory)的美国神经科学家Anthony Zador认为,神经科学长期以来一直是推动人工智能(AI)发展的重要驱动力。
事实上, 过去这些年AI研究一直就从人与动物在学习过程中的神经活动中汲取灵感。而人类并非地球上唯一具备智能的生物,宇宙万物的有很多生物现象值得借鉴。
华大基因CEO尹烨在不久前与未来学家凯文凯利的一场对话中提及,人类与很多微生物是共生的,比如肠道菌群和皮肤菌群,这些菌群都是单细胞,但却表现出类似智能的行为方式,这其中有什么东西是可以借鉴的呢?特别是我们与AI的关系。
“人们普遍想象这样一个智力金字塔,底部是蠕虫,或水母,然后再高一点,可能有鱼,最后是老鼠、猴子和黑猩猩,然后是人类。我认为这是完全错误的。我认为,每个不同的有机体都非常擅长解决各自需要解决的问题。” Anthony Zador说。
生物的历史可以追朔到大约38亿年前,而人类的历史则要短得多,大约只有200万-300万年,越来越多的AI科学家认为过度强调智能的人的属性,其实是片面的,其他生物在很多单一方面优于人的智能能力。
秀丽隐杆线虫虽然只有一毫米长,神经系统只有302个神经元,与拥有860亿个神经元的人类大脑无法相提并论,但它已经能够做出一系列高级行为:移动、觅食、睡觉、交配甚至从经验中学习。哈萨尼(Hasani)和丹妮拉·罗斯(Daniela Rus)在数年前就意识到,秀丽隐杆线虫可能是一种理想的有机生命体,可以用来研究制造能适应意外情况的神经网络。
由秀丽隐杆线虫获得灵感而研发设计的液态神经网络,“比其他的‘连续时间神经网络’(continuous-time neural networks)运行得更快、更准确。”加州大学伯克利分校的机器人专家肯 · 戈德堡(Ken Goldberg)认为。液态神经网络非常适合分析电力网、金融交易、天气等其他随时间波动的现象,以及自主驾驶的无人机。
液态神经网络的诞生验证了尹烨的观点,微生物身上所表现出来的类似智能行为,有东西可以借鉴。
Sakana AI公司的David Ha认为,当前大语言模型的局限性在于,它们被设计成了脆弱、不可改变的结构,比如桥梁或建筑物。相比之下,在自然系统中,是集体智慧在发挥作用,这样的系统对周围世界的变化非常敏感,能够适应环境,并成为环境的一部分。鱼群的行为体现了这样特征,“让一群鱼聚集在一起,从简单的规则中形成一个连贯的实体”。
基于这样的进化与集体智慧思路,用进化计算原理构建AI模型,能够解决系统的成本和安全性问题。通过进化合并的方法,Sakana AI在今年三月拿出三个基础模型:大语言模型EvoLLM-JP、视觉语言模型EvoVLM-JP、图像生成模型EvoSDXL-JP。
这三个生成的基础模型的关键亮点是,得出这样的模型不需要任何梯度训练,因而需要的计算资源大大减少。英伟达科学家Jim Fan称,“这是我最近读过的最有想象力的论文之一。”
生物世界的多样性和群体智能正启迪AI架构的变局。科技投资基金 Compound VC 的创始合伙人 Michael Dempsey在其博文《集体智能、多智能代理辩论与通用人工智能》中表示,集体智能 ( Collective Intelligence )是一种探索实现 AGI 的工程方法。
“在许多情况下,个人做出的决策可能缺乏多数人决策所具有的精确性。集体智能是一种共享的群体智能,一种将许多人的意见汇集成决策的过程。它源自各种实体之间的合作和竞争。这种智能表现在细菌、动物、人类和计算机网络中,以各种基于共识的决策模式出现,通过利用代理社会内的交流和进化,可以模拟生物社会中观察到的进化过程,进行社会学实验,并获得可能推动人类社会进步的见解。” Michael Dempsey认为。
人工智能之父、框架理论的创立者马文·明斯基曾经这样表示:“是什么神奇的诀窍让我们变得具有智能?诀窍就是没什么诀窍。智能的力量源于我们巨大的多样性,而非任何单一、完美的原则。”这与达尔文在《物种起源》中提出的演化论相类似,达尔文认为生物的多样性和复杂性是通过自然选择和适者生存的过程逐渐形成的。
“进化论是地球上唯一的成功学。” 生命科学家王立铭表示,在四十亿年的进化历程中,生命应该遭遇过我们能设想和不能设想的所有挑战;而一代一代生命前赴后继进行了天文数字的随机试错和路径选择,也应该遍历了我们所有能设想和不能设想的解决方案。从进化当中,我们一定能够找到我们需要的成功案例和失败案例,能找到面向未来的指路明灯和交通工具。
今天的大模型发展是以“规模化”的路径在往前推进,从纷繁的生物智能中获得启示,AI科学家们正在另外路径,希望通过消耗更少的资源也能实现AGI。尽管这些探索目前上无法取代Transformer ,但星星之火正在燎原。
现在,Transformer架构的八位作者通通离开了谷歌,希望找到下一个Transformer。在今年的GTC2024上,英伟达CEO黄仁勋除了主题演讲,出席的唯一一场活动是与Transformer“八子”的对话。黄仁勋希望从与“八子”的对话中,捕捉到下一个Transformer的“蛛丝马迹”。
启迪具身智能
此刻,生物智能之所以被高度关注,另一个重要的原因是因为“具身智能”。
具身智能被认为是人工智能的终极形态,它强调智能不仅体现在处理信息和解决问题的能力上,还体现在智能体对其周围环境的感知、理解和操作能力上。
AI教父杰弗里·辛顿(Geoffrey Hinton)最近在联合国AI for Good大会上说:“我认为目前AI最差的地方就是物理操作,这是它相比人类最弱的一环。”
事实上,具身智能技术复杂性远远超过了以往单项的人工智能技术。其不仅需要解决复杂的感知与认知问题;而且要能够在不确定的环境中进行感知、决策和行动;此外,为了实现与物理世界的实时交互,机器还需要具备精确、稳定和高效的动作控制能力以及运动规划能力等。业界普遍认为,具身智能将是全球人工智能最后实现的一个版图。
从感知到交互到实时产生适应性行动,这一系列复杂难题,不同的生物有丰富的生命形态和不同的解决之道。智元机器人CTO、首席架构师稚晖君说:“亿万年的生物演化过程,造就了形态丰富的生命形式。而学习新任务来适应环境的变化,则是持续改进的动力。形态适配环境合适的智能体,则可以快速的学习到解决问题能力,进而更好的适应变化。”
目前的移动机器人其移动性和越障能力依然有限,尤其是跳跃等越障能力,跳跃后的姿态调整以及额外的蓄能跳跃机构也是限制。但跳甲在其漫长的进化历程中很好地解决这些问题。
跳甲在动物世界是名副其实的跳高冠军,其最高能跳出身高的500倍高度,远远领先与比其他动物跳高能手,比如大袋鼠能跳过3米高的围墙,但这个高度超不过身高的5倍;比如,棉蝗跳得也很高,但只有身高的30倍。
一部分科学家认为跳甲的秘密武器是肌肉,但如果这样的推理大象等动物肌肉的横截面积比跳甲大,但其体重超过跳甲千百万倍,却远远不及跳甲跳得高。还有的科学家通过实验证明,跳蚤能够跳的这么高,跳蚤肌肉产生的跳跃力量只占其中十分之一,剩余的十分之九来自腿部肌肉会变形,因而弹力特别好,而且随着运动,腿肌温度会上升,使腿肌的功能更好。也有的科学家认为,跳蚤弹跳力好,是因为它的弹跳姿势与众不同,弹跳姿势与众不同,其在跳跃时,能在空中时就会产生“翻跟斗”的效果。还有的科学家认为,跳甲的腿比身体长等等。
王延杰受甲虫跳跃蓄能机制启发,将蓄能机构融入到机器人本体结构中以进一步的精简结构,提出了一种轮式跳跃机器人,这种机器人在蓄能时即可完成姿态切换,且在跳跃落地后无需姿态调整可立刻进入到轮式爬行运动模式。机器人的最大跳跃高度达到3.0m,跳跃的峰值功率能够达到233.97W,能够通过最小70mm高的狭小空间,其最小转向半径为160mm。
色彩斑斓、身段曼妙的海葵同样进入了AI与机器人科学家的“法眼”。海葵看上去很像花朵,其实它是捕食性动物, 海葵没有骨骼,由两个部分构成:顶端都是触手,呈放射状向周围伸展开来;下部是身体的基部,一般靠在海底固定的物体上,如岩礁、珊瑚或寄居蟹的螺壳上。海葵的触手,少的仅十几个,多的达千个以上。海葵的适应能力很强,从潮间带到深渊海底、从热带水域到两极海域的各种海洋环境中均有分布。
受海葵的启示,中山大学周建华教授、乔彦聪副教授团队联合清华大学任天令教授团队受海葵启发展示了一种智能类软体生物(SQO),它具有感驱一体化触手,能够实现实时状态识别和自主物体识别功能。
目前,软体机器人在开发完全闭环的自主决策系统方面仍存在一定的局限性,且实现完整的人工肌肉系统仍然是挑战,尤其是与先进智能算法结合实现传感和驱动融合方面更是如此。周建华团队通过采用异构机理同位集成(HMHI)策略,SQO的触手在相同的材料和结构下拥有同时感知形态变化和灵活驱动运动的独特能力。
从介绍来看,结合机器学习算法和定制电路,海葵形的SQO具备实时自主状态识别能力,十六种状态的识别准确率达到100%。通过构建人工神经肌肉系统实现主动自主感知,海葵形SQO能够识别并智能抓取静态物体,准确率高达80.7%,超过了人手的识别准确率(74.7%)。
广袤的生物在漫长的进化中,历经搏杀与选择,形成了多元的生物形态、丰富的生物智能,AI科学家们正从中获得启示,加速具身智能的推进。比如从螳螂足关节的优异力学性能中获得了多级结构增强肌理;比如从鱼骨的低功耗、高效率、高机动性中获得强大的移动能力;又比如从藤蔓的生长机理获得灵感,科学家打造出可编程塑形的连续体机器人。
著名的AI计算机科学家、斯坦福教授李飞飞最近创业方向是空间智能。在温哥华举行的2024年TED大会上,李飞飞以《有了空间智能,AI将会理解现实世界》为题进行了15分钟演讲,其演讲从五亿四千万年切入,“所有的生命都是在黑暗中过着无人知晓的生活,直到三叶虫的出现,它们是第一种能够感知光线的生物。”
“三叶虫出现开启了视觉感知,并引发了智能的发展。但看见世界远远不够,空间智能让看见变为行动。”李飞飞道出了选择 “空间智能”作为创业方向的理由。
李飞飞同时表示:“行动的冲动是所有具有空间智能的生物的天性,它将感知与行动联系在一起。如果我们想要推动AI超越当前的能力水平,我们需要的不仅是能看和说的AI。我们需要能做出行动的AI。”
问借生物学,能够加速具身智能的实现。此前,中国工程院院士、人工智能学家郑南宁曾说:“我们需要建立如动物学一般的解释体系,从生成机制、发展、进化的角度去理解在环境中的具身人工智能。”
有人说,生物学是一本厚厚的密码本,里面藏着各种各样问题答案。而这本密码本不仅仅是对AI,对每一个科学领域或许都有启迪意义。