为啥ChatGPT让LeCun酸成柠檬精？谷歌、Meta、OpenAI聊天机器人大PK！
【新智元导读】做聊天机器人，OpenAI不是第一家，但绝对是最出风头的那个。谷歌、Meta、DeepMind、OpenAI的聊天机器人大PK，谁最牛？
前几天，Meta首席人工智能科学家Yann LeCun的一段对于ChatGPT的点评迅速传遍圈内外，引发了大波讨论。
在Zoom的媒体和高管小型聚会上，LeCun给出了一段令人惊讶的评价：「就底层技术而言，ChatGPT并不是多么了不得的创新。」
「虽然在公众眼中，它是革命性的，但是我们知道，它就是一个组合得很好的产品，仅此而已。」
ChatGPT不算什么创新
ChatGPT作为这几个月的聊天机器人「顶流」，早就红遍全世界，甚至切实改变了一部分人的职业生涯，以及学校教育的现状。
全世界为它惊叹的时候，LeCun对ChatGPT的点评居然如此「轻描淡写」。
但其实，他的言论不无道理。
像ChatGPT这种数据驱动的人工智能系统，许多公司和研究型实验室有。LeCun表示，OpenAI在这个领域并没有多么独树一帜。
「除了谷歌和Meta之外，还有六家初创公司，基本上都拥有非常相似的技术。」LeCun 补充道。
接着，LeCun小酸了一把——
「ChatGPT用的是以自监督方式进行预训练的Transformer架构，而自监督学习是本人长期以来一直提倡的，那会儿OpenAI还没诞生呢。」
其中，Transformer是谷歌的发明。这种语言神经网络，正是GPT-3等大型语言模型的基础。
而第一个神经网络语言模型，Yoshua Bengio早在20年前就提出了。Bengio的注意力机制后来被谷歌用于Transformer，之后更是成为了所有语言模型中的关键元素。
另外，ChatGPT用的是人类反馈强化学习（RLHF）的技术，也是由谷歌DeepMind实验室开创的。
在LeCun看来，ChatGPT与其说是一个科学突破，不如说是一项成功的工程案例。
OpenAI的技术「在基础科学方面并没有什么创新性，它只是设计得很好而已。」
「当然啦，我不会为此批评他们。」
我不是在批评OpenAI的工作，也不是在批评他们的主张。
我是想纠正公众和媒体的看法，他们普遍认为ChatGPT是一种创新且独特的技术突破，然而事实并非如此。
在纽约时报记者Cade Metz的座谈会上，LeCun感受到了好事者的疑问。
「你可能想问，为什么谷歌和Meta没有类似的系统呢？我的回答是，如果谷歌和Meta推出这种会胡说八道的聊天机器人，损失会相当惨重。」他笑着说。
无独有偶，OpenAI被微软等金主看好、身价飙升至290亿美元的新闻一出，马库斯也连夜在博客上写了一篇文章嘲讽。
在文中，马库斯爆出一句金句：你OpenAI能做啥谷歌做不到的事，值290亿美元天价？
谷歌、Meta、DeepMind、OpenAI大PK！
话不多说，咱们把这几家AI巨头的聊天机器人都拉出来遛遛，用数据说话。
LeCun说许多公司和实验室都有类似ChatGPT的AI聊天机器人，此言不虚。
ChatGPT并不是第一个基于语言模型的AI聊天机器人，它有很多「前辈」。
在OpenAI之前，Meta、谷歌、DeepMind等都发布了自己的聊天机器人，比如Meta的BlenderBot、谷歌的LaMDA、DeepMind的Sparrow。
还有一些团队，也公布了自己的开源聊天机器人计划。比如，来自LAION的Open-Assistant。
在Huggingface的一篇博客中，几位作者调查了关于RLHF、SFT、IFT、CoT（它们都是ChatGPT的关键词）这些主题的重要论文，对它们进行了分类和总结。
他们制成了一个表，根据公开访问、训练数据、模型架构和评估方向等细节，对BlenderBot、LaMDA、Sparrow和InstructGPT这些AI聊天机器人进行了比较。
注意：因为ChatGPT没有记录，所以他们使用的是InstructGPT的细节，InstructGPT是一个来自OpenAI的指令微调模型，可以被认为是ChatGPT的基础。
不难发现，尽管在训练数据、基础模型和微调方面存在许多差异，但这些聊天机器人都有一个共同点——遵循指令。
比如，你可以通过指令让ChatGPT写一首关于微调的诗。
可以看到，ChatGPT非常「识相」，写诗都不忘拍一下LeCun和Hinton两位祖师爷的马屁。
随后激情洋溢地赞颂道：「微调啊，微调，你是一支美丽的舞蹈。」
从预测文本到遵循指令
通常情况下，基础模型的语言建模，是不足以让模型学会如何遵循用户指令的。