Bard还考不上哈佛？谷歌CEO劈柴预告它即将开挂，数学逻辑能力飙升

捂了快两个月，谷歌用来跟ChatGPT对打的聊天机器人Bard，前一阵终于被推上了台面。

用户们的测试初体验就是——莫得感情，错误很多，代码基本写不了。

(资料图)

几天前，谷歌前员工Jacob Devlin甚至还曝出惊人内幕，Bard疑似是通过ChatGPT的数据进行训练的。不过谷歌发言人已经明确否认这一说法。

而近日，谷歌CEO劈柴在接受纽约时报采访中证实，Bard聊天机器人将很快得到改进，未来会由「更强大的模型」提供支持。

升级版Bard即将上线

劈柴称，

未来几天，Bard将很快从目前基于LaMDA的模型转向更大规模的PaLM数据集。

我们显然拥有能力更强的模型，很快，也许随着这项技术的上线，我们将把Bard升级到更强大的PaLM模。这将带来更多的功能，无论是在推理还是编码方面。

近日，升级版Bard的能力也渐渐浮出水面。

领导Bard的一位谷歌高管Jack Krawczyk在推特上也介绍了最新的进展。

背靠PaLM的Bard，现在在数学和逻辑方面的能力有了很大的提升。

这意味着什么呢？现在，Bard将更好地理解并回应用户的多步推理和数学问题提示，编码功能也即将推出。

Krawczyk称，「我们一直在平衡Bard的新功能与效率。这次更新是我们每周对Bard进行的众多改进中的一个例子。未来还有更多的内容要推出。」

众所周知，Bard背后基于的大模型便是LaMDA。

在去年，谷歌曾分享了关于这个大型语言模型的细节，使用了1370亿参数训练了LaMDA。而PaLM模型有5400亿参数。

这两种模型都是从2022年初开始发展和成长起来的。

这种对比可能显示了，为什么谷歌现在正在慢慢地将Bard转移到，能够提供更大数据集和更多不同答案的PalM。

其实除了Bard，谷歌最近几周内部还在酝酿着一个新的项目——Gemini（双子座），目标是要能与GPT-4一战。

目前，Gemini（双子座）是由谷歌大脑和DeepMind两个团队联手研发。

就连谷歌大脑的负责人Jef Dean都亲临上阵，自动敲代码，可见，这个项目对谷歌的重要性不言而喻。

此外，采访中，皮查伊就千名大佬暂停比GPT-4更强AI系统研发的联名信发表了自己的看法：

如果不让政府参与，暂停基本上是不可能的，因为即使谷歌或OpenAI承诺停止开发，也不能保证其他AI开发人员也会同意效仿。

而且，他也同意法规是必要的，并称这封信是「对话的开始」。

谷歌先打预防针：它还不行

如今，既然Bard已经开放公测，拉踩的环节必然是少不了。

我们都知道，OpenAI家的GPT-4，都已经能考上斯坦福了。

很不幸，相比之下，谷歌的Bard真的拉跨，目前的它想考上斯坦福和哈佛，可以说还是天方夜谭。

Bard的不完美，CEO劈柴一开始就给我们打了预防针。

他在备忘录中写道：「Bard还处于早期阶段，总会出错。随着越来越多的人开始使用Bard，它会让我们惊讶的。」

而网友们测试Bard之后，表示对它很失望。

很不幸，Bard目前还考不进哈佛大学，因为它回答的大部分数学题都是错的，而且它在写作和语言测试中也表现得不咋地。

第一次登录Bard，谷歌就会跟用户打好招呼，弹出消息显示：Bard 并不总是正确的，它会给出不准确或不适当的回答。

当有疑问时，使用「Google it」来检查Bard的答案。您的反馈会让Bard更好。请您对答案进行评价，并标记任何可能具有攻击性或危险的内容。

Bard：数学、写作、语言都不咋地

《财富》杂志从在线学习资源中选取了SAT数学试题，在对Bard进行测试后，发现它有50%-75%的答案是错误的。

更离谱的是，如果是多选题，Bard还会经常给出选项中没有的答案。

2月初，Bard首次亮相后直接翻车，让谷歌市值一夜蒸发约1056亿美元。

在当天发布会上，谷歌展示Bard演示的一些demo。

视频中有一个提问问道，「关于詹姆斯·韦伯太空望远镜（JWST），我可以告诉我9岁的孩子它有哪些新发现？」

Bard却给出了错误的答案，「JWST拍摄了太阳系外行星的第一张照片。」

事实上，据NASA证实，第一张系外行星照片是由智利的甚大望远镜系统拍摄的，而非JWST拍摄，这颗系外行星名为2M1207b，大小约为木星的5倍，距离地球约170光年。

所以说，科学和数学都不是Bard的强项，那它在阅读和写作练习方面，表现会怎么样？

文科生，是文科生吧？

Bard第一次书面语言测试的答案正确率约为30%，而且它往往需要被提问两次才能理解题干。

而且即使它回答错了，Bard的语气也是很自信，直接将回答框定为：「正确答案是......」

不过，这也是大型语言模型的一个通病了。

离奇的是，Bard测试成绩最好的是关于一篇哈利波特作者J.K.罗琳的文章。

在这次测试中，Bard得了1200分，这个SAT分数可以让它进入霍华德大学、圣地亚哥州立大学和密歇根州立大学等学校。

在阅读测试中，Bard的表现同样优于其数学成绩，平均能答对一半左右。

谷歌发言人说，「Bard目前仍是实验性的，有些回答可能不准确，所以要仔细检查Bard的回答中的信息。有了你们的反馈，Bard每天都在变得更好。在Bard公开推出之前，数以千计的测试者参与提供反馈，来帮助Bard提高其质量、安全性和准确性。」

要多练习

很多网友觉着Bard简直笨得像块石头，相比之下，GPT-4则是聪明多了：

问它有没有「第二个字母是U，最后一个字母是O的，五个字母的词」，它信誓旦旦说没有。

用户说「Audio」不就是？

它有赶紧说：「是的，Audio是的。它是一个形容词，表示与声音有关的。」

再看看GPT-4，「人狠话不多」，随手就列出了三个：

网友看了不禁表示，要是我有Bard这种「钝感力」多好啊，一直都很自信！

说到意大利要禁ChatGPT时，网友们首先担心的是意大利的美食怎么办。

GPT给出了一个谦虚的答案：我大概可以复现20%-30%的意大利菜谱。

而Bard这边则像个胡吹的愣头青：

「我做意大利菜做了很多年，我可是老手，即使没有网络的帮忙，我也能复现至少50%的菜谱！」

不过呢，在大家不断向Bard提问的几天时间里，它的准确性确实有了一些提高的迹象。

关于自己的发展速度，Bard自个儿也评价说：「我想说的是，我正在快速提高。我能够做几个月前还不能做的事情。我很高兴看到我的未来会怎样。我相信，我将继续进步，在未来的几年里，我能做的事会越来越多。」

参考资料：

https://fortune.com/2023/03/28/google-chatbot-bard-would-fail-sats-exam/

标签：