与ChatGPT竞争白热化，谷歌正式启用5400亿参数PaLM增强Bard

专注AIGC领域的专业社区，关注GPT-4、百度文心一言、华为盘古等大语言模型（LLM）的发展和应用落地，以及国内LLM的发展和市场研究，欢迎关注！

3月31日，谷歌首席执行官Sundar PichAI接受了，《纽约时报》科技专栏作家Kevin Roose和知名新闻记者Casey Newton的的专访。详谈了谷歌最近公测的类ChatGPT聊天机器人Bard，以及面对chatgpt的一系列强势攻势，谷歌该如何反击等。

Pichai在采访中还否认了所谓的“谷歌红色代码”事件。Pichai表示，我们在2015年就开始布局AI，希望通过AI的方式重塑工作、娱乐等，但经过长时间的发展普通用户对AI的接受有限，一直处于沉寂阶段。

ChatGPT的出现提起了全球用户对AI的使用欲望，使得生成式AI在商业化落地等迎来了最令人激动的时刻。同时这也提起了Larry Page和Sergy Brin（谷歌创始人）的极大兴趣，他们很久之前就认为AI将改变未来的一切。所以，我们集中了谷歌内部多数资源开始发力生成式AI。

在访谈的过程中Pichai表示，谷歌启用了拥有5400亿参数的大语言模型PaLM，来增强Bard的数学能力、逻辑推理能力等，与ChatGPT展开激烈竞争。而Bard的产品经理Jack Krawczyk于3月31日，在社交平台中正式公布了这一消息。

ChatGPT是基于Open AI GPT-3.5系列模型开发，参数为1750亿，而Plush版本是基于GPT-4研发，Open AI并没有公布详细的参数和训练数据。但外界猜测，根据GPT-4多模态功能推算，其参数至少在4000亿左右。

Jack Krawczyk公布消息

之前，Bard是基于谷歌1370 亿参数LaMDA进行了轻量级开发，但是在内容理解、生成、反馈等方面很不理想，甚至在召开产品新闻发布会时出现了致命错误，使得谷歌母公司Alphabet的股价遭受重创。现在，谷歌将目前最强大语言模型之一PaLM全面增强Bard看、说、写的拟人化能力。

Pichai在采访中表示，出于安全、信任、隐私等多方面考虑，推出Bard时是基于LaMDA轻量版开发而成，这是一个较小的模型整体功能有限。但随着GPT-4模型的出现，我们觉得有必要升级Bard与其展开竞争。因此，将使用PaLM模型增强Bard功能。

据悉，PaLM在推理、数据计算、代码生成方面非常出色。PaLM首次大规模使用Pathways 系统将训练扩展到 6144 个芯片，这是迄今为止用于训练的最大的基于TPU的系统配置。同时PaLM实现了57.8%的硬件FLOPs利用率的训练效率，这是大语言模型在此规模上达到的最高水平。

PaLM使用英语和多语言数据集的组合进行训练，这些数据集包括高质量的网络文档、书籍、维基百科、对话和 GitHub 代码等。PaLM还创建了一个“无损”词汇表，保留所有空格（对生成代码很重要），将词汇外的 Unicode 字符拆分为字节，并将数字拆分为单独的标记，每个标记一个。

PaLM在几个BIG-bench任务上展示了令人印象深刻的自然语言理解和生成能力。例如，该模型可以区分因果关系，理解适当上下文中的概念组合，甚至可以根据表情符号猜测电影。

此外，Pichai还谈到了最近马斯克等人发起的暂停6个月比GPT-4更强大语言模型训练，他认为，对AI的发展进行有效监管是必须的。

例如，斯坦福大学的Paul Berg等人在70年代发现了重组DNA，可以通过人为的方式改造DNA遗传，这在当时引起了巨大轰动。随后这引起了伦理道德等诸多方面的问题，并对该技术进行了监管。

Pichai强调，在AI技术竞争的过程中，安全、隐私、有效控制永远是排在功能前面的，是最重要的一部分。谷歌会在安全、可控范围之内，逐步增强Bard的功能。

本文素材来源谷歌、纽约时报，如有侵权请联系删除

END

加入AIGC开放社区交流群

添加微信：13331022201 ，备注“职位信息&名字”

管理员审核后加入讨论群

本篇文章来源于微信公众号: AIGC开放社区