面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案

2023-03-20 2417

百度于3月16日发布了大语言模型文心一言,虽然这款产品目前还处于测试阶段,但不少人也对文心一言和  ChatGPT 的差距感到好奇。如果能让文心一言和 ChatGPT 打一架,谁输谁赢差距一目了然。


我们让 OpenAI 的 ChatGPT 和百度的文心一言,各自对对方进行评价。


ChatGPT 给出了这样的回答:


面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案


显然,这样的回答可不能满足想要搞事的我们,将目光转向文心一言,面对同样的问题,它的回答是:


面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案


两个人工智能都展现出来了惊人的友好度,看样子在 AI 届并不流行拉踩。但对于这种友好的答案我们并不满意,我们决定更直白一点,让他们直接进行一场“斗嘴”。


当面对人类的挑拨离间时,ChatGPT 给出的答案是:


面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案


而文心一言则表示:


面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案


面对没有感情却相互尊重的 AI,这一回合,是卑鄙人类的败北。


考虑到微软的 New Bing 也是基于 GPT-4,但搜索引擎的加入令其和其他应用略有不同。我们决定向它询问,想知道 New Bing 是如何回答这些问题的。


第一个问题,当然是经典的互相评价,New Bing 给出的答案是:


面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案


New Bing 的回答不是“我不能”而是“我不想”,更具情感。


而当我们让 New Bing 和文心一言斗嘴时,New Bing 回答完全出乎了我们的意料。它的回答是这样的:


面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案


New Bing 不仅没有回答我们的问题,还自己关闭了这一轮对话。最后一次测试更能体会到情绪的存在。


经过这两轮的提问,我们也放弃了挑拨离间的不友善问法。三个语言大模型应用均提到了“应用场景”,这也是现阶段AI开发过程当中必须要考虑的步骤,直接影响到设计、开发、部署和优化等各个环节。


ChatGPT 的出现带来的“通用”属性,让人们逐渐忽略掉了“应用场景”的存在,或者说将应用场景无限放大至各行各业、方方面面,变得无所不能。


经过这次的测试,我们无法从对话质量上看出文心一言和ChatGPT有多么大的差距,带有情绪的New Bing反而感觉略胜一筹。


不过连AI都在互相尊重,这让进行对比测试的我们人类有些自惭形秽。


恰逢苹果的黄色配色iPhone 发布,我们又分别让文心一言和GPT-4为iPhone 14 写了一篇推广文案。其中GPT-4的回答是:


面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案


而文心一言给出的答案是:


面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案


虽然双方都对手机的特色和亮点进行了介绍,但GPT-4在介绍中缺乏对于手机具体配置的描述,文心一言却也有“黑色边框”这样的胡说八道。


在面对一些略带调侃的问题时,双方的表现也不尽相同。我们让GPT-4和文心一言分别给出一个用5块钱度过一周的方案,GPT-4的回答是:


面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案


文心一言的答案是:


面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案


显然,文心一言给出了更可行的方案,甚至最后还给出了像是“伸手”这样让人哭笑不得却又现实到极致的回答。而GPT-4的回答,仿佛一篇虚浮的说教。


最后,我们从网上的考试题中选择了一道数学题目,对两者的数学能力进行比较,其中GPT-4给出的回答是:


面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案


而文心一言在这方面的回答则是:


面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案


GPT-4 给出了一个疑似的分析过程,但似乎他并没有理解题干的内容,给出的答案和过程都似是而非。而文心一言这边,不仅仅没有给出准确的答案,甚至没有完整理解问题的题干。至少在处理数学问题方面,不管是GPT-4 还是文心一言,表现得都不尽如人意。


需要额外补充的是,这是一道非常经典的题目,New Bing通过搜索能力,在互联网找到了“15”这个正确答案。


面对人类的挑拨离间 文心一言和ChatGPT竟给出惊人答案


仅从“整活”层面,文心一言与ChatGPT并不存在实质性的差距。在发布会上提到的多模态生成在目前还未上线,还有百度的看家本领搜索功能能不能接入文心一言也是颇具想象空间的一件事。


但至少,随着文言一心的逐步开放,对于对大部分人来说使用通用语言大模型的门槛进一步降低,不管是ChatGPT还是New Bing,想要非常顺畅的使用还是有些门槛的。


来源:品玩  作者:吕可


犀牛云(XINIU.COM)是紫虎集团针对全球企业数字化转型升级推出的“企业数字化引擎”云服务平台。犀牛云平台自2013年发布以来,在PSST研究院的支持下,先后推出面向中小企业的“犀牛云营销三剑客(企业云网站网赢战车圈能力SCRM)”产品,帮助中小企业实施从营销获客、销售管理,再到存量客户经营的一站式客户数字化管理系统的部署。犀牛云以圈能力SCRM软件为核心,先后服务超过10万家中小企业,犀牛云提出的”管好客户数据资产就是成功的企业数字化“的这一理念,得到了广大中小企业的认同。犀牛云不仅向广大中小企业不断深入的提供数字化服务,同时面向行业,犀牛云也不断推出行业软件解决方案。犀牛云面向美业推出了“嗨美丽SOP系统”ERP软件,帮助美业这个垂直领域的企业实现连锁规模化发展的管理;面向中国的制造业企业,犀牛云推出了“紫虎MES系统”,将传统工厂的ERP与生产管理的MES系统结合,创新研发了紫虎MES系统,帮助传统制造型企业实现数字化转型,让紫虎MES系统成为中国先进制造业的数字化引擎。


犀牛云圈能力SCRM发布上线,打造企业私域超能力,一键实现数字化转型!


 扫码关注犀牛云

了解更多资讯,欢迎致电犀牛云

全国统一销售热线:400-0998-667


相关推荐