CMU 最新研究:Gemini 综合不敌 ChatGPT,谷歌还需努力
最近谷歌发布的 Gemini 格外引人注目,其号称是第一个在各种任务中可与 OpenAI 的 ChatGPT 相媲美的大模型。
报道显示,Gemini 的“Ultra”版本在各种任务上都优于 GPT-4,而 Gemini 的“Pro”版本则与 GPT-3.5 不相上下。
针对两个当红炸子鸡的较量,美国卡内基梅隆大学近日展开了一项研究,深入探讨了谷歌 Gemini 的语言理解和生成能力,并将其与 OpenAI 的 GPT 系列作了对比,得到了有趣的结论——谷歌 Gemini 的综合性能与 ChatGPT 仍有较大差距。
论文地址:https://arxiv.org/pdf/2312.11444.pdf
Gemini 仅媲美 GPT-3.5 Turbo
CMU 的这项研究主要探讨了两个问题:
其一,对 OpenAI GPT 和 Google Gemini 模型的能力进行了第三方客观比较,并提供了可重现的代码和完全透明的结果;
其二,对结果进行了更深入的研究,找出两类模型中某一类模型分别拥有的优势领域。
研究团队对测试各种语言能力的 10 个数据集进行了分析,包括推理、回答基于知识的问题、解决数学问题、语言间翻译、生成代码以及充当指令遵循代理。
在所有的基准测试任务基础上,CMU 团队分析发现:
Gemini Pro 模型在模型大小和类别上与 GPT 3.5 Turbo 相当,其准确度一般与 GPT 3.5 Turbo 相当,但略逊于 GPT 3.5 Turbo,比 GPT 4 差很多。 Gemini Pro 的平均性能略低于 GPT 3.5 Turbo,尤其是在多选题的回答顺序偏差、多位数数学推理、过早终止智能体任务以及因激进的内容过滤而导致回答失败等方面存在问题。 在特别长和复杂的推理任务中,Gemini 的表现优于 GPT 3.5 Turbo,包括生成非英语语言以及处理更长、更复杂的推理链。而在不对回答进行过滤的任务中,Gemini 也善于使用多种语言。
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
关注网络尖刀微信公众号
随时掌握互联网精彩
随时掌握互联网精彩
赞助链接
排名
热点
搜索指数
- 1 习近平将对欧洲三国进行国事访问 4914492
- 2 南京胖哥被初诊为PTSD 4945663
- 3 记者暗访吃猫贩猫黑色产业链 4830741
- 4 假日经济持续升温 4760378
- 5 女子直播时被失散32年的父亲认出 4605185
- 6 为什么说“龙系长相”是天生演员 4531437
- 7 网友称董宇辉直播致游客排队50分钟 4469799
- 8 00后存10万裸辞用利息过极简生活 4313998
- 9 常州机场售卖无主行李箱?假的 4225187
- 10 中国石化宣布重要人事调整 4144963