据站长之家 12 月 24 日报道,根据卡内基梅隆大学的最新研究报告,谷歌最新推出的大型语言模型 Gemini Pro 在基准测试中未能达到预期水平,不仅落后于 GPT-3.5,还远远不及 GPT-4。
Gemini Pro 的研究结果与谷歌在 Gemini 发布会上所提供的信息相矛盾,凸显了对中立基准测试机构或流程的迫切需求。Gemini 团队声称即将推出的 "Ultra" 版本将在各种任务上超越 GPT-4,但谷歌已经对 Ultra 的基准结果进行了操纵。
原文链接