首页 资讯 正文

谷歌新模型2.5 Pro霸榜AI竞技场,开发者评价两极分化

体育正文 291 0

谷歌新模型2.5 Pro霸榜AI竞技场,开发者评价两极分化

谷歌新模型2.5 Pro霸榜AI竞技场,开发者评价两极分化

北京时间6月6日,谷歌(gǔgē)推出(tuīchū)升级预览版大模型Gemini 2.5 Pro(0605),并表示这会在几周(jǐzhōu)后成为正式的稳定版本,适用于企业级应用。 Gemini 2.5 Pro是谷歌旗舰模型系列,在前三个(sāngè)月(yuè)公布了几个预览版,此前也一直在大模型竞技场LMArena排名第一,这一次更新的(de)版本各方面的分数都超过了此前的版本,继续排在(páizài)榜一。 不过,第一财经也询问了一些开发者,他们认为,不能完全相信榜单(bǎngdān),要(yào)看实际体验和绝大多数(juédàduōshù)开发者的选择,此前Gemini的模型表现各有优劣,开发者评价(píngjià)两极分化,目前刚出来大家或许要用一用才能有更客观的评价。 根据(gēnjù)谷歌官方博客,最新2.5 Pro 在多项(duōxiàng)AI性能基准测试中取得了(le)更高的分数,在 LMArena上Elo分数(衡量模型相对技能水平的评分)提升了24分,目前以1470分的成绩保持(bǎochí)领先。 具体领域上,谷歌(gǔgē)称,最新模型在代码方面继续表现出色,在 Aider Polyglot 等高难度(gāonándù)编程基准测试中保持领先。此外,它在 GPQA(研究生级别的(de)(de)问答测试)中的成绩超过了OpenAI的o3、Claude 4以及DeepSeek-R1的最新版。在“人类的最后考试(HLE) ” 中成绩达到(dádào)21.6%,比OpenAI的o3多出(duōchū) 1.3个百分点。 在谷歌模型发布后,业界知名的测评(cèpíng)方大模型竞技场 (lmarena.ai)发布了一份新的榜单(bǎngdān),显示2.5 Pro新版在总分和所有子榜单位列第一,包括文本、视觉、数学、创意等(děng)。 不过,“高分低能”的(de)产品此前也有过,不乏开发者对这个榜单存疑。例如,从编程体验上来说(láishuō),Anthropic的Claude系列模型是公认(gōngrèn)较为好用的基座模型,此次在榜单的成绩并不突出。有海外网友表示,2.5 Pro新版的表现(biǎoxiàn)确实很(hěn)好,但是不如Claude 4 Opus。 有行业人士认为,这一问题或许是榜单评测问题,只是(zhǐshì)让AI完成基础(jīchǔ)的(de)任务,但对(duì)Agent的能力评测有限,但从实际应用过程中,Claude模型在Agent方面做了专门优化,可以在大规模、系统化、长时间的编程任务中表现出色,和行业拉开距离。而谷歌(érgǔgē)在Agent方向还没怎么发力。 一位开发者(kāifāzhě)用C++编程语言较多,他对记者表示,Claude比Gemini强太多,“任何(rènhé)Claude和o3无法解决的问题,Gemini从没有一个(yígè)能解决;但反之,Gemini 写(xiě)不对的,往往Claude能写对。” 上述开发者认为,Gemini擅长(shàncháng)的是长上下文和多模态,而Claude前端更优(gèngyōu),目前看可能还是这一格局。 不过,另一位用Python和typescript编程语言的(de)开发者体验并不相同(bìngbùxiāngtóng),最近一个月,他无论在(zài)工作场景还是(háishì)Cursor场景都全面转为了Gemini 2.5 pro,发现代码写得比Claude 3.7好,生成的网页更(gèng)漂亮,写出来的文案也更好。 目前看起来,在不同(bùtóng)的生产场景(chǎngjǐng)和个性化工作中,各个模型的体验和口碑并不相同。 大模型竞争进入(jìnrù)下半场,模型基础能力差距逐渐缩小,模型之间的较量正在从单纯的跑分转向更复杂(fùzá)的维度,模型的真正价值(jiàzhí),越来越取决于在特定场景下的表现能否赢得开发者的投票。 不过(bùguò),除开能力,使用成本也是开发者较为(jiàowéi)看重的(de)一个(yígè)因素,目前来看,Gemini比OpenAI的 o3、Claude 4 Opus和Grok 3都要更有性价比,但仍然是国内DeepSeek的R1最便宜。 Gemini 2.5 pro的输入价格1.25美元(měiyuán),输出为(wèi)10 美元/百万Tokens。而o3在输入和(hé)输出价格方面则高至10美元和40美元每百万Tokens ,Claude 4 Opus价格更高。针对此次更新,谷歌表示新模型(móxíng)引入了“思考预算(yùsuàn)”功能,能让开发者更好地控制成本和延迟。 榜单分数是起点,真正的较量,在无数开发者(kāifāzhě)和企业的工作和落地中展开。谁能更好地解决核心问题,谁就(jiù)能赢得竞争的主动权。 (本文来自(láizì)第一财经)
谷歌新模型2.5 Pro霸榜AI竞技场,开发者评价两极分化

欢迎 发表评论:

评论列表

暂时没有评论

暂无评论,快抢沙发吧~