گوگل فهرست Android Bench را به‌روزرسانی کرده است؛ بنچمارکی که اوایل امسال معرفی شد تا توسعه‌دهندگان اندروید بتوانند بر اساس آزمونی از گوگل، مناسب‌ترین مدل‌های هوش مصنوعی را برای کمک به کدنویسی اندروید شناسایی کنند. این آزمون جنبه‌هایی از کاربرد هوش مصنوعی را در نظر می‌گیرد که به کدنویسی اندروید و بهترین شیوه‌های توسعه اندروید اختصاص دارند. گوگل هم‌زمان با ادامه آزمون‌ها و رتبه‌بندی مدل‌های جدید، میانگین هزینه (Average Cost) را نیز به بنچمارک اضافه کرده تا توسعه‌دهندگان بتوانند تصمیم مناسب‌تری برای نیازهای خود بگیرند.
تغییرات به‌روزرسانی ۲۶ اکتبر
در به‌روزرسانی ۲۶ اکتبر، گوگل سطح استدلال (Reasoning Level) استفاده‌شده برای هر مدل را اضافه کرده و نتایج مدل‌های OpenAI شامل GPT-6 Sol و GPT-6.1 Sol، مدل‌های Claude Sonnet 5 و Claude Sonnet 5.5 و همچنین Gemini 4 Argon از گوگل را به فهرست افزوده است.
صدر جدول در اختیار Claude Sonnet 5.5
در حال حاضر Claude Sonnet 5.5 با نرخ قبولی (Pass Rate) ۴۰ درصد و نرخ تکمیل (Completion Rate) ۸۰.۹ درصد در صدر جدول قرار دارد. Claude Opus 5.5 که اوایل اکتبر به فهرست اضافه شده بود، در جایگاه دوم ایستاده است.
GPT-6.1 Sol؛ عملکرد متعادل و هزینه کمتر
GPT-6.1 Sol از OpenAI ممکن است جالب‌ترین افزوده این به‌روزرسانی باشد؛ این مدل با نرخ قبولی ۲۹.۳ درصد و نرخ تکمیل ۸۲.۸ درصد در جدول قرار گرفته، اما هزینه آن تنها ۹۹.۵۰ دلار است، در حالی که Claude برای جایگاه نخست خود هزینه ۱٫۵۷۴٫۹۰ دلاری ثبت کرده است.
Gemini 4 Argon در رتبه پنجم
با این حال، Gemini 4 Argon از خود گوگل آغاز چندان قدرتمندی نداشته و در جایگاه پنجم، بسیار عقب‌تر از دیگر مدل‌های پیشرو قرار گرفته است. این مدل پایین‌تر از Claude Fable 5.1 ایستاده و نرخ قبولی آن تنها ۲۱.۳ درصد، نرخ تکمیل ۸۱.۸ درصد و میانگین هزینه آن ۲۶۷.۷۰ دلار است.
واکنش‌ها به عملکرد Gemini 4 Argon
در گزارشی که اندکی پس از اعلام Gemini 4 Argon از سوی گوگل منتشر شد، برخی صداهای داخلی ادعا کردند این مدل «در انجام برخی وظایف کدنویسی دشواری دارد»؛ با این وجود گوگل بر توانایی‌های آن تأکید کرد.