آنتروپیک (Anthropic) در ماه جاری قیمت کوچک‌ترین مدل خود را به‌طور محسوسی کاهش داده است؛ تغییری که برای کاربرانی که مدل‌های محلی رایگان را روی رایانه شخصی اجرا می‌کنند، پرسش مهمی ایجاد می‌کند: آیا پرداخت هزینه برای یک مدل ابری در کنار مدل محلی توجیه دارد؟ یک آزمایش عملی روی وظیفه کدنویسی نشان می‌دهد Claude Haiku 5.5 با وجود اینکه مدل تخصصی کدنویسی نیست، در این سناریو عملکرد قابل‌قبول‌تری نسبت به Qwen 3.5 9B محلی داشته است.
Claude Haiku 5.5؛ ارزان‌تر و در دسترس‌تر
Haiku 5.5 در اوایل اکتبر و پس از Sonnet و Opus در خانواده Claude 5.5 معرفی شد. بیشتر توجه‌ها به قیمت آن بود: آنتروپیک هزینه ۰.۱۰ دلار به ازای هر یک میلیون توکن ورودی (Input Token) و ۰.۵۰ دلار برای هر یک میلیون توکن خروجی (Output Token) را اعلام کرده است، مشروط بر اینکه هر درخواست کمتر از ۱۰۰ هزار توکن باشد. این عدد یک‌دهم هزینه Haiku 4.5 است. اگر حجم درخواست از این حد فراتر رود، قیمت ورودی به ۰.۵۰ دلار و خروجی به ۲.۵۰ دلار افزایش می‌یابد.
این مدل نخستین نسخه از Haiku است که سطح تلاش (Effort Level) قابل تنظیم دارد. آنتروپیک صریحاً می‌گوید Haiku 5.5 مدل کدنویسی نیست و برای کارهای سریع و پرتکرار مانند خلاصه‌سازی و کمک به مدل‌های بزرگ‌تر طراحی شده است؛ برای کدنویسی پیچیده همچنان Sonnet 5.5 و Opus 5.5 توصیه می‌شوند. با این حال، Haiku 5.5 در همه پلن‌های Claude از جمله پلن رایگان (Free) در دسترس است.
طراحی آزمون: رفع باگ در نسخه قدیمی 2048
در این آزمایش، به‌جای ساخت یک ابزار جدید از صفر، از کد موجود و یک باگ واقعی استفاده شد. نمونه انتخاب‌شده، بازی متن‌باز 2048 ساخته گابریله چیرولی (Gabriele Cirulli) بود؛ نسخه‌ای از مارس ۲۰۱۴ که پیش از اصلاح یک باگ ذخیره شده است. اگر این نسخه به‌صورت آفلاین اجرا شود و بازیکن ببازد، پیام «Game over!» نمایش داده نمی‌شود و صفحه بازی متوقف می‌شود. علت، یک خط کد است که قصد دارد آمار را به Google Analytics بفرستد؛ سرویسی که در حالت آفلاین بارگذاری نشده و همین خط باعث توقف بازی می‌شود.
Haiku 5.5 با سطح تلاش Medium اجرا شد. برای مدل محلی نیز Qwen 3.5 9B با کوانتیزه Q4_K_M روی یک GPU با ۸ گیگابایت حافظه، پنجره زمینه (Context Window) محدودشده به ۳۲ هزار توکن، دمای ۰.۷ و حالت Thinking خاموش به کار رفت. از هر دو مدل خواسته شد باگ را برطرف کنند، پیام پایان بازی امتیاز نهایی را با جداکننده کاما نشان دهد و در ادامه فایل را از نظر مشکلات موجود بازبینی کنند.
نتیجه رفع باگ و افزودن قابلیت
Haiku 5.5 باگ را در نخستین تلاش شناسایی کرد و توضیحی روشن به زبان ساده ارائه داد؛ سپس خط مربوط به Google Analytics را طوری تغییر داد که فقط هنگام در دسترس بودن این سرویس اجرا شود. بدون درخواست اضافه، یک مشکل کوچک‌تر دیگر را نیز در همان فایل علامت زد: نشت یک مقدار از بخشی از کد به بخش‌های دیگر بازی. به گفته مدل، این نشت عامل توقف صفحه نبود، اما آن را هم اصلاح کرد.
پاسخ نخست Qwen از همان ابتدا غیرعادی بود؛ بازی را Tetris نامید و پاسخ خود را «low-fidelity wireframe» خواند. این مدل باگ را به اجرا نشدن مرحله راه‌اندازی مجدد بازی نسبت داد و اصلاح پیشنهادی‌اش پیام را بلافاصله پس از نمایش پاک می‌کرد، در حالی که خط Google Analytics دست‌نخورده باقی می‌ماند. در بخش نمایش امتیاز نیز Haiku فایل کامل را با پیام «Game over! You scored 1,240» و هر دو اصلاح قبلی تحویل داد؛ اما Qwen صفحه‌ای ساختگی با شبکه ۱۰×۱۰ ارائه کرد که اصلاً 2048 نبود و خط کد عامل توقف هم در آن وجود داشت.
بازبینی کد و سرعت اجرا
در مرحله بازبینی، Qwen خط مربوط به Google Analytics را به‌عنوان دومین ریسک از فهرست ۱۵ موردی خود آورد؛ یعنی مشکل را می‌شناخت، اما در اصلاح مستقیم از آن ناتوان بود. بیشتر نکات دیگر آن نیز توصیه‌هایی کلی بود که به هر کدی قابل تعمیم است. در مقابل، نکات Haiku به خطوط مشخصی از فایل گره خورده بود و حتی تشخیص داد کد Analytics به سرویس گوگلی وابسته است که در سال ۲۰۲۳ بازنشسته شده است.
Qwen با سرعت حدود ۲۰ توکن بر ثانیه اجرا شد که سرعت بدی نیست، اما Haiku به‌طور محسوسی سریع‌تر بود. البته این مقایسه کاملاً منصفانه نیست، زیرا تقریباً هر مدل ابری از مدلی که روی سخت‌افزار محدود محلی اجرا می‌شود سریع‌تر است. برآورد تقریبی نشان می‌دهد هر سه درخواست از طریق API مدل Haiku حدود یک سنت هزینه داشته باشد.
جمع‌بندی: پیروزی مقرون‌به‌صرفه Haiku
در این آزمایش، Haiku 5.5 با فاصله نسبتاً راحتی برنده شد؛ دلیل اصلی این است که کدی برگرداند که می‌شد آن را دوباره در فایل قرار داد و بدون مشکل اجرا کرد. این نتیجه تا حدی غافلگیرکننده بود، چون Haiku مدل قوی‌ای برای کدنویسی محسوب نمی‌شود و وظیفه آزمایش هم چندان سنگین نبود. Qwen در نهایت در بازبینی کد باگ را نام برد، اما پیش از آن دو بار آن را از دست داده بود. با این حال، Qwen همچنان برای کارهای محلی و کم‌بلندپروازانه روی رایانه شخصی نگه داشته می‌شود.