آزمایش‌های یک کاربر با مدل‌های زبانی محلی (Local LLMs) نشان می‌دهد که ترکیب کوانتیزه‌سازی (Quantization) نامناسب و قالب چت (Chat Template) نادرست می‌تواند مدل را به حلقه‌های توهم‌آمیز و پاسخ‌های تکراری بکشاند. در این تجربه، راه‌حل نه تغییر کامل مدل، بلکه دانلود نسخه‌ای متفاوت از همان مدل و استفاده از قالب صحیح بوده است.
کوانتیزه‌سازی بالا؛ معامله دقت با سرعت
مدل‌های کوانتیزه‌شده مانند Q2، Q3، Q4 و Q5 وزن‌های مدل را از نوع داده‌های پرحجم و دقیق به معادل‌های کم‌حجم‌تر و سریع‌تر تبدیل می‌کنند. در مثال Gemma-4-12B، نسخه بدون کوانتیزه BF16 حدود ۲۶.۷ گیگابایت حافظه گرافیکی (VRAM) می‌خواهد و نسخه Q8 نیز با حدود ۱۴ گیگابایت همچنان برای کارت‌هایی مثل RTX 3080 Ti با ۱۲ گیگابایت VRAM سنگین است. نسخه Q2 تنها حدود ۴.۲ تا ۴.۵ گیگابایت فضا اشغال می‌کند و حتی روی GTX 1080 قدیمی هم اجرا می‌شود، اما جریمه استدلالی آن با حلقه‌های بی‌پایان، انحراف از موضوع و اطلاعات نادرست همراه است. به گفته نویسنده، Q4 و Q5 نقطه تعادل مناسب‌تری میان عملکرد و توان استدلال هستند.
قالب چت نادرست، دقت مدل را کاهش می‌دهد
قالب چت مسئول تبدیل پرسش محاوره‌ای به مجموعه پرامپت قابل فهم برای مدل است. در Qwen3.6، فعال کردن متغیر enable_thinking می‌تواند به تولید برچسب برای یادداشت‌ها و اسناد کمک کند؛ همچنین تغییر نقش سیستم (System Role) می‌تواند مدل را برای وظایف برنامه‌نویسی جهت دهد. اما انتخاب قالب اشتباه یا جابه‌جا کردن قالب‌های Gemma 4 و Qwen3.6 دقت مدل را به‌شدت کاهش می‌دهد.
مدل‌های MoE و توزیع بار بین GPU و حافظه سیستم
به گفته نویسنده، یکی از بزرگ‌ترین ارتقاها در وظایف استنتاج (Inference) استفاده از مدل‌های ترکیب متخصص‌ها (Mixture-of-Experts یا MoE) بوده است. این مدل‌ها با سازوکار مسیریابی (Routing Mechanism) فقط زیرمجموعه کوچکی از پارامترها را فعال می‌کنند و بقیه پارامترها می‌توانند در حافظه سیستم قرار بگیرند. در llama.cpp می‌توان پارامترهای غیرفعال را با فلگ --n-cpu-moe به حافظه سیستم منتقل کرد و هم‌زمان از VRAM کارت گرافیک استفاده کرد.
- RTX 3080 Ti مدل Qwen3.6-35B-A3B (Q4_K_M) را با سرعت ۲۴ توکن بر ثانیه اجرا می‌کند.
- GTX 1080 از نسل Pascal مدل Gemma-4-26B-A4B (Q4_K_M) را با سرعت بیش از ۱۴ توکن بر ثانیه اجرا می‌کند.
نویسنده تأکید می‌کند تا زمانی که از مدل‌های با کوانتیزه‌سازی بالاتر استفاده نشود و قالب چت درست بماند، همین نسخه‌های MoE برای وظایف برنامه‌نویسی و بهره‌وری کافی هستند. llama.cpp نیز چارچوبی متن‌باز (Open-Source) برای اجرای محلی مدل‌های زبانی بزرگ است.