سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. به مناسبت عید غدیر، در سایت https://esetupdate.ir/ تخفیف ویژه‌ای برای محصولات در نظر گرفته شده است؛ فرصت را از دست ندهید. 🌸
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود
wepido.ir

کوانتیزه‌سازی و قالب چت اشتباه؛ دلیل حلقه‌ای شدن LLM محلی

کوانتیزه‌سازی و قالب چت اشتباه؛ دلیل حلقه‌ای شدن LLM محلی

آزمایش‌های یک کاربر با مدل‌های زبانی محلی (Local LLMs) نشان می‌دهد که ترکیب کوانتیزه‌سازی (Quantization) نامناسب و قالب چت (Chat Template) نادرست می‌تواند مدل را به حلقه‌های توهم‌آمیز و پاسخ‌های تکراری بکشاند. در این تجربه، راه‌حل نه تغییر کامل مدل، بلکه دانلود نسخه‌ای متفاوت از همان مدل و استفاده از قالب صحیح بوده است.

کوانتیزه‌سازی بالا؛ معامله دقت با سرعت

مدل‌های کوانتیزه‌شده مانند Q2، Q3، Q4 و Q5 وزن‌های مدل را از نوع داده‌های پرحجم و دقیق به معادل‌های کم‌حجم‌تر و سریع‌تر تبدیل می‌کنند. در مثال Gemma-4-12B، نسخه بدون کوانتیزه BF16 حدود ۲۶.۷ گیگابایت حافظه گرافیکی (VRAM) می‌خواهد و نسخه Q8 نیز با حدود ۱۴ گیگابایت همچنان برای کارت‌هایی مثل RTX 3080 Ti با ۱۲ گیگابایت VRAM سنگین است. نسخه Q2 تنها حدود ۴.۲ تا ۴.۵ گیگابایت فضا اشغال می‌کند و حتی روی GTX 1080 قدیمی هم اجرا می‌شود، اما جریمه استدلالی آن با حلقه‌های بی‌پایان، انحراف از موضوع و اطلاعات نادرست همراه است. به گفته نویسنده، Q4 و Q5 نقطه تعادل مناسب‌تری میان عملکرد و توان استدلال هستند.

قالب چت نادرست، دقت مدل را کاهش می‌دهد

قالب چت مسئول تبدیل پرسش محاوره‌ای به مجموعه پرامپت قابل فهم برای مدل است. در Qwen3.6، فعال کردن متغیر enable_thinking می‌تواند به تولید برچسب برای یادداشت‌ها و اسناد کمک کند؛ همچنین تغییر نقش سیستم (System Role) می‌تواند مدل را برای وظایف برنامه‌نویسی جهت دهد. اما انتخاب قالب اشتباه یا جابه‌جا کردن قالب‌های Gemma 4 و Qwen3.6 دقت مدل را به‌شدت کاهش می‌دهد.

مدل‌های MoE و توزیع بار بین GPU و حافظه سیستم

به گفته نویسنده، یکی از بزرگ‌ترین ارتقاها در وظایف استنتاج (Inference) استفاده از مدل‌های ترکیب متخصص‌ها (Mixture-of-Experts یا MoE) بوده است. این مدل‌ها با سازوکار مسیریابی (Routing Mechanism) فقط زیرمجموعه کوچکی از پارامترها را فعال می‌کنند و بقیه پارامترها می‌توانند در حافظه سیستم قرار بگیرند. در llama.cpp می‌توان پارامترهای غیرفعال را با فلگ --n-cpu-moe به حافظه سیستم منتقل کرد و هم‌زمان از VRAM کارت گرافیک استفاده کرد.

  • RTX 3080 Ti مدل Qwen3.6-35B-A3B (Q4_K_M) را با سرعت ۲۴ توکن بر ثانیه اجرا می‌کند.
  • GTX 1080 از نسل Pascal مدل Gemma-4-26B-A4B (Q4_K_M) را با سرعت بیش از ۱۴ توکن بر ثانیه اجرا می‌کند.

نویسنده تأکید می‌کند تا زمانی که از مدل‌های با کوانتیزه‌سازی بالاتر استفاده نشود و قالب چت درست بماند، همین نسخه‌های MoE برای وظایف برنامه‌نویسی و بهره‌وری کافی هستند. llama.cpp نیز چارچوبی متن‌باز (Open-Source) برای اجرای محلی مدل‌های زبانی بزرگ است.

نظرتان را ثبت کنید کد خبر: 56128 گروه خبری: اخبار نرم افزار منبع خبر: XDA Developers تاریخ خبر: 1405/08/03 تعداد مشاهده: 60
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
Logan 2017

Logan 2017

لوگان

TY the Tasmanian Tiger 2

TY the Tasmanian Tiger 2

تای ببر تاسمانی

MediaInfo 26.10 / macOS

MediaInfo 26.10 / macOS

مشاهده اطلاعات فایل صوتی و ویدئویی

روش های جوجه کشی در خانه

روش های جوجه کشی در خانه

آموزش جوجه کشی به زبان ساده

DP Animation Maker 3.5.47

DP Animation Maker 3.5.47

ساخت انیمیشن دوبعدی

سیستم های پیشنهاد دهنده در شبکه های اجتماعی

سیستم های پیشنهاد دهنده در شبکه های اجتماعی

سیستم شبکه های اجتماعی

Professional Assembly Language

Professional Assembly Language

اسمبلی

Pet Shop Story 1.0.6 for Android

Pet Shop Story 1.0.6 for Android

بازی فروشگاه حیوانات خانگی اینترنتی

تغافل رمز شاد زیستن است

تغافل رمز شاد زیستن است

سخنرانی استاد شجاعی

Airflow 3.3.7

Airflow 3.3.7

پخش ویدیو

iTop Easy Desktop 3.2.1.147

iTop Easy Desktop 3.2.1.147

مرتب کردن دسکتاپ ویندوز

Wifi File Transfer Pro 1.10 for Android +2.3

Wifi File Transfer Pro 1.10 for Android +2.3

نقل انتقال اطلاعات با وایرلس

Udemy - Blockchain and Bitcoin Fundamentals

Udemy - Blockchain and Bitcoin Fundamentals

آموزش بلاکچین و بیت کوین

نماهنگ زیبای « با روی سیاه » با صدای حاج محمود کریمی ویژه ایام ماه مبارک رمضان

نماهنگ زیبای « با روی سیاه » با صدای حاج محمود کریمی ویژه ایام ماه مبارک رمضان

با روی سیاه از محمود کریمی

أهم الأماکن الأثریة و التاریخیة فی سوریة

أهم الأماکن الأثریة و التاریخیة فی سوریة

الأماکن التاریخیة فی سوریة

Trend Micro Cleaner One Pro 6.8.0.333

Trend Micro Cleaner One Pro 6.8.0.333

بهینه سازی ویندوز

آموزش ماکرو مدیا فلش

آموزش ماکرو مدیا فلش

آشنایی با نرم افزار Flash Macromedia

FX Draw Tools MultiDocs 24.09.04

FX Draw Tools MultiDocs 24.09.04

تولید سوالات ریاضی و ترسیم نمودار

نامه های رسمی به امام زمان علیه السلام

نامه های رسمی به امام زمان علیه السلام

مولای ما کی خواهد آمد؟

سخنرانی حجت الاسلام پناهیان درمورد تاریخ تحلیلی اسلام

سخنرانی حجت الاسلام پناهیان درمورد تاریخ تحلیلی اسلام

سخنرانی حجت الاسلام پناهیان با موضوع تاریخ تحلیلی اسلام

Police Supercars Racing

Police Supercars Racing

مسابقه و تعقیب و گریز با ماشین‌های پلیس

Tom Clancy's H.A.W.X 2 + New Crack TiNYiSO

Tom Clancy's H.A.W.X 2 + New Crack TiNYiSO

Tom Clancys H A W X 2

جایگاه ائمه (ع) در عالم از حجت الاسلام والمسلمین سیدمحمدمهدی میرباقری

جایگاه ائمه (ع) در عالم از حجت الاسلام والمسلمین سیدمحمدمهدی میرباقری

حاج آقا سیدمحمدمهدی میرباقری با موضوع جایگاه ائمه (ع) در عالم

آموزش نرم افزار COMFAR

آموزش نرم افزار COMFAR

آموزش کامفار

مداحی حاج حسین سیب سرخی سال 99

مداحی حاج حسین سیب سرخی سال 99

مداحی سیب سرخی سال 99

مستند چرا تایتانیک غرق شد؟

مستند چرا تایتانیک غرق شد؟

مستند تایتانیک

Babel - Choice

Babel - Choice

بابل - گزینش

Hook

Hook

قلاب

Dodol Keyboard 1.86 for Android +2.2

Dodol Keyboard 1.86 for Android +2.2

کیبرد جدید محصول شرکت Dodol

SlickEdit Pro 2024 29.0.2

SlickEdit Pro 2024 29.0.2

ویرایشگر کد حرفه‌ای

ارتباط رایانه به صورت مستقیم

ارتباط رایانه به صورت مستقیم

مروری بر اتصال مغز به کامپیوتر؛ چالش ها، راهکارها و کاربردها

AMD Radeon Adrenalin Edition 26.11.1 WHQL

AMD Radeon Adrenalin Edition 26.11.1 WHQL

درایور گرافیک ای ام دی

RE-VOLT Classic - 3D Racing Premium 1.3.0 for Android +2.3

RE-VOLT Classic - 3D Racing Premium 1.3.0 for Android +2.3

بازی ماشین کنترلی

سخنرانی حجت الاسلام حاج علی اکبری با موضوع بندگی عاشقانه اصل اساسی زندگی فاطمی

سخنرانی حجت الاسلام حاج علی اکبری با موضوع بندگی عاشقانه اصل اساسی زندگی فاطمی

سخنرانی بندگی عاشقانه اصل اساسی زندگی فاطمی با حاج علی اکبری

Face It - A game to fight inner demons

Face It - A game to fight inner demons

اکشن پلاتفرمر

تلاوت مجلسی استاد عبد الباسط عبد الصمد سوره مدثر - قیامه

تلاوت مجلسی استاد عبد الباسط عبد الصمد سوره مدثر - قیامه

تلاوت عبد الباسط سوره قیامه

مداح حاج محمود کریمی

مداح حاج محمود کریمی

مداحی حاج محمود کریمی قربان

Showgunners

Showgunners

شوگانرز

Programming Windows Store Apps with C#

Programming Windows Store Apps with C#

آموزش سی شارپ

PDF Suite Pro+OCR 20.0.62.21558

PDF Suite Pro+OCR 20.0.62.21558

ویرایشگر پی‌دی‌اف

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!