سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. به مناسبت عید غدیر، در سایت https://esetupdate.ir/ تخفیف ویژه‌ای برای محصولات در نظر گرفته شده است؛ فرصت را از دست ندهید. 🌸
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود
wepido.ir

کوانتیزه‌سازی و قالب چت اشتباه؛ دلیل حلقه‌ای شدن LLM محلی

کوانتیزه‌سازی و قالب چت اشتباه؛ دلیل حلقه‌ای شدن LLM محلی

آزمایش‌های یک کاربر با مدل‌های زبانی محلی (Local LLMs) نشان می‌دهد که ترکیب کوانتیزه‌سازی (Quantization) نامناسب و قالب چت (Chat Template) نادرست می‌تواند مدل را به حلقه‌های توهم‌آمیز و پاسخ‌های تکراری بکشاند. در این تجربه، راه‌حل نه تغییر کامل مدل، بلکه دانلود نسخه‌ای متفاوت از همان مدل و استفاده از قالب صحیح بوده است.

کوانتیزه‌سازی بالا؛ معامله دقت با سرعت

مدل‌های کوانتیزه‌شده مانند Q2، Q3، Q4 و Q5 وزن‌های مدل را از نوع داده‌های پرحجم و دقیق به معادل‌های کم‌حجم‌تر و سریع‌تر تبدیل می‌کنند. در مثال Gemma-4-12B، نسخه بدون کوانتیزه BF16 حدود ۲۶.۷ گیگابایت حافظه گرافیکی (VRAM) می‌خواهد و نسخه Q8 نیز با حدود ۱۴ گیگابایت همچنان برای کارت‌هایی مثل RTX 3080 Ti با ۱۲ گیگابایت VRAM سنگین است. نسخه Q2 تنها حدود ۴.۲ تا ۴.۵ گیگابایت فضا اشغال می‌کند و حتی روی GTX 1080 قدیمی هم اجرا می‌شود، اما جریمه استدلالی آن با حلقه‌های بی‌پایان، انحراف از موضوع و اطلاعات نادرست همراه است. به گفته نویسنده، Q4 و Q5 نقطه تعادل مناسب‌تری میان عملکرد و توان استدلال هستند.

قالب چت نادرست، دقت مدل را کاهش می‌دهد

قالب چت مسئول تبدیل پرسش محاوره‌ای به مجموعه پرامپت قابل فهم برای مدل است. در Qwen3.6، فعال کردن متغیر enable_thinking می‌تواند به تولید برچسب برای یادداشت‌ها و اسناد کمک کند؛ همچنین تغییر نقش سیستم (System Role) می‌تواند مدل را برای وظایف برنامه‌نویسی جهت دهد. اما انتخاب قالب اشتباه یا جابه‌جا کردن قالب‌های Gemma 4 و Qwen3.6 دقت مدل را به‌شدت کاهش می‌دهد.

مدل‌های MoE و توزیع بار بین GPU و حافظه سیستم

به گفته نویسنده، یکی از بزرگ‌ترین ارتقاها در وظایف استنتاج (Inference) استفاده از مدل‌های ترکیب متخصص‌ها (Mixture-of-Experts یا MoE) بوده است. این مدل‌ها با سازوکار مسیریابی (Routing Mechanism) فقط زیرمجموعه کوچکی از پارامترها را فعال می‌کنند و بقیه پارامترها می‌توانند در حافظه سیستم قرار بگیرند. در llama.cpp می‌توان پارامترهای غیرفعال را با فلگ --n-cpu-moe به حافظه سیستم منتقل کرد و هم‌زمان از VRAM کارت گرافیک استفاده کرد.

  • RTX 3080 Ti مدل Qwen3.6-35B-A3B (Q4_K_M) را با سرعت ۲۴ توکن بر ثانیه اجرا می‌کند.
  • GTX 1080 از نسل Pascal مدل Gemma-4-26B-A4B (Q4_K_M) را با سرعت بیش از ۱۴ توکن بر ثانیه اجرا می‌کند.

نویسنده تأکید می‌کند تا زمانی که از مدل‌های با کوانتیزه‌سازی بالاتر استفاده نشود و قالب چت درست بماند، همین نسخه‌های MoE برای وظایف برنامه‌نویسی و بهره‌وری کافی هستند. llama.cpp نیز چارچوبی متن‌باز (Open-Source) برای اجرای محلی مدل‌های زبانی بزرگ است.

نظرتان را ثبت کنید کد خبر: 56128 گروه خبری: اخبار نرم افزار منبع خبر: XDA Developers تاریخ خبر: 1405/08/03 تعداد مشاهده: 59
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
ماهنامه علمی ، آموزشی مدرسه مجازی ایرانیان شماره 1 ، 2 ، 3 ، 4 ، 5 ، 6 ، 7 و 8

ماهنامه علمی ، آموزشی مدرسه مجازی ایرانیان شماره 1 ، 2 ، 3 ، 4 ، 5 ، 6 ، 7 و 8

مجله مدرسه مجازی ایرانیان

ContourTrace Professional 2.8.5

ContourTrace Professional 2.8.5

تبدیل تصاویر پیکسلی به برداری

Youropa + Update 1 incl Hotfix

Youropa + Update 1 incl Hotfix

اکشن و پازلی

نکات و ترفندهای مقدماتی راه اندازی سایت دانلود

نکات و ترفندهای مقدماتی راه اندازی سایت دانلود

ترفندهای راه اندازی سایت دانلود

Virtual Pool 4

Virtual Pool 4

بیلیارد - ویرچوال پـول 4

آشنایی با نرم افزار Premiere

آشنایی با نرم افزار Premiere

آموزش پریمیر

Hill Racing 3D: Uphill Rush 1.06 for Android +2.3

Hill Racing 3D: Uphill Rush 1.06 for Android +2.3

مسابقه کامیون هیل

گلچین آثار 1398 از صابر خراسانی

گلچین آثار 1398 از صابر خراسانی

روضه صابر خراسانی

PeaZip 11.4.0

PeaZip 11.4.0

فشرده سازی فایل ها

Real World Racing Steam Version + Update v1.250 Incl 2DLC

Real World Racing Steam Version + Update v1.250 Incl 2DLC

مسابقات اتومبیل‌رانی شهری رئـال وُرلد رِیـسینگ

Jurassic World: Fallen Kingdom 2018

Jurassic World: Fallen Kingdom 2018

دنیای ژوراسیک سقوط پادشاهی

کلید موفقیت در رشته کامپیوتر را فشار دهید!

کلید موفقیت در رشته کامپیوتر را فشار دهید!

راهنمای آنچه در دانشگاه به شما نمی آموزند!

Dragon in Fury

Dragon in Fury

اژدهای خشمگین

مجله طراحی و معماری و دکوراسیون

مجله طراحی و معماری و دکوراسیون

مجله Home & Design ژانویه و فوریه 2021

Systweak PDF Editor Pro 1.0.0.11389

Systweak PDF Editor Pro 1.0.0.11389

ویرایش پی‌دی‌اف

برجسته ترین چهره های شعر و ادبیات قرن سیزدهم

برجسته ترین چهره های شعر و ادبیات قرن سیزدهم

شاعر و تصنیف‌سرای نامی ایران

Code Of Honor 3 Desperate Measures

Code Of Honor 3 Desperate Measures

گارد ویژه پلیس امنیت فرانسه

Edoardo

Edoardo

مستند ادواردو

FIFA 11

FIFA 11

نسخه جدید فیفا 11 برای علاقه مندان به فوتبال

Subtitle Workshop Classic 6.3.8 + Portable

Subtitle Workshop Classic 6.3.8 + Portable

بهترین نرم افزار ساخت و ویرایش زیرنویس

Chicku

Chicku

چیکو

Tricky Dwarves

Tricky Dwarves

جلوگیری از خروج توپ فلش

Adobe Shockwave Player 12.3.5.205 / macOS

Adobe Shockwave Player 12.3.5.205 / macOS

پخش فلش در ویندوز

Perfect Viewer Donate 5.0.2.4 for Android +2.2

Perfect Viewer Donate 5.0.2.4 for Android +2.2

نمایش تصاویر

Trespass

Trespass

اکشن حادثه ای

Filmworkz Phoenix 2025.1.006

Filmworkz Phoenix 2025.1.006

ترمیم فیلم

Masha and the Bear

Masha and the Bear

کارتون ماشا و میشا

EPLAN Fluid 2023.0.3.19351 / 2.7.3.11418

EPLAN Fluid 2023.0.3.19351 / 2.7.3.11418

ایپلن فلوید مدلسازی در مهندسی سیالات

Fluent 6.3.26 + GAMBIT 2.4.6 + Exceed 2006 + Exceed 2008 v13.0 + Unlimited License

Fluent 6.3.26 + GAMBIT 2.4.6 + Exceed 2006 + Exceed 2008 v13.0 + Unlimited License

شبیه سازی و آنالیز به همراه ابزار طراحی هندسی CAD

شروعی بر برنامه نویسی Ajax

شروعی بر برنامه نویسی Ajax

شروعی بر اجکس

میلاد حضرت علی اکبر علیه السلام حاج محمود کریمی

میلاد حضرت علی اکبر علیه السلام حاج محمود کریمی

این که رو دست مولاست علی اکبر یا حیدر محمود کریمی

Lumion Pro 2023.4.2.0 / 12.5 / 11.5 / 10.3.2 / 8.5

Lumion Pro 2023.4.2.0 / 12.5 / 11.5 / 10.3.2 / 8.5

نرم افزار طراحی و شبیه سازی سه بعدی محیط

LinuxAcademy - Linux By Example For Novices To Pros

LinuxAcademy - Linux By Example For Novices To Pros

فیلم آموزش لینوکس با مثال و تمرین، برای کاربران مبتدی تا حرفه‌ای‌

n7player Music Player Premium 3.1.2 for Android +4.1

n7player Music Player Premium 3.1.2 for Android +4.1

پلیر صوتی ان7

EasyUEFI Enterprise 6.0.1 + WinPE

EasyUEFI Enterprise 6.0.1 + WinPE

مدیریت تنظیمات بوت

نقد و بررسی آثار و افکار پائولو کوئلیو

نقد و بررسی آثار و افکار پائولو کوئلیو

ویژه نامه رسان

آموزش مقدماتی راه اندازی وب سایت

آموزش مقدماتی راه اندازی وب سایت

آشنایی با ایجاد وب سایت و مدیریت آن

سخنرانی حجت الاسلام علی اکبر فرجام با موضوع نشاط اجتماعی، عاملی در جهت موفقیت و امید آفرینی در جامعه

سخنرانی حجت الاسلام علی اکبر فرجام با موضوع نشاط اجتماعی، عاملی در جهت موفقیت و امید آفرینی در جامعه

حاج آقا علی اکبر فرجام با موضوع نشاط اجتماعی، عاملی در جهت موفقیت و امید آفرینی در جامعه

Super Moto Extreme

Super Moto Extreme

بازی موتور پرشی برای موبایل

شبکه اجتماعی ویراستی نسخه 7.2.0 برای اندروید 5.1+

شبکه اجتماعی ویراستی نسخه 7.2.0 برای اندروید 5.1+

ویراستی

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!