سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. به مناسبت عید غدیر، در سایت https://esetupdate.ir/ تخفیف ویژه‌ای برای محصولات در نظر گرفته شده است؛ فرصت را از دست ندهید. 🌸
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود
wepido.ir

افزایش ۱۳۷ درصدی سرعت Gemma 4 در llama.cpp با یک قابلیت کمترشناخته‌شده

افزایش ۱۳۷ درصدی سرعت Gemma 4 در llama.cpp با یک قابلیت کمترشناخته‌شده

در دنیای هوش مصنوعی محلی (Local AI)، سرعت اجرای مدل‌ها به یکی از شاخص‌های کلیدی تبدیل شده است. گوگل در ماه مه درفت‌رهای پیش‌بینی چندتوکنی (Multi-Token Prediction یا MTP) را برای مدل‌های Gemma منتشر کرد و llama.cpp در ژوئن پشتیبانی از آن را اضافه کرد. این درفت‌ر یک فایل ۲۴۲ مگابایتی است که در تست انجام‌شده روی RTX 4070 Ti Super، سرعت Gemma 4 12B را از حدود ۷۵ توکن بر ثانیه به میانگین ۱۷۹ توکن بر ثانیه رساند؛ یعنی رشد ۱۳۷ درصدی در سه بار کاری مختلف.

پیش‌بینی چندتوکنی چگونه سرعت را افزایش می‌دهد؟

پیش‌بینی چندتوکنی (MTP) در واقع نوعی دیکودینگ حدسی (Speculative Decoding) است. در این روش، مدل اصلی (Target Model) با یک درفت‌ر کوچک‌تر همراه می‌شود که در کنار آن آموزش دیده است. درفت‌ر چند توکن بعدی را حدس می‌زند و مدل بزرگ‌تر هم‌زمان چند حدس را بررسی می‌کند. اگر حدسی رد شود، مدل اصلی همچنان توکن درست را برای آن موقعیت تولید می‌کند و مرحله هدر نمی‌رود.

به گفته گوگل، MTP همان معماری‌ای است که Gemma 4 برای دیکودینگ حدسی به کار می‌برد. بنابراین به‌جای تولید توکن‌ها یکی‌یکی، درفت‌ر چند توکن جلوتر را پیش‌بینی می‌کند و مدل اصلی آن‌ها را به‌صورت موازی تأیید می‌کند.

نتیجه تست: از ۷۵.۳ به ۱۷۸.۷ توکن بر ثانیه

تست خط پایه (Baseline) روی سیستمی با RTX 4070 Ti Super با ۱۶ گیگابایت GDDR6X، پردازنده Ryzen 5 7600X و ۳۲ گیگابایت DDR5 انجام شد. مدل Gemma 4 12B از Unsloth با کوانت UD-Q4_K_XL و بیلد QAT، روی llama-server و بیلد b11927 از llama.cpp با زمینه ۳۲ هزار توکن (32K Context)، فلش اتنشن (Flash Attention)، قرارگیری همه لایه‌ها روی GPU و تنظیمات نمونه‌برداری پیشنهادی گوگل اجرا شد. در این تست‌ها حالت تفکر (Thinking Mode) خاموش بود.

سه بار کاری شامل تولید آرایه JSON از ۱۵ قطعه سخت‌افزاری خیالی، ساخت ابزار خط فرمان پایتون برای یافتن فایل‌های تکراری بر اساس هش SHA-256 و نوشتن داستان کوتاه ۶۰۰ کلمه‌ای بود. نتایج میانگین سه اجرا به این صورت است:

  • JSON: از ۷۴.۷ به ۱۹۹.۴ توکن بر ثانیه؛ رشد ۱۶۷ درصد
  • کد: از ۷۵.۵ به ۲۰۵.۴ توکن بر ثانیه؛ رشد ۱۷۲ درصد
  • متن داستانی: از ۷۵.۸ به ۱۳۱.۳ توکن بر ثانیه؛ رشد ۷۳ درصد
  • میانگین: از ۷۵.۳ به ۱۷۸.۷ توکن بر ثانیه؛ رشد ۱۳۷ درصد

فعال‌سازی MTP در llama.cpp با چهار فلگ

برای فعال‌سازی این قابلیت، باید درفت‌ر متناسب با مدل از همان مخزن QAT دانلود شود؛ زیرا مدل QAT باید با درفت‌ر QAT اجرا شود. در این تست، فایل UD-Q4_K_XL و درفت‌ر mtp-gemma-4-12B-it.gguf از مخزن Unsloth در Hugging Face دریافت شدند. سپس llama-server با چهار فلگ اضافی و بدون تغییر سایر تنظیمات خط پایه راه‌اندازی شد:

  • -md mtp-gemma-4-12B-it.gguf برای بارگذاری درفت‌ر
  • -ngld 99 برای قرار دادن درفت‌ر روی GPU در کنار مدل اصلی
  • --spec-type draft-mtp برای اجرای درفت‌ر به‌عنوان هد MTP Gemma 4 و خواندن کش مدل اصلی
  • --spec-draft-n-max 3 برای محدود کردن هر دور به سه حدس

نکات مهم پیش از فعال‌سازی

مدل‌های متراکم (Dense) مانند Gemma 4 12B بیشترین بهره را از درفت‌ر می‌برند. گوگل می‌گوید مدل‌های ترکیبی خبره (Mixture-of-Experts یا MoE) در سناریوی تک‌کاربره کمتر از درفت‌ر سود می‌کنند. نتایج به پیکربندی سخت‌افزاری هم بستگی دارد، اما تست‌کنندگان از RTX 5090 تا GT 1030 رشد سرعت گزارش کرده‌اند. برای استفاده، کافی است llama.cpp را به آخرین بیلد به‌روزرسانی کنید، درفت‌ر متناسب با مدل را دانلود کنید و چهار فلگ یادشده را اضافه کنید.

نظرتان را ثبت کنید کد خبر: 56395 گروه خبری: اخبار نرم افزار منبع خبر: XDA Developers تاریخ خبر: 1405/08/09 تعداد مشاهده: 50
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
Rescue Frenzy

Rescue Frenzy

هیجان نجات

Brilliant Bob

Brilliant Bob

بابِ زیرک

Webp Converter v1.2

Webp Converter v1.2

تبدیل فرمت عکس

Microsoft Malicious Software Removal Tool 5.146

Microsoft Malicious Software Removal Tool 5.146

حذف بدافزارها از ویندوز

DX Toolbox 3.5.0 / DX Battery Saver 3.4.0 for Android +2.2

DX Toolbox 3.5.0 / DX Battery Saver 3.4.0 for Android +2.2

مدیریت کامل سیستم عامل اندروید

سخنرانی های حجت الاسلام دهنوی

سخنرانی های حجت الاسلام دهنوی

حجت الاسلام دهنوی

Three Men vs. Fifteen Hungry Lions - Human Planet, Grasslands

Three Men vs. Fifteen Hungry Lions - Human Planet, Grasslands

شکار شیرها

سخنرانی حجت الاسلام مهدی شریعتی‌تبار با موضوع امام زمان(ع) از دیدگاه نهج البلاغه - 6 جلسه

سخنرانی حجت الاسلام مهدی شریعتی‌تبار با موضوع امام زمان(ع) از دیدگاه نهج البلاغه - 6 جلسه

سخنرانی امام زمان(ع) از دیدگاه نهج البلاغه با شریعتی‌تبار

TranscribeKit 1.2.0

TranscribeKit 1.2.0

تبدیل فایل‌های صوتی و ویدئویی به متن و زیرنویس‌

یادگیری جدول در وردپرس

یادگیری جدول در وردپرس

ایجاد جدول با ویرایشگر وردپرس

TesserAct

TesserAct

تِسِرَکت

شخصیت پیامبر اسلام(ص)

شخصیت پیامبر اسلام(ص)

زندگینامه پیامبر اسلام(ص)

سخنرانی حجت الاسلام والمسلمین علیرضا پناهیان سال 98

سخنرانی حجت الاسلام والمسلمین علیرضا پناهیان سال 98

محرم شب اول تا شام غریبان پناهیان

Biker Garage Mechanic Simulator Anniversary Edition

Biker Garage Mechanic Simulator Anniversary Edition

شبیه ساز موتورسیکلت

GRIME

GRIME

گرایم

سخنرانی حجت الاسلام سید عبدالله فاطمی نیا با موضوع تأملی در معنای قلب و علم

سخنرانی حجت الاسلام سید عبدالله فاطمی نیا با موضوع تأملی در معنای قلب و علم

حاج آقا فاطمی نیابا موضوع تأملی در معنای قلب و علم

سخنرانی حجت الاسلام احمد دارستانی با موضوع انجام کارها به نیت امام زمان

سخنرانی حجت الاسلام احمد دارستانی با موضوع انجام کارها به نیت امام زمان

سخنرانی حجت الاسلام حمید میرباقری با موضوع اصغر آواره

نشانه های بندگان خوب خدا از حجت الاسلام والمسلمین علوی تهرانی- 3 بخش

نشانه های بندگان خوب خدا از حجت الاسلام والمسلمین علوی تهرانی- 3 بخش

حاج آقا علوی تهرانی با موضوع نشانه های بندگان خوب خدا

YouCam Makeup Premium 6.38.1 For Android +6.0

YouCam Makeup Premium 6.38.1 For Android +6.0

یو کم میکاپ

Udemy - Graphic Design Bootcamp: Part 2 Advanced Training

Udemy - Graphic Design Bootcamp: Part 2 Advanced Training

آموزش طراحی گرافیک

سخنرانی دکتر ناصر رفیعی با موضوع معرفی شیعه و صفات شیعیان - 2 جلسه

سخنرانی دکتر ناصر رفیعی با موضوع معرفی شیعه و صفات شیعیان - 2 جلسه

سخنرانی معرفی شیعه و صفات شیعیان با ناصر رفیعی

Better File Rename 6.27 / macOS

Better File Rename 6.27 / macOS

تغییر نام فایل ها

Monster Story 1.0.5.4 for Android

Monster Story 1.0.5.4 for Android

بازی داستان هیولاها

FIFA 21

FIFA 21

فیفا 21 برای کامپیوتر

سیر قلبی به سوی خدا از زبان آیت الله مصباح یزدی

سیر قلبی به سوی خدا از زبان آیت الله مصباح یزدی

سیر قلبی به سوی خدا از زبان آیت الله مصباح یزدی

Pro Cycling Manager 2020

Pro Cycling Manager 2020

شبیه ساز دوچرخه سواری

Avenue Flo

Avenue Flo

خیابان فلو

مداحی وفات حضرت ام البنین (س)

مداحی وفات حضرت ام البنین (س)

مداحی ام البنین

Gold Rush! Anniversary Special Edition

Gold Rush! Anniversary Special Edition

جویندگان طلا - نسخه‌ی ویژه‌ی بازسازی‌شده و ارتقا یافته

Where is My Water? 1.9.3.86 for Android +2.3

Where is My Water? 1.9.3.86 for Android +2.3

بازی حمام تمساح

mIRC 7.86

mIRC 7.86

چت در ویندوز

شبهات عاشورا

شبهات عاشورا

عاشورا و اهل سنت

Lynda - Simple Android Development Tools

Lynda - Simple Android Development Tools

فیلم آموزش ساخت اپلیکیشن‌های اندروید با ابزارهای ساده

Extreme Road Trip 2 v3.17.0.26 for Android +2.3

Extreme Road Trip 2 v3.17.0.26 for Android +2.3

مسابقه سرعت در جاده

کلیه اصطلاحات و نکات در طراحی وب سایت

کلیه اصطلاحات و نکات در طراحی وب سایت

آموزش طراحی وب سایت

Stardock WindowBlinds 11.07

Stardock WindowBlinds 11.07

زیباساز و تغییر پوسته ویندوز

FIFA Manager 2012

FIFA Manager 2012

دانلود نسخه جدید فیفا منیجر 12 برای علاقه مندان به فوتبال با فرمت جاوا

Intel Parallel Studio XE Cluster Edition 2020 Update 4 / 2019 Update 5 + Linux / 2017 Update 5 + Linux

Intel Parallel Studio XE Cluster Edition 2020 Update 4 / 2019 Update 5 + Linux / 2017 Update 5 + Linux

اینتل پارالل استودیو

درآمدزایی از پرورش شتر مرغ

درآمدزایی از پرورش شتر مرغ

حرفه پرورش شتر مرغ به زبان ساده

Autodesk AutoCAD Civil 3D 2013 x86/x64 + 2014 SP1 x64

Autodesk AutoCAD Civil 3D 2013 x86/x64 + 2014 SP1 x64

نرم افزار اتوکد ویژه عمران و شهر سازی

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!