سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. به مناسبت عید غدیر، در سایت https://esetupdate.ir/ تخفیف ویژه‌ای برای محصولات در نظر گرفته شده است؛ فرصت را از دست ندهید. 🌸
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود
wepido.ir

افزایش ۱۳۷ درصدی سرعت Gemma 4 در llama.cpp با یک قابلیت کمترشناخته‌شده

افزایش ۱۳۷ درصدی سرعت Gemma 4 در llama.cpp با یک قابلیت کمترشناخته‌شده

در دنیای هوش مصنوعی محلی (Local AI)، سرعت اجرای مدل‌ها به یکی از شاخص‌های کلیدی تبدیل شده است. گوگل در ماه مه درفت‌رهای پیش‌بینی چندتوکنی (Multi-Token Prediction یا MTP) را برای مدل‌های Gemma منتشر کرد و llama.cpp در ژوئن پشتیبانی از آن را اضافه کرد. این درفت‌ر یک فایل ۲۴۲ مگابایتی است که در تست انجام‌شده روی RTX 4070 Ti Super، سرعت Gemma 4 12B را از حدود ۷۵ توکن بر ثانیه به میانگین ۱۷۹ توکن بر ثانیه رساند؛ یعنی رشد ۱۳۷ درصدی در سه بار کاری مختلف.

پیش‌بینی چندتوکنی چگونه سرعت را افزایش می‌دهد؟

پیش‌بینی چندتوکنی (MTP) در واقع نوعی دیکودینگ حدسی (Speculative Decoding) است. در این روش، مدل اصلی (Target Model) با یک درفت‌ر کوچک‌تر همراه می‌شود که در کنار آن آموزش دیده است. درفت‌ر چند توکن بعدی را حدس می‌زند و مدل بزرگ‌تر هم‌زمان چند حدس را بررسی می‌کند. اگر حدسی رد شود، مدل اصلی همچنان توکن درست را برای آن موقعیت تولید می‌کند و مرحله هدر نمی‌رود.

به گفته گوگل، MTP همان معماری‌ای است که Gemma 4 برای دیکودینگ حدسی به کار می‌برد. بنابراین به‌جای تولید توکن‌ها یکی‌یکی، درفت‌ر چند توکن جلوتر را پیش‌بینی می‌کند و مدل اصلی آن‌ها را به‌صورت موازی تأیید می‌کند.

نتیجه تست: از ۷۵.۳ به ۱۷۸.۷ توکن بر ثانیه

تست خط پایه (Baseline) روی سیستمی با RTX 4070 Ti Super با ۱۶ گیگابایت GDDR6X، پردازنده Ryzen 5 7600X و ۳۲ گیگابایت DDR5 انجام شد. مدل Gemma 4 12B از Unsloth با کوانت UD-Q4_K_XL و بیلد QAT، روی llama-server و بیلد b11927 از llama.cpp با زمینه ۳۲ هزار توکن (32K Context)، فلش اتنشن (Flash Attention)، قرارگیری همه لایه‌ها روی GPU و تنظیمات نمونه‌برداری پیشنهادی گوگل اجرا شد. در این تست‌ها حالت تفکر (Thinking Mode) خاموش بود.

سه بار کاری شامل تولید آرایه JSON از ۱۵ قطعه سخت‌افزاری خیالی، ساخت ابزار خط فرمان پایتون برای یافتن فایل‌های تکراری بر اساس هش SHA-256 و نوشتن داستان کوتاه ۶۰۰ کلمه‌ای بود. نتایج میانگین سه اجرا به این صورت است:

  • JSON: از ۷۴.۷ به ۱۹۹.۴ توکن بر ثانیه؛ رشد ۱۶۷ درصد
  • کد: از ۷۵.۵ به ۲۰۵.۴ توکن بر ثانیه؛ رشد ۱۷۲ درصد
  • متن داستانی: از ۷۵.۸ به ۱۳۱.۳ توکن بر ثانیه؛ رشد ۷۳ درصد
  • میانگین: از ۷۵.۳ به ۱۷۸.۷ توکن بر ثانیه؛ رشد ۱۳۷ درصد

فعال‌سازی MTP در llama.cpp با چهار فلگ

برای فعال‌سازی این قابلیت، باید درفت‌ر متناسب با مدل از همان مخزن QAT دانلود شود؛ زیرا مدل QAT باید با درفت‌ر QAT اجرا شود. در این تست، فایل UD-Q4_K_XL و درفت‌ر mtp-gemma-4-12B-it.gguf از مخزن Unsloth در Hugging Face دریافت شدند. سپس llama-server با چهار فلگ اضافی و بدون تغییر سایر تنظیمات خط پایه راه‌اندازی شد:

  • -md mtp-gemma-4-12B-it.gguf برای بارگذاری درفت‌ر
  • -ngld 99 برای قرار دادن درفت‌ر روی GPU در کنار مدل اصلی
  • --spec-type draft-mtp برای اجرای درفت‌ر به‌عنوان هد MTP Gemma 4 و خواندن کش مدل اصلی
  • --spec-draft-n-max 3 برای محدود کردن هر دور به سه حدس

نکات مهم پیش از فعال‌سازی

مدل‌های متراکم (Dense) مانند Gemma 4 12B بیشترین بهره را از درفت‌ر می‌برند. گوگل می‌گوید مدل‌های ترکیبی خبره (Mixture-of-Experts یا MoE) در سناریوی تک‌کاربره کمتر از درفت‌ر سود می‌کنند. نتایج به پیکربندی سخت‌افزاری هم بستگی دارد، اما تست‌کنندگان از RTX 5090 تا GT 1030 رشد سرعت گزارش کرده‌اند. برای استفاده، کافی است llama.cpp را به آخرین بیلد به‌روزرسانی کنید، درفت‌ر متناسب با مدل را دانلود کنید و چهار فلگ یادشده را اضافه کنید.

نظرتان را ثبت کنید کد خبر: 56395 گروه خبری: اخبار نرم افزار منبع خبر: XDA Developers تاریخ خبر: 1405/08/09 تعداد مشاهده: 49
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
Dragon Wars

Dragon Wars

جدال اژدها

Lions the Best Hunters Ever! Wildlife Documentary

Lions the Best Hunters Ever! Wildlife Documentary

مستند شکارهای شیر

سلسله مباحث استاد شجاعی قسمت هفتم

سلسله مباحث استاد شجاعی قسمت هفتم

ظهور امام زمان

چالش های مدیران ارگان و سازمان ها

چالش های مدیران ارگان و سازمان ها

نگرشی برچالش های مدیران سازمان ها در قرن بیست و یکم

400 Must Have Words For The TOEFL

400 Must Have Words For The TOEFL

400 کلمه برای تافل

Valentina Studio Pro 18.4.2

Valentina Studio Pro 18.4.2

مدیریت پایگاه داده

Starlaxis Supernova Edition

Starlaxis Supernova Edition

استارلکسیس نسخه‌ی سوپرنُوا

Oxford Collocations Dictionary 2nd Edition 2009

Oxford Collocations Dictionary 2nd Edition 2009

فرهنگ لغت آکسفورد شامل عبارات دو یا چند کلمه ای و ترکیبی (کالوکیشن)

Blues and Bullets Episode 1

Blues and Bullets Episode 1

افسردگی و هجوم گلوله‌ها - اپیزود 1

Spendee Pro 4.3.3 For Android +4.0.3

Spendee Pro 4.3.3 For Android +4.0.3

اسپنده

مجله تخصصی تناسب اندام مردان ( بهترین مجله تناسب اندام تناسب اندام )

مجله تخصصی تناسب اندام مردان ( بهترین مجله تناسب اندام تناسب اندام )

مجله Men's Fitness South Africa دسامبر 2020

امور جهانی چگونه شناسایی می‌شوند؟

امور جهانی چگونه شناسایی می‌شوند؟

جهان چگونه اداره می‌شود؟ (تحلیل ماهیت حقوق اداری جهانی)

حکمت الهی، ضرورت بخش استخلاف از حجت الاسلام والمسلمین کاظم صدیقی

حکمت الهی، ضرورت بخش استخلاف از حجت الاسلام والمسلمین کاظم صدیقی

حاج آقا کاظم صدیقی با موضوع حکمت الهی، ضرورت بخش استخلاف

مستند «فروشنده ۳ - رازهای مرد در سایه» قسمت اول

مستند «فروشنده ۳ - رازهای مرد در سایه» قسمت اول

فروشنده

ClearEdits 3.1

ClearEdits 3.1

نرم افزاری قوی جهت ویراستاری پیشرفته متون انگلیسی و تمرین مهارت Writing

فیلم نقد و بررسی گوشی Samsung Galaxy S8 با دوبله فارسی

فیلم نقد و بررسی گوشی Samsung Galaxy S8 با دوبله فارسی

آشنایی با گوشی گلکسی اس 8

Bluetooth Chess 2.4 for Android +2.3

Bluetooth Chess 2.4 for Android +2.3

بازی چند کاربره و تحت شبکه بلوتوث شطرنج

فیلم های آموزش رایگان نرم افزار Microsoft PowerPoint به فارسی

فیلم های آموزش رایگان نرم افزار Microsoft PowerPoint به فارسی

آموزش پاورپوینت

TouchPal Emoji Keyboard 7.0.9.1 for Android +4.0

TouchPal Emoji Keyboard 7.0.9.1 for Android +4.0

کیبورد تاچ پال

همراه شدن در تقدیر لیله القدر در بلاء و مصیبت امام زمان از آیت الله سیدمحمدمهدی میرباقری

همراه شدن در تقدیر لیله القدر در بلاء و مصیبت امام زمان از آیت الله سیدمحمدمهدی میرباقری

سخنرانی آیت الله سیدمحمدمهدی میرباقری با موضوع همراه شدن در تقدیر لیله القدر در بلاء و مصیبت امام زم

Udemy - Spring & Hibernate for Beginners (includes Spring Boot) 2020-12

Udemy - Spring & Hibernate for Beginners (includes Spring Boot) 2020-12

آموزش فریم ورک اسپرینگ و هایبرنیت

آموزش نرم افزار Ansys

آموزش نرم افزار Ansys

آموزش نرم افزار انسیس

PluralSight - VMware vSphere 5.5 New Features Tutorial

PluralSight - VMware vSphere 5.5 New Features Tutorial

فیلم‌ آموزش ویژگی‌ها و امکانات جدید نرم‌افزار VMware vSphere 5.5

Virtual Pool 4

Virtual Pool 4

بیلیارد - ویرچوال پـول 4

Dragonframe 5.2.7 (x64)

Dragonframe 5.2.7 (x64)

ساخت استاپ موشن

Pony Island

Pony Island

جزیره‌ی اسب تک‌شاخ

Test Drive - Ferrari Racing Legends

Test Drive - Ferrari Racing Legends

تست درایو - اسطوره های مسابقات فِراری

Altium Designer 26.11.1 Build 5 / 25.8.1 / 24.8.2 / 23.10.1 / 22.11.1 / 21.9.2 / 19.1.8

Altium Designer 26.11.1 Build 5 / 25.8.1 / 24.8.2 / 23.10.1 / 22.11.1 / 21.9.2 / 19.1.8

آلتیوم دیزاینر

Edoardo

Edoardo

مستند ادواردو

گفت و گوی آیت الله میرباقری با دکتر طریقت منفرد در جمع اساتید و فعالان طب اسلامی

گفت و گوی آیت الله میرباقری با دکتر طریقت منفرد در جمع اساتید و فعالان طب اسلامی

گفت و گوی صمیمانه آیت الله میرباقری با دکتر طریقت منفرد

زندگی نامه حضرت زهرا(س)

زندگی نامه حضرت زهرا(س)

فضائل حضرت زهرا علیها السلام

InfiniteSkills - Learning MySQL 5 Training Video

InfiniteSkills - Learning MySQL 5 Training Video

فیلم آموزش مای‌اس‌کیواِل 5

Windroye 2.8.2a

Windroye 2.8.2a

نرم افزار اجرای برنامه های اندروید در ویندوز

Microsoft Windows and Office ISO Download Tool 8.46

Microsoft Windows and Office ISO Download Tool 8.46

ویندوز و آفیس

Your Smart Cleaner Pro 4.0 For Android +4.1

Your Smart Cleaner Pro 4.0 For Android +4.1

پاک سازی هوشمند

BlackBerry Blend 1.2.0.52 / Desktop 2.4.0.18 Win & Mac

BlackBerry Blend 1.2.0.52 / Desktop 2.4.0.18 Win & Mac

برنامه مدیریت گوشی های بلک بری در دسکتاپ

ﻣﺸﮑﻼت ﺧﻮاب

ﻣﺸﮑﻼت ﺧﻮاب

ﻋﻼﺋﻢ ﮐﻤﺒـﻮد ﺧﻮاب

Netop School (Teacher+Student) 6.12 Build 2010216

Netop School (Teacher+Student) 6.12 Build 2010216

بهترین برنامه مدیریت کلاس درس

CBT Nuggets - VMware vSphere 6 _ VCP6-DCV

CBT Nuggets - VMware vSphere 6 _ VCP6-DCV

فیلم آموزش VMware vSphere 6 – مرتبط با گواهینامه‌ی VCP6-DCV

تحلیل دوران ظهور از حجت الاسلام والمسلمین سیدمحمدمهدی میرباقری - 2 جلسه

تحلیل دوران ظهور از حجت الاسلام والمسلمین سیدمحمدمهدی میرباقری - 2 جلسه

حاج آقا سیدمحمدمهدی میرباقری با موضوع تحلیل دوران ظهور

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!