سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. به مناسبت عید غدیر، در سایت https://esetupdate.ir/ تخفیف ویژه‌ای برای محصولات در نظر گرفته شده است؛ فرصت را از دست ندهید. 🌸
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود
wepido.ir

یک فلگ llama.cpp مدل ۳۵ میلیاردی را روی GPU ۸ گیگابایتی به ۳۳ توکن رساند

یک فلگ llama.cpp مدل ۳۵ میلیاردی را روی GPU ۸ گیگابایتی به ۳۳ توکن رساند

گزارش تازه‌ای از XDA Developers نشان می‌دهد که با تغییر یک فلگ (Flag) در llama.cpp می‌توان مدل‌های زبانی بزرگ‌تر از ظرفیت حافظه ویدئویی (VRAM) را روی لپ‌تاپ‌های مجهز به پردازنده گرافیکی ۸ گیگابایتی نیز با سرعت قابل‌قبول اجرا کرد. در این آزمایش، لپ‌تاپ Lenovo Legion 5 با RTX 3070 Mobile و ۸ گیگابایت VRAM توانسته مدل MoE حدود ۳۵ میلیارد پارامتری را به نزدیک ۳۳ توکن بر ثانیه برساند.

چرا مدل ۳۵ میلیاردی در ۸ گیگابایت VRAM جا می‌شود؟

مدل Qwen3.6-35B-A3B از معماری ترکیبی متخصص‌ها (Mixture-of-Experts / MoE) استفاده می‌کند. در این معماری، از ۳۵ میلیارد پارامتر مدل، در هر مرحله تنها حدود ۳ میلیارد پارامتر فعال می‌شوند و بخش زیادی از لایه‌های متخصص (Expert Layers) بی‌کار می‌مانند. همین ویژگی اجازه می‌دهد بخشی از وزن‌های غیرفعال به حافظه سیستم (System RAM) منتقل شود و بخش‌های همیشه‌فعال، از جمله لایه‌های توجه (Attention Layers)، تعبیه‌ها (Embeddings)، وزن‌های مشترک و کش کلید-مقدار (KV Cache)، در VRAM باقی بمانند.

نقش فلگ --n-cpu-moe در llama.cpp

فلگ کلیدی این آزمایش --n-cpu-moe N است. با ترکیب آن با -ngl 99 می‌توان به llama.cpp دستور داد همه لایه‌ها را ابتدا روی GPU بارگذاری کند؛ سپس --n-cpu-moe تعداد مشخصی از لایه‌ها را انتخاب و تنسورهای متخصص (Expert Tensors) آن‌ها را به حافظه سیستم منتقل می‌کند. این بخش‌ها فقط زمانی خوانده می‌شوند که مسیریاب (Router) مدل آن‌ها را انتخاب کند و در صورت نیاز به VRAM کپی می‌شوند.

نتایج آزمون با llama-bench

برای سنجش دقیق، از ابزار llama-bench در llama.cpp استفاده شده است. آزمون روی دو مدل انجام شد: Qwen3.6-27B با کوانتیزه‌سازی (Quantization) IQ4_XS به‌عنوان مدل مرجع و Qwen3.6-35B-A3B با کوانتیزه‌سازی UD-IQ4_XS. پارامترهای آزمون شامل پردازش پیش‌درآمد (Prompt Processing) با ۵۱۲ توکن، تولید ۱۲۸ توکن، سه بار تکرار و کوانتیزه‌سازی کش کلید-مقدار به ۸ بیت بوده است.

  • Qwen3.6-27B (مدل Dense، حجم ۱۴.۳۷ گیبی): پردازش پیش‌درآمد ۳۸.۸۳ توکن بر ثانیه و تولید ۰.۷۵ توکن بر ثانیه.
  • Qwen3.6-35B-A3B (مدل MoE، حجم ۱۶.۵۰ گیبی) بدون انتقال لایه‌های متخصص به RAM: پردازش پیش‌درآمد ۱۰۹.۶۶ توکن بر ثانیه و تولید ۴.۰۲ توکن بر ثانیه.
  • Qwen3.6-35B-A3B با انتقال ۲۸ لایه متخصص به RAM: پردازش پیش‌درآمد ۳۴۱.۳۷ توکن بر ثانیه و تولید ۳۲.۸۲ توکن بر ثانیه.

تغییری که دسترسی به مدل‌های بزرگ‌تر را آسان‌تر می‌کند

بر اساس این نتایج، همان مدل ۳۵ میلیاردی که در حالت بدون بهینه‌سازی فقط حدود ۴ توکن بر ثانیه تولید می‌کرد، با انتقال بخشی از لایه‌های متخصص به حافظه سیستم به نزدیک ۳۳ توکن بر ثانیه می‌رسد. این سرعت برای کار با مدل به‌صورت محلی و بدون اتکا به شبکه، در سناریوهایی مانند سفر یا محیط بدون اینترنت اهمیت دارد. llama.cpp یک فریم‌ورک متن‌باز (Open-Source) برای اجرای محلی مدل‌های زبانی بزرگ است و این آزمایش نشان می‌دهد بهینه‌سازی نرم‌افزاری می‌تواند محدودیت ظاهری VRAM را تا حد زیادی جبران کند.

نظرتان را ثبت کنید کد خبر: 56023 گروه خبری: اخبار نرم افزار منبع خبر: XDA Developers تاریخ خبر: 1405/08/01 تعداد مشاهده: 76
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
Etcher 1.19.19

Etcher 1.19.19

ساخت دیسک و فلش مموری قابل بوت

JSON Buddy 7.4.4

JSON Buddy 7.4.4

ساخت، ویرایش و مدیریت فایل های جیسون

Murderous Pursuits + Updates

Murderous Pursuits + Updates

اکشن

All-In-One Toolbox Pro 8.3.0 for Android +2.0

All-In-One Toolbox Pro 8.3.0 for Android +2.0

جعبه ابزار

Electrical calculations Pro 7.10.1 For Android +2.3

Electrical calculations Pro 7.10.1 For Android +2.3

ماشین حساب رشته برق

آشنایی با تاریخ پهلوی

آشنایی با تاریخ پهلوی

خاطرات محرمانه اسداله علم

Caravan War 3.0.3 For Android +4.0.3

Caravan War 3.0.3 For Android +4.0.3

جنگ کاروان ها

داده های دیجیتال

داده های دیجیتال

یک مبنا در ارتباطات دیجیتال

همراه بام ملی 4.27.1.639 برای اندروید

همراه بام ملی 4.27.1.639 برای اندروید

همراه بام بانک ملی

Uconomix uMark  6.4

Uconomix uMark 6.4

واترمارک تصاویر

Fall of the Titanic

Fall of the Titanic

کشتی تایتانیک

عجیب‌ترین و احمقانه‌ترین ایده‌های ساختن در ماه

عجیب‌ترین و احمقانه‌ترین ایده‌های ساختن در ماه

زندگی در ماه

آموزش ساختمان داده ها

آموزش ساختمان داده ها

ساختمان داده ها

Alexander the Great

Alexander the Great

اسکندر

Infinite Mini Golf

Infinite Mini Golf

گلف برای کامپیوتر

دانشنامه علمی فارسی زبان ویکی ساده wikisade

دانشنامه علمی فارسی زبان ویکی ساده wikisade

ویکی ساده

دشمنان امیر المومنین و ائمه‌ معصومین علیهم السلام  در قرآن

دشمنان امیر المومنین و ائمه‌ معصومین علیهم السلام در قرآن

آیات کفار و منافقین در قرآن

Udemy - Cell Phone Repair - iPhone 3GS

Udemy - Cell Phone Repair - iPhone 3GS

تعمیرات تلفن همراه - گوشی آیفون 3GS

سخنرانی های آیت الله شهید مطهری بخش هفتم

سخنرانی های آیت الله شهید مطهری بخش هفتم

Morteza Motahari

Encyclopaedia Britannica 2015 Ultimate Edition for Win/Mac

Encyclopaedia Britannica 2015 Ultimate Edition for Win/Mac

کاملترین دائرة المعارف (دانشنامه) علوم مختلف

آموزش نرم افزار Power Designer

آموزش نرم افزار Power Designer

آموزش پاور دیزاینر

تقیه از دیدگاه مذاهب و فرقه های اسلامی غیرشیعی

تقیه از دیدگاه مذاهب و فرقه های اسلامی غیرشیعی

دیدگاه مذاهب و فرقه های اسلامی غیرشیعی درباره تقیه

Lynda - Lighting a Video Interview

Lynda - Lighting a Video Interview

فیلم آموزش نورپردازی صحیح برای تصویربرداری از مصاحبه‌‌ی ویدئویی

تاریخ ایران

تاریخ ایران

سلسله سلاجقه تا آغاز دوره صفویه

Russia World Cup 2018 Instrumental 128kbps + 320Kbps

Russia World Cup 2018 Instrumental 128kbps + 320Kbps

آهنگ های جام جهانی 2018

Dead Cells: Return to Castlevania v20.06.2023

Dead Cells: Return to Castlevania v20.06.2023

دد سلز

ASTRO File Manager Pro 5.0.0 / 8.10.1 for Android +2.3

ASTRO File Manager Pro 5.0.0 / 8.10.1 for Android +2.3

مدیریت فایل استرو

InfiniteSkills - HTML5 Audio And Video

InfiniteSkills - HTML5 Audio And Video

فیلم آموزش قرار دادن و سازماندهی صوت و ویدئو در صفحات وب تحت اچ‌تی‌ام‌ال5

Microsoft ISA Server 2006 Enterprise / Standard Edition + SP1

Microsoft ISA Server 2006 Enterprise / Standard Edition + SP1

نسخه 2006 فایروال مایکروسافت برای ویندوزهای سرور

Yahoo Mail 26.42.0 For Android +9.0

Yahoo Mail 26.42.0 For Android +9.0

ایمیل یاهو

SWF Player - Flash File Viewer 1.72 for Android +2.2

SWF Player - Flash File Viewer 1.72 for Android +2.2

اجرای فایلهای فلش در اندروید

FunCam 4.5 for Android +2.2

FunCam 4.5 for Android +2.2

ایجاد افکت های زیبا بر روی تصاویر

امامت حضرت بقیة‌الله و نقش سازندة عقیده به امامت آن حضرت علیه السلام

امامت حضرت بقیة‌الله و نقش سازندة عقیده به امامت آن حضرت علیه السلام

مهدویت پرسش‌ها و پاسخ‌ها

Immortal Redneck - Infinite Tower

Immortal Redneck - Infinite Tower

اکشن شوتر سه بعدی

MAGIX Sequoia Pro 17.3.0 + Contents

MAGIX Sequoia Pro 17.3.0 + Contents

ویرایش صدا

MultiDrive 1.2

MultiDrive 1.2

کلون‌سازی و پشتیبان‌گیری دیسک

GnuCash 5.14

GnuCash 5.14

حسابداری

Digital Tutors – Introduction to Softimage 2014

Digital Tutors – Introduction to Softimage 2014

فیلم آموزش مبانی نرم افزار سافت ایمیج 2014

Microsoft Windows 7 latest version

Microsoft Windows 7 latest version

دانلود آخرین نسخه ویندوز

Callistics 2.7.1 Premium for Android +2.3

Callistics 2.7.1 Premium for Android +2.3

گزارش تماس، پیام، دیتا

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!