سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. به مناسبت عید غدیر، در سایت https://esetupdate.ir/ تخفیف ویژه‌ای برای محصولات در نظر گرفته شده است؛ فرصت را از دست ندهید. 🌸
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود
wepido.ir

تبدیل کارت گرافیک بیکار به سرور هوش مصنوعی خانگی برای همه دستگاه‌ها با llama.cpp

تبدیل کارت گرافیک بیکار به سرور هوش مصنوعی خانگی برای همه دستگاه‌ها با llama.cpp

بر اساس گزارش منتشرشده، یک کاربر نشان داده است که کارت گرافیک (GPU) در بسیاری از رایانه‌های شخصی بیشتر وقت خود را بیکار می‌گذراند و تنها هنگام اجرای بازی، رندر صحنه یا شبیه‌سازی فعال می‌شود. همین موضوع زمینه‌ای شده تا رایانه مجهز به RTX 4070 Ti Super به یک سرور اختصاصی هوش مصنوعی (AI Server) در خانه تبدیل شود و مدل Qwen3.6-35B-A3B روی دستگاه‌هایی اجرا شود که به‌تنهایی توان اجرای بومی آن را ندارند.

راه‌اندازی سرور محلی با یک فرمان

در این تجربه، از llama.cpp برای استنتاج محلی (Local Inference) استفاده شده است. دو پیش‌نیاز اصلی، یک نسخه نسبتاً جدید از llama.cpp با شماره ساخت b11927 و فایل مدل GGUF است. مدل انتخاب‌شده Qwen3.6-35B-A3B با نسخه کوانتیزه‌شده (Quantized) UD-IQ4_XS از Unsloth است. برای تبدیل رایانه به سرور، کافی است در PowerShell فرمان llama-server اجرا شود و پارامتر --host 0.0.0.0 به سرور دستور دهد تا به‌جای شنود فقط روی رایانه میزبان، روی شبکه خانگی نیز در دسترس باشد. پارامتر --port 8080 نیز پورت (Port) سرور را تثبیت می‌کند؛ زیرا llama.cpp قصد دارد در نسخه‌های آینده پورت پیش‌فرض را به 9931 تغییر دهد.

رابط وب داخلی (Web UI) llama.cpp هر دستگاه خانه را به یک کلاینت (Client) تبدیل می‌کند. تنظیمات پیش‌فرض llama.cpp به‌گونه‌ای است که پنجره زمینه (Context Window) را به چند شکاف تقسیم می‌کند و چند کاربر می‌توانند هم‌زمان گفت‌وگو کنند.

عملکرد کلاینت‌ها تقریباً برابر با میزبان

یکی از مزیت‌های اصلی این روش آن است که مدل از رایانه میزبان خارج نمی‌شود. سرور llama.cpp استنتاج (Inference) را روی کارت گرافیک انجام می‌دهد و پاسخ را به‌صورت متن ساده و توکن‌به‌توکن (Token) به کلاینت می‌فرستد. حتی با سرعت ۹۰ توکن بر ثانیه، پهنای باند مصرفی تنها کسری از یک مگابیت بر ثانیه است که هر شبکه وای‌فای خانگی به‌راحتی از عهده آن برمی‌آید. این روش با استریم بازی تفاوت دارد؛ زیرا در استریم بازی هر فریم به‌صورت ویدئو ارسال می‌شود، اما در اینجا فقط واژه‌ها منتقل می‌شوند.

در آزمون این کاربر، رایانه میزبان به RTX 4070 Ti Super، پردازنده Ryzen 5 7600X و 32GB حافظه DDR5 مجهز بوده است. برای بهینه‌سازی عملکرد، پارامترهای (Flag) مشخصی به کار رفته‌اند: -ngl 99 برای نگه‌داشتن بخش اصلی مدل روی حافظه ویدئویی (VRAM)، --n-cpu-moe 8 برای انتقال وزن‌های متخصص هشت لایه نخست به حافظه سیستم (System RAM)، -c 32768 برای پنجره زمینه ۳۲ هزار توکن، -np 2 برای دو شکاف گفت‌وگو، -kvu برای اشتراک زمینه میان شکاف‌ها، -fa on و --load-mode none. از آنجا که حجم مدل حدود ۱۷.۷ گیگابایت و حافظه ویدئویی کارت گرافیک ۱۶ گیگابایت است، بخشی از وزن‌های مدل ترکیبی متخصصان (Mixture-of-Experts / MoE) به حافظه سیستم منتقل شده است. در استنتاج این مدل، تنها حدود ۳ میلیارد از ۳۵ میلیارد پارامتر فعال می‌شوند و همین موضوع تقسیم وزن‌ها میان حافظه ویدئویی و حافظه سیستم را کارآمد می‌کند.

نتیجه تست سرعت در دستگاه‌های مختلف

  • میزبان با llama-bench: ۸۵.۴۹ توکن بر ثانیه
  • iPhone به‌تنهایی: ۸۸.۴۳ توکن بر ثانیه
  • M2 MacBook Air به‌تنهایی: ۸۹.۵۶ توکن بر ثانیه
  • iPhone در حالت هم‌زمان: ۵۹.۹۱ توکن بر ثانیه
  • M2 MacBook Air در حالت هم‌زمان: ۵۹.۰۱ توکن بر ثانیه

مصرف انرژی و محدودیت حافظه ویدئویی

یکی از نکات مهم این راه‌اندازی، مصرف پایین انرژی در حالت آماده‌به‌کار است. با وجود بارگذاری مدل و آماده بودن سرور، ابزار nvidia-smi مصرف کارت گرافیک را حدود ۱۴ وات ثبت کرده است؛ یعنی حدود یک‌دهم مصرف هنگام استنتاج فعال. این مقدار تنها هنگام تولید پاسخ به ۱۳۰ تا ۱۴۰ وات می‌رسد و پس از پایان ارسال پیام دوباره کاهش می‌یابد.

محدودیت اصلی، اشغال حافظه ویدئویی است. با اجرای سرور، حدود ۹۶ درصد حافظه ویدئویی کارت گرافیک اشغال می‌شود؛ یعنی ۱۵.۴ گیگابایت از ۱۶ گیگابایت و تنها حدود ۰.۶ گیگابایت آزاد می‌ماند. این رقم بسته به مدل انتخاب‌شده می‌تواند متفاوت باشد. استفاده از مدل‌های سبک‌تر یا انتقال لایه‌های بیشتری از مدل ترکیبی متخصصان به حافظه سیستم می‌تواند این فشار را کاهش دهد.

جمع‌بندی

به نظر می‌رسد بهترین حالت برای چنین راه‌اندازی، یک سرور خانگی اختصاصی و بدون نمایشگر باشد؛ به‌ویژه سروری با چند کارت گرافیک که حافظه ویدئویی آن‌ها در غیر این صورت بلااستفاده می‌ماند. با این حال، استفاده از رایانه اصلی نیز ممکن است و راه‌اندازی آن تنها به یک فرمان نیاز دارد. بسته به میزان حافظه ویدئویی، همه دستگاه‌های خانه می‌توانند به مدلی ۳۵ میلیارد پارامتری با سرعت استنتاج مناسب دسترسی پیدا کنند. این تجربه همچنین می‌تواند کاربران را به بازنگری در اشتراک ماهانه ۲۰ دلاری خدمات ابری (Cloud) ترغیب کند.

نظرتان را ثبت کنید کد خبر: 56659 گروه خبری: اخبار نرم افزار منبع خبر: XDA Developers تاریخ خبر: 1405/08/15 تعداد مشاهده: 45
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
ChessBase 26.10

ChessBase 26.10

شطرنج

آموزش نرم افزار ISA Server 2006

آموزش نرم افزار ISA Server 2006

آموزش آیزا سرور 2006

Firetrust MailWasher Pro 8.5.2

Firetrust MailWasher Pro 8.5.2

مدیریت ایمیل

Starfighter Origins

Starfighter Origins

شبیه ساز

۶۰ تست هوش تصویری

۶۰ تست هوش تصویری

هوش خود را بسنجید

مجازی سازی سرور با نرم افزار Vsphere

مجازی سازی سرور با نرم افزار Vsphere

آموزش نرم افزار وی اسفر

Udemy - Adobe Photoshop Masterclass with Photoshop 2025 + AI Updates

Udemy - Adobe Photoshop Masterclass with Photoshop 2025 + AI Updates

آموزش فتوشاپ

Siemens Solid Edge 2026.2510 MP10 Premium

Siemens Solid Edge 2026.2510 MP10 Premium

طراحی سه بعدی زیمنس سالید اج

Farsi Calendar 2.0 Java

Farsi Calendar 2.0 Java

تقویم هجری شمسی برای موبایل با فرمت جاوا

Global Ops - Commando Libya

Global Ops - Commando Libya

عملیات جهانی تکاور لیبی

Maximum PC Magazine February 2016 - January 2017 + Specials 2016

Maximum PC Magazine February 2016 - January 2017 + Specials 2016

مجله ماکسیموم پی سی

NetGuard Pro - no-root firewall 2.336 for Android +5.1

NetGuard Pro - no-root firewall 2.336 for Android +5.1

فایروال نت گارد

آموزش نرم افزار Free Hand

آموزش نرم افزار Free Hand

فری هند

سخنرانی های شیخ مفید

سخنرانی های شیخ مفید

الامالی

آموزش کاربردی HTML & Css & JavaScript

آموزش کاربردی HTML & Css & JavaScript

آموزش کاربردی اچ تی ام ال و سی اس اس و جاوااسکریپ

Arrival

Arrival

ورود

Chicken Rush Deluxe

Chicken Rush Deluxe

حمله جوجه مرغ

S Package Disabler for Samsung Pro 14.5 for Android +4.1

S Package Disabler for Samsung Pro 14.5 for Android +4.1

S Package Disabler

Fragmented

Fragmented

اکشن شوتر

Jamestown Legend of the lost colony + Update 1

Jamestown Legend of the lost colony + Update 1

جیمزتاون افسانه مستعمرات گمشده

سبک های مداحی نسخه 1.6 برای اندروید 2.2+

سبک های مداحی نسخه 1.6 برای اندروید 2.2+

جدیدترین مداحی ها و مولودی های شاعران معروف کشور

کاریکاتورهای انگلیسی برای نوآموزان زبان

کاریکاتورهای انگلیسی برای نوآموزان زبان

Socio-political Caricatures

Windows XP Activator

Windows XP Activator

فعال ساز ویندوز xp

آشنایی و راهنمایی درمان آنفلوانزای A

آشنایی و راهنمایی درمان آنفلوانزای A

راهنمایی دارویی ضد ویروس در موارد قطعی و مشکوک ابتلا به ویروس آنفلوانزای A

Bubble Shoot 1.6 for Android

Bubble Shoot 1.6 for Android

تیراندازی به حباب ها

Disney Epic Mickey 2 - The Power of Two

Disney Epic Mickey 2 - The Power of Two

میکی‌موس قهرمان 2 - قدرت دونفره

Goversoft Privazer 5.0

Goversoft Privazer 5.0

پاک‌سازی عمیق سیستم و حفاظت از حریم خصوصی

Microsoft PC Manager 3.22.6.0

Microsoft PC Manager 3.22.6.0

بهینه سازی ویندوز

SWAT 2 v1.0.7 for Android +2.3

SWAT 2 v1.0.7 for Android +2.3

بازی مبارزه با تروریست ها

ترتیل کل قرآن کریم از استاد محمد عباسی

ترتیل کل قرآن کریم از استاد محمد عباسی

ترتیل سوره های قرآن استاد عباسی

CCleaner Technician 6.41.11567 + Portable / Professional Plus 6.41.0.2

CCleaner Technician 6.41.11567 + Portable / Professional Plus 6.41.0.2

سی کیلینر

GO Battery Saver & Plus Widget 5.8.5 for Android +2.3

GO Battery Saver & Plus Widget 5.8.5 for Android +2.3

افزونه مدیریت مصرف باتری برای GO Launcher

یادگیری زبان آلمانی

یادگیری زبان آلمانی

آموزش زبان آلمانی

My Scans PRO 3.5.3 for Android +4.0

My Scans PRO 3.5.3 for Android +4.0

اسکن و ساخت آرشیو

Razenroth v1.5

Razenroth v1.5

آشوب هیولاها

رمزبان بانک ملی نسخه 2.1.1 برای اندروید 4.2+

رمزبان بانک ملی نسخه 2.1.1 برای اندروید 4.2+

رمز بان

مجله تخصصی هفته نامه اخبار اروپا

مجله تخصصی هفته نامه اخبار اروپا

مجله The New European سپتامبر 17؛ 2020

Badoo Premium 5.239.1 for Android +5.0

Badoo Premium 5.239.1 for Android +5.0

چت روم با امکانات جدید و متفاوت

تفسیر صوتی سوره ماعون

تفسیر صوتی سوره ماعون

تفسیر سوره 107 از حجت الاسلام قرائتی

Magisto Video Editor & Maker 4.52.1.19660 for Android +4.0

Magisto Video Editor & Maker 4.52.1.19660 for Android +4.0

ایجاد و به اشتراک گذاری کلیپ

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!