سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. به مناسبت عید غدیر، در سایت https://esetupdate.ir/ تخفیف ویژه‌ای برای محصولات در نظر گرفته شده است؛ فرصت را از دست ندهید. 🌸
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود
wepido.ir

آزمایش Nemotron 3.5 Bolt؛ اجرای مدل ۷۴ میلیاردی روی GPU ۱۶ گیگابایتی

آزمایش Nemotron 3.5 Bolt؛ اجرای مدل ۷۴ میلیاردی روی GPU ۱۶ گیگابایتی

انویدیا به‌تازگی مدل Nemotron 3.5 Bolt را معرفی کرده است؛ مدلی ۷۴ میلیارد پارامتری (74B) با ۹ میلیارد پارامتر فعال (9B Active) که برای اجرا در حافظه ۲۴ گیگابایتی با وزن‌های ۲ بیتی بومی (Native 2-bit Weights) طراحی شده است. با این حال، کارت مدل (Model Card) آن پیکربندی‌های سخت‌افزاری را دست‌کم ۳۲ گیگابایت حافظه هدف گرفته بود و به نظر می‌رسید اجرای آن روی یک کارت ۱۶ گیگابایتی چندان منطقی نیست.

یک آزمایش عملی نشان داد که با تنظیمات درست llama.cpp می‌توان این مدل را روی GPU ۱۶ گیگابایتی و ۳۲ گیگابایت رم اجرا کرد و حتی آن را به یک عامل (Agent) محلی برای انجام وظایف چندمرحله‌ای تبدیل کرد.

از دانلود تا بارگذاری؛ چالش‌های اجرای مدل ۷۴ میلیاردی

فایل رسمی GGUF با نام Nemotron-3.5-Bolt-74B-A9B هر «خبره» (Expert) را در قالب IQ2_XXS ذخیره می‌کند؛ لایه‌های Mamba در NVFP4 و لایه‌های توجه (Attention) در Q8_0 قرار دارند. حجم دانلود همراه با پروجکتور بینایی (Vision Projector) کمی کمتر از ۲۴ گیگابایت بود؛ یعنی ۸ گیگابایت بیشتر از حافظه اختصاصی کارت RTX 4070 Ti Super.

نسخه قدیمی llama.cpp از بارگذاری این فایل خودداری کرد. علت این بود که خبره‌های Bolt در هر لایه به شکلی متفاوت هرس (Prune) شده‌اند و نسخه‌های قدیمی‌تر با خطای شکل تنسور (Tensor Shape Error) آن را رد می‌کنند. بنابراین نیاز به ساخت (Build) b11927 بود؛ نسخه‌ای که پشتیبانی از Bolt در روز معرفی مدل به llama.cpp اضافه شد.

به‌جای آزمون‌وخطا با گزینه --n-cpu-moe برای تعیین تعداد لایه‌های خبره قابل نگهداری در کارت، از گزینه --fit استفاده شد. llama.cpp حافظه GPU را تا ۱۵.۷ گیگابایت پر کرد و باقی را در حافظه سیستم قرار داد. در حالتی که همه لایه‌های خبره روی CPU بودند، سرعت ۱۹ توکن بر ثانیه (Token/s) ثبت شد؛ اما با تنظیم خودکار، سرعت به ۲۲ تا ۳۲ توکن بر ثانیه و پردازش پرامپت (Prompt Processing) به ۱۱۰ توکن بر ثانیه رسید.

Bolt یک مدل همراه به نام LiLiCorr نیز دارد که برای پیش‌بینی چند کلمه جلوتر و بررسی یک‌جای آن‌ها آموزش دیده است. با این حال، در این آزمایش LiLiCorr به‌جای افزایش سرعت، آن را کاهش داد؛ زیرا حافظه GPU را از لایه‌های خبره می‌گرفت. در نتیجه رمزگشایی گمانه‌زنانه (Speculative Decoding) کنار گذاشته شد. آزمایش با زمینه (Context) ۶۴ هزار توکن و تنظیمات پیشنهادی انویدیا انجام شد: دمای ۱.۰، top_p برابر ۰.۹۵ و مقادیر پیش‌فرض llama.cpp شامل top_k برابر ۴۰ و min_p برابر ۰.۰۵.

تبدیل مدل به عامل؛ Hermes Agent چه امکاناتی داد؟

پس از اجرای مدل از طریق llama.cpp، نوبت به سنجش توان عامل‌محور (Agentic) آن رسید. کارت مدل Bolt ردهای استدلال Hermes Agent را در داده‌های پس‌آموزش (Post-training) خود فهرست می‌کند؛ بنابراین Hermes Agent انتخاب طبیعی بود. این ابزار به سرور llama.cpp به‌عنوان یک نقطه پایانی سفارشی (Custom Endpoint) متصل شد و قابلیت‌هایی مانند ترمینال، دسترسی به فایل، بینایی، مرورگر محلی Chromium، حافظه، مهارت‌ها و اجرای کد فعال شدند. کلید API ابری خالی ماند، چون در این آزمایش ضرورتی نداشت.

۵۸ مهارت همراه Hermes حذف شدند؛ زیرا دو مورد از آن‌ها وظایف را به Claude Code و Codex می‌سپردند و می‌توانستند بی‌صدا کار را به فضای ابری بفرستند. این موضوع برای یک آزمایش محلی مشکل‌ساز بود.

نخستین آزمون، خواندن یک تصویر از مانیتور سخت‌افزار با ۴۸ خوانش در بخش‌های CPU، GPU و حافظه بود. تلاش اول کمی از مسیر خارج شد؛ Bolt به فهرست پوشه‌ای که چند دقیقه قبل دیده بود اعتماد کرد، وجود فایل را رد کرد و دو دقیقه محتوای فایل‌های پوشه کاربر را برای یافتن نام فایل جست‌وجو کرد. با این حال، مقادیر ساختگی تولید نکرد. در نشست تازه و با دادن مسیر کامل، هر ۴۸ مقدار به‌درستی خوانده شد؛ از جمله جداکننده‌های هزارگان، حداقل صفر دور در دقیقه برای فن و نام فایل گزارش در پانوشت. فراخوانی بینایی حدود ۷۳ ثانیه و کل اجرا ۱ دقیقه و ۴۲ ثانیه طول کشید.

آزمون پنج‌مرحله‌ای؛ کارهایی که Bolt انجام داد

در آزمون نهایی، یک وظیفه پنج‌مرحله‌ای بدون هیچ دخالتی به Bolt سپرده شد: یافتن نسخه‌های نصب‌شده llama.cpp و Hermes روی رایانه، بررسی آخرین انتشارهای آن‌ها در GitHub، یافتن پول‌ریکوئست (Pull Request) که پشتیبانی Bolt را به llama.cpp افزوده بود، نوشتن گزارشی همراه با منابع و ذخیره روش کار به‌عنوان یک مهارت برای دفعه بعد. این وظیفه در ۱۱ دقیقه و ۴۴ ثانیه به پایان رسید.

Bolt ابتدا با اجرای llama-cli شماره ساخت را خواند و نسخه Hermes را از فایل‌های نصب‌شده استخراج کرد. مرورگر کمی زمان گرفت و Bolt حدود هشت فراخوانی ابزار صرف فهمیدن نحوه خواندن یک صفحه کرد. سپس لینک‌های درست را از نتایج جست‌وجوی GitHub بیرون کشید و پول‌ریکوئست شماره ۳۰۵۲۰ با تاریخ ادغام ۱۵ اکتبر را شناسایی کرد.

تلاش اول برای ذخیره مهارت شکست خورد؛ Bolt یک مهارت موجود را باز کرد، قالب آن را کپی کرد و خطا را خودش اصلاح کرد. به‌طور عجیب، هنگام جست‌وجوی شماره نسخه تلاش کرد فایل کلیدهای Hermes را باز کند که خوشبختانه Hermes آن را مسدود کرد. گزارش نهایی نیز بی‌نقص نبود: پول‌ریکوئست را به افزودن معماری‌ای نسبت داد که llama.cpp از قبل پشتیبانی می‌کرد، اما نتیجه‌گیری درباره وضعیت llama.cpp درست بود. Bolt همچنین بیش از یک دقیقه کاراکترها را دستی شمرد تا محدودیت تعداد کاراکتر را رعایت کند.

  • یافتن نسخه‌های نصب‌شده: درست برای llama.cpp و Hermes
  • بررسی آخرین انتشارها: درست برای هر دو
  • یافتن پول‌ریکوئست پشتیبانی Bolt: درست
  • نوشتن گزارش منبع‌دار: عمدتاً درست، با یک جزئیات نادرست
  • ذخیره روش به‌عنوان مهارت: درست، با اصلاح خطاهای قالب‌بندی
  • رعایت محدودیت‌ها: چیزی نصب نکرد و از فایل کلیدها مسدود شد
  • زمان صرف‌شده: ۱۱ دقیقه و ۴۴ ثانیه
  • زمینه مصرف‌شده: حدود ۴۵ هزار از ۶۴ هزار توکن، شامل آزمون بینایی

نتیجه؛ ۱۶ گیگابایت حافظه کافی بود

Nemotron 3.5 Bolt 74B-A9B با وجود چند نقص، نشان داد که یک GPU ۱۶ گیگابایتی می‌تواند مدل ۷۴ میلیاردی را اجرا کند و رایانه‌ای که برای بازی ساخته شده بود، به یک عامل محلی برای وظایف پیچیده و چندمرحله‌ای تبدیل شود. این تجربه هنوز کاملاً بدون نظارت نیست، اما هر وظیفه‌ای که انجام می‌دهد، باری از روی میز کاربر برمی‌دارد.

نظرتان را ثبت کنید کد خبر: 56294 گروه خبری: اخبار نرم افزار منبع خبر: XDA Developers تاریخ خبر: 1405/08/07 تعداد مشاهده: 40
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
ASA - Remastered Edition

ASA - Remastered Edition

اِی‌اِس‌اِی - نسخه‌ی بازسازی‌شده

CrystalDiskMark 9.0.2

CrystalDiskMark 9.0.2

تست سرعت هارد دیسک

Udemy - The Ultimate Drawing Course - Beginner to Advanced

Udemy - The Ultimate Drawing Course - Beginner to Advanced

آموزش کامل طراحی

سخنرانی حجت الاسلام مرتضی آقاتهرانی با موضوع بندگی، هدف آفرینش

سخنرانی حجت الاسلام مرتضی آقاتهرانی با موضوع بندگی، هدف آفرینش

سخنرانی بندگی، هدف آفرینش با مرتضی آقاتهرانی

Strike Suit Zero

Strike Suit Zero

شبیه ساز جنگنده‌های فضایی Strike Suit Zero

Gigantosaurus The Game

Gigantosaurus The Game

اکشن و ماجرایی برای کامپیوتر

Fruit Slice 1.4.5 for Android

Fruit Slice 1.4.5 for Android

بازی بسیار جذاب با میوه ها

دیوان ملا فتح الله متخلص به دیوان وفائی شوشتری

دیوان ملا فتح الله متخلص به دیوان وفائی شوشتری

دیوان ملا فتح الله

Kuassa Efektor PAten Graphic Equalizer v1.0.0

Kuassa Efektor PAten Graphic Equalizer v1.0.0

افزایش کیفیت صدا

حرکات ورزشی بدنسازی

حرکات ورزشی بدنسازی

حرکات ورزشی

Collapse! 1.0.0.26

Collapse! 1.0.0.26

فرو پاشی جعبه های رنگی

Uninstall Tool 3.8.2.5765 / GeekUninstaller 1.6.0.200

Uninstall Tool 3.8.2.5765 / GeekUninstaller 1.6.0.200

آن اینستال تول گیگ آن اینستالر

جستاری در ماهیت اسلامی‌سازی علوم از زبان آیت الله مصباح یزدی

جستاری در ماهیت اسلامی‌سازی علوم از زبان آیت الله مصباح یزدی

جستاری در ماهیت اسلامی‌سازی علوم از زبان آیت الله مصباح یزدی

Microsoft Copilot - DC 04.2025

Microsoft Copilot - DC 04.2025

کوپایلوت

زیارتنامه حضرت فاطمه (س)؛ فارسی و عربی و شرح

زیارتنامه حضرت فاطمه (س)؛ فارسی و عربی و شرح

زیارت مهتاب: شرح زیارت حضرت فاطمه سلام الله علیها

Dassault Systemes CATIA ICEM Surf 2015.2 / 2016.1 x64 HF1

Dassault Systemes CATIA ICEM Surf 2015.2 / 2016.1 x64 HF1

مدلسازی سطوح و منحنی و ابزار های هندسی

PowerGREP 5.3.7

PowerGREP 5.3.7

جستجوی پیشرفته

Chicken Invaders 5 Christmas Edition v5.05

Chicken Invaders 5 Christmas Edition v5.05

مرغ های مهاجم

منشور روحانیت و انقلاب اسلامی

منشور روحانیت و انقلاب اسلامی

پیامی خطاب به روحانیون

Candy Camera for Selfie 6.0.88 for Android +4.1

Candy Camera for Selfie 6.0.88 for Android +4.1

تصویر برداری با افکت

سخنرانی حجت الاسلام پناهیان با موضوع آثار تربیتی و اجتماعی خوف از خدا - 9 جلسه

سخنرانی حجت الاسلام پناهیان با موضوع آثار تربیتی و اجتماعی خوف از خدا - 9 جلسه

سخنرانی چرا ما در تبلیغات ضعیف هستیم؟ پناهیان

Kies Air 2.3.305032 for Android

Kies Air 2.3.305032 for Android

نرم افزار مدیریت گوشی های سامسونگ از طریق کابل و وایرلس

Curious Cat 1.2.0 for Android +2.1

Curious Cat 1.2.0 for Android +2.1

گربه کنجکاو

MAGIX VEGAS Pro 23.0.0.356

MAGIX VEGAS Pro 23.0.0.356

مجیکس وگاس

واژه‌ های ضروری جهت آمادگی برای آزمون آیلتس

واژه‌ های ضروری جهت آمادگی برای آزمون آیلتس

یادگیری ده هزار واژه آیلتس

Cascadeur 2026.2.3 (x64)

Cascadeur 2026.2.3 (x64)

ساخت انیمیشن

SuperPhoto 2.4.3 for Android +4.0

SuperPhoto 2.4.3 for Android +4.0

افکت تصاویر

توحید و خداشناسی

توحید و خداشناسی

التوحید تالیف شیخ صدوق

ExamDiff Pro Master Edition 17.0.2.6

ExamDiff Pro Master Edition 17.0.2.6

مقایسه فایل‌ها و فولدرها

رفع ناراحتی برای افراد مبتدی در انجام تمرینات حرفه ای

رفع ناراحتی برای افراد مبتدی در انجام تمرینات حرفه ای

تقویت ماهیچه های بخش های گوناگون بدن

سخنرانی علیرضا پناهیان با موضوع از غیر خدا نترسیم -3 جلسه

سخنرانی علیرضا پناهیان با موضوع از غیر خدا نترسیم -3 جلسه

سخنرانی از غیر خدا نترسیم با علیرضا پناهیان

سخنرانی های حجت الاسلام دهنوی راجع دوران بارداری و زایمان

سخنرانی های حجت الاسلام دهنوی راجع دوران بارداری و زایمان

دوران زایمان و شیردهی

پهلوانان شاه عباس

پهلوانان شاه عباس

قصه حسین کرد شبستری

مولودی خوانی حاج محمود کریمی میلاد امام حسین امام سجاد حضرت اباالفضل علیهم السلام

مولودی خوانی حاج محمود کریمی میلاد امام حسین امام سجاد حضرت اباالفضل علیهم السلام

مداحی کریمی میلاد امام حسین امام سجاد حضرت اباالفضل

DU Speed Booster 3.1.7.1 for Android +2.3

DU Speed Booster 3.1.7.1 for Android +2.3

بهینه ساز دو اسپید

سخنرانی آیت الله حسینی بوشهری با موضوع مکتب تربیتی امام صادق (ع)

سخنرانی آیت الله حسینی بوشهری با موضوع مکتب تربیتی امام صادق (ع)

سخنرانی مکتب تربیتی امام صادق (ع) با آیت الله ‌حسینی بوشهری

Armello

Armello

آرملو

کسب ثروت

کسب ثروت

تفاوت افراد موفق و ناموفق

Broken Arrow: Russian Guard + Update v1.2.1

Broken Arrow: Russian Guard + Update v1.2.1

استراتژیک جنگی برای کامپیوتر

ویکتور ماری هوگو

ویکتور ماری هوگو

ویکتور ماری هوگو (۱۸۰۲-۱۸۸۵م) بزرگترین شاعر سده نوزدهم فرانسه

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!