سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. به مناسبت عید غدیر، در سایت https://esetupdate.ir/ تخفیف ویژه‌ای برای محصولات در نظر گرفته شده است؛ فرصت را از دست ندهید. 🌸
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود
wepido.ir

آزمایش Nemotron 3.5 Bolt؛ اجرای مدل ۷۴ میلیاردی روی GPU ۱۶ گیگابایتی

آزمایش Nemotron 3.5 Bolt؛ اجرای مدل ۷۴ میلیاردی روی GPU ۱۶ گیگابایتی

انویدیا به‌تازگی مدل Nemotron 3.5 Bolt را معرفی کرده است؛ مدلی ۷۴ میلیارد پارامتری (74B) با ۹ میلیارد پارامتر فعال (9B Active) که برای اجرا در حافظه ۲۴ گیگابایتی با وزن‌های ۲ بیتی بومی (Native 2-bit Weights) طراحی شده است. با این حال، کارت مدل (Model Card) آن پیکربندی‌های سخت‌افزاری را دست‌کم ۳۲ گیگابایت حافظه هدف گرفته بود و به نظر می‌رسید اجرای آن روی یک کارت ۱۶ گیگابایتی چندان منطقی نیست.

یک آزمایش عملی نشان داد که با تنظیمات درست llama.cpp می‌توان این مدل را روی GPU ۱۶ گیگابایتی و ۳۲ گیگابایت رم اجرا کرد و حتی آن را به یک عامل (Agent) محلی برای انجام وظایف چندمرحله‌ای تبدیل کرد.

از دانلود تا بارگذاری؛ چالش‌های اجرای مدل ۷۴ میلیاردی

فایل رسمی GGUF با نام Nemotron-3.5-Bolt-74B-A9B هر «خبره» (Expert) را در قالب IQ2_XXS ذخیره می‌کند؛ لایه‌های Mamba در NVFP4 و لایه‌های توجه (Attention) در Q8_0 قرار دارند. حجم دانلود همراه با پروجکتور بینایی (Vision Projector) کمی کمتر از ۲۴ گیگابایت بود؛ یعنی ۸ گیگابایت بیشتر از حافظه اختصاصی کارت RTX 4070 Ti Super.

نسخه قدیمی llama.cpp از بارگذاری این فایل خودداری کرد. علت این بود که خبره‌های Bolt در هر لایه به شکلی متفاوت هرس (Prune) شده‌اند و نسخه‌های قدیمی‌تر با خطای شکل تنسور (Tensor Shape Error) آن را رد می‌کنند. بنابراین نیاز به ساخت (Build) b11927 بود؛ نسخه‌ای که پشتیبانی از Bolt در روز معرفی مدل به llama.cpp اضافه شد.

به‌جای آزمون‌وخطا با گزینه --n-cpu-moe برای تعیین تعداد لایه‌های خبره قابل نگهداری در کارت، از گزینه --fit استفاده شد. llama.cpp حافظه GPU را تا ۱۵.۷ گیگابایت پر کرد و باقی را در حافظه سیستم قرار داد. در حالتی که همه لایه‌های خبره روی CPU بودند، سرعت ۱۹ توکن بر ثانیه (Token/s) ثبت شد؛ اما با تنظیم خودکار، سرعت به ۲۲ تا ۳۲ توکن بر ثانیه و پردازش پرامپت (Prompt Processing) به ۱۱۰ توکن بر ثانیه رسید.

Bolt یک مدل همراه به نام LiLiCorr نیز دارد که برای پیش‌بینی چند کلمه جلوتر و بررسی یک‌جای آن‌ها آموزش دیده است. با این حال، در این آزمایش LiLiCorr به‌جای افزایش سرعت، آن را کاهش داد؛ زیرا حافظه GPU را از لایه‌های خبره می‌گرفت. در نتیجه رمزگشایی گمانه‌زنانه (Speculative Decoding) کنار گذاشته شد. آزمایش با زمینه (Context) ۶۴ هزار توکن و تنظیمات پیشنهادی انویدیا انجام شد: دمای ۱.۰، top_p برابر ۰.۹۵ و مقادیر پیش‌فرض llama.cpp شامل top_k برابر ۴۰ و min_p برابر ۰.۰۵.

تبدیل مدل به عامل؛ Hermes Agent چه امکاناتی داد؟

پس از اجرای مدل از طریق llama.cpp، نوبت به سنجش توان عامل‌محور (Agentic) آن رسید. کارت مدل Bolt ردهای استدلال Hermes Agent را در داده‌های پس‌آموزش (Post-training) خود فهرست می‌کند؛ بنابراین Hermes Agent انتخاب طبیعی بود. این ابزار به سرور llama.cpp به‌عنوان یک نقطه پایانی سفارشی (Custom Endpoint) متصل شد و قابلیت‌هایی مانند ترمینال، دسترسی به فایل، بینایی، مرورگر محلی Chromium، حافظه، مهارت‌ها و اجرای کد فعال شدند. کلید API ابری خالی ماند، چون در این آزمایش ضرورتی نداشت.

۵۸ مهارت همراه Hermes حذف شدند؛ زیرا دو مورد از آن‌ها وظایف را به Claude Code و Codex می‌سپردند و می‌توانستند بی‌صدا کار را به فضای ابری بفرستند. این موضوع برای یک آزمایش محلی مشکل‌ساز بود.

نخستین آزمون، خواندن یک تصویر از مانیتور سخت‌افزار با ۴۸ خوانش در بخش‌های CPU، GPU و حافظه بود. تلاش اول کمی از مسیر خارج شد؛ Bolt به فهرست پوشه‌ای که چند دقیقه قبل دیده بود اعتماد کرد، وجود فایل را رد کرد و دو دقیقه محتوای فایل‌های پوشه کاربر را برای یافتن نام فایل جست‌وجو کرد. با این حال، مقادیر ساختگی تولید نکرد. در نشست تازه و با دادن مسیر کامل، هر ۴۸ مقدار به‌درستی خوانده شد؛ از جمله جداکننده‌های هزارگان، حداقل صفر دور در دقیقه برای فن و نام فایل گزارش در پانوشت. فراخوانی بینایی حدود ۷۳ ثانیه و کل اجرا ۱ دقیقه و ۴۲ ثانیه طول کشید.

آزمون پنج‌مرحله‌ای؛ کارهایی که Bolt انجام داد

در آزمون نهایی، یک وظیفه پنج‌مرحله‌ای بدون هیچ دخالتی به Bolt سپرده شد: یافتن نسخه‌های نصب‌شده llama.cpp و Hermes روی رایانه، بررسی آخرین انتشارهای آن‌ها در GitHub، یافتن پول‌ریکوئست (Pull Request) که پشتیبانی Bolt را به llama.cpp افزوده بود، نوشتن گزارشی همراه با منابع و ذخیره روش کار به‌عنوان یک مهارت برای دفعه بعد. این وظیفه در ۱۱ دقیقه و ۴۴ ثانیه به پایان رسید.

Bolt ابتدا با اجرای llama-cli شماره ساخت را خواند و نسخه Hermes را از فایل‌های نصب‌شده استخراج کرد. مرورگر کمی زمان گرفت و Bolt حدود هشت فراخوانی ابزار صرف فهمیدن نحوه خواندن یک صفحه کرد. سپس لینک‌های درست را از نتایج جست‌وجوی GitHub بیرون کشید و پول‌ریکوئست شماره ۳۰۵۲۰ با تاریخ ادغام ۱۵ اکتبر را شناسایی کرد.

تلاش اول برای ذخیره مهارت شکست خورد؛ Bolt یک مهارت موجود را باز کرد، قالب آن را کپی کرد و خطا را خودش اصلاح کرد. به‌طور عجیب، هنگام جست‌وجوی شماره نسخه تلاش کرد فایل کلیدهای Hermes را باز کند که خوشبختانه Hermes آن را مسدود کرد. گزارش نهایی نیز بی‌نقص نبود: پول‌ریکوئست را به افزودن معماری‌ای نسبت داد که llama.cpp از قبل پشتیبانی می‌کرد، اما نتیجه‌گیری درباره وضعیت llama.cpp درست بود. Bolt همچنین بیش از یک دقیقه کاراکترها را دستی شمرد تا محدودیت تعداد کاراکتر را رعایت کند.

  • یافتن نسخه‌های نصب‌شده: درست برای llama.cpp و Hermes
  • بررسی آخرین انتشارها: درست برای هر دو
  • یافتن پول‌ریکوئست پشتیبانی Bolt: درست
  • نوشتن گزارش منبع‌دار: عمدتاً درست، با یک جزئیات نادرست
  • ذخیره روش به‌عنوان مهارت: درست، با اصلاح خطاهای قالب‌بندی
  • رعایت محدودیت‌ها: چیزی نصب نکرد و از فایل کلیدها مسدود شد
  • زمان صرف‌شده: ۱۱ دقیقه و ۴۴ ثانیه
  • زمینه مصرف‌شده: حدود ۴۵ هزار از ۶۴ هزار توکن، شامل آزمون بینایی

نتیجه؛ ۱۶ گیگابایت حافظه کافی بود

Nemotron 3.5 Bolt 74B-A9B با وجود چند نقص، نشان داد که یک GPU ۱۶ گیگابایتی می‌تواند مدل ۷۴ میلیاردی را اجرا کند و رایانه‌ای که برای بازی ساخته شده بود، به یک عامل محلی برای وظایف پیچیده و چندمرحله‌ای تبدیل شود. این تجربه هنوز کاملاً بدون نظارت نیست، اما هر وظیفه‌ای که انجام می‌دهد، باری از روی میز کاربر برمی‌دارد.

نظرتان را ثبت کنید کد خبر: 56294 گروه خبری: اخبار نرم افزار منبع خبر: XDA Developers تاریخ خبر: 1405/08/07 تعداد مشاهده: 41
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
آموزش نصب لینوکس

آموزش نصب لینوکس

آشنایی با نصب Linux و فارسی نویسی در آن

Atlantis

Atlantis

مستند آتلانتیس

مجله تخصصی برای علاقه مندان به اخبار و تحلیل های مالی و تجاری در بورس

مجله تخصصی برای علاقه مندان به اخبار و تحلیل های مالی و تجاری در بورس

مجله The Economist USA ژانویه 16 ؛ 2021

Beat the Boss 1 v2.64 / 2 v2.9.1 / 3 v2.0.3 / 4 v1.7.6 for Android +2.3

Beat the Boss 1 v2.64 / 2 v2.9.1 / 3 v2.0.3 / 4 v1.7.6 for Android +2.3

مجموعه بازی های آزار رئیس!

AI Video FaceSwap 1.1.0

AI Video FaceSwap 1.1.0

تعویض چهره با هوش مصنوعی در ویدئوها

Joan Jade and the Gates of Xibalba 1.0.0.0

Joan Jade and the Gates of Xibalba 1.0.0.0

خووان جید و گیتس زیبالبایی نسخه 1.0.0.0

Linux Predator-OS 3.5 (01-01-2025)

Linux Predator-OS 3.5 (01-01-2025)

پریدیتور توزیع لینوکس

Pandora - Eclipse of Nashira

Pandora - Eclipse of Nashira

پاندورا - کسوف ناشیرا

معجزات حضرت ابوالفضل العباس (ع) پس از شهادت

معجزات حضرت ابوالفضل العباس (ع) پس از شهادت

معجزات حضرت عباس (ع) بعد از شهادت

RStudio v2023.03.1 Build 446

RStudio v2023.03.1 Build 446

محیط توسعه زبان R

Adobe InDesign 2027 v22.0 / 2026 21.6 / 2025 20.5.5 / 2024 / 2023 / 2022 / 2021 / 2020 / macOS

Adobe InDesign 2027 v22.0 / 2026 21.6 / 2025 20.5.5 / 2024 / 2023 / 2022 / 2021 / 2020 / macOS

ادوب ایندیزاین

Fieldrunners 2

Fieldrunners 2

فیلدرانرز 2

Tutsplus - Tools & More Tools of the Modern Web Developer

Tutsplus - Tools & More Tools of the Modern Web Developer

مجموعه‌ی 2 دوره آموزش تصویری استفاده از ابزارهای توسعه‌ی وب نوین

سخنرانی های مرحوم آیت الله مجتهدی تهرانی بخش هشتم

سخنرانی های مرحوم آیت الله مجتهدی تهرانی بخش هشتم

سخنرانی آیت الله مجتهدی تهرانی با موضوع ضرر و زیان

تلاوت مجلسی استاد محمود علی البنا سوره مبارکه احزاب

تلاوت مجلسی استاد محمود علی البنا سوره مبارکه احزاب

تلاوت محمود علی البنا سوره احزاب

Root Uninstaller Pro 8.3 for Android +2.3

Root Uninstaller Pro 8.3 for Android +2.3

حذف گروهی تمامی نرم افزارها

Mi Sound Recorder 7.0 for Android

Mi Sound Recorder 7.0 for Android

نرم افزار ضبط صدا با پشتیبانی از زبان فارسی

سخنرانی های مرحوم آیت الله مجتهدی تهرانی بخش دهم

سخنرانی های مرحوم آیت الله مجتهدی تهرانی بخش دهم

سخنرانی آیت الله مجتهدی تهرانی با موضوع علائم جوانمردی

Cutcon 4.0

Cutcon 4.0

بُرش، تبدیل و پیش‌نمایش فایل‌های ویدئویی، صوتی و عکس

7 جلسه سخنرانی حاج آقا مومنی با موضوع شرح زیارت اربعین

7 جلسه سخنرانی حاج آقا مومنی با موضوع شرح زیارت اربعین

سخنرانی حجت الاسلام مومنی با موضوع شرح زیارت اربعین

11 جلسه سخنرانی دکتر رفیعی با موضوع تفسیر سوره ی لقمان

11 جلسه سخنرانی دکتر رفیعی با موضوع تفسیر سوره ی لقمان

سخنرانی تفسیر سوره ی لقمان با ناصر رفیعی

WinZip System Utilities Suite 4.1.0.12

WinZip System Utilities Suite 4.1.0.12

بهینه سازی و افزایش سرعت کامپیوتر

Puyo Puyo Tetris

Puyo Puyo Tetris

فکری برای کامپیوتر

AlternateReader 1.08(4) S60v5

AlternateReader 1.08(4) S60v5

برنامه ای برای باز کردن و خواندن و استفاده کردن از فایل های pdf و Djvu

FunCam 4.5 for Android +2.2

FunCam 4.5 for Android +2.2

ایجاد افکت های زیبا بر روی تصاویر

Pike and Shot

Pike and Shot

نیزه و گلوله

Crimsonland 1.9.8 - Cracked

Crimsonland 1.9.8 - Cracked

کریمسون لند

GO Contacts EX 2.8 / Pro 1.5 for Android

GO Contacts EX 2.8 / Pro 1.5 for Android

شماره گیر و دفترچه تلفن قدرتمند (آپدیت نسخه Pro)

گلچین بهترین مولودی های سید مجید بنی فاطمه

گلچین بهترین مولودی های سید مجید بنی فاطمه

مولودی سید مجید بنی فاطمه

Traffic Director 1.11.0 for Android

Traffic Director 1.11.0 for Android

بازی مدیریت ترافیک

Moho Pro 14.4 Build 20251110

Moho Pro 14.4 Build 20251110

ساخت انیمیشن

گیاهان داروئی و داروهای سنتی

گیاهان داروئی و داروهای سنتی

اهمیّت کاربرد گیاهان داروئی و داروهای سنتی در قصّه‌ها

Red Gate SQL Toolbelt 2013.1.8.2.372

Red Gate SQL Toolbelt 2013.1.8.2.372

مجموعه 16 ابزار ضروری و کاربردی برای مدیریت و بهره وری بیشتر از SQL Server مایکروسافت

Intel Quartus Prime Standard Edition 18.1 v18.1.0.625 / Pro Edition 18.1.0.222

Intel Quartus Prime Standard Edition 18.1 v18.1.0.625 / Pro Edition 18.1.0.222

طراحی حرفه ای آلترا

آموزش تصویری حل مکعب روبیک

آموزش تصویری حل مکعب روبیک

حل مکعب روبیک

Adobe Bridge CC 2018 v8.1.0.383 Win64/Mac

Adobe Bridge CC 2018 v8.1.0.383 Win64/Mac

ادوب بریج

Major Privacy 0.97.1 Beta

Major Privacy 0.97.1 Beta

حفظ حریم خصوصی

Siemens SIMATIC STEP 7 Pro (TIA Portal) v13.0 / WinCC Pro v13.0 / PLCSIM Pro v13.0 + Update 1

Siemens SIMATIC STEP 7 Pro (TIA Portal) v13.0 / WinCC Pro v13.0 / PLCSIM Pro v13.0 + Update 1

نرم افزار برنامه نویسی PLC

آشنایی با زیر ساخت شبکه جهانی اینترنت

آشنایی با زیر ساخت شبکه جهانی اینترنت

آشنایی نرم افزاری و سخت افزاری با اینترنت

تحلیل دوران ظهور از حجت الاسلام والمسلمین سیدمحمدمهدی میرباقری - 2 جلسه

تحلیل دوران ظهور از حجت الاسلام والمسلمین سیدمحمدمهدی میرباقری - 2 جلسه

حاج آقا سیدمحمدمهدی میرباقری با موضوع تحلیل دوران ظهور

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!