سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. به مناسبت عید غدیر، در سایت https://esetupdate.ir/ تخفیف ویژه‌ای برای محصولات در نظر گرفته شده است؛ فرصت را از دست ندهید. 🌸
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود
wepido.ir

Ollama حافظه رم را برای پنجره زمینه‌ای هدر می‌دهد؛ تنظیمی برای بازپس‌گیری آن

Ollama حافظه رم را برای پنجره زمینه‌ای هدر می‌دهد؛ تنظیمی برای بازپس‌گیری آن

Ollama برای طول زمینه (Context Length) بسیار بیشتری از آنچه واقعاً استفاده می‌کنید، حافظه رم (RAM) رزرو می‌کند. اگر مدلی با پنجره زمینه ۳۲ هزار توکن بارگذاری شود در حالی که پرسش‌ها و پاسخ‌های شما به‌ندرت از چند هزار توکن فراتر می‌روند، بیشتر آن ظرفیت بی‌استفاده می‌ماند. اما همین ظرفیت بی‌استفاده هم هزینه حافظه دارد.

Ollama باید برای طول زمینه پیکربندی‌شده یک کش کلید-مقدار (KV Cache) تخصیص دهد و این کش می‌تواند چند گیگابایت روی مدل دانلودشده اضافه کند. این مشکل فقط به Ollama محدود نیست؛ همان مسئله بنیادی برای llama.cpp و مدل‌های GGUF که از طریق موتور llama.cpp در LM Studio اجرا می‌شوند نیز صدق می‌کند. روی ماشینی با رم کمتر، می‌توانید پنجره زمینه را به مقداری نزدیک به مصرف واقعی کاهش دهید و حافظه بسیار بیشتری برای سایر کارها آزاد کنید.

Ollama برای زمینه‌ای که ممکن است هرگز استفاده نکنید، حافظه رزرو می‌کند

طول زمینه یک ظرفیت حداکثری است، نه اندازه‌گیری آنچه پرسش فعلی شما مصرف می‌کند. این مقدار شامل اعلان سیستمی (System Prompt)، تاریخچه گفتگو، ورودی فعلی و پاسخ تولیدشده می‌شود. برای مثال، ممکن است مدلی را برای ۳۲ هزار توکن پیکربندی کنید و در یک گفتگوی عادی فقط ۳ هزار توکن استفاده کنید، اما Ollama هنگام بارگذاری همچنان مدل را برای حد بزرگ‌تر آماده می‌کند.

بیشتر این حافظه اضافی به KV Cache می‌رود. این کش محاسبات مربوط به توکن‌هایی را که مدل قبلاً پردازش کرده ذخیره می‌کند تا مجبور نباشد کل گفتگو را دوباره پردازش کند. پنجره زمینه بزرگ‌تر به فضای بیشتری برای این محاسبات نیاز دارد. در Ollama و سایر رانتایم‌های مبتنی بر llama.cpp، اندازه این تخصیص به ظرفیت پیکربندی‌شده گره خورده است، نه به طول پرسش کوتاهی که بعداً می‌فرستید.

اندازه مدل دانلودشده این موضوع را به‌روشنی نشان نمی‌دهد. برای مثال، یک مدل Q4 پنج گیگابایتی می‌گوید وزن‌های کوانتیزه‌شده چقدر فضا اشغال می‌کنند، اما Ollama همچنان به بافرهای محاسباتی (Compute Buffers) و KV Cache نیاز دارد. بنابراین می‌توانید اندازه وزن‌های مدل را کاهش دهید و همچنان چند گیگابایت را به خاطر یک تنظیم زمینه بیش‌ازحد بزرگ از دست بدهید.

روی Apple Silicon، این تخصیص از همان استخر حافظه یکپارچه (Unified Memory) انجام می‌شود که macOS و هر برنامه دیگری از آن استفاده می‌کنند. روی سیستمی با پردازنده گرافیکی اختصاصی، معمولاً حافظه گرافیکی (VRAM) را اشغال می‌کند و وقتی VRAM تمام شود می‌تواند به حافظه سیستم یا حافظه اشتراکی سرریز کند. زمینه بی‌استفاده در این حالت حافظه را از سایر برنامه‌ها می‌گیرد یا بخشی از مدل را به حافظه کندتر می‌راند، بدون آنکه کمکی به درخواست‌های معمول شما کند. پیش‌فرض‌های Ollama روی سیستم‌هایی با VRAM بیشتر این وضعیت را بدتر می‌کنند. این برنامه در حال حاضر برای کمتر از ۲۴ گیبی‌بایت زمینه ۴K، بین ۲۴ تا ۴۸ گیبی‌بایت زمینه ۳۲K و برای ۴۸ گیبی‌بایت یا بیشتر زمینه ۲۵۶K اختصاص می‌دهد.

محدودیت زمینه را بر اساس درخواست‌های واقعی انتخاب کنید

به آن اندازه که فکر می‌کنید به زمینه بزرگ نیاز ندارید. API Ollama اعداد مفیدی برای انتخاب پنجره زمینه ارائه می‌دهد. پاسخ‌های آن شامل prompt_eval_count است که توکن‌های ورودی را گزارش می‌کند و eval_count که توکن‌های تولیدشده را گزارش می‌دهد. می‌توانید این اعداد را در چند گفتگو بررسی کنید تا نقطه شروع بهتری از حداکثر تبلیغ‌شده مدل به دست آورید. تبادل‌های طولانی‌تر خود را هم در این مقایسه بگنجانید تا همه‌چیز را حول یک پرسش کوتاه تنظیم نکنید.

برای گفتگوهای چند هزار توکنی که در اینجا توصیف شد، پیشنهاد می‌شود ابتدا یک پنجره ۸K را آزمایش کنید. این مقدار برای پرسش‌های پیگیری و یک پاسخ غیرعادی طولانی جا می‌گذارد، بدون آنکه فوراً به ۳۲K بپرید. باید مدل‌های استدلالی (Reasoning Models) را متفاوت در نظر بگیرید، چون آن‌ها پیش از پاسخ نهایی توکن‌های تفکر تولید می‌کنند. Ollama این تفکر را جداگانه نمایش می‌دهد، بنابراین پاسخی که در رابط چت می‌بینید لزوماً همه چیزهایی نیست که مدل تولید می‌کند. باید برای آن خروجی هم بودجه حافظه در نظر بگیرید.

می‌توانید لغزنده زمینه را در اپلیکیشن Ollama تغییر دهید یا در یک نشست ترمینال دستور /set parameter num_ctx 8192 را وارد کنید. برای یک تنظیم پایدار مخصوص مدل، می‌توانید از Modelfile استفاده کنید که از PARAMETER num_ctx 8192 پشتیبانی می‌کند. پنجره کوچک‌تر را با گفتگویی آزمایش کنید که به اطلاعات پیام‌های قبلی نیاز دارد. وقتی برش (Truncation) فعال باشد، Ollama پیام‌های قدیمی‌تر را برای رسیدن به محدودیت حذف می‌کند و پیام‌های سیستمی و آخرین پیام را حفظ می‌کند.

دقت کش و درخواست‌های موازی هم نیاز به توجه دارند

Ollama راه دیگری هم برای کاهش مصرف حافظه دارد: ذخیره کش گفتگو با دقت عددی کمی کمتر. به این کار کوانتیزه‌سازی کش (Cache Quantization) می‌گویند. گزینه ۸ بیتی که معمولاً Q8 نامیده می‌شود، تقریباً نصف حافظه کش پیش‌فرض را استفاده می‌کند. محدودیت گفتگوی شما ثابت می‌ماند، هرچند اعداد ذخیره‌شده در کش کمی کم‌دقت‌تر هستند. این صرفه‌جویی فقط به کش اعمال می‌شود، بنابراین نیاز حافظه کل مدل را نصف نمی‌کند.

Q8 گزینه‌ای است که ابتدا باید امتحان کرد، چون اثر آن بر کیفیت پاسخ معمولاً ناچیز است. گزینه ۴ بیتی با نام Q4 حافظه بیشتری ذخیره می‌کند و کش را به حدود یک‌چهارم اندازه اصلی می‌رساند. اما همان‌طور که انتظار دارید، دقت بیشتری از دست می‌رود که می‌تواند بر پاسخ‌ها به‌ویژه در گفتگوهای طولانی‌تر اثر بگذارد. پیش از فعال نگه‌داشتن هر یک از این تنظیمات، پاسخ‌ها را با چند پرسش آشنا مقایسه کنید.

همچنین باید بررسی کنید Ollama برای پردازش هم‌زمان چند درخواست پیکربندی شده است. اگر اجازه می‌دهید چهار گفتگو هم‌زمان پاسخ تولید کنند، فضای کش خود را هدر می‌دهید. اگر چند نفر یا چند برنامه از سرور محلی شما استفاده می‌کنند، می‌توانید این قابلیت را فعال نگه دارید. برای استفاده‌ای مثل فرستادن یک پرسش و انتظار برای پاسخ، دلیل کمی برای رزرو آن ظرفیت اضافی وجود دارد. Ollama در حال حاضر به‌صورت پیش‌فرض یک درخواست هم‌زمان را پردازش می‌کند، بنابراین فقط در صورت افزایش آن باید این تنظیم را دوباره بررسی کنید.

استنتاج‌های دیگر را هم امتحان کنید

Ollama در اجرای مدل‌ها کار بسیار خوبی انجام می‌دهد، اما ممکن است بخواهید گزینه‌های دیگر را هم بررسی کنید. به‌گفته نویسنده، LM Studio برای او بسیار بهتر از Ollama بوده است. همچنین تجربه‌های خوبی با Docker Model Runner و BaseRT داشته است.

نظرتان را ثبت کنید کد خبر: 55097 گروه خبری: اخبار نرم افزار منبع خبر: XDA Developers تاریخ خبر: 1405/07/14 تعداد مشاهده: 55
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
مجله تخصصی پلی استیشن سونی

مجله تخصصی پلی استیشن سونی

مجله تخصصی آخرین اخبار بازی ها و نقد و بررسی های بازی

قوانین مالی و درآمدزایی بیشتر

قوانین مالی و درآمدزایی بیشتر

21 قانون مالی برای کسب درآمد بیشتر

سخنرانی‌های شیخ جعفر شوشتری

سخنرانی‌های شیخ جعفر شوشتری

مصائب اباعبدالله الحسین

معجزات بی‌شمار امام مهدی(عج)

معجزات بی‌شمار امام مهدی(عج)

پرتوی از نورستان در دل کویر لوت

آموزش تصویری کار با پاورپوینت 2007 و 2010

آموزش تصویری کار با پاورپوینت 2007 و 2010

آموزش پاورپوینت

ContourTrace Professional 2.8.5

ContourTrace Professional 2.8.5

تبدیل تصاویر پیکسلی به برداری

Oxford Advanced Learner’s Dictionary 8th Edition 2010 + Portable

Oxford Advanced Learner’s Dictionary 8th Edition 2010 + Portable

ویرایش هشتم دیکشنری انگلیسی به انگلیسی و معتبر اکسفورد (نسخه پیشرفته)

شهادت و زندگینامه خلبانان نیروی هوایی

شهادت و زندگینامه خلبانان نیروی هوایی

سوانح هوایی

FarStone RestoreIT 10 Build 4.1.100.1332 / TotalRecovery Pro 11.0 /Server 10.10.1 / Total Backup Recovery Server 10.10

FarStone RestoreIT 10 Build 4.1.100.1332 / TotalRecovery Pro 11.0 /Server 10.10.1 / Total Backup Recovery Server 10.10

نرم افزار پشتیبان گیری کم حجم و سریع از اطلاعات

Crimsonland 1.9.8 - Cracked

Crimsonland 1.9.8 - Cracked

کریمسون لند

Duplicate Files Fixer 1.2.1.1092

Duplicate Files Fixer 1.2.1.1092

شناسایی و حذف فایل های تکراری

سخنرانی های مرحوم آیت الله مجتهدی تهرانی بخش پانزدهم

سخنرانی های مرحوم آیت الله مجتهدی تهرانی بخش پانزدهم

سخنرانی آیت الله مجتهدی تهرانی با موضوع مذمت حب مال

Format Factory 5.21.0 + Portable

Format Factory 5.21.0 + Portable

تبدیل فرمت‌های صوتی و تصویری فرمت فکتوری

CyberLink Screen Recorder Deluxe 4.4.1.31540

CyberLink Screen Recorder Deluxe 4.4.1.31540

ضبط صفحه نمایش

WinSetupFromUSB 1.10

WinSetupFromUSB 1.10

نرم افزار بوت کردن ویندوز XP برای نصب از روی فلش USB

Cutcon 4.0

Cutcon 4.0

بُرش، تبدیل و پیش‌نمایش فایل‌های ویدئویی، صوتی و عکس

Freedom Fighters

Freedom Fighters

فریدوم فایترز برای کامپیوتر

Line Runner 2 v2.0 for Android +2.2

Line Runner 2 v2.0 for Android +2.2

بازی دونده بر روی خطوط 2

آشنایی با  ارزهای دیجیتال

آشنایی با ارزهای دیجیتال

بازارهای مالی

Shadows on the Vatican - Act II - Wrath

Shadows on the Vatican - Act II - Wrath

سایه‌هایی بر واتیکان - کُنِش 2 - خشم

AirFox 1.0 for Android

AirFox 1.0 for Android

بازی هواپیما آتاری

Learning Autodesk 3ds Max Design 2010

Learning Autodesk 3ds Max Design 2010

آموزش اتودسک 3دی مکس دیزاین 2010

USB FORMAT 7.1

USB FORMAT 7.1

فرمت فلش مموری

The Incredible Adventures of Super Panda + Update

The Incredible Adventures of Super Panda + Update

کودکانه برای کامپیوتر

Uninstalr 2.6

Uninstalr 2.6

آنیستالر

آموزش بیان و سخن وری

آموزش بیان و سخن وری

فن سخنوری

Trial-Reset 4.0 Final Fixed

Trial-Reset 4.0 Final Fixed

تریال ریست

Gem Miner 2 v1.6 for Android +2.0

Gem Miner 2 v1.6 for Android +2.0

بازی معدن چی

آموزش حیات وحش به کودکان

آموزش حیات وحش به کودکان

گربه سانان به زبان ساده

هوش مصنوعی

هوش مصنوعی

آشنایی با کتاب هوش مصنوعی

Yamaha Supercross

Yamaha Supercross

موتورهای پرشی یاماها

Half-Life 2

Half-Life 2

نیمه‌جان 2 | نسخه‌ی بسیار کم‌حجم Full Rip

Do It Later 4.4.2 for Android +4.4

Do It Later 4.4.2 for Android +4.4

بعدا انجام بده

Principia 1.5.1 for Android +2.2

Principia 1.5.1 for Android +2.2

بازی آدمک آهنی

FameRing Smart Cutter for DV and DVB 1.11.2

FameRing Smart Cutter for DV and DVB 1.11.2

ویرایش ویدئوهای ضبط‌ شده با دوربین‌های دی‌وی

SCR Screen Recorder Pro root 1.0.5 / 5 v0.1.3 for Android +4.0

SCR Screen Recorder Pro root 1.0.5 / 5 v0.1.3 for Android +4.0

تصویر برداری از صفحه نمایش

Cut The Rope 3.37.0 for Android +4.1

Cut The Rope 3.37.0 for Android +4.1

طناب را ببر

Principles of Marketing - 15th Edition

Principles of Marketing - 15th Edition

اصول بازاریابی

The Nun 2018

The Nun 2018

راهبه

Evernote 11.42.3.15674

Evernote 11.42.3.15674

نکته برداری ابری

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!