سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 میلاد زینت پدر حضرت زینب سلام الله علیها مبارک باد 💐
 
 
  1. جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید
  2. به مناسبت عید غدیر، در سایت https://esetupdate.ir/ تخفیف ویژه‌ای برای محصولات در نظر گرفته شده است؛ فرصت را از دست ندهید. 🌸
  3. اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

نرم افزار های پرکاربرد

ثبت نام | ورود
wepido.ir

Ollama حافظه رم را برای پنجره زمینه‌ای هدر می‌دهد؛ تنظیمی برای بازپس‌گیری آن

Ollama حافظه رم را برای پنجره زمینه‌ای هدر می‌دهد؛ تنظیمی برای بازپس‌گیری آن

Ollama برای طول زمینه (Context Length) بسیار بیشتری از آنچه واقعاً استفاده می‌کنید، حافظه رم (RAM) رزرو می‌کند. اگر مدلی با پنجره زمینه ۳۲ هزار توکن بارگذاری شود در حالی که پرسش‌ها و پاسخ‌های شما به‌ندرت از چند هزار توکن فراتر می‌روند، بیشتر آن ظرفیت بی‌استفاده می‌ماند. اما همین ظرفیت بی‌استفاده هم هزینه حافظه دارد.

Ollama باید برای طول زمینه پیکربندی‌شده یک کش کلید-مقدار (KV Cache) تخصیص دهد و این کش می‌تواند چند گیگابایت روی مدل دانلودشده اضافه کند. این مشکل فقط به Ollama محدود نیست؛ همان مسئله بنیادی برای llama.cpp و مدل‌های GGUF که از طریق موتور llama.cpp در LM Studio اجرا می‌شوند نیز صدق می‌کند. روی ماشینی با رم کمتر، می‌توانید پنجره زمینه را به مقداری نزدیک به مصرف واقعی کاهش دهید و حافظه بسیار بیشتری برای سایر کارها آزاد کنید.

Ollama برای زمینه‌ای که ممکن است هرگز استفاده نکنید، حافظه رزرو می‌کند

طول زمینه یک ظرفیت حداکثری است، نه اندازه‌گیری آنچه پرسش فعلی شما مصرف می‌کند. این مقدار شامل اعلان سیستمی (System Prompt)، تاریخچه گفتگو، ورودی فعلی و پاسخ تولیدشده می‌شود. برای مثال، ممکن است مدلی را برای ۳۲ هزار توکن پیکربندی کنید و در یک گفتگوی عادی فقط ۳ هزار توکن استفاده کنید، اما Ollama هنگام بارگذاری همچنان مدل را برای حد بزرگ‌تر آماده می‌کند.

بیشتر این حافظه اضافی به KV Cache می‌رود. این کش محاسبات مربوط به توکن‌هایی را که مدل قبلاً پردازش کرده ذخیره می‌کند تا مجبور نباشد کل گفتگو را دوباره پردازش کند. پنجره زمینه بزرگ‌تر به فضای بیشتری برای این محاسبات نیاز دارد. در Ollama و سایر رانتایم‌های مبتنی بر llama.cpp، اندازه این تخصیص به ظرفیت پیکربندی‌شده گره خورده است، نه به طول پرسش کوتاهی که بعداً می‌فرستید.

اندازه مدل دانلودشده این موضوع را به‌روشنی نشان نمی‌دهد. برای مثال، یک مدل Q4 پنج گیگابایتی می‌گوید وزن‌های کوانتیزه‌شده چقدر فضا اشغال می‌کنند، اما Ollama همچنان به بافرهای محاسباتی (Compute Buffers) و KV Cache نیاز دارد. بنابراین می‌توانید اندازه وزن‌های مدل را کاهش دهید و همچنان چند گیگابایت را به خاطر یک تنظیم زمینه بیش‌ازحد بزرگ از دست بدهید.

روی Apple Silicon، این تخصیص از همان استخر حافظه یکپارچه (Unified Memory) انجام می‌شود که macOS و هر برنامه دیگری از آن استفاده می‌کنند. روی سیستمی با پردازنده گرافیکی اختصاصی، معمولاً حافظه گرافیکی (VRAM) را اشغال می‌کند و وقتی VRAM تمام شود می‌تواند به حافظه سیستم یا حافظه اشتراکی سرریز کند. زمینه بی‌استفاده در این حالت حافظه را از سایر برنامه‌ها می‌گیرد یا بخشی از مدل را به حافظه کندتر می‌راند، بدون آنکه کمکی به درخواست‌های معمول شما کند. پیش‌فرض‌های Ollama روی سیستم‌هایی با VRAM بیشتر این وضعیت را بدتر می‌کنند. این برنامه در حال حاضر برای کمتر از ۲۴ گیبی‌بایت زمینه ۴K، بین ۲۴ تا ۴۸ گیبی‌بایت زمینه ۳۲K و برای ۴۸ گیبی‌بایت یا بیشتر زمینه ۲۵۶K اختصاص می‌دهد.

محدودیت زمینه را بر اساس درخواست‌های واقعی انتخاب کنید

به آن اندازه که فکر می‌کنید به زمینه بزرگ نیاز ندارید. API Ollama اعداد مفیدی برای انتخاب پنجره زمینه ارائه می‌دهد. پاسخ‌های آن شامل prompt_eval_count است که توکن‌های ورودی را گزارش می‌کند و eval_count که توکن‌های تولیدشده را گزارش می‌دهد. می‌توانید این اعداد را در چند گفتگو بررسی کنید تا نقطه شروع بهتری از حداکثر تبلیغ‌شده مدل به دست آورید. تبادل‌های طولانی‌تر خود را هم در این مقایسه بگنجانید تا همه‌چیز را حول یک پرسش کوتاه تنظیم نکنید.

برای گفتگوهای چند هزار توکنی که در اینجا توصیف شد، پیشنهاد می‌شود ابتدا یک پنجره ۸K را آزمایش کنید. این مقدار برای پرسش‌های پیگیری و یک پاسخ غیرعادی طولانی جا می‌گذارد، بدون آنکه فوراً به ۳۲K بپرید. باید مدل‌های استدلالی (Reasoning Models) را متفاوت در نظر بگیرید، چون آن‌ها پیش از پاسخ نهایی توکن‌های تفکر تولید می‌کنند. Ollama این تفکر را جداگانه نمایش می‌دهد، بنابراین پاسخی که در رابط چت می‌بینید لزوماً همه چیزهایی نیست که مدل تولید می‌کند. باید برای آن خروجی هم بودجه حافظه در نظر بگیرید.

می‌توانید لغزنده زمینه را در اپلیکیشن Ollama تغییر دهید یا در یک نشست ترمینال دستور /set parameter num_ctx 8192 را وارد کنید. برای یک تنظیم پایدار مخصوص مدل، می‌توانید از Modelfile استفاده کنید که از PARAMETER num_ctx 8192 پشتیبانی می‌کند. پنجره کوچک‌تر را با گفتگویی آزمایش کنید که به اطلاعات پیام‌های قبلی نیاز دارد. وقتی برش (Truncation) فعال باشد، Ollama پیام‌های قدیمی‌تر را برای رسیدن به محدودیت حذف می‌کند و پیام‌های سیستمی و آخرین پیام را حفظ می‌کند.

دقت کش و درخواست‌های موازی هم نیاز به توجه دارند

Ollama راه دیگری هم برای کاهش مصرف حافظه دارد: ذخیره کش گفتگو با دقت عددی کمی کمتر. به این کار کوانتیزه‌سازی کش (Cache Quantization) می‌گویند. گزینه ۸ بیتی که معمولاً Q8 نامیده می‌شود، تقریباً نصف حافظه کش پیش‌فرض را استفاده می‌کند. محدودیت گفتگوی شما ثابت می‌ماند، هرچند اعداد ذخیره‌شده در کش کمی کم‌دقت‌تر هستند. این صرفه‌جویی فقط به کش اعمال می‌شود، بنابراین نیاز حافظه کل مدل را نصف نمی‌کند.

Q8 گزینه‌ای است که ابتدا باید امتحان کرد، چون اثر آن بر کیفیت پاسخ معمولاً ناچیز است. گزینه ۴ بیتی با نام Q4 حافظه بیشتری ذخیره می‌کند و کش را به حدود یک‌چهارم اندازه اصلی می‌رساند. اما همان‌طور که انتظار دارید، دقت بیشتری از دست می‌رود که می‌تواند بر پاسخ‌ها به‌ویژه در گفتگوهای طولانی‌تر اثر بگذارد. پیش از فعال نگه‌داشتن هر یک از این تنظیمات، پاسخ‌ها را با چند پرسش آشنا مقایسه کنید.

همچنین باید بررسی کنید Ollama برای پردازش هم‌زمان چند درخواست پیکربندی شده است. اگر اجازه می‌دهید چهار گفتگو هم‌زمان پاسخ تولید کنند، فضای کش خود را هدر می‌دهید. اگر چند نفر یا چند برنامه از سرور محلی شما استفاده می‌کنند، می‌توانید این قابلیت را فعال نگه دارید. برای استفاده‌ای مثل فرستادن یک پرسش و انتظار برای پاسخ، دلیل کمی برای رزرو آن ظرفیت اضافی وجود دارد. Ollama در حال حاضر به‌صورت پیش‌فرض یک درخواست هم‌زمان را پردازش می‌کند، بنابراین فقط در صورت افزایش آن باید این تنظیم را دوباره بررسی کنید.

استنتاج‌های دیگر را هم امتحان کنید

Ollama در اجرای مدل‌ها کار بسیار خوبی انجام می‌دهد، اما ممکن است بخواهید گزینه‌های دیگر را هم بررسی کنید. به‌گفته نویسنده، LM Studio برای او بسیار بهتر از Ollama بوده است. همچنین تجربه‌های خوبی با Docker Model Runner و BaseRT داشته است.

نظرتان را ثبت کنید کد خبر: 55097 گروه خبری: اخبار نرم افزار منبع خبر: XDA Developers تاریخ خبر: 1405/07/14 تعداد مشاهده: 54
اخبار مرتبط با این خبر
نظر های کاربران
سرور آپدیت نود 32
پیشنهاد سافت گذر
Travel Riddles - Trip to India

Travel Riddles - Trip to India

معماهای مسافرتی - سفر به هند

Stimulsoft Reports 2021.3.2

Stimulsoft Reports 2021.3.2

کامپوننت دات نت برای گزارش گیری

مجله تخصصی برای علاقه مندان به رشته دوچرخه سواری

مجله تخصصی برای علاقه مندان به رشته دوچرخه سواری

مجله Cycling Weekly ژانویه 14؛ 2021

طب و پزشکی در اسلام

طب و پزشکی در اسلام

دانستنی‌های پزشکی

Paperama 1.5.7 for Android +2.3

Paperama 1.5.7 for Android +2.3

بازی با اریگامی

Google Messages 20260903 For Android +8.0

Google Messages 20260903 For Android +8.0

گوگل مسج

LeafView 4.0.3

LeafView 4.0.3

مشاهده عکس

جامع‌ترین و مختصرترین کتاب اعتقادات

جامع‌ترین و مختصرترین کتاب اعتقادات

مناهج الحق و النجاه

Hyper Light Drifter

Hyper Light Drifter

مبارزه به سرعت نور

Electrician Simulator

Electrician Simulator

شبیه ساز برقکاری

Visual Studio Code 1.145.3 Win/Mac/Linux

Visual Studio Code 1.145.3 Win/Mac/Linux

ویژوال استادیو کد

iFind Data Recovery Enterprise 10.6.6.0

iFind Data Recovery Enterprise 10.6.6.0

ریکاوری فایل‌های حذف‌شده

OpenShot Video Editor 3.4.0

OpenShot Video Editor 3.4.0

ویرایش ویدئو

Light Bound

Light Bound

محدوده‌ی نور

File Manager Premium 2.7.6 for Android +5.0

File Manager Premium 2.7.6 for Android +5.0

مدیریت فایل

Warbirds Dogfights

Warbirds Dogfights

جنگ پرنده ها نسخه Dogfights

مفاهیم و اصطلاحات احکام‏

مفاهیم و اصطلاحات احکام‏

اصطلاحات فقهی در رساله ها

Speed Night 1.2.6 for Android

Speed Night 1.2.6 for Android

سرعت در شب

Pluralsight - Website Performance

Pluralsight - Website Performance

فیلم آموزش بهینه‌سازی کارآیی وب‌سایت

Windhawk 1.5.1

Windhawk 1.5.1

بهینه سازی ویندوز

تعمیر کامپیوتر در خانه

تعمیر کامپیوتر در خانه

آموزش ساده رفع مشکل سیستم

ESET HOME Security Essential 19.0.14.0

ESET HOME Security Essential 19.0.14.0

ایسِت هوم سکیوریتی اسنشیال

Thorium Reader v3.1.0

Thorium Reader v3.1.0

کتابخوان الکترونیکی

Call Confirm PRO 2.0.7 for Android +2.1

Call Confirm PRO 2.0.7 for Android +2.1

تماسهای خود را کنترل کنید

Poppy Playtime – Chapter 1 to 5 (All 5 Chapters)

Poppy Playtime – Chapter 1 to 5 (All 5 Chapters)

پاپی پلی تایم

پرسش ها و پاسخ ها با موضوع فلسفه احکام و تربیت

پرسش ها و پاسخ ها با موضوع فلسفه احکام و تربیت

تربیت و اخلاق

Car Detailing Simulator

Car Detailing Simulator

شبیه ساز تعمیر خودرو

Luxor 5th Passage 1.0.0.8

Luxor 5th Passage 1.0.0.8

لوکسور - پنجمین گذرگاه

تلاوت مجلسی استاد محمد صدیق منشاوی سوره مبارکه بقره

تلاوت مجلسی استاد محمد صدیق منشاوی سوره مبارکه بقره

تلاوت محمد صدیق منشاوی سوره بقره

نمونه قطعات صنعتی مدل سازی شده با نرم افزار SolidWorks

نمونه قطعات صنعتی مدل سازی شده با نرم افزار SolidWorks

سالید ورک و مدل سازی با آن

Vensim DSS 6.4E

Vensim DSS 6.4E

ون سیم

InfiniteSkills – Learning Oracle 11g Training Video

InfiniteSkills – Learning Oracle 11g Training Video

فیلم آموزش کامل اُراکل 11‌جی ، برترین نرم‌افزار پایگاه داده

ترتیل استاد محمود شحات انور آیت الکرسی

ترتیل استاد محمود شحات انور آیت الکرسی

تلاوت محمود شحات انور آیت الکرسی

تجربه کاربری مفهومی بسیار گسترده، چندرشته‌ای و شگفت‌انگیز

تجربه کاربری مفهومی بسیار گسترده، چندرشته‌ای و شگفت‌انگیز

تجربه کاربری و رابط کاربری

HiSuite 9.0.3.300

HiSuite 9.0.3.300

های‌ سوئیت مدیریت کامل گوشی‌ های هواوی

Mosaique 1.4.3 for Android

Mosaique 1.4.3 for Android

بازی با موزاییک های رنگی

مداحی آماده شده برای دهه اول محرم سال 96 - شب ششم

مداحی آماده شده برای دهه اول محرم سال 96 - شب ششم

مداحی برای ششم محرم 96

PointWise 2024.1 Win/Linux/Mac

PointWise 2024.1 Win/Linux/Mac

آنالیز مدل های سه بعدی پوینت وایز

SuperSU Pro 2.82 SR5 for Android +3.0

SuperSU Pro 2.82 SR5 for Android +3.0

سوپرسو

Windows Server 2012 R2 October 2025 / MSDN RTM VL

Windows Server 2012 R2 October 2025 / MSDN RTM VL

ویندوز سرور 2012

خبرنامه

با عضویت در خبرنامه، زودتر از همه باخبر باش!