کانال سافت گذر در ایتا خبرهای جذاب سافت گذر را در ایتا دنبال کنید
جستجو در سافت گذر سافت گذر
جستجو در سایت در حال جستجو ...
کاربر عزیز ! اگر میخواهید به طور لحظه ای از بروز رسانی نرم افزار مورد نظر خود آگاه شوید و ایمیل بروز رسانی برنامه مورد نظر خود را در لحظه دریافت نمایید و فهرست برنامه های منتخب خود را در محیط کاربری خود ذخیره کنید همچنین دسترسی به تمامی برنامه های مخصوص اعضای ویژه(VIP) داشته باشید، با پرداخت ماهی فقط 5700 تومان تا یکسال از این امکان بهره مند شوید عضویــــــت
x
X لایسنس آنتی ویروس نود 32
بستن
 
پیلگون
تعداد برنامه ها: 9459 | مشاهده و دانلود: 766115324 | آخرین بروزرسانی: 1403/08/16 | اعضاء: 319395 | نظرات: 38032
www.esetupdate.ir
اطلاعیه های مهم سایت اطلاعیه های مهم سایت
💐 وفات شهادت گونه حضرت فاطمه معصومه سلام الله علیها تسلیت باد 💐

خبر خوشی در راهه...گوش بزنگ ما باشید

🔰جایگزین مناسب Kaspersky خرید لایسنس نود 32

جهت رفع مشکل باز شدن سایت به دلیل بلاک توسط  نود 32 این ویدیو یا این ویدیو(ورژن 9 به بالا) یا راهنمای تصویری را مشاهده کنید

اکانت های بروزرسانی نود32 با قیمت های مناسب به صورت یک ، سه ، شش و دوازده ماهه از اینجا قابل خرید می باشد.

آپدیت نود 32

سافت گذر دانشنامه نرم افزار - دانلود رایگان نرم افزار

سرور آپدیت نود 32
پیشنهاد سافت گذر
نظر سنجی
[مشاهده نتایج]

کاهش چشمگیر تاخیر مدل‌های زبانی با ویژگی جدید Predicted Outputs

تاخیر یکی از مشکلات اساسی در بسیاری از کاربردهای مدل‌های زبانی بزرگ (LLM) است. در سناریوهایی مانند پیشنهادات کد و ویرایش اسناد طولانی، تاخیر می‌تواند تجربه کلی کاربر را تحت تاثیر قرار دهد. فرض کنید کاربری می‌خواهد پاراگراف آخر یک سند دو صفحه‌ای را بازنویسی کند. بهتر است که سند بازنویسی‌ شده فوراً ظاهر شود، چون تغییر تنها شامل یک پاراگراف است. اما APIهای فعلی مدل‌های زبانی بزرگ نیاز به بازتولید کل سند دارند که باعث تاخیر قابل توجهی برای کاربران می‌شود.

 

کاهش چشمگیر تاخیر مدل‌های زبانی با ویژگی جدید Predicted Outputs

 

OpenAI اکنون در تلاش است این مشکل را با ویژگی جدیدی به نام Predicted Outputs حل کند. این ویژگی می‌تواند در مواردی استفاده شود که بیشتر خروجی مدل زبانی از پیش مشخص است. وظایفی مانند ویرایش اسناد یا بازنویسی کد می‌توانند با این ویژگی بهبود یابند. Predicted Outputs با استفاده از روشی به نام رمزگشایی پیش‌ گویی (speculative decoding) محتوای شناخته‌ شده را رد می‌کند و تکرارها را بسیار سریع‌تر می‌کند.

توسعه‌ دهندگان می‌توانند با ارائه محتوای موجود به عنوان پیش‌ گویی، تاخیر را بطور قابل توجهی کاهش دهند. با این کار، کل محتوا با سرعت بسیار بیشتری بازتولید می‌شود.

OpenAI این ویژگی را با تعدادی از شرکای خارجی خود آزمایش کرد و نتایج بسیار مثبتی حاصل شد. به عنوان مثال، طبق معیارهای داخلی تیم Microsoft GitHub، استفاده از Predicted Outputs در وظایف Copilot Workspace منجر به افزایش سرعت ۵.۸ برابری شد.

تیم Exponent نیز به آزمایش و بهبود این API کمک کرد و اذعان داشتند که Predicted Outputs بسیار سریع عمل می‌کند و تجربه کاری فوق‌ العاده‌ای را برای توسعه‌ دهندگان فراهم می‌آورد. Exponent اعلام کرد که برای دسترسی زودهنگام به این ویژگی می‌توانید در Exponent ثبت‌نام کنید.

 

محدودیت‌ها در استفاده از Predicted Outputs:

  1. این ویژگی تنها برای مدل‌های سری GPT-4o و GPT-4o-mini پشتیبانی می‌شود و مدل‌های جدیدتر o1 شامل این قابلیت نیستند.
  2. همچنین پارامترهای زیر در زمان استفاده از Predicted Outputs پشتیبانی نمی‌شوند:
    1. مقادیر n بیشتر از ۱
    2. logprobs
    3. presence_penalty بالاتر از ۰
    4. frequency_penalty بالاتر از ۰
    5. گزینه‌های صوتی
    6. سایر حالت‌ها (تنها حالت متنی پشتیبانی می‌شود)
    7. max_completion_tokens
    8. ابزارها - فراخوانی توابع پشتیبانی نمی‌شود

 

با وجود محدودیت‌ها، ویژگی Predicted Outputs از پتانسیل بالایی برخوردار است و به ایجاد ابزارهای سریع‌تر و کارآمدتر با پشتیبانی از مدل‌های زبانی بزرگ کمک می‌کند.

نظرتان را ثبت کنید کد خبر: 51422 گروه خبری: هوش مصنوعی منبع خبر: سافت گذر تاریخ خبر: 1403/08/16 تعداد مشاهده: 154
سافت گذر