اوایل امسال، مایکروسافت خانواده مدل‌های کوچک زبانی Phi-3 را معرفی کرد. امروز، این شرکت مدل Phi-4 را معرفی کرد؛ یک مدل زبان کوچک پیشرفته (SLM) با ۱۴ میلیارد پارامتر که حتی در آزمون‌های معیار هوش مصنوعی MATH و GPQA عملکردی بهتر از مدل بزرگ GPT-4 شرکت OpenAI دارد.
مایکروسافت ادعا می‌کند که عملکرد قوی Phi-4 در استدلال‌های مرتبط با ریاضیات به دلیل استفاده از مجموعه داده‌های مصنوعی باکیفیت، گزینش داده‌های ارگانیک با کیفیت بالا، و بهبودهایی پس از آموزش حاصل شده است. داده‌های مصنوعی برای آموزش این مدل از طریق تکنیکهای مختلفی تولید شده‌اند، از جمله:
- پیشنهاد چند عاملی
- فرآیندهای خود بازبینی
- معکوس سازی دستورالعمل‌ها
بخش عمده داده‌های آموزشی Phi-4 از داده‌های مصنوعی تولید شده تشکیل شده است. همچنین، مایکروسافت از تکنیک‌هایی مانند نمونه گیری با رد کردن (Rejection Sampling) برای بهبود خروجی‌های مدل در فرآیند پس از آموزش استفاده کرده است.
در مقاله فنی مدل Phi-4، مایکروسافت به نگرانی‌ها در مورد نشت مجموعه آزمون‌های معیار از طریق وب نیز پرداخته است. این شرکت فرآیند پاکسازی داده‌ها (Data Decontamination) را برای Phi-4 بهبود داده تا از تأثیرات غیرمنصفانه بر نتایج ارزیابی جلوگیری کند. برای تأیید این موضوع، مایکروسافت مدل Phi-4 را روی مسابقات ریاضی AMC-10 و AMC-12 نوامبر ۲۰۲۴ که پس از جمع‌آوری داده‌های آموزشی این مدل برگزار شدند، آزمایش کرده است.
نتایج ریاضی Phi-4
Phi-4 عملکرد بهتری نسبت به مدل‌های مشابه از نظر اندازه یا مدل‌های با وزن آزاد دارد. این مدل حتی از مدل‌های پیشرفته بزرگ‌تر مانند Gemini 1.5 Pro نیز پیشی می‌گیرد. مایکروسافت ادعا می‌کند که عملکرد برتر Phi-4 در معیار MATH نتیجه بیش تمرینی (Overfitting) یا آلودگی داده‌ها نیست.
نقاط ضعف Phi-4
با این حال، Phi-4 محدودیت‌هایی دارد، زیرا همچنان از نظر اندازه محدود است. این مدل ممکن است در برخی اطلاعات واقعی دچار توهم (Hallucination) شود و توانایی کمتری در دنبال کردن دقیق دستورالعمل‌های پیچیده داشته باشد.
برای ارزیابی ایمنی مدل، تیم Phi-4 با تیم مستقل Red Team هوش مصنوعی مایکروسافت (AIRT) همکاری کرده است تا خطرات ایمنی و امنیتی احتمالی Phi-4 را در شرایط استفاده عادی و همچنین در سناریوهای خصمانه شناسایی کنند.
مدل Phi-4 اکنون تحت توافق نامه مجوز تحقیقات مایکروسافت (MSRLA) روی Azure AI Foundry در دسترس است. همچنین، مایکروسافت قصد دارد هفته آینده Phi-4 را در Hugging Face منتشر کند.