همزمان با رونمایی از مدل بروز شده "Claude 3.5 Sonnet" و مدل جدید "Claude 3.5 Haiku"، شرکت Anthropic امروز یک API بتا عمومی آزمایشی به نام "استفاده از کامپیوتر" را معرفی کرد. این API به کلود اجازه می‌دهد تا صفحه نمایش کامپیوتر را کنترل کرده و به نمایندگی از کاربر اقداماتی انجام دهد. از طریق این API، توسعه دهندگان می‌توانند کلود را برای مشاهده صفحه نمایش، حرکت دادن نشانگر ماوس، کلیک کردن روی دکمه‌ها و تایپ متن هدایت کنند. Anthropic این API را امروز منتشر کرده تا بازخورد دریافت کند و به سرعت آن را بهبود بخشد.
تیم Anthropic در پست وبلاگ خود درباره این قابلیت جدید نوشتند:
با "استفاده از کامپیوتر"، ما در حال امتحان کردن چیزی کاملاً جدید هستیم. به جای ساخت ابزارهای خاص برای کمک به کلود در انجام وظایف منفرد، ما به آن مهارت‌های عمومی کامپیوتری آموزش می‌دهیم – به طوری که بتواند از طیف گسترده‌ای از ابزارها و برنامه‌های استاندارد طراحی شده برای افراد استفاده کند.
توسعه دهندگان می‌توانند از API استفاده از کامپیوتر کلود برای خودکارسازی فرآیندهای تکراری، آزمایش برنامه‌ها، و حتی انجام وظایفی مانند تحقیقات استفاده کنند. نحوه عملکرد این API به این صورت است:
توسعه دهندگان می‌توانند این API را یکپارچه کنند تا کلود بتواند دستورالعمل‌ها (مثلاً "از داده‌های کامپیوتر من و اینترنت استفاده کن و این فرم را پر کن") را به دستورات کامپیوتری (مثل بررسی یک فایل اکسل، حرکت نشانگر ماوس برای باز کردن مرورگر وب، پیمایش به صفحات وب مربوطه، و پر کردن فرم با داده‌های آن صفحات) تبدیل کند.
در بنچمارک ارزیابی هوش مصنوعی OSWorld، مدل Claude 3.5 Sonnet در دسته‌ای که فقط از اسکرین شات‌ها استفاده می‌شد، امتیاز 14.9% را به دست آورد که تقریباً دو برابر امتیاز سیستم هوش مصنوعی بعدی با امتیاز 7.8% است. وقتی مراحل بیشتری برای تکمیل کار در اختیار کلود قرار گرفت، امتیاز آن به رقم چشمگیر 22.0% رسید.
تیم Anthropic به صراحت اعلام کرد که توانایی فعلی کلود در استفاده از کامپیوتر هنوز کامل نیست زیرا نمی‌تواند برخی از اقدامات معمول کاربران مانند پیمایش، کشیدن و زوم کردن را انجام دهد. از آنجایی که این API ممکن است برای اسپم، اطلاعات نادرست یا کلاهبرداری استفاده شود، Anthropic طبقه‌بندی کننده‌های جدیدی را توسعه داده تا مشخص کند آیا از قابلیت "استفاده از کامپیوتر" به درستی استفاده می‌شود و آیا ضرری ایجاد می‌شود یا خیر.
Anthropic اشاره کرد که چندین استارتاپ از جمله Asana، Canva، Cognition، DoorDash، Replit و The Browser Company در حال بررسی API "استفاده از کامپیوتر" برای انجام وظایفی هستند که حتی به صدها مرحله نیاز دارند.