ماه گذشته، مصطفی سلیمان، مدیرعامل بخش هوش مصنوعی مایکروسافت، در مصاحبه‌ای اعلام کرد که به نظر او، سرویس های هوش مصنوعی تولید کننده که از اطلاعات موجود در تقریبا تمام وب سایت ها آموزش داده می‌شوند، استفاده منصفانه محسوب می‌شود. او اضافه کرد: «هر کسی می‌تواند آن را کپی، بازسازی و تکثیر کند. این یک نرم افزار رایگان بوده و اینطور درک شده است.»
این اظهارات باعث ایجاد بحث های داغ زیادی در میان برخی افراد آنلاین شد، که احساس می‌کردند نظر سلیمان نشان می‌دهد شرکت هایی مانند مایکروسافت، OpenAI، گوگل و سایر شرکت ها با سیستم های هوش مصنوعی، به مالکیت محتوا از سایت هایی که توسط Copilot، ChatGPT، جمنی و سایرین آموزش داده می‌شوند، اهمیت نمی‌دهند.
این هفته، کلودفلیر، یکی از بزرگترین میزبان های وب سایت ها، اعلام کرد که کار را برای مشتریانش برای مسدود کردن محتوای آنها از ربات های هوش مصنوعی آسان تر می‌کند. در یک پست وبلاگی اعلام کرد که همه مشتریان هاستینگ آن، از جمله کاربران رایگان، می‌توانند وارد داشبورد سایت خود در کلودفلیر شوند، سپس روی گزینه Security و در نهایت بخش Bots کلیک کنند.
باید بخش جدیدی به نام «اسکرپرها و خزنده های هوش مصنوعی» با یک دکمه ببینند. کلیک کردن روی آن دکمه، این ربات های هوش مصنوعی را از برداشتن محتوا از وب سایت مسدود می‌کند. کلودفلیر می‌گوید این ویژگی را در آینده بروزرسانی خواهد کرد، «زیرا اثر انگشت های جدید ربات های متخلفی را که شناسایی می‌کنیم و به طور گسترده وب را برای آموزش مدل ها اسکن می‌کنند، می‌بینیم.» آنها اضافه کردند:
«ما نگران هستیم که برخی از شرکت های هوش مصنوعی که قصد دور زدن قوانین دسترسی به محتوا را دارند، به طور مداوم برای فرار از تشخیص ربات ها سازگار شوند. ما همچنان مراقب خواهیم بود و بلوک های ربات بیشتری را به قانون اسکرپرها و خزنده های هوش مصنوعی اضافه می‌کنیم و مدل های یادگیری ماشین خود را برای کمک به حفظ اینترنت به عنوان فضایی که سازندگان محتوا می‌توانند شکوفا شوند و کنترل کامل بر اینکه محتوای آنها برای آموزش یا اجرای استنتاج در کدام مدل ها استفاده می‌شود، داشته باشند، توسعه خواهیم داد.»
این پست وبلاگی همچنین در مورد ربات های برتر هوش مصنوعی، از نظر درخواست های سایت های میزبانی شده توسط کلودفلیر، اطلاعاتی ارائه کرد. بزرگترین آنها Bytespider است که توسط ByteDance مستقر در چین، شرکت مادر تیک‌تاک، برای استفاده در سرویس های هوش مصنوعی چینی استفاده می‌شود. سایر ربات های اسکنر هوش مصنوعی برتر شامل Amazonbot هستند که گفته می‌شود برای دریافت داده برای سرویس الکسای آمازون استفاده می‌شود.
Bytespider همچنین از نظر درصد سهم وب سایت های کلودفلیر با ۴۰.۴۰ درصد، بهترین ربات هوش مصنوعی است. GPTBot از OpenAI با ۳۵.۴۶ درصد در رتبه دوم قرار دارد.