OpenAI جزئیات سیستم واترمارک متنی خود را برای ChatGPT، Codex و API اعلام کرد؛ اقدامی که برای انطباق با قانون هوش مصنوعی اتحادیه اروپا (EU AI Act) انجام می‌شود. این قانون از ارائه‌دهندگان سیستم‌های هوش مصنوعی مولد می‌خواهد متن تولیدشده توسط هوش مصنوعی را به شکلی علامت‌گذاری کنند که قابل شناسایی باشد.
پیشینه: واترمارک متنی و واکنش Anthropic
چند ماه پیش، Anthropic با اعلام اینکه برای انطباق با قانون هوش مصنوعی اتحادیه اروپا، کلود (Claude) با تغییر جزئی در انتخاب واژگان، متن را واترمارک می‌کند، جنجال آفرید. در این روش، کلود هر چند وقت یک‌بار بر اساس یک الگوی پنهان بین واژه‌هایی که به یک اندازه مناسب هستند یکی را انتخاب می‌کند. Anthropic می‌گوید این کار تأثیر عملی بر معنا، کیفیت یا خوانایی پاسخ‌ها ندارد. این شرکت همچنین آشکارساز (Detector) ساخته است که همان الگو را در متن جست‌وجو می‌کند و می‌تواند احتمال دهد متن از کلود آمده است. این آشکارساز نمی‌تواند مشخص کند متن از OpenAI یا رقیب دیگری آمده، چون واترمارک کلود با کلید مخفی مخصوص Anthropic تولید می‌شود.
سیستم واترمارک متنی OpenAI
OpenAI اعلام کرد مشتریان API در سراسر جهان از امروز می‌توانند برای مدل‌های منتخب، واترمارک متنی را به‌صورت اختیاری فعال کنند. همچنین این شرکت در هفته‌های آینده به خروجی متنی واجد شرایط ChatGPT و Codex در اتحادیه اروپا یک واترمارک نامرئی اضافه می‌کند. بنابراین در API، واترمارک متنی فعلاً به‌صورت پیش‌فرض خاموش است، اما در ChatGPT و Codex در ابتدا فقط برای کاربران واجد شرایط در اتحادیه اروپا محدود خواهد بود.
OpenAI همچنین درخواست‌ها برای دسترسی به آشکارساز واترمارک متنی خود را باز کرده است. این دسترسی در ابتدا محدود به پژوهشگران و سازمان‌های تخصصی تأییدشده خواهد بود تا شرکت بتواند فناوری را ارزیابی و بهبود دهد.
textGrain چگونه کار می‌کند؟
فناوری واترمارک متنی OpenAI با نام textGrain شناخته می‌شود. به گفته این شرکت، textGrain یک سیگنال آماری نامرئی به انتخاب واژگان مدل اضافه می‌کند. آشکارساز OpenAI همان سیگنال را جست‌وجو می‌کند تا ارزیابی کند آیا یک قطعه متن واترمارک OpenAI را دارد یا نه. جزئیات بیشتر درباره نحوه کار textGrain در گزارش فنی این شرکت منتشر شده و در هفته‌های آینده با جزئیات بیشتری به‌روزرسانی می‌شود. OpenAI همچنین قصد دارد این فناوری را به‌صورت متن‌باز (Open Source) در اختیار دیگران قرار دهد تا بتوانند روی آن بسازند.
محدودیت‌های آشکارساز و تأثیر ویرایش
OpenAI تصریح کرده است که فناوری تشخیص همچنان محدودیت‌های قابل‌توجهی دارد و می‌تواند هم منفی کاذب (False Negative) و هم مثبت کاذب (False Positive) تولید کند؛ به‌ویژه در متن‌های کوتاه‌تر یا محتوا در حوزه‌های خاص «مانند ریاضیات که انعطاف کمتری در انتخاب واژه وجود دارد.»
این شرکت همچنین اشاره کرد که واترمارک می‌تواند با ویرایش به‌طور قابل‌توجهی تضعیف شود. در ارزیابی قطعه‌های ۴۰۰ توکنی (Token)، جایگزینی ۱۰٪ واژه‌ها با مترادف‌ها، تشخیص را از حدود ۹۲٪ به ۶۶٪ کاهش داد. جایگزینی ۲۵٪ واژه‌ها آن را به ۱۷٪ رساند.
عملکرد متن‌های واترمارک‌شده
در مقایسه OpenAI میان متن واترمارک‌شده و واترمارک‌نشده، خروجی‌های واترمارک‌شده در چند معیار (Benchmark) امتیاز کمی بالاتری گرفتند، هرچند این شرکت می‌گوید تفاوت معناداری در عملکرد کلی پیدا نکرده است. برای نمونه، در شاخص هوش Artificial Analysis، متن واترمارک‌شده ۴۹.۷۶ امتیاز در برابر ۴۹.۵۷ امتیاز متن واترمارک‌نشده کسب کرد؛ در Terminal-Bench Science 0.1، امتیاز ۶۰.۰۰٪ در برابر ۵۶.۹۰٪ و در GPQA Diamond، امتیاز ۹۳.۹۴٪ در برابر ۹۴.۴۴٪ ثبت شد.
واترمارک چه چیزی را اثبات نمی‌کند؟
OpenAI تأکید کرد که علاوه بر کاستی‌های مثبت کاذب و منفی کاذب، واترمارک «میزان مشارکت انسان را اندازه‌گیری نمی‌کند»، «مالکیت یا مسئولیت را اثبات نمی‌کند»، «کاربر را شناسایی نمی‌کند» و «صحت را تأیید نمی‌کند.» این شرکت افزود که «نبود واترمارک شناسایی‌شده نیز اثبات‌کننده نویسندگی انسان نیست.»
چشم‌انداز آینده
OpenAI در پایان گفت انتظار دارد با تحول فناوری، استانداردها و شواهد، رویکرد خود را بازبینی کند. این شرکت همچنین در حال بررسی این موضوع است که واترمارک‌ها چقدر در برابر ویرایش و ترجمه دوام می‌آورند و آیا می‌توانند به شکلی معنادارتر میان کمک هوش مصنوعی و نویسندگی هوش مصنوعی تمایز قائل شوند.