تصور کنید متنی را می‌خوانید که در ظاهر کاملاً انسانی است، اما یک ابزار دیجیتال می‌تواند با دقت ریاضی ثابت کند که این متن توسط ماشین نوشته شده است. OpenAI در ۵ اکتبر ۲۰۲۶ جزئیاتی از استقرار مرحله‌ای نشان‌گذاری (Watermarking) متون را منتشر کرد تا به این چالش پاسخ دهد که چگونه می‌توان الزامات قانون هوش مصنوعی اتحادیه اروپا برای متون ماشین‌خوان را برآورده کرد، بدون اینکه موجی از مثبت‌های کاذب ایجاد شود. این اقدام، وضعیت شکننده فناوری‌های فعلی تشخیص AI را آشکار می‌کند و در عین حال سعی در ایجاد توازن با فشارهای رگولاتوری دارد.
این تغییر در حالی رخ می‌دهد که رگولاتورهای جهانی از دستورالعمل‌های داوطلبانه به سمت قوانین سخت‌گیرانه حرکت می‌کنند. در حالی که شناسایی منشأ تصاویر و صدا نسبتاً پیشرفته است، متن به‌شدت سیال است؛ یعنی جایگزینی چند کلمه با مترادف‌هایشان می‌تواند اثر انگشت دیجیتال را پاک کند. برای مدیران کسب‌وکار، این یعنی برچسب «تولید شده توسط AI» در اروپا به یک الزام قانونی تبدیل می‌شود، حتی اگر فناوری اجرای آن هنوز نقص‌های زیادی داشته باشد.
زمینه و محرک‌های رگولاتوری
قانون هوش مصنوعی اتحادیه اروپا (EU AI Act) صراحتاً ارائه‌دهندگان هوش مصنوعی زاینده (Generative AI) — مثل آشپزی که دستور پخت را از روی یک کتابخانه عظیم یاد گرفته و حالا غذاهای جدید می‌پزد — را موظف می‌کند تا اطمینان حاصل کنند متون تولیدی در قالبی ماشین‌خوان شناسایی‌پذیر هستند. پاسخ OpenAI یک رویکرد مرحله‌بندی شده است که محدودیت‌های فعلی این فناوری را به رسمیت می‌شناسد. این شرکت بر شفافیت در مورد آنچه یک نشان‌گذاری می‌تواند یا نمی‌تواند به عموم فاش کند، تأکید دارد.
همان‌طور که در تحلیل‌های قبلی ما درباره‌ی استانداردهای ایمنی مدل‌های زبانی اشاره کردیم، توازن بین شفافیت و کارایی همواره یک چالش بوده است. این تلاش متنی بخشی از یک استراتژی لایه‌ای گسترده‌تر برای احراز اصالت است. OpenAI پیش از این ابزارهای تأییدی برای صوت و تصویر را از طریق APIهای مربوطه (Content Provenance API) و وب‌سایت verify.openai.com ارائه داده بود تا سازمان‌ها بتوانند تعیین کنند آیا یک فایل توسط سیستم‌های OpenAI تولید شده است یا خیر.
مکانیسم textGrain
OpenAI اکنون فناوری textGrain را به کار می‌گیرد. این سیستم یک سیگنال آماری نامرئی را در انتخاب کلمات مدل جاسازی می‌کند. برخلاف متاداده‌ها که به‌راحتی حذف می‌شوند، این سیگنال در احتمال انتخاب کلمات تنیده شده است و در واقع بخشی از ساختار احتمالی کلمات برگزیده است.
این شرکت قصد دارد فناوری textGrain را به‌صورت متن‌باز منتشر کند تا توسعه‌دهندگان دیگر نیز بتوانند بر روی این چارچوب بنا کنند و آن را گسترش دهند. بر اساس مستندات داخلی OpenAI، در مدل Astra (جدیدترین مدل پیشرو این شرکت)، ارزیابی‌ها نشان داد که فعال یا غیرفعال بودن نشان‌گذاری هیچ تأثیر محسوسی بر کیفیت خروجی‌ها یا عملکرد مدل نداشته است. با این حال، برخی پژوهش‌ها هشدار داده‌اند که نشان‌گذاری متنی می‌تواند بر ایمنی و دقت فراخوانی ابزارها در مدل‌های زبانی اثر منفی بگذارد.
استراتژی استقرار بر اساس منطقه و سطح دسترسی به شرح زیر تعریف شده است:
- کاربران اتحادیه اروپا: نشان‌گذاری‌های نامرئی در هفته‌های آینده به خروجی‌های واجد شرایط ChatGPT و Codex در تمامی طرح‌ها در محدوده اتحادیه اروپا اضافه می‌شود. این عرضه منطقه‌ای به OpenAI اجازه می‌دهد تا پیش از هرگونه گسترش جهانی، از بازخوردهای دنیای واقعی درس بگیرد.
- مشتریان API: کاربران جهانی API اکنون می‌توانند برای مدل‌های منتخب، این قابلیت را فعال (Opt-in) کنند، هرچند حالت پیش‌فرض آن غیرفعال است. OpenAI همچنین در حال هماهنگی با شرکای ابری خود است تا این قابلیت را برای خروجی‌های مدل‌هایی که از طریق خدمات آن‌ها به دست می‌رسند، فراهم کند.
- پژوهشگران: دسترسی به ابزار تشخیص نشان‌گذاری فعلاً محدود به سازمان‌های خبره و پژوهشگران تأییدشده است. این دسترسی به‌صورت مورد به مورد و مطابق با «کد رویه» (Code of Practice) اعطا می‌شود تا به ارزیابی و بهبود این فناوری کمک کند.
نقاط عملکرد و شکست
ارزیابی‌های داخلی نشان می‌دهد که textGrain عملکردی مشابه یا بهتر از ابزارهای دیگر، از جمله SynthID برای متن دارد. با این حال، شرکت اعتراف می‌کند که شرایط ایده‌آل به‌ندرت با استفاده‌های روزمره مطابقت دارد.
ابزارهای تشخیص با دو نوع خطای خاص روبرو هستند: مثبت کاذب (گزارش وجود نشان‌گذاری در متنی که انسانی است) و منفی کاذب (عدم شناسایی نشان‌گذاری موجود). طبق گزارش OpenAI، قابلیت اطمینان تشخیص بر اساس دو عامل اصلی به‌شدت افت می‌کند:
- طول متن و موضوع: در نرخ خطای هدف ۱٪، ابزار توانست نشان‌گذاری را در ۹۵٪ از متون ۴۰۰ توکنی (تکه‌های کوچک متن — مثل برش‌های یک کیک طولانی که مدل تکه‌تکه می‌خورد) در موضوعاتی مثل روان‌شناسی شناسایی کند. این عدد برای متون ۲۰۰ توکنی به ۸۰٪ کاهش یافت. در متون ریاضی، به‌دلیل انعطاف کم در انتخاب کلمات، جاسازی سیگنال دشوارتر است و نرخ شناسایی به‌مراتب پایین‌تر بود.
- ویرایش انسانی: ارزیابی‌ها روی مجموعه داده ELI5 برای پاسخ‌های انگلیسی نشان داد که جایگزینی تنها ۱۰٪ از کلمات با مترادف‌ها، نرخ تشخیص را از ۹۲٪ به ۶۶٪ رساند. هنگامی که ۲۵٪ از کلمات تغییر کردند، نرخ تشخیص به ۱۷٪ سقوط کرد.
محدودیت‌های احراز اصالت
OpenAI صراحتاً هشدار می‌دهد که نشان‌گذاری، دلیل قطعی برای اثبات نویسنده نیست. بر اساس گزارش فنی شرکت، یک نشان‌گذاری شناسایی‌شده تنها سیگنالی محدود از نقش سیستم در تولید یک قطعه متن ارائه می‌دهد.
به‌طور مشخص، یک نشان‌گذاری نمی‌تواند اطلاعات زیر را ارائه دهد:
- سهم انسان: میزان قضاوت، خلاقیت یا ویرایش انسانی به‌کار رفته در متن را اندازه نمی‌گیرد.
- مالکیت: مشخص نمی‌کند چه کسی مالک متن است، آیا استفاده از آن قانونی بوده یا آیا افشای منشأ آن الزامی بوده است یا خیر.
- هویت کاربر: متن را به شخص، حساب کاربری، پرامپت یا گفتگوهای خاصی مرتبط نمی‌کند.
- صحت: تأیید نمی‌کند که متن درست است، مضر است یا گمراه‌کننده.
از سوی دیگر، نبودِ نشان‌گذاری هم ثابت نمی‌کند که متن توسط انسان نوشته شده است. محتوا ممکن است بیش از حد کوتاه باشد، ترجمه شده باشد یا توسط مدل‌های قدیمی‌تر تولید شده باشد که پیش از سیستم نشان‌گذاری بوده‌اند. همچنین ممکن است متن توسط ابزارهای شرکت‌های دیگر تولید شده باشد.
تحلیل استراتژیک
این حرکت نشان‌دهنده گذار از «ایمنی AI» به‌عنوان یک هدف پژوهشی به «تطبیق قانونی AI» به‌عنوان یک عملیات تجاری است. با محدود کردن دسترسی به ابزار تشخیص برای پژوهشگران، OpenAI از فاجعه‌های روابط عمومی — مانند متهم کردن اشتباه انسان‌ها به استفاده از AI که در تلاش‌های قبلی تشخیص رایج بود — جلوگیری می‌کند.
برای کل صنعت، تصمیم به متن‌باز کردن textGrain نشان می‌دهد که OpenAI می‌خواهد استاندارد صنعت را برای احراز اصالت تعیین کند. اگر تمام آزمایشگاه‌های بزرگ از رویکرد آماری مشابهی استفاده کنند، بازی «موش و گربه» بین تولیدکنندگان و تشخیص‌دهندگان به یک زیرساخت مشترک تبدیل می‌شود، نه یک راز رقابتی.
رویکرد لایه‌ای OpenAI، اعتبارنامه‌های محتوایی مطابق با استاندارد C2PA برای تصاویر را با نشان‌گذاری‌های نامرئی SynthID برای صوت و تصویر ترکیب می‌کند. در حالی که اعتبارنامه‌ها تاریخچه یک فایل را ثبت می‌کنند، نشان‌گذاری‌های نامرئی حتی پس از حذف متاداده‌ها نیز سیگنال را حفظ می‌کنند. این استراتژی چندجانبه برای کمک به پلتفرم‌ها در شناسایی جعل‌های عمیق (Deepfake) و محتوای گمراه‌کننده طراحی شده است.
گام‌های بعدی
کاربران در اتحادیه اروپا باید در ماه آینده خروجی‌های ChatGPT خود را برای تغییرات در سیگنال‌های اصالت رصد کنند. سازمان‌ها اکنون می‌توانند برای دسترسی به ابزار تشخیص درخواست دهند تا متوجه شوند گردش‌کارهای داخلی‌شان در برابر قوانین شفافیت جدید چگونه عمل می‌کنند. OpenAI قصد دارد با تکامل شواهد، الزامات رگولاتوری و استانداردهای فنی، این رویکرد را بازبینی کند.
- توسعه‌دهندگان می‌توانند پس از انتشار متن‌باز textGrain، آن را در سیستم‌های شناسایی محتوای خود ادغام کنند.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو