«۹۹٪ هوش مصنوعی»؛ این نمره‌ای بود که یک پاراگراف نوشته شده توسط انسان در ویکی‌پدیا در یکی از آزمون‌های اخیر دریافت کرد. این نتیجه یک نقص حیاتی را در نحوه شناسایی متون سنتتیک فاش می‌کند. طبق گزارشی که در ۱۷ اکتبر ۲۰۲۶ در وب‌سایت dev.to منتشر شد، ابزارهای تشخیص AI در واقع «قصد» یک ربات را نمی‌فهمند، بلکه صرفاً الگوهای آماری خاصی را می‌سنجند که انسان‌ها نیز در شرایطی مشابه تولید می‌کنند.
بیشتر این تشخیص‌دهنده‌ها بر این فرض استوارند که متن هوش مصنوعی از نظر آماری «یکنواخت» یا بی‌روح است. آن‌ها به دنبال «پریپلکسیتی» پایین — معیاری برای سنجش اینکه کلمه بعدی چقدر قابل پیش‌بینی است — و «تلاطم» پایین، که به فقدان تنوع در طول جملات و ریتم متن اشاره دارد، می‌گردند. در حالی که هوش مصنوعی معمولاً نثری روان و پیش‌بینی‌پذیر تولید می‌کند، برخی از سبک‌های نوشتاری انسانی دقیقاً همین ویژگی‌ها را بازتاب می‌دهند.
برای درک این موضوع باید با مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — آشنا شویم. این مدل‌ها متونی تولید می‌کنند که از نظر آماری پیش‌بینی‌پذیرند. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی سوگیری‌های مدل‌های زبانی اشاره کردیم، این پیش‌بینی‌پذیری لزوماً به معنای ماشین‌بودن متن نیست. این الگوهای تکرارشونده در واقع همان اثر انگشت‌های زبانی مدل‌های هوش مصنوعی هستند که باعث می‌شوند متون تولید شده توسط ماشین، شناسایی‌پذیر باشند.
جزئیات مکانیسم تشخیص
تشخیص‌دهنده‌ها برای تصمیم‌گیری خود بر چندین مفهوم کلیدی در پردازش زبان طبیعی (NLP) متکی هستند:
- Perplexity (پریپلکسیتی): احتمال تخصیص یک توالی توکن توسط مدل را می‌سنجد. پریپلکسیتی پایین سیگنالی از پیش‌بینی‌پذیری است. با این حال، متون حقوقی و نثر کتاب‌های درسی به‌طور طبیعی در این معیار نمره پایینی می‌گیرند.
- Burstiness (تلاطم): همان «ریتم انسانی» در ترکیب جملات کوتاه و بلند است. پژوهشی توسط Benedetto، Caglioti و Loreto در سال ۲۰۰۲ ثابت کرد که زبان انسانی به گونه‌ای تغییر می‌کند که هوش مصنوعی‌های ساده قادر به تقلید آن نیستند.
- Tokenization (توکن‌سازی): تشخیص‌دهنده‌ها سوگیری‌های توکن‌سازهایی مانند BPE یا WordPiece را به ارث می‌برند، که باعث می‌شود عملکرد آن‌ها در زبان‌های مختلف تغییر کند. این فرآیند شبیه بریدن یک کیک طولانی به تکه‌های کوچک برای بلعیدن راحت‌تر توسط مدل است.
- Watermarking (نشان‌گذاری): یک تکنیک اثبات اصالت است که توسط Green et al و Kirchenbauer et al در سال ۲۰۲۳ پیشنهاد شد و امضاهای آماری را در متن جای می‌دهد. اما طبق یافته‌های Sadasivan et al، این روش‌ها از طریق بازنویسی بازگشتی (Recursive Paraphrasing) به‌سادگی دور زده می‌شوند.
زمینه و مسئله سوگیری
مشکل اصلی در تشخیص‌دهنده‌های Zero-shot (بدون آموزش قبلی) نهفته است. بر اساس بررسی‌های Liang et al، این ابزارها احتمال تعلق یک توالی به یک مدل را بدون آموزش خاص تخمین می‌زنند. داده‌ها یک سوگیری سیستماتیک را فاش می‌کنند: نویسندگانی که انگلیسی زبان اول آن‌ها نیست، به‌طور نامتناسبی متهم به استفاده از AI می‌شوند. چون نثر آن‌ها اغلب محدودتر و پیش‌بینی‌پذیرتر است، همان سیگنال‌های «پریپلکسیتی پایین» را فعال می‌کنند که یک LLM تولید می‌کند.
این یعنی درصد اطمینان یک ابزار تشخیص، توصیف‌کننده یک مشاهده آماری است، نه هویت نویسنده. ابزار در واقع «لحن» یا یک Register خاص را می‌سنجد، نه «نویسنده» را. برای متخصصان و مدرسان، این موضوع یعنی تغییر گردش کار از غربالگری خودکار به بررسی دستی. تکیه بر یک نمره درصدی برای متهم کردن یک نویسنده، یک خطای فنی است، زیرا این سیگنال دلیلی بر منشأ متن نیست. این چالش در واقع بازتابی از دشواری‌های کلی در درک نحوه عملکرد نورون‌های هوش مصنوعی است که باعث می‌شود تحلیل‌های ما گاهی دچار خطاهای تحلیلی شود.
گام بعدی شما
- برای درک بصری این الگوها، از ابزار GLTR (Gehrmann et al., 2019) استفاده کنید؛ ابزاری که توزیع رتبه‌ی توکن‌ها را بصری می‌کند تا انسان‌ها بتوانند پیش‌بینی‌پذیری ماشین‌گونه را به‌صورت دستی شناسایی کنند.
- در ارزیابی متون، درصد تشخیص AI را به عنوان «شاهد» بپذیرید، نه «سند».
- اگر نویسنده غیرانگلیسی‌زبان است، معیار Burstiness را با دقت بیشتری بررسی کنید.
اما این سوگیری‌ها تنها در متن نیستند؛ اثر مشابهی در تشخیص تصاویر تولید شده توسط AI نیز دیده می‌شود که در گزارش بعدی بررسی خواهیم کرد.
گفتگو