جایگزینی درصد احتمال با فهرست الگوهای متنی در تشخیص متون هوش مصنوعی

تصور کنید دانشجویی هستید که متنی کاملاً انسانی نوشته است، اما یک نرم‌افزار بدون هیچ دلیلی، آن را ۸۰٪ «تولید شده توسط هوش مصنوعی» برچسب می‌زند. این کابوسِ عدم شفافیت، دلیل خلق پروژه ai-writing-markers است که در ۲۵ اوت ۲۰۲۶ منتشر شد تا به‌جای صدور حکم، شواهد را روی میز بگذارد.

بسیاری از تشخیص‌دهنده‌های تجاری مثل Turnitin یا GPTZero مانند جعبه‌های سیاهی عمل می‌کنند که فقط یک عدد خروجی می‌دهند. طبق گزارش‌های منتشر شده، این ابزارها به‌ویژه برای نویسندگان غیرانگلیسی‌زبان که سبک نوشتاری رسمی‌تری دارند، سوگیری شدیدی دارند و آن‌ها را به‌اشتباه متهم می‌کنند. این چالش‌ها در واقع بخشی از یک بحران گسترده‌تر است که در بررسی دقت ابزارهای تشخیص AI در برابر واقعیت‌های زبانی به آن پرداختیم و نشان دادیم چگونه این سیستم‌ها می‌توانند منجر به برخوردهای نادرست سازمانی شوند. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی سوگیری‌های مدل‌های زبانی اشاره کردیم، تکیه بر آمارهای کلی به‌جای تحلیل ساختاری، همواره منجر به خطاهای سیستماتیک می‌شود.

این پروژه با تغییر هدف از «تشخیص» به «شفافیت»، تلاش می‌کند معیارهای گمراه‌کننده را کنار بگذارد. به نقل از مستندات پروژه، نرخ مثبت کاذب (False-Positive) در تشخیص‌دهنده‌های فعلی بین ۵ تا ۶۰ درصد متغیر است. این خطاها عمدتاً به دلیل تکیه بر دو معیار فنی رخ می‌دهند:

• Perplexity (پراکندگی) — مثل یک متره برای سنجش پیش‌بینی‌پذیری کلمات؛ هرچه کلمات غیرمنتظره‌تر باشند، عدد بالاتر می‌رود.
• Burstiness (انفجاری بودن) — شبیه به ریتم موسیقی در متن؛ یعنی میزان تغییر طول جملات در یک پاراگراف.

مشکل اینجاست که یک مقاله آکادمیک انسانی هم می‌تواند ریتم یکنواختی (Burstiness پایین) داشته باشد. وقتی ابزارها این پیچیدگی را در یک عدد ساده خلاصه می‌کنند، مسیر اعتراض و اصلاح را می‌بندند.

پروژه ai-writing-markers به‌جای این کار، از یک فایل markers.json استفاده می‌کند که بیش از ۸۷ نشانگر را در ۶ دسته تعریف کرده است. این فهرست بر اساس تجربه داوولان ویکی‌پدیا در پاک‌سازی متون AI تدوین شده و شامل موارد زیر است:

• واژگان تکراری: کلماتی مثل "tapestry" یا "delve". جالب است که استفاده از "delve" در مقالات علمی پس از ظهور ChatGPT حدود ۲۵ برابر افزایش یافت.
• انتقال‌های فرمولی: عباراتی مثل "moreover" یا "in conclusion" که مدل‌ها عاشق شروع جملات با آن‌ها هستند.
• کلیشه‌های رایج: جملاتی مثل "in today's fast-paced world".
• ردپاهای ساختاری: استفاده از «قانون سه» (تکرار سه مورد در یک جمله) یا ارجاعات مبهم مثل "studies show".
• علائم نگارشی: استفاده از نقل‌قول‌های منحنی یا باقی‌مانده‌های کد چت‌بات‌ها مثل oaicite.
• سیگنال‌های آماری: تخمین‌های محلی از پراکندگی و ریتم متن.

برای اجرای این تحلیل، ابزاری به نام check.py ارائه شده که هیچ نیازی به کتابخانه‌های خارجی، توکن‌های Hugging Face یا GPU (واحد پردازش گرافیکی) — که مثل کرایه یک آشپزخانه صنعتی برای پردازش‌های سنگین است — ندارد. این ابزار به‌جای شمارش ساده، «تراکم» (Density) نشانگرها را در هر ۱۰۰۰ کلمه محاسبه می‌کند.

از نظر فنی، این ابزار برای محاسبه ریتم متن، انحراف معیار طول جملات را بر میانگین تقسیم می‌کند. در متون انسانی این عدد معمولاً بین ۰.۶۵ تا ۰.۸۵ است، اما در متون AI اغلب به زیر ۰.۳۰ می‌رسد. ابزار صراحتاً اعلام می‌کند که به‌دلیل نبود مدل زبانی مرجع در محیط محلی، نمی‌تواند عدد دقیق Perplexity را بدهد و به‌جای جعل عدد، محدودیت خود را گزارش می‌کند.

این پروژه در دو قالب در Hugging Face منتشر شده است: یک مجموعه داده (Dataset) برای پژوهشگران و یک Hugging Face Space برای کاربران عادی. نسخه وب به‌گونه‌ای طراحی شده که متن‌ها به‌صورت محلی در مرورگر پردازش شوند و هرگز به سرور ارسال نشوند تا حریم خصوصی کاربر حفظ شود.

تغییر رویکرد از «احتمال ۸۷٪» به «شما سه واژه تکراری دارید»، قدرت را از نرم‌افزار به نویسنده برمی‌گرداند. این ابزار دیگر یک دادستان دیجیتال نیست، بلکه یک دستیار ویرایشی است که به انسان اجازه می‌دهد تصمیم بگیرد آیا یک الگو، اشتباه است یا یک انتخاب سبک‌شناختی.

گام بعدی شما

• اگر از متون تولید شده توسط AI استفاده می‌کنید، طول جملات را به‌صورت دستی تغییر دهید و جملات بسیار کوتاه (۳ تا ۸ کلمه) را بین جملات بلند قرار دهید.
• عبارات کلیشه‌ای مثل "it is important to note that" را حذف کرده و مستقیماً به سراغ اصل مطلب بروید.
• به‌جای ارجاعات مبهم مثل «مطالعات نشان می‌دهند»، نام دقیق منبع و عدد را ذکر کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.