پرش به محتوای اصلی
پرش به محتوای مقاله

دقت ابزارهای تشخیص AI در برابر واقعیت‌های زبانی و عصبی نویسندگان

·۱۸ مرداد ۱۴۰۵۶ دقیقه مطالعه
دستگاه‌های تشخیص هوش مصنوعی، دوران جدیدی از بی‌اعتمادی را رقم می‌زنند.
دستگاه‌های تشخیص هوش مصنوعی، دوران جدیدی از بی‌اعتمادی را رقم می‌زنند.
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

تغییر پارادایم از «فرض بر انسانی بودن» به «لزوم گواهینامه انسانیت» در صنعت نشر و آموزش، که منجر به شکل‌گیری بازار جدیدی برای تاییدیه های Human-Authored شده است.

تصور کنید نویسنده‌ای باشید که سال‌ها برای صیقل دادن زبان انگلیسی تلاش کرده است، اما حالا یک الگوریتم، دقت و رسمیتِ نوشتار شما را نشانه رفته و شما را متهم به تقلب می‌کند. این کابوس امروز برای بسیاری از دانشجویان و نویسندگانی تبدیل شده که تنها قربانی یک «امتیاز احتمالی» شده‌اند.

به گزارش منابع خبری، یک قرارداد کتاب به ارزش ۲ میلیون دلار اخیراً پس از آنکه ناشر Minotaur نویسنده‌ای به نام جری فالاد را به استفاده از هوش مصنوعی متهم کرد، به‌طور کامل از بین رفت. فالاد این ادعا را به‌شدت تکذیب می‌کند. این اتفاق تنها یک مورد استثنایی نیست؛ بلکه بخشی از یک «شکار ساحراتی» مدرن و پرمخاطره است که توسط حدس‌زنی‌های الگوریتمی پیش می‌راند.

سال‌ها پیش، مدرسان برای یافتن سرقت ادبی به ابزارهایی مثل Turnitin تکیه می‌کردند تا متن‌ها را با پایگاه‌های داده موجود از محتوای وب و مقالات علمی تطبیق دهند. این ابزارها معمولاً درصدی را ارائه می‌دادند تا نشان دهند چقدر از نوشته‌ی دانش‌جو با آثار دیگر هم‌پوشانی دارد. با این حال، عدم قطعیت در مورد کپی‌برداری عمدی و وقوع «مثبت‌های کاذب» باعث شد برخی مدرسان از این معیارهای خاص فاصله بگیرند. اکنون هدف تغییر کرده است: به جای یافتن محتوای کپی‌شده، به دنبال شناسایی الگوهای ماشینی هستند. این تغییر در حالی رخ می‌دهد که مدل‌های زبانی بزرگ (LLM) — مانند ChatGPT, Google Gemini و Microsoft Copilot — در کلاس‌ها و تحریریه‌ها فراگیر شده‌اند و اصالت را با کارایی در تقابل قرار داده‌اند. این نگرانی‌ها تنها محدود به نوشتار نیست و حتی در حوزه‌های تخصصی‌تر نیز دیده می‌شود؛ به‌طوری که بسیاری از مدرسان علوم کامپیوتر نیز از وابستگی شدید دانشجویان به هوش مصنوعی ابراز نگرانی کرده‌اند.

همان‌طور که در تحلیل‌های پیشین ما درباره‌ی سوگیری مدل‌های بنیادی اشاره کردیم، الگوهای آماری همیشه با حقیقت انسانی یکی نیستند. دانش‌جویی را تصور کنید که سبک نوشتاری‌اش به‌طور طبیعی رسمی یا تکراری است. از دید یک تشخیص‌دهنده، این ویژگی‌های انسانی از الگوهای یک مدل زبانی تفکیک‌ناپذیرند و در نتیجه، یک «امتیاز احتمالی» می‌تواند جایگزین شناخت استاد از کار دانش‌جو شود.

زمینه: سرعت پذیرش ابزارها

پذیرش این ابزارها بسیار سریع بوده است. یک نظرسنجی از مرکز دموکراسی و فناوری (Center for Democracy and Technology) نشان داد که ۴۳ درصد از معلمان مقطع ششم تا دوازدهم در ایالات متحده بین سال‌های ۲۰۲۴ و ۲۰۲۵ به‌طور منظم از تشخیص‌دهنده‌های AI استفاده کرده‌اند.

برخی دانشگاه‌هایی که پیش از این از Turnitin در سیستم‌های مدیریت یادگیری خود استفاده می‌کردند، متوجه شدند که این سرویس زمانی که ابزار تشخیص AI در سال ۲۰۲۳ راه‌اندازی شد، به‌طور خودکار این قابلیت را فعال کرد. این عرضهٔ خودکار باعث شد ابزارها پیش از آنکه قابلیت اطمینان‌شان به‌طور کامل سنجیده شود، به دست هزاران مدرس برسد.

سازوکار تشخیص

ابزارهایی مانند GPTZero، Pangram و Turnitin «مدرک» قطعی از استفاده از AI نمی‌یابند. در عوض، آن‌ها بر مدل‌های AI خودشان تکیه می‌کنند تا حدس بزنند آیا متنی توسط انسان نوشته شده است یا خیر؛ فرآیندی که مسلماً مبهم‌تر از تطبیق متن با وب است. این الگوریتم‌ها نشانگرهای خاصی را تحلیل می‌کنند:

  • لحن و ریتم: ابزارها به دنبال الگوهایی در طول جملات و لحنی می‌گردند که در متون تولید شده توسط AI رایج‌تر است.
  • پیش‌بینی‌ناپذیری: ابزارهایی مثل QuillBot اندازه می‌گیرند که انتخاب‌های زبانی چقدر «آشکار» یا رایج هستند. طبق داده‌های دانشگاه UCLA، هوش مصنوعی در مقایسه با انسان‌ها، تمایل دارد رایج‌ترین انتخاب‌های زبانی را انجام دهد.
  • ساختار: آن‌ها کلمات تکراری، عباراتی که بیش از حد رسمی یا غیررسمی به نظر می‌رسند و عبارت‌بندی‌های بی‌معنی را علامت‌گذاری می‌کنند. همچنین به دنبال ساختارهای جملاتی می‌گردند که در سراسر متن یکسان باقی می‌مانند.

دستگاه‌های تشخیص هوش مصنوعی، دوران جدیدی از بی‌اعتمادی را رقم می‌زنند.

شکاف دقت و سوگیری

شرکت‌ها ادعا می‌کنند نرخ خطایشان ناچیز است. Turnitin می‌گوید کمتر از ۱٪ محتوای انسانی را به‌اشتباه علامت می‌زند و Pangram ادعا می‌کند نرخ مثبت کاذب آن تنها ۱ در ۱۰,۰۰۰ است. GPTZero نیز نرخ مشابهی را برای اشتباه گرفتن محتوای انسانی با AI ادعا می‌کند.

با این حال، این اعداد یک سوگیری سیستماتیک را پنهان می‌کنند. یک مطالعه در سال ۲۰۲۳ در دانشگاه استنفورد فاش کرد که این ابزارها نویسندگان غیرانگلیسی‌زبان را بسیار بیشتر از بومیان متهم می‌کنند. دلیل این اتفاق آن است که نویسندگان غیربومی اغلب از همان ساختارهای رسمی و پیش‌بینی‌پذیری استفاده می‌کنند که مدل‌های AI تقلید می‌کنند. همچنین نگرانی‌های بیشتری وجود دارد که این ابزارها ممکن است علیه نویسندگان دارای طیف‌های عصبی (neurodivergent) سوگیری داشته باشند.

بر اساس مستندات این شرکت‌ها، خود آن‌ها نیز هشدار داده‌اند که این ابزارها همیشه دقیق نیستند. Turnitin تکرار می‌کند که ابزارش «ممکن است همیشه دقیق نباشد» و نباید برای اتخاذ اقدامات تنبیهی علیه دانشجویان استفاده شود. Grammarly به کاربران هشدار می‌دهد که «هرگز تنها به نتایج یک تشخیص‌دهنده AI تکیه نکنید» و GPTZero پذیرفته است که «هیچ تشخیص‌دهنده AI نمی‌تواند هرگز ۱۰۰٪ کامل باشد». این تفاوت در دقت چنان زیاد بود که OpenAI تشخیص‌دهندهٔ نوشتار AI خود را در سال ۲۰۲۳ تعطیل کرد.

پیامدهای حقوقی و حرفه‌ای

این شکست‌های فنی منجر به پیامدهای شدیدی در دنیای واقعی شده است. تیهری رینول، یک تبعه فرانسه، سال گذشته از دانشگاه ییل شکایت کرد؛ زیرا استادی با استفاده از GPTZero، نمره مردود و تعلیق یک‌ساله او را توجیه کرده بود. در این شکایت استدلال شده است که «ابزارهای نظارتی و تشخیص AI به‌طور شناخته‌شده‌ای نویسندگان غیرانگلیسی‌زبان» مانند رینول را هدف قرار می‌دهند.

به همین ترتیب، دانشجویی در دانشگاه آدلفی در فوریه ۲۰۲۵ در دادگاهی پیروز شد؛ چرا که استادی ادعا کرده بود او برای نوشتن یک مقاله از AI استفاده کرده است. اگرچه در دادخواست نام ابزار خاصی ذکر نشد، اما دانشگاه آدلفی یک قرارداد لایسنس فعال با Turnitin دارد.

این بی‌اعتمادی از کلاس درس فراتر رفته و وارد فضای عمومی شده است. جک آزبورن، در صحبت با بیش از ۳.۵ میلیون دنبال‌کننده در شبکه‌های اجتماعی‌اش، از ابزاری به نام Getsolved استفاده کرد تا به‌طور علنی خبرنگار رولینگ استون، کت تنبارج، را متهم به استفاده از AI برای یک مقاله کند. با وجود تکذیب تنبارج در یک ویدیو و پست وب‌سایت، این اتهام در فضای مجازی باقی ماند و نشان داد که این ابزارها چگونه «پوششی از مدرک» برای حملات شبکه‌های اجتماعی فراهم می‌کنند.

دستگاه‌های تشخیص هوش مصنوعی، دوران جدیدی از بی‌اعتمادی را رقم می‌زنند.

عقب‌نشینی نهادها

به دلیل این بی‌دقتی‌ها، برخی از معتبرترین نهادهای جهان پرچم سفید برافراشته‌اند. دانشگاه‌های Yale، Johns Hopkins، Vanderbilt و Georgetown اکنون ابزارهای تشخیص AI را غیرفعال یا محدود کرده‌اند. MIT حتی صریح‌تر هشدار داده است که «تشخیص‌دهنده‌های AI کار نمی‌کنند».

در پاسخ، مدرسان روش تدریس خود را تغییر می‌دهند. دانشگاه شیکاگو پیشنهاد می‌کند:

  • تشویق دانشجویان به کاهش سرعت مطالعه.
  • تقسیم تکالیف نوشتاری طولانی به بخش‌های کوچک‌تر.
  • الزام دانشجویان به بازتاب (reflection) و تفکر درباره کار خود.

استنفورد بر ارزیابی‌های داخل کلاس تاکید دارد تا نویسندگی انسانی تضمین شود و MIT به اساتید توصیه کرده اجازه دهند دانشجویان بدون جریمه، استفاده از AI برای کمک در تکالیف را اعلام (disclose) کنند.

ظهور گواهینامه‌های «انسانی»

با فروپاشی اعتماد، صنعت جدیدی برای «اثبات انسانیت» در حال ظهور است. Authors Guild اکنون گواهینامه‌های «نوشته شده توسط انسان» (Human Authored) ارائه می‌دهد. نشان‌هایی مثل «Not by AI» و «Written by Human» در پورتفولیوهای دیجیتال ظاهر شده‌اند.

ویکی‌پدیا با ممنوعیت مقالاتی که توسط AI تولید شده‌اند، گامی پیش‌دستانه برداشته و راهنمایی برای ویراستاران تدوین کرده تا نوشتارهای AI را شناسایی کنند؛ به‌ویژه با جست‌وجوی تحلیل‌هایی که «سطحی» هستند یا متونی که اهمیت یک موضوع را به‌طور مصنوعی «بزره‌نمایی» (puff up) می‌کنند.

در همین حال، پلتفرم‌ها شک را در رابط کاربری خود جای داده‌اند. Substack ابزار Pangram را برای اسکن وبلاگ‌ها ادغام کرد و LinkedIn دکمه «به نظر می‌رسد محتوای بی‌کیفیت AI است» (seems like AI slop) را اضافه کرد. این ساختار باعث می‌شود نویسندگان واقعی برای حفظ اعتبار خود، آگاهانه از «شبیه شدن به AI» دوری کنند.

ما وارد عصری می‌شویم که در آن نبودِ هوش مصنوعی دیگر فرض پیش‌فرض نیست، بلکه باید گواهی شود. بار اثبات از متهم به خالق منتقل شده است.

اگر شما یک تولیدکننده محتوا یا دانشجو هستید، باید مستندسازی فرآیند نوشتار خود را آغاز کنید — از جمله پیش‌نویس‌های اولیه و تاریخچه ویرایش‌ها — زیرا این تنها دفاع قابل‌اتکا در برابر یک الگوریتم خطا‌پذیر است.

گام بعدی شما

  • اگر دانشجو یا تولیدکننده محتوا هستید، تمام مراحل نوشتن خود (از پیش‌نویس‌های اولیه تا تاریخچه ویرایش) را مستند کنید؛ این تنها دفاع قابل‌اتکا در برابر یک الگوریتم خطا‌پذیر است.
  • در صورت مواجهه با اتهامات نادرست، به سوابق قضایی دانشگاه‌های ییل و آدلفی برای استناد حقوقی مراجعه کنید.
  • از ابزارهای مدیریت نسخه (Version Control) برای اثبات تکامل متن خود در طول زمان استفاده کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.

چرا این موضوع مهم است؟

این موضوع اعتبار سیستم‌های نظارتی آموزشی را زیر سوال می‌برد و نشان می‌دهد که تکیه بر مدل‌های احتمالی برای احکام اخلاقی و حقوقی مخاطرات شدیدی دارد. اعتماد به این ابزارها بدون در نظر گرفتن سوگیری‌های زبانی، می‌تواند منجر به تبعیض سیستماتیک علیه اقلیت‌های زبانی شود.

تأثیر برای ایران

برای نویسندگان و دانشجویان ایرانی که انگلیسی زبان دوم آن‌هاست، این سوگیری خطرناک‌تر است؛ زیرا سبک رسمی نوشتاری آن‌ها احتمالاً نرخ مثبت کاذب بالایی در این ابزارها ایجاد می‌کند.

·نگاه ما
تحریریه دات‌هوش

تکیه بر تشخیص‌دهنده‌های AI در واقع تلاش برای حل یک مسئله کیفی (اصالت) با ابزارهای کمی (احتمالات) است. این وضعیت منجر به یک پارادوکس جدید شده: نویسندگانی که زبان انگلیسی را به‌صورت استاندارد و رسمی آموخته‌اند، حالا به دلیل «بیش از حد درست نوشتن»، شبیه به ماشین دیده می‌شوند و جریمه می‌شوند. در واقع، استانداردهای زبانی در حال تغییر است تا نویسندگان مجبور شوند برای اثبات انسانیت خود، لزوماً «ناقص‌تر» یا «غیرمنتظره‌تر» بنویسند.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.