تصور کنید در هر پاراگراف از یک خلاصه متنی، نام ملت شما بیاید، اما در واقعیت، هیچ اثر یا اراده‌ای از شما در آن متن نباشد. این پارادوکس، هسته اصلی پژوهش آگوستین وی. استارتاری (Agustin V. Startari) است که استدلال می‌کند سامانه‌های هوش مصنوعی، واقعیت سیاسی را نه از طریق توهین‌های آشکار، بلکه با توزیع نامتقارن «عاملیت دستوری» بازسازی می‌کنند.
یک جمعیت را تصور کنید که در همه جا حضور دارد. آن‌ها در خلاصه‌های خبری، گزارش‌های بشردوستانه و توضیحات هوش مصنوعی درباره منازعات ظاهر می‌شوند. آن‌ها کانون آمار مهاجرت، تحریم‌ها، عملیات نظامی و گزارش‌های امنیتی منطقه‌ای هستند. با این حال، پدیده‌ای عجیب رخ می‌دهد: آن‌ها به‌ندرت «عمل» می‌کنند. آن‌ها به‌ندرت تصمیم می‌گیرند، مطالبه می‌کنند، به یاد می‌آورند یا دارای حاکمیت هستند. آن‌ها مدام ظاهر می‌شوند، اما به‌طور فزاینده‌ای به عنوان «اشیاء» توصیف می‌شوند. این وضعیتی را ایجاد می‌کند که معیارهای عادیِ «دیده شدن در رسانه» قادر به تشخیص آن نیستند؛ زیرا ذکر شدن نام یک گروه با نمایندگی درست از آن متفاوت است، و نمایندگی درست نیز با نمایندگی به عنوان یک «سوژه سیاسی» تفاوت دارد.
بسیاری از ما با مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیارد‌ها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — به عنوان ابزاری برای خلاصه‌سازی متون پیچیده تعامل داریم. اما وقتی این مدل‌ها درباره منازعات منطقه‌ای می‌نویسند، پدیده‌ای عجیب رخ می‌دهد: مردمِ تحت فشار، مدام ذکر می‌شوند اما به‌ندرت «عمل» می‌کنند. آن‌ها تصمیم نمی‌گیرند، مطالبه نمی‌کنند و حاکمیت ندارند؛ آن‌ها صرفاً «موضوع» یا «شیء» هستند. همان‌طور که در تحلیل‌های پیشین ما درباره سوگیری‌های پنهان در مدل‌های بازمتن اشاره کردیم، دیده شدن در متن به معنای نمایندگی درست نیست.
طبق گزارش استارتاری، چارچوب‌های فعلی ایمنی هوش مصنوعی (AI Safety) بر شناسایی نفرت‌پراکنی، دشنام‌ها و انسانیت‌زدایی صریح تمرکز دارند. این‌ها «موارد آسان» هستند. اکثر مردم زمانی که گروهی به حیوانات تشبیه شود، به عنوان انگل توصیف شود، بیماری خوانده شود یا از نظر بیولوژیکی پست جلوه کند، متوجه انسانیت‌زدایی می‌شوند. سامانه‌های مدرن ایمنی هوش مصنوعی صراحتاً برای شناسایی این توهین‌ها، تعمیم‌های نفرت‌انگیز و تهدیدات افراطی طراحی شده‌اند.
اما خطرناک‌ترین تغییرات زمانی رخ می‌دهد که زبان، کاملاً حرفه‌ای، خنثی و حتی دلسوزانه به نظر برسد. به نقل از این پژوهش، جمله‌ای مثل «هزاران غیرنظامی در پی بی‌ثباتی منطقه‌ای به کمک‌های بشردوستانه نیاز دارند»، در ظاهر هیچ توهینی ندارد و حتی ممکن است از نظر واقعیاتی درست باشد. اما این جمله عمداً پاسخ پرسش‌های حیاتی را حذف می‌کند: چه کسی شرایطی را ایجاد کرد که نیاز به کمک ایجاد شد؟ پیش از این وضعیت اضطراری، از نظر سیاسی چه اتفاقی افتاد؟ چه کسی تصمیمات را گرفت؟ جمعیت آسیب‌دیده چه ادعایی دارد؟ وقتی مدل فقط بر «رنج» تمرکز می‌کند، به ما می‌گوید که مردم رنج می‌کشند، اما نمی‌گوید که آن‌ها چگونه از نظر سیاسی وجود دارند.
تفاوت میان «فلسطینی‌ها خواستار پایان محدودیت‌ها شدند» و «محدودیت‌های حرکتی همچنان بر فلسطینی‌ها اثر می‌گذارد» در واژگان نیست، بلکه در دستور زبان است. در جمله اول، مردم «فاعل» هستند و یک موضع سیاسی شناسایی‌شده دارند. در جمله دوم، آن‌ها صرفاً دریافت‌کننده یک فرآیند هستند. این یک مشکل لغوی نیست، بلکه یک مشکل دستوری است. مسئله این است که چه کسی در جایگاه «فاعل» قرار می‌گیرد و چه کسی دریافت‌کننده افعال ارادی است. چه کسی اجازه دارد مذاکره کند، رد کند، مقاومت کند، تصمیم بگیرد، حکومت کند، به یاد آورد یا مطالبه کند؟ و چه کسی عمدتاً به عنوان چیزی که باید «مدیریت» شود ظاهر می‌شود؟
مکانیسم‌های شیءانگاری
استارتاری زنجیره‌ای از تحولات زبانی را شناسایی کرده که مدل‌های هوش مصنوعی برای حذف عاملیت به کار می‌برند. این فرآیند در چندین مرحله رخ می‌دهد و عاملیت را از بازیگران انسانی به دسته‌بندی‌های اداری تبدیل می‌کند:
- انسان $ \rightarrow $ جمعیت: جایگزینی فرد با توده‌ای جمعی و بی‌شکل.
- جمعیت $ \rightarrow $ جمعیت بشردوستانه: تعریف جمع بر اساس نیازهایش.
- جمعیت بشردوستانه $ \rightarrow $ پرونده: تبدیل انسان‌ها به مجموعه‌ای از فایل‌های اداری برای مدیریت.
- آوارگان $ \rightarrow $ جریان پناهجویان: تبدیل حرکت انسانی به یک دینامیک سیال و فیزیکی.
- تضاد سیاسی $ \rightarrow $ بی‌ثباتی: بازنویسی مبارزات ارادی و آگاهانه به عنوان یک وضعیت کلی و محیطی.
- مطالبات تاریخی $ \rightarrow $ افراط‌گرایی: طبقه‌بندی ادعاهای مشروع به عنوان ریسک‌های امنیتی.
- اجبار خارجی $ \rightarrow $ فشار اقتصادی: تبدیل نیروی فعال و تحمیلی به یک وضعیت منفعل.
- مقاومت سیاسی $ \rightarrow $ ریسک امنیتی: بازتعریف عاملیت و اراده به عنوان یک تهدید.
در انتهای این زنجیره، هیچ کلمه زشتی به کار نرفته، اما سوژه سیاسی به یک شیء اداری تبدیل شده است. واژگانی مثل «مهار»، «رادیکالیزه شدن»، «فشار مرزی»، «نیابتی»، «بازسازی»، «اعتدال» و «هدف تحریم‌ها» در بوروکراسی مدرن عادی هستند. هیچ‌یک از این تعابیر ذاتاً نامشروع نیستند — چرا که تهدیدات امنیتی واقعی و جریان‌های پناهجویی وجود دارند. اما مشکل زمانی آغاز می‌شود که این دسته‌بندی‌ها به فرم‌های دستوری اصلی تبدیل شوند که یک جمعیت اجازه دارد از طریق آن‌ها وجود داشته باشد.
قاب‌بندی بشردوستانه در برابر امنیتی
این پژوهش دو حالت اصلی برای این «ناپدید شدن» ذکر می‌کند. اول، «قاب بشردوستانه» است. در این حالت، یک جمعیت کاملاً از طریق آسیب‌پذیری‌هایش توصیف می‌شود: گرسنگی، جراحت، آوارگی، فقر، کمبود دارو، تلفات غیرنظامی و وابستگی به کمک‌ها.
در حالی که این نوع توصیف همدلی اخلاقی عظیمی ایجاد می‌کند، اما همدلی با عاملیت متفاوت است. اگر مردم فقط به عنوان قربانی ظاهر شوند، در عین دیده شدن از طریق رنج، به عنوان بازیگر سیاسی محو می‌شوند. این یک پارادوکس ایجاد می‌کند که در آن یک گفتمان می‌تواند عمیقاً به فکر یک جمعیت باشد، اما آن‌ها را به عنوان یک سوژه سیاسی بسیار ضعیف نمایندگی کند. این موضوع به‌ویژه در گفتمان‌های مربوط به فلسطین مشهود است؛ جایی که غیرنظامیان به عنوان قربانیان بشردوستانه بسیار دیده می‌شوند، اما سوژه‌گی سیاسی آن‌ها — یعنی توانایی‌شان برای عمل، تصمیم‌گیری و مطالبه — نامرئی می‌شود.
حالت دوم، «قاب امنیتی» است که اغلب برای کشورهایی مانند ایران به کار می‌رود. در اینجا، کشور به مجموعه‌ای از عبارات بسیار تکراری و قابل استفاده تقلیل می‌یابد: «تهدید ایران»، «بی‌ثباتی منطقه‌ای»، «شبکه‌های نیابتی»، «ریسک هسته‌ای»، «تنش»، «مهار» و «فشار تحریم‌ها».
تحت این قاب‌بندی، ایران تبدیل به چیزی می‌شود که بازیگران دیگر به آن «پاسخ» می‌دهند. ایران چیزی است که باید بازدارندگی شود، مهار شود، تحت فشار قرار گیرد، نظارت شود یا تحریم شود. کشور ممکن است یکی از پرتکرارترین بازیگران در یک بحث باقی بماند، اما در واقع تبدیل به یک «شیء» در جملات استراتژیک دیگران می‌شود. دیده شدن زیاد، تضمین‌کننده داشتنِ اراده و سوژه‌گی در متن نیست.
حذف مسئولیت در بازنویسی
یکی از پیامدهای جدی این است که هوش مصنوعی تصمیمات سیاسی فعال را به «شرایط محیطی» تبدیل می‌کند. این موضوع در زبان تحریم‌ها بیشترین نمود را دارد. بر اساس مستندات استارتاری، جمله‌ای مثل «ایالات متحده محدودیت‌های مالی وضع کرد که دسترسی به سیستم‌های پرداخت بین‌المللی را مختل کرد»، توسط هوش مصنوعی به «ایران همچنان با انزوای اقتصادی و فشارهای مالی مواجه است» تغییر می‌یابد.
در این تبدیل، فاعل (تحریم‌کننده)، مکانیسم و تصمیم سیاسی ناپدید می‌شوند. یک «عمل» تبدیل به یک «وضعیت» می‌شود. در نتیجه، سختی‌های موجود به جای اینکه نتیجه یک تصمیم سیاسی مشخص باشند، به عنوان ویژگی ذاتی آن کشور ارائه می‌شوند. این جابجایی زبانی، روابط سیاسی را به واقعیت‌های محیطی تبدیل می‌کند:
- کسی چیزی را تحمیل کرد $ \rightarrow $ فشاری وجود دارد.
- کسی دسترسی را محدود کرد $ \rightarrow $ کمبودهایی هست.
- کسی تصمیم گرفت $ \rightarrow $ شرایط وخیم شد.
نتیجه نهایی (سختی‌ها) دیده می‌شود، اما معماری سیاسی و مسئولان آن سخت‌تر قابل مشاهده می‌شوند.
اندازه‌گیری انسانیت‌زدایی دیجیتال
برای خروج از نقد کلی و احساسی، این پژوهش دو معیار عینی برای ارزیابی خروجی‌های هوش مصنوعی پیشنهاد می‌دهد. این ابزارها بحث را از «سوگیری» (که واژه‌ای بیش از حد کلی است) به سمت «توزیع عاملیت» می‌برند:
۱. نرخ حفظ سوژه‌گی سیاسی (PSRR): اندازه‌گیری اینکه چه مقدار از عاملیت سیاسی یک جمعیت پس از بازنویسی توسط هوش مصنوعی حفظ می‌شود. این معیار می‌پرسد: آیا آن جمعیت هنوز عمل می‌کند، تصمیم می‌گیرد، به یاد می‌آورد، مطالبه می‌کند، مقاومت می‌کند، مذاکره می‌کند یا بر خود حکومت می‌کند؟
۲. شاخص نحو انسانیت‌زدایی دیجیتال (DDSI): ردیابی تبدیل معکوس. این شاخص اندازه‌گیری می‌کند که یک سوژه سیاسی با چه فرکانسی به یک «شیء ریسک»، «شیء بشردوستانه»، «شیء مهاجرتی»، «شیء امنیتی»، «شیء تحریمی»، «شیء بی‌ثباتی» یا «شیء اداری» تبدیل می‌شود.
این ابزارها اجازه می‌دهند با اعمال یک «تست سوژه‌گی» بر خلاصه‌های هوش مصنوعی، پنج سوال کلیدی بپرسیم: چه کسی عمل می‌کند (دریافت‌کننده افعال ارادی است)؟ چه کسی تصمیم می‌گیرد (حمله می‌کند، مذاکره می‌کند، تحمیل می‌کند، رد می‌کند)؟ چه کسی صرفاً تجربه می‌کند (آواره می‌شود، رنج می‌کشد، کمک دریافت می‌کند)؟ چه کسی تاریخ دارد (حفظ علل و ادعاها در مقابل شروع از آخرین بحران)؟ و چه کسی چه کسی را مدیریت می‌کند (چه کسی تحریم می‌کند، مهار می‌کند یا کمک می‌رساند)؟
پارادوکس فشرده‌سازی
یک توضیح جایگزین و حیاتی برای این پدیده، ماهیت خودِ خلاصه‌سازی است. مدل‌های هوش مصنوعی برای فشرده‌سازی پیچیدگی طراحی شده‌اند. دسته‌بندی‌های اداری ابزارهای کارآمدی برای این فشرده‌سازی هستند. ممکن است هوش مصنوعی عمداً گروه‌ها را حاشیه‌ای نکند، بلکه عملِ خلاصه‌سازی ذاتاً دیدگاه «مدیریتی» را بر دیدگاه «سوژه‌محور» ترجیح دهد. ماشین‌ها ساده می‌کنند و بحران‌ها برای یک خلاصه کوتاه، بازیگران زیادی دارند که حفظ عاملیت همه آن‌ها دشوار است.
با این حال، مقایسه در اینجا ضروری است. سوال این نیست که آیا مدل از کلمه «بی‌ثباتی» استفاده کرده یا نه، بلکه این است که در مقایسه با چه کسی، تحت چه شرایطی و با استفاده از چه منابعی این کار را کرده است؟ اگر همین تبدیل زبانی در محیط‌های مختلف — مانند یمن، عراق، سوریه، لبنان، افغانستان، ونزوئلا، کوبا و سودان — ظاهر شود، پدیده از یک خطای تصادفی به یک مسئله ساختاری در گفتمانِ تحت مدیریت هوش مصنوعی تبدیل می‌شود. این موضوع در سیستم‌های پاسخ‌دهی سریع‌تر است؛ برای مثال، گوگل اخیراً از رونوشت‌های یوتیوب به عنوان منبع اصلی برای پاسخ‌های AI Overviews استفاده کرده است که نشان می‌دهد مدل‌ها چگونه داده‌های خام را برای تولید خلاصه‌ها فشرده می‌کنند.
پرسش واقعی برای اخلاق هوش مصنوعی
فارغ از علت، نتیجه یک بازتوزیع قدرت است. چون میلیون‌ها نفر دیگر منابع اصلی را نمی‌خوانند و تنها به خلاصه‌های هوش مصنوعی تکیه می‌کنند، انتخاب‌های دستوری مدل تعیین می‌کند که چه کسی به عنوان «انسان و بازیگر» و چه کسی به عنوان «نقطه داده» باقی بماند. فشرده‌سازی، امری سیاسی است.
این تغییر نشان می‌دهد که اخلاق هوش مصنوعی باید گسترش یابد. دیگر کافی نیست که اطمینان حاصل کنیم مدل از زبان سمی استفاده نمی‌کند یا اطلاعات غلط نمی‌دهد. باید بپرسیم آیا سیستم، توانایی یک ملت را برای ظاهر شدن به عنوان یک سوژه سیاسی در سوابق دیجیتال حفظ می‌کند یا خیر. باید بپرسیم:
- آیا پناهجویان به عنوان انسان‌هایی در بستر تاریخ سیاسی باقی ماندند یا به یک «جریان» تبدیل شدند؟
- آیا سیستم زنجیره سازمانی و نهادی که شرایط توصیف‌شده را ایجاد کرد، حفظ کرد؟
- آیا یک سازمان خاص ریسکی ایجاد کرد، یا کل یک جامعه در دسته‌بندی «ریسک» جذب شد؟
این مسئله‌ای بسیار دشوارتر از شناسایی کلمات توهین‌آمیز است، زیرا خروجی می‌تواند خنثی، حرفه‌ای، مسئولانه و حتی دلسوزانه به نظر برسد، اما در عین حال بازسازگاری کند که چه کسی اجازه دارد از نظر سیاسی وجود داشته باشد. جمعیت‌ها تنها زمانی ناپدید نمی‌شوند که کسی درباره آن‌ها حرف نزند؛ آن‌ها زمانی ناپدید می‌شوند که همه درباره‌شان حرف بزنند، آن‌ها را اندازه بگیرند و مدیریت کنند، اما به هیچ‌کدام اجازه ندهند از زبان دستوری خودشان حرف بزنند.
پیشینه آکادمیک
این مقاله استدلال‌های توسعه‌یافته در آثار نحو انسانیت‌زدایی دیجیتال: جوامع تحت سلطه به عنوان اشیاء ریسک در گفتمان مدیریت‌شده توسط هوش مصنوعی و قاب‌های امنیتی، قاب‌های بشردوستانه و فقدان سوژه‌گی سیاسی را ترجمه می‌کند. این آثار بخشی از مجموعه پژوهشی نحوهای دیده شدن نامتقارن: هوش مصنوعی، قدرت امپریالیستی و نحو مسئولیت هستند که مطالعات پیشینی چون رنج بدون عامل: مجهولِ بشردوستانه در گفتمان منازعات تولید شده توسط هوش مصنوعی، نحو دیده شدن نامتقارن: هوش مصنوعی، صهیونیسم و بازتوزیع عاملیت سیاسی، ایران به مثابه نحو: تحریم‌ها، حاکمیت و نحو مدیریت‌شده تهدید توسط هوش مصنوعی و سانسور بدون سانسورچی: حاکمیت پلتفرم‌ها و ناپدید شدن سرکوب را شامل می‌شود.
درباره نویسنده
آگوستین وی. استارتاری در زمینه تعامل بین زبان، هوش مصنوعی، اقتدار نهادی، عاملیت سیاسی و ساختارهای فرمالی که از طریق آن‌ها مسئولیت sichtbar (مرئی) یا نامرئی می‌شود، پژوهش می‌کند. آثار او نه تنها بر آنچه سامانه‌های هوش مصنوعی می‌گویند، بلکه بر این موضوع تمرکز دارد که چگونه فرم‌های دستوری، عاملیت، مسئولیت، مشروعیت و دیده شدن سیاسی را بازتوزیع می‌کنند. او در SSRN و وب‌سایت شخصی خود در agustinvstartari.com فعال است.
گام بعدی شما
- هنگام استفاده از خلاصه‌سازهای هوش مصنوعی برای متون سیاسی، به دنبال افعال «منفعل» بگردید و بررسی کنید چه کسی در متن «فاعل» است.
- در پرامپت‌های خود از مدل بخواهید «عوامل تصمیم‌گیرنده» و «مسئولیت‌های سیاسی» را به‌طور صریح ذکر کند تا از تبدیل عمل به وضعیت جلوگیری شود.
- اگر پژوهشگر هستید، از معیارهای PSRR و DDSI برای تحلیل سوگیری‌های ساختاری در مجموعه‌داده‌های متنی استفاده کنید.
اما این حذف عاملیت تنها در متن نیست؛ اثر این سوگیری‌ها بر الگوریتم‌های توصیه‌گر و دسترسی به اطلاعات حتی پیچیده‌تر است — به تحلیل ما درباره حباب‌های فیلتر در عصر مدل‌های زاینده مراجعه کنید.
گفتگو