تصور کنید عامل هوشمند شما وقتی از او میخواهید استدلالش را توضیح دهد، دیگر همان مسئلهای را حل نمیکند که در حالت عادی حل میکرد. یک تحلیل فنی که در ۲۹ سپتامبر ۲۰۲۶ در وبسایت dev.to منتشر شد، نشان میدهد که رصد زنجیره تفکر (Chain-of-Thought) — شبیه وقتی شاگرد ریاضی پای تخته بلند بلند فکر میکند تا به جواب برسد — یک مشاهده غیرفعال نیست، بلکه مداخلهای است که سطح تصمیمگیری سیستم را تغییر میدهد.
این وضعیت شبیه شاهدی در دادگاه است که چون میداند هر کلمهاش توسط منشی دادگاه تایپ میشود، داستانش را تغییر میدهد. در هوش مصنوعی، چون فرآیند استدلال انعطافپذیر است، مدل برای تطبیق با درخواست شفافیت، رفتار خود را تغییر میدهد. همین موضوع باعث ایجاد شکافی میان رفتار عامل در محیط عملیاتی و رفتار او در جلسات عیبیابی (Debug) میشود. این تغییرات رفتاری در واقع وجه دیگری از ظهور رفتارهای نوظهور در مدلهای زبانی است که گاهی بدون دخالت صریح توسعهدهنده و در اثر پیچیدگیهای درونی مدل رخ میدهند.
همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، هرگونه تغییر در ورودی یا ساختار خروجی میتواند نتایج غیرمنتظرهای ایجاد کند. طبق این گزارش، تداخل در سه کانال اصلی رخ میدهد:
۱. آلودگی در سطح پرامپت
وقتی عبارت «استدلال خود را گامبهگام بنویس» را به پرامپت سیستمی (System Prompt) اضافه میکنید، توزیع احتمالی توکن بعدی را تغییر میدهید. در این حالت، مدل بهجای حل مسئله، شروع به «گزارش دادن درباره حل مسئله» میکند و توجه خود را از یافتن جواب به توصیف خود تغییر میدهد.
۲. سربار در سطح وضعیت
ثبت فراخوانیهای ابزار و امتیازات داخلی، سیستم را مجبور میکند وضعیت را در نقاط خاصی ذخیره کند. این کار باعث ایجاد تداخل در ورودی/خروجی (I/O) میشود و حتی میتواند ترتیب فراخوانی ابزارها را تغییر دهد، چون زمانبند سیستم باید منتظر ثبت لاگها بماند.
۳. سوگیری در نمونهبرداری انتخابی
بسیاری از توسعهدهندگان فقط شاخههای شکستخورده را برای تحلیلهای پس از حادثه ثبت میکنند. این کار یک انحراف سیستماتیک ایجاد میکند و تشخیص این موضوع را سخت میکند که آیا عامل واقعاً درست عمل کرده یا صرفاً چون کسی او را رصد نمیکرده، درست به نظر میرسد.
برای شناسایی این اثر، نویسنده یک روش تشخیصی پیشنهاد میدهد: یک مجموعه وظیفه را برای دو گروه اجرا کنید. گروه اول با ثبت کامل زنجیره تفکر و گروه دوم فقط با ثبت خروجی نهایی. اگر تفاوت توالی فراخوانی ابزارها از حد نویز بیشتر بود، اثر مشاهدهگری رخ داده است.
این تغییر دیدگاه یعنی توسعهدهندگان باید از «استخراج» به «بازسازی» روی آورند. بهجای اینکه از عامل بخواهید وضعیت داخلیاش را روایت کند، باید آثار بیرونی — یعنی اقدامات، زمانبندیها و پاسخهای خارجی — را ثبت کنید و مسیر استدلال را از روی این ردپاها استنتاج کنید.
با تبدیل قابلیت مشاهده به یک تمرین جرمشناسی، شاید دقت لحظهای را از دست بدهید اما رفتار عامل را پاک و بدون آلودگی نگه میدارید. هدف این است که پرونده را از روی شواهد بسازید، نه اینکه برای گرفتن اعتراف، روند تفکر مدل را قطع کنید.
گام بعدی شما
- در محیط تست، خروجیهای مدل را با و بدون درخواست CoT مقایسه کنید تا میزان انحراف رفتار را بسنجید.
- بهجای تکیه بر روایتهای متنی مدل، سیستمهای ثبت Event-based برای رصد اقدامات عامل طراحی کنید.
- ابزارهای رصد «بدون سر» (Headless) را دنبال کنید که بدون تغییر در پرامپت، وزنها یا فعالسازها را ثبت میکنند.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو