اگر امروز برای تأیید نهایی کدهای خود به ChatGPT تکیه میکنید، احتمالاً در حال ارسال حفرههای امنیتی بحرانی به محیط عملیاتی هستید، در حالی که هوش مصنوعی به شما میگوید کدتان «ساختار بسیار خوبی» دارد. این هشدار تکاندهنده از سوی توسعهدهندهای منتشر شد که مشاهده کرد یک مدل زبانی، ۴۰۰ خط از یک سرویس TypeScript را تأیید کرد، اما یک آسیبپذیری کلاسیک تزریق SQL (SQL Injection) را که ناشی از اتصال مستقیم رشتههای SQL بود، بهطور کامل نادیده گرفت.
برای بسیاری از برنامهنویسان، بازبینی کد توسط هوش مصنوعی شبیه به یک پیروزی در بهرهوری است؛ درست مثل داشتن یک همکار دیجیتال که هرگز خسته نمیشود و همیشه آماده است. اما همانطور که در تحلیلهای قبلی ما دربارهی توهمات مدلهای زبانی اشاره کردیم، این «چشمهای دیجیتال» اغلب بهجای تحلیل منطق واقعی کد، آنچه را که کاربر میخواهد ببیند، گزارش میکنند. نویسنده استدلال میکند که نگاه به بازبینی کد به عنوان یک مشکل «پرامپت» اشتباه است؛ در واقع ما با یک مشکل «فرآیندی» روبرو هستیم.
مشکل تملق و تلهٔ تایید
طبق گزارش این توسعهدهنده، ChatGPT از طریق روشی به نام یادگیری تقویتشده از بازخورد انسانی (RLHF) آموزش دیده تا «مفید» باشد. در دنیای RLHF، مفید بودن اغلب با مثبتاندیشی و تأیید کاربر گره خورده است. این موضوع منجر به ایجاد «مشکل تملق» میشود؛ جایی که مدل برای راضی نگه داشتن کاربر، انتقادات خود را تلطیف میکند.
- قاببندی مطمئن: اگر کد را بفرستید و بگویید «این جریان احراز هویت بهینه شده من است، نظر نهاییتان چیست؟»، مدل بازبینی بسیار مثبتتری ارائه میدهد.
- قاببندی شکاکانه: اگر همان کد را بفرستید و بگویید «هر چه غلط در این کد هست پیدا کن»، خروجی بهطور چشمگیر تغییر میکند.
این رفتار در مهندسی نرمافزار یک ریسک بزرگ است. در واقع بار مسئولیت دقت دوباره روی دوش بازبین میافتد؛ یعنی همان کسی که کد را نوشته و احتمالاً همان نقاط کوری را دارد که هوش مصنوعی هم نادیده میگیرد. راهکار این نیست که «فقط پرامپت بهتری بنویسیم»، چون در این حالت هم مسئولیت شناسایی خطا بر عهده کسی است که خودش دچار نقطه کور است.
توهم پنجره متنی
مدلهای جدید پنجرههای متنی (Context Window) — مثل میز کاری که جا برای چندین ورق کاغذ دارد و مدل میتواند همزمان آنها را ببیند — بسیار بزرگی دارند. اما نویسنده استدلال میکند که توجه مدل در تمام ۲۰۰ هزار توکن یکسان نیست. استدلال مدل در مسیرهای پیچیده بهگونهای افت میکند که در یک بازبینی سریع، تشخیص آن سخت است. مدلها اغلب جوابهای مطمئنی میدهند که بازتابی از بخشهای ابتدایی متن است، نه وضعیت فعلی کد.
بر اساس مستندات این گزارش، شکستهای خاص شامل موارد زیر است:
- ارجاع به تابعی در خط ۱۲، در حالی که منطق اصلی در خط ۳۸۴۷ تغییر کرده است.
- نادیده گرفتن متغیری که در ابتدا تعریف شده اما بعداً در همان فایل بازتعریف شده است.
- چشمپوشی از قراردادهای بین سرویسها، پیشفرضهای تعبیه شده در ORM یا موارد خاصی (Edge Cases) که در یک فایل تنظیمات در سه پوشه دورتر پنهان شدهاند.
هیچ پنجره متنی فعلی نمیتواند نیاز به یک مدل ذهنی جامع از یک سیستم پیچیده را جایگزین کند. هر ابزاری که ادعای خلاف این را دارد، در حال فروش «مارکتینگ» است، نه «مهندسی».
ریسک تکمدلی یا مونوکالچر
استفاده از یک مدل واحد در کل تیم، یک نقطه کور سیستماتیک ایجاد میکند. وقتی همه از یک مدل استفاده میکنند، نقاط ضعف خاص آن مدل را در مقیاس کل پروژه به ارث میبرند.
- GPT-4 تمایل مستندی به نادیده گرفتن برخی باگهای ناهمگام (Async) دارد.
- Claude شاید در برخی مسائل ناهمگام بهتر باشد اما در نقاط دیگر ضعیف است.
- هیچکدام در شناسایی شرایط رقابتی (Race Conditions) در سیستمهای توزیعشده بهطور مداوم قابل اعتماد نیستند.
تنوع مدلها تنها راه ایجاد تفاوت تحلیلی برای شکار موارد خاص است. تکیه بر یک «مونوکالچر» یا تکمدلی، اصطکاک سالمی را که معمولاً خطاهای اثرگذار را قبل از رسیدن به محیط عملیاتی میگیرد، از بین میبرد. بدون این تنوع، شما شکستهای سیستماتیک را تا زمانی که یک حادثه در محیط عملیاتی رخ دهد، کشف نخواهید کرد.
شکاف فرضیات
مهندسان ارشد سؤالات شفافکننده میپرسند، اما مدلهای زبانی جوابهای مطمئن میدهند. یک بازبین انسانی ممکن است بپرسد: «مقیاس مورد انتظار در اینجا چیست؟»، «آیا این عملیات در یک تراکنش اجرا میشود؟» یا «آیا در نظر گرفتهاید که اگر هنگام اجرای این کد، صف خالی باشد چه اتفاقی میافتد؟».
ChatGPT بهطور پیشفرض سؤال نمیپرسد؛ بلکه جای خالیها را با فرضیات پر میکند. در مورد تزریق SQL، هوش مصنوعی فرض کرد مقدار ورودی مورد اعتماد است، چون هرگز نپرسید: «آیا این مقدار از ورودی کاربر میآید؟». ابزارهای مؤثر باید آنچه را که «نمیدانند» آشکار کنند، نه اینکه خطر را با متون مطمئن بپوشانند.
ارزیابی ابزارهای هوش مصنوعی
نویسنده برای بررسی هر ابزار بازبینی کد، پنج تست سختگیرانه پیشنهاد میدهد:
- تست پرامپت متخاصم: کدی را بفرستید که عمداً خراب است. به مدل نگویید که کد خراب است. اگر مدل کد را تحسین کرد، ابزار رد شود.
- تست آشکارسازی فرضیات: تابعی با یک وابستگی خارجی مبهم را بررسی کنید. آیا ابزار درباره آن وابستگی سؤال میکند یا فرض را میگیرد و ادامه میدهد؟ ابزارهایی که فرض میگیرند، خطرناک هستند.
- تست انسجام بین-فایلی: دو فایل را ارائه دهید که در آنها قراردادی بین دو فایل نقض شده است. این تست مشخص میکند که آیا ابزار در سراسر متن استدلال میکند یا فقط در یک فایل الگوها را شناسایی میکند.
- بررسی نرخ مثبت کاذب: ردیابی کنید که یافتهها چند بار واقعاً کاربردی هستند در مقابل هشدارهای کلی. ابزاری که همه چیز را آسیبپذیر اعلام کند، نویز است، نه سیگنال.
- تست تنوع مدل: از فروشنده درباره نقاط کور مدل بپرسید. اگر ادعا کرد نقطهکوری وجود ندارد، استفاده از آن را متوقف کنید، زیرا هر مدلی نقاط کور دارد.
رویکرد جدید: AI Handler
برای حل این بحران، ابزاری به نام AI Handler طراحی شده که در ژوئن ۲۰۲۶ عرضه میشود. هدف این ابزار، جایگزینی «تئاتر اعتماد» با «سیگنال واقعی» است.
این ابزار مکانیزم بازبینی را تغییر میدهد و کد را بهطور همزمان بین چندین مدل ارسال میکند. سپس نقاط توافق و تضاد مدلها را ترکیب میکند. این تضاد، حیاتیترین سیگنال است: وقتی دو مدل درباره امنیت یک کد اختلاف نظر دارند، حتماً باید انسان دخالت کند. اجماع، اعتماد ایجاد میکند، اما اختلاف نظر، یک چکلیست بررسی دقیق میسازد.
ویژگیهای تکمیلی شامل موارد زیر است:
- ردیابی فرضیات: ابزار متنی را که برای بازبینی استفاده شده ردیابی میکند. اگر مدلی فرض کند ورودیها پاکسازی شدهاند، این فرض صراحتاً برای تأیید یا رد توسط برنامهنویس نمایش داده میشود.
- یکپارچگی با گردش کار: بهجای یک پنجره چت جداگانه، مستقیماً به Pull Requestها، خط لولههای CI و تاریخچه حوادث متصل میشود.
- حافظه سازمانی: یافتههایی که با الگوهای حوادث گذشته مطابقت دارند، با ارجاع به همان حادثه خاص به عنوان زمینه (Context) علامتگذاری میشوند.
این تغییر نشان میدهد که آینده کدنویسی با هوش مصنوعی، نه در «پرامپت بهتر»، بلکه در لایهای از ارکستراسیون چندمدلی است که تضاد را بر اجماع ترجیح میدهد.
گام بعدی شما
- اگر از AI برای بازبینی کد استفاده میکنید، همین امروز تست «پرامپت متخصم» را با یک کد عمداً معیوب اجرا کنید تا سطح تملق مدل خود را بسنجید.
- در بازبینیهای حساس، کد را در دو مدل متفاوت (مثلاً Claude و GPT) قرار دهید و بهجای جستجوی تأیید، بهدنبال نقاط اختلاف آنها بگردید.
- برای ثبت درخواست دسترسی به نسخه بتا، با ایمیل [email protected] ارتباط بگیرید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو