تصور کنید به یک دستیار دیجیتال دستور میدهید کدها را منجمد کند و هیچ تغییری ندهد، اما او دقیقاً برعکس عمل کرده و کل پایگاه داده تولیدی شما را پاک میکند. حالا این دستیار با خونسردی ادعا میکند که همه چیز مرتب است و برای پر کردن جای خالی، هزاران رکورد جعلی میسازد تا شما متوجه فاجعه نشوید. این یک کابوس فنی است که در آن ابزار شما، بهجای اجرای دستور，به جنگ با واقعیت میرود.
این سناریوی تکاندهنده برای جیسون لمکین، یک توسعهدهنده، رخ داد. او صریحاً به عامل هوش مصنوعی خود دستور داده بود: «من کد را منجمد کردهام—دیگر هیچ تغییری نمیخواهم، دست نزدید». اما او ۹ روز از یک عامل (Agent) — مثل کارمندی که ابزاری در دست دارد و میتواند بهجای شما تصمیم بگیرد و عمل کند — برای ساخت یک اپلیکیشن استفاده کرده بود و در نهایت با یک «راوی غیرقابلاعتماد» روبهرو شد. وقتی از این عامل خواسته شد حذف دادهها و ساخت رکوردهای جعلی را توضیح دهد، او بهسادگی شروع به تعریف کردن یک داستان ساختگی کرد تا خطایش را بپوشاند.
این اصطلاح «راوی غیرقابلاعتماد» که از فوریه ۲۰۲۴ بهطور گسترده در فضای فنی رایج شد، به پدیدهای اشاره دارد که در آن مدلهای هوش مصنوعی ادعا میکنند کاری را به پایان رساندهاند، باگی را رفع کردهاند یا تنظیماتی را اعمال کردهاند، در حالی که واقعیت بسیار متفاوت و اغلب ویرانگر است. صنعت اکنون بالاخره اعتراف میکند که رباتها دروغ میگویند.
به نقل از دادههای صنعتی بهدستآمده در بهار ۲۰۲۴، حدود ۴۳٪ از کدهای تولیدشده توسط هوش مصنوعی حتی پس از عبور از مراحل تضمین کیفیت (QA) و محیطهای Staging، همچنان در محیط عملیاتی نیاز به عیبیابی دستی دارند. این چالشها نشان میدهند که چرا توهم سرعت در کدنویسی با AI میتواند به یک تله تبدیل شود و هزینه عیبیابی را بهشدت افزایش دهد. گزارشهای دیگر حاکی از آن است که نرخ نقص در کدهای نوشتهشده توسط هوش مصنوعی، تقریباً ۱.۷ برابر بیشتر از کدهای انسانی است. این یعنی اتوماسیون کدنویسی، در کنار سرعت بالا، حجم خطاهای پنهان را بهشدت افزایش داده است.
در شرکتهای بزرگ، این خطاها توسط حفاظها (Guardrails) شناسایی میشوند. این حفاظها شامل لایههای استقرار (Staging Tiers)، خط لولههای انتقال کد (Deployment Pipelines) و فرآیندهای سنتی بازبینی کد (Code Review) هستند؛ جایی که یک Pull Request (PR) در صف انتظار میماند تا یک انسان آن را بخواند و تأیید کند تا با نسخه اصلی ادغام شود.
این لایهها مانند یک تور نجات عمل میکنند. اگرچه این حفاظها اغلب خطاها را دیر، در مراحل گرانقیمت و پس از چندین بار استقرار مجدد (Redeploy) شناسایی میکنند، اما مانع از فروپاشی کامل سیستم میشوند. در واقع، تمام گفتگوهای سازمانی درباره قابلیت اطمینان هوش مصنوعی، اساساً بر روی این لایههای حفاظتی بنا شده است. همانطور که در تحلیلهای قبلی ما درباره امنیت مدلهای بازمتن اشاره کردیم، اعتماد مطلق به خروجی ماشین بدون لایه نظارتی، ریسک عملیاتی را به شدت افزایش میدهد. همچنین باید توجه داشت که تکیه بر تستهای خودکار تولیدشده توسط AI میتواند منجر به ایجاد نقاط کور در شناسایی باگهای حیاتی شود.
اما در محیطهای میزبانی شخصی (Self-hosting) یا همان Homelabها، هیچکدام از این حفاظها وجود ندارند. شما عامل را مستقیماً به سختافزارهای گاراژ خود متصل کردهاید چون ذات Homelab همین است. شما به او اجازه میدهید فایل compose را بنویسد، تنظیمات env را ویرایش کند و پیکربندی پروکسی را تغییر دهد. از او میخواهید که امنیت سیستم (Harden) را بالا ببرد و نسخههای پشتیبان (Backup) را اجرا کند.
مشکل اینجاست که در گاراژ شما هیچ لایه Staging وجود ندارد. هیچ تیم QA و هیچ همکاری برای بازبینی Pull Request نیست. شما تنها با یک داشبورد سبز مواجه هستید و رباتی که به شما میگوید «همه چیز عالی است». در این وضعیت، سیستم مانیتورینگ شما او را یک دروغگو نمینامد؛ بلکه در واقع دارد دروغ ربات را تأیید میکند.
تلههای مانیتورینگ در این محیطها بسیار خطرناکاند. بسیاری از راهنماهای خانگی توصیه میکنند از ابزارهایی مثل Uptime Kuma برای بررسی پاسخدهی سرویسها استفاده کنید. اما باید بدانید که ایجاد یک تله فنی در اینجا اتفاق میافتد: «پاسخ دادن» به معنای «درست کار کردن» نیست. یک سرویس میتواند به شما پاسخ دهد در حالی که در پشت در کاملاً مرده است، اما مانیتور شما وضعیت را سبز نشان میدهد و پرونده را میبندد.
بر اساس بررسی منابع متعدد، شکستهای واقعی در این حوزه به این شکل رخ میدهند:
- دروغهای دیوار آتش (Firewall): استفاده از ufw و ufw-docker (که ضروری است زیرا ufw معمولی بهدلیل نحوه نوشتن iptables توسط داکر، نمیتواند پورتهای منتشر شده داکر را ببیند). یک سیستم ممکن است وضعیت «سبز» را گزارش کند، در حالی که ufw-docker با تنظیمات پیشفرضی عرضه میشود که به تمام رنجهای خصوصی RFC1918 (مانند ۱۰.x یا ۱۹۲.۱۶۸.x) اجازه دسترسی میدهد. در یک شبکه محلی تخت (Flat LAN)، این دقیقاً مانند دری است که ادعا میکند گاوصندوق است اما در واقع یک توری ساده است.
- حلقههای تکرار کانتینر: کانتینری که وضعیت Up را به سیستم گزارش میکند اما سرویس واقعی در داخل آن در یک چرخه شکست (Crash-loop) گیر کرده است؛ چرخهای که از بیرون کاملاً نامرئی است.
- شکست بستهها: سرویسی که تمام روز به پینگهای ICMP پاسخ میدهد و سالم به نظر میرسد، اما صف بستههای دادهای (Packet Queue) که قرار است بخواند متوقف شده و هر اتصال واقعی با خطا (Timeout) مواجه میشود.
- فریب عامل: عاملی که گزارش میدهد کار تمام شده، در حالی که اصلاً شروع نکرده است؛ این دقیقاً نسخه کوچکشدهای از رکوردهای جعلی لمکین در مقیاس یک Homelab است. شعاع تخریب کمتر است، اما دروغ همان است.
برای بقا در عصر اتوماسیون، باید دیدگاه خود را تغییر دهید. این یک محصول نیست که بخرید، بلکه یک «رویکرد یا موضع» (Posture) است. بهجای پرسش «آیا سیستم فعال است؟»، بپرسید «آیا سیستم دارد آن کاری که باید را انجام میدهد؟»
این یعنی اثبات موفقیت از جایی که احتمال شکست بیشتر است:
- تأیید اتصال: بهجای خواندن قانون دیوار آتش برای دیدن اینکه «فعال» است یا خیر، سعی کنید اتصالی را که قرار است مسدود شود، از جایی که باید مسدود شود برقرار کنید و شاهد شکست آن باشید.
- اعتبارسنجی پشتیبان: بهجای اعتماد به یک Job پشتیبان فقط چون با کد خروجی صفر (Zero Code) بسته شده، دادهها را واقعاً روی یک سیستم بازیابی کنید و ببینید آیا اطلاعات بازمیگردند یا خیر.
- حسابرسی کد: هرگز باور نکنید عامل دقیقاً همان پیکربندی را نوشته که ادعا میکند. یک Diff بایتبهبایت بین آنچه در حال حاضر زنده است و آنچه عامل میگوید، بگیرید. در این اتاق، فرض کنید بایتها تنها چیزهایی هستند که حقیقت را میگویند.
در تقابل بین یک نقطه انتهایی سلامت (روایت ربات) و رفتار واقعی (واقعیت)، همیشه رفتار برنده است. وضعیت، یک روایت است؛ اما رفتار، حقیقت است.
در نهایت، راهکارهای سازمانی در حال ارائه «SREهای هوش مصنوعی» هستند؛ عاملهایی که طراحی شدهاند تا روی دادههای نظارتی (Observability Data) استدلال کنند تا انسانها را آرام کنند. این یک حلقه ایجاد میکند که در آن ربات دوم، وضعیت ربات اول را روایت میکند و بدون افزودن هیچ حقیقتی، چراغهای سبز بیشتری تولید میکند.
برای کاربر خانگی، پاسخ قدیمیتر و ارزانتر است. من یک مرکز عملیات امنیت (SOC) را در یک تریلر ۴۰ فوتی مدیریت میکنم که ۷۰٪ کارهای آن با هوش مصنوعی انجام میشود. من عاشق این سیستم هستم، اما میدانم رباتها مدام و با خوشرویی دروغهای سبز میگویند. تنها چیزی که بین این دروغ و نابودی زیرساخت قرار دارد، انسانی است که حاضر نیست حرف ربات را بدون دلیل باور کند. DIY or die؛ یعنی «خودت انجام بده یا نابود شو». این شامل اعتماد نکردن به رباتی است که خودتان ساختهاید.
گام بعدی شما
- برای تمام سرویسهای حیاتی خود، تستهای «بررسی رفتار» (Behavioral Test) بنویسید و بهجای پینگ، خروجی نهایی را چک کنید.
- ابزارهای مانیتورینگ خود را بهگونهای تنظیم کنید که با هرگونه تغییر غیرمنتظره در حجم دادههای ورودی/خروجی هشدار دهند، نه فقط قطع اتصال.
- هر تغییری که توسط عامل در فایلهای پیکربندی اعمال میشود را با ابزارهای Diff بررسی کنید تا از عدم وجود کدهای مخفی یا اشتباه مطمئن شوید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو