تصور کنید تیمی از برنامهنویسان دارید که هر کدام بدون هماهنگی، همزمان روی یک خط کد کار میکنند؛ نتیجه چیزی جز هرجومرج و تخریب سیستم نیست. این دقیقاً همان اتفاقی است که وقتی عاملهای هوش مصنوعی را بدون ساختار رها میکنیم، در مقیاس سازمانی رخ میدهد.
به نقل از چارچوبی که در ۱۹ اوت ۲۰۲۶ در وبسایت dev.to منتشر شد، استدلال اصلی این است که آیندهی هوش مصنوعی در محیط کار، نه مجموعهای از مدلهای جایگزین که همگی همزمان کد مینویسند یا ابزارها را فرا میخوانند، بلکه یک «سازمان ساختاریافته» است. این دیدگاه، فانتزیِ داشتن یک ابر-عامل (Super-agent) خودمختار را به چالش میکشد و روی حیاتیترین بخش نرمافزارهای سازمانی دست میگذارد: مسئولیتپذیری. در این سیستم، خودمختاری مطلق و بدون محدودیت جای خود را به لایههای نظارتی، اختیارات محدود، تحویلهای صریح و حضور انسانی میدهد که در نهایت، مالک تمام پیامدهای نهایی است. این رویکرد ساختاریافته با مدل پیشنهادی Edilec برای تبدیل عاملها به نرمافزارهای تجاری همسو است که بر استقرار مرحلهبندی شده تأکید دارد.
بسیاری از پیادهسازیهای فعلی با عامل (Agent) — شبیه به کارمندی که میتواند ابزارها را به کار بگیرد تا هدفی را پیش ببرد — مانند یک جمعیت نامنظم برخورد میکنند، نه یک ناوگان منظم. این وضعیت منجر به شکستهای رایج در سیستمهای توزیعشده میشود؛ جایی که دو عامل توانمند، بر اساس درکی قدیمی و اشتباه از یک وظیفه، همزمان اقدام میکنند. همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، نبودِ مرزهای سخت در دسترسی، ریسک سیستم را بالا میبرد. با استفاده از استعارهی شرکتی، توسعهدهندگان میتوانند کارها را تقسیم کرده و پیش از هر تصمیم مخاطرهآمیز، مدرک بخواهند. البته این چارچوب هشدار میدهد که مدلها کارمند نیستند؛ آنها فاقد قدرت قضاوت، مسئولیت قانونی، بودجه و اعتبار شخصی هستند. بنابراین، این استعاره صرفاً برای ایجاد ساختار است و هرگز نباید برای انتقال مسئولیت به مدلها به کار رود.
سلسلهمراتب قدرت
برای اینکه جاهطلبیهای هوش مصنوعی قابلفهم باشد، سیستم به یک زنجیره فرماندهی سخت نیاز دارد. در رأس، انسانی قرار دارد که اولویتها را تعیین میکند، ریسک را میپذیرد و تغییرات محیط تولید (Production) یا تغییرات عمومی را تأیید میکند. در لایه پایینتر، یک رهبر هوش مصنوعی (AI Lead) مسئول یک آیتم کاری محدود است؛ او نتایج را به برنامههای عملیاتی تبدیل میکند، کارهای مکانیکی را تقسیم کرده، نتایج را ادغام میکند و مدارکی که معیارهای پذیرش را پاس نمیکنند، رد میکند.
کارگران در این سیستم دستورات مبهمی مثل «سیستم را بهتر کن» دریافت نمیکنند. در عوض، یک بسته مشخص شامل موارد زیر به آنها میرسد:
- یک پرسش یا ماژول مشخص
- محیط مجاز برای فعالیت
- خروجی مورد انتظار
- بودجه تخصیصیافته
- شرط توقف
در زیرمجموعه رهبر، سازمان به نقشهای تخصصی تقسیم میشود:
- کارگران شواهد: مسئول خواندن و مقایسه دادهها.
- کارگران اجرا: متکلف تغییر در محدودههای ایزوله و تست آنها.
- رهبران تست: تبدیل معیارهای پذیرش به وضعیتهای دوتایی (قبول، رد یا نامشخص).
- بازبینهای مستقل: به چالش کشیدن معماری یا شواهد انتشار.
این سلسلهمراتب تشریفاتی نیست. هدف آن توقف دو نوع سردرگمی هزینهبر است: اول، اینکه چندین جلسه (Session) همزمان یک مورد واحد را تغییر دهند و دوم، نبود یک تصمیمگیرنده مشخص برای تعیین اینکه یک وظیفه دقیقاً چه زمانی به پایان رسیده است. در واقع، تفکیک نقش بازبین از اجرا برای جلوگیری از سوگیریهای مدل ضروری است، چرا که ارزیابی عاملها نباید در محیط داخلی آنها باشد تا از تایید اشتباه نتایج جلوگیری شود.
سه سطح از قابلیتهای هوش مصنوعی
این چارچوب بین سه نوع هوش مصنوعی تمایز قائل میشود و اشاره میکند که برنامهریزی، اندازهگیری و اقدام در جهان واقعی، قابلیتهای بنیاداً متفاوتی هستند.
عاملهای شناختی (Cognitive Agents) یا همان مدلهای زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — وظیفه برنامهریزی، توضیح، پیشنویس و هماهنگی کارهای محدود را بر عهده دارند. اما آنها هرگز نباید به تنهایی درباره اولویت، پذیرش ریسک یا اقدامات برگشتناپذیر تصمیم بگیرند.
سیستمهای یادگیری ماشین (ML Systems) لایه میانی و خاموش هستند. آنها در طبقهبندی، ادراک، تشخیص ناهنجاری و پیشبینی تخصص دارند. برای مثال، یک مدل بینایی ممکن است شیئی را شناسایی کند یا یک مدل پیشبینی ممکن است محدودهای را تخمین بزند، اما این خروجیها صرفاً «اندازهگیریهایی» با حاشیه خطا هستند، نه تصمیمات یک مدیر کوچک. این سیستمها نباید تصمیم بگیرند که آیا یک امتیاز نامطمئن، توجیهکننده یک اقدام خاص هست یا خیر.
هوش مصنوعی فیزیکی (Physical AI) شامل بازوهای رباتیک، خودروها، وسایل نقلیه یا کنترلرهای صنعتی است که تجهیزات واقعی را کنترل میکنند. چون یک اشتباه در اینجا میتواند منجر به خسارت زمانی، مادی، مالی یا جانی شود، این سیستمها به سختترین کنترلها نیاز دارند: دستورات محدود، بازخورد حسگرها، قابلیت حسابرسی، قفلهای قطعی (Deterministic Interlocks) و تأیید انسانی در مواردی که اثرات مادی دارند.
حفاظهای فنی و شواهد
دسترسیها باید در لایه فنی (Harness) تعریف شوند، نه در پرامپت. «فقط خواندنی» (Read-only) یک ویژگی فنی است، نه یک ویژگی شخصیتی مدل. یک کارگر پژوهشی باید فقط به یک بسته کوچک از شواهد محلی — فایلهای منبع، خروجی تست و مستندات — دسترسی داشته باشد، نه به دسترسی شل (Shell)، دسترسی نوشتن، ابزارهای شبکه یا توانایی ایجاد زنجیرهای نامحدود از عاملهای دیگر. این کار «شعاع تخریب» (Blast Radius) تغییرات تصادفی را کوچک کرده و تخلفات را نمایان میکند.
علاوه بر این، این چارچوب متنهای روان و ادبی را به عنوان رابط گزارش رد میکند. هر ادعای مادی باید به یک مسیر منبع و شماره خط، یک دستور تست یا یک شناسه اجرا (Run Identifier) قابل ردیابی باشد. حکم نهایی باید صریح باشد: PASS، FAIL یا UNKNOWN.
ارزش عدم قطعیت
استفاده از حکم «نامشخص» (UNKNOWN) حیاتی است. این وضعیت نشان میدهد که شواهد گم شدهاند، قدیمی هستند، به نسخه اشتباهی متصل شدهاند یا واقعاً مبهماند. این کار مانع از آن میشود که سیستم، نبودِ شواهد را صرفاً به دلیل لحن مطمئنِ یک خلاصه، به عنوان «چراغ سبز» تفسیر کند.
بررسیهای پایدار پس از استقرار باید بر اسکریپتها، مجموعههای تست و مانیتورهایی با معناشناسی مشخص متکی باشند. اگرچه یک عامل میتواند این آثار را به معیار پذیرش متصل کند، اما نباید یک سیستم زنده را آنقدر تکرار کند تا جواب «راحت» یا مناسب شود.
مدیریت ظرفیت و وضعیت
مالکیت یک وظیفه باید یک ادعای بادوام و اتمیک باشد، نه یک پیام در چت. پیامی که میگوید «من این کار را دارم» کافی نیست و برچسب زدن به یک تیکت نیز ناکافی است زیرا تیکتها از واقعیت فاصله میگیرند. سیستم به رکوردی نیاز دارد که مالک فعلی را شناسایی کند و برای همه شرکتکنندگان قابل مشاهده باشد تا از ایجاد دو نسخه ناسازگار از یک کار جلوگیری شود.
یک ادعای قدیمی، دلیلی برای بازرسی وضعیت است، نه محرکی برای یک تایمر تا کار را بهطور خودکار به شخص دیگری منتقل کند. ممکن است مالک اصلی در انتظار یک تست یا یک تحویل متنی عمدی باشد. هر جایگزینی مستلزم انتقال صریح، تعیین مالک جدید و یک بسته اطلاعاتی تازه است.
پیش از پذیرش جریانهای کاری جدید که قابلیت نوشتن دارند، رهبر باید ظرفیت موجود، افق بازنشانی (Reset Horizon) و ذخیره ادغام مورد نیاز برای بازبینی را ارزیابی کند. اگر ظرفیت پر است، اقدام درست کاهش محدوده کار یا جمعآوری شواهد «فقط خواندنی» است تا اجرای آینده ارزانتر شود.
این چرخش، صنعت را از رابطهای چت به سمت اهرمهای لایهبندیشده میبرد. در این مدل، مدلهای زبانی برنامهریزی میکنند، مدلهای ML اندازهگیری میکنند و سیستمهای فیزیکی تنها تحت نظارت سخت اقدام میکنند. انسانها تنها مالکان تصمیمات حیاتی باقی میمانند و عملکرد هوش مصنوعی را قابل مشاهده و حسابرسی میکنند.
گام بعدی شما
- دسترسیهای فعلی عاملهای خود را بازبینی کنید و هر دسترسی وسیعی (مانند Shell access) را به بستههای دادهای محدود تبدیل کنید.
- دستورات «مودبانه» در پرامپتها را حذف کرده و آنها را با مرزهای فنی سخت (Hard Boundaries) جایگزین کنید.
- در گزارشهای خروجی مدل، وضعیت UNKNOWN را به عنوان یک خروجی معتبر برای موارد نبودِ شواهد تعریف کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو