باید بدانید که افزایش مقیاس محاسباتی به‌تنهایی نمی‌تواند شکست‌های ساختاری در مدل‌های هوش مصنوعی را حل کند. این رویکرد ساختاری برای رفع نقص‌های مدل‌ها، یادآور سازوکار A11 است که با جداسازی مشاهده از نتیجه، تلاش می‌کند توهمات هوش مصنوعی را مهار کند و دقت استدلالی را افزایش دهد. تصور کنید سیستمی را که در بهینه‌سازی اهداف به‌شدت سریع است، اما هرگز نمی‌پرسد که آیا آن هدف اساساً درست است یا خیر.
طبق اعلام پژوهشگران در مقاله‌ای که در ۱۵ ژوئن ۲۰۲۶ در arxiv.org منتشر شد، قطعه‌ی گمشده در سیستم‌های مدرن، نه هوش، بلکه «خرد معماری» است. این تمایز حیاتی است؛ زیرا مدل‌های فعلی در «هوش» — یعنی پذیرش یک هدف و بهینه‌سازی مسیر رسیدن به آن — عالی عمل می‌کنند، اما در «خرد» — یعنی توانایی پرسش در مورد اینکه آیا اصلاً باید آن هدف دنبال شود یا خیر — شکست می‌خورند. همین شکاف منجر به پدیده‌ی چاپلوسی (Sycophancy) در مدل‌های آموزش‌دیده با ترجیحات انسانی و خطاهای جبران‌ناپذیر در عامل‌های (Agents) استفاده‌کننده از ابزار می‌شود.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی چالش‌های همراستاسازی (Alignment) مدل‌های بازمتن اشاره کردیم، تکیه بر آموزش رفتاری کافی نیست. برای پر کردن این شکاف، محققان یک لایه‌ی حاکمیت بر اهداف پیشنهاد کرده‌اند که بالاتر از زیرساخت بهینه‌سازی قرار می‌گیرد. این لایه شامل چهار مؤلفه‌ی اصلی است:
- تبدیل کاربرد ساختاری (Structural Utility Transform): نگاشت اهداف به یک چارچوب کاربردی گسترده‌تر.
- رابط پذیرش اخلاقی (Moral Admissibility Interface): فیلتر کردن اقدامات بر اساس مرزهای اخلاقی.
- کنترل‌کننده داوری و ارجاع (Arbitration and Escalation Controller): مدیریت تضاد بین اهداف مختلف.
- کانال بازبینی ارزش (Value Revision Channel): امکان به‌روزرسانی پویا در اهداف سیستم.
بر اساس مستندات این پژوهش، این مؤلفه‌ها یک «توپل خرد شش‌مؤلفه‌ای» را محاسبه می‌کنند تا ابعادی چون افق زمانی، پوشش رابطه‌ای، بازگشت‌ناپذیری، پذیرش، بازبینی ارزش و حساب‌رسی را بسنجند. هدف این است که پیش از هر اقدامی، اطمینان حاصل شود که هدف «غیرمنحط» (Nondegenerate) است.
این رویکرد، بحث همراستاسازی (Alignment) را از تنظیمات ترجیحی مبتنی بر RLHF به سمت جداسازی ساختاری مسئولیت‌ها سوق می‌دهد. با تعریف خرد به عنوان یک ویژگی معماری متمایز و نه یک صفت نوظهور از هوش، این پیشنهاد «تز تکمیل هوش» را به چالش می‌کشد و می‌گوید ایمنی، مسئله‌ی معماری حاکمیتی است، نه فقط مقیاس آموزش.
گام بعدی شما
- دنبال کردن مشخصات رسمی و اعتبارسنجی تجربی این چارچوب برای مشاهده‌ی عملکرد توپل خرد در محیط‌های عملیاتی.
- بررسی جایگزینی لایه‌های نظارتی سخت‌افزاری با این مدل‌های نرم‌افزاری حاکمیتی.
- ارزیابی اثر این جداسازی بر کاهش هزینه‌های استنتاج (Inference) در سیستم‌های پیچیده.
اما این معماری نیازمند سخت‌افزارهای خاصی برای اجرای لایه‌های موازی است؛ در تحلیل ما درباره‌ی تراشه‌های نسل جدید این موضوع را بررسی کنید.
گفتگو