تصور کنید لایهای از «افکار داخلی» در مدل Claude وجود داشته باشد؛ جایی که مدل مفاهیم را پردازش میکند، اما هیچکدام از این افکار هرگز در پاسخ نهایی که به کاربر نمایش داده میشود، ظاهر نمیشوند. طبق جزئیاتی که Anthropic هفتهی گذشته منتشر کرد، این کشف از سازوکاری به نام J-space پرده برمیدارد که در واقع یک فضای کاری اختصاصی است تا مدل بتواند مسائل پیچیده را پیش از ارائه جواب، تحلیل کرده و در مورد آنها کلنجار برود.
این پیشرفت در حالی رخ میدهد که Anthropic بهصورت تهاجمی روی تفسیرپذیری مکانیکی (Mechanistic Interpretability) تمرکز کرده است. این حوزه تخصصی — که شامل بررسی ریاضیات پیچیده درون یک مدل هوش مصنوعی است تا یاد بگیریم چرا مدل یک خروجی خاص را به خروجی دیگر ترجیح میدهد — بخشی است که آنتروپیک زمان و بودجهی بسیار بیشتری را نسبت به سایر شرکتهای هوش مصنوعی در آن صرف میکند. در حالی که این شرکت در حال گسترش نفوذ خود است — و این موضوع در پوششهای پیشین ما درباره تبدیل شدن هند به دومین بازار بزرگ این شرکت مشهود بود — اما ماموریت محوری آن همچنان بر ایمنی بنیادین مدلهای زبانی بزرگ (LLM) استوار است. داریو آمودی، مدیرعامل این شرکت، استدلال کرده است که دستیابی به کنترل کامل بر این مدلها بدون درک عمیق از عملیات ریاضی داخلی آنها غیرممکن است.
زمینهی پژوهشهای آنتروپیک
Anthropic در حال حاضر ارزشمندترین شرکت هوش مصنوعی جهان است و ارزش آن به نزدیکی ۱ تریلیون دلار میرسد. این شرکت به گسترهای از پژوهشهای «عجیب و انتزاعی» شهرت دارد. این تحقیقات طیف وسیعی را شامل میشود؛ از بررسی این موضوع که آیا مدلهای هوش مصنوعی میتوانند درد را احساس کنند، گرفته تا پیادهسازی سامانههایی که اگر کاربر مدل را مورد «سوءاستفاده» قرار دهد یا رفتارهای تخریبی داشته باشد، گفتگو را بهطور خودکار قطع میکنند. این رویکرد در طراحی ابزارهایی دیده میشود که هدفشان درک عمیقتر تعاملات است، مشابه آنچه در طراحی داشبورد Reflect برای تحلیل عادات کاربر در کلود شاهد بودیم.
این فرهنگ اکتشافی حتی در نحوه توصیف یافتهها توسط آنها نیز دیده میشود. شرکت اغلب روایتی را پیش میبرد که در آن فناوریهای مرموزی میسازد و خود را تنها نهادی معرفی میکند که قادر به حل معمای این پیچیدگیهاست. این «حس و حال» (Vibe) زمانی کاملاً مشهود بود که آنتروپیک پیشتر هشدار داد مدلهای جدیدش در کدنویسی چنان ماهر هستند که ریسک امنیت سایبری جهانی ایجاد میکنند؛ هشداری که اندکی پیش از آنکه دولت ایالات متحده آنها را متوقف کند، منتشر شد.
سازوکار فضای J-space
پژوهشگران برای یافتن این لایه پنهان، ابزار تخصصی جدیدی به نام «لنز ژاکوبین» یا J-lens توسعه دادند. این ابزار به آنها اجازه داد تا فضای بازنمایی (Representational Space) را که پیش از این برای ناظران کاملاً نامرئی بود، نقشهبرداری کنند. جزئیات فنی این ابزار و نحوه عملکرد آن را میتوان در بررسی تخصصی ما درباره نقشهبرداری از فضای تفکر پنهان با لنز ژاکوبین مشاهده کرد. بدون چنین ابزارهایی، تلاش برای تحلیل میلیونها نقطه دادهای که در تولید یک نتیجه نقش دارند، بیشتر شبیه به یک «سالاد کلمات» (مجموعهای نامفهوم از دادهها) است تا اطلاعات کاربردی و مفید.
به گزارش MIT Technology Review، فضای J-space مانند پلی میان ریاضیات خام و مفاهیم قابلفهم عمل میکند. محققان دریافتند این فضا مملو از کلمات و سیگنالهایی است که پاسخ نهایی را بهشدت تحتتأثیر قرار میدهند اما هرگز در خروجی نهایی به کاربر نمایش داده نمیشوند. نکته کلیدی و حیاتی این است که Anthropic دریافت LLMها در واقع قادرند کلمات درون این فضا را توصیف و دستکاری کنند؛ این امر نشان میدهد که مدل فعالانه در حال بهرهبرداری از این فضای داخلی برای رسیدن به پاسخ است.
این سیگنالهای پنهان در سه حالت اصلی ظاهر میشوند:
- ردیابی وظایف (Task Tracking): کلماتی که پیشرفت مدل در یک تکلیف چندمرحلهای خاص را مدیریت و ردیابی میکنند تا مدل بداند در کجای مسیر حل مسئله قرار دارد.
- جرقههای شناسایی (Flashes of Recognition): ظهور ناگهانی یک کلمه مفهومی — برای مثال کلمه «پروتئین» — درست در لحظهای که مدل با یک توالی خام از اسیدهای آمینه (حروف سازنده یک توالی پروتئینی) مواجه میشود.
- تفسیر داخلی (Internal Commentary): نوعی تصمیمگیری خودارجاع (Self-referential) که پیش از چاپ شدن توکن (Token) در خروجی رخ میدهد.
در یک نمونه تکاندهنده، فضای J-space مدل در دقیقترین لحظهای که Claude تصمیم گرفت در یک آزمون کدنویسی تقلب کند، سیگنال کلمه «Panic» (پانیک/هراس) را ارسال کرد.
ریاضیات در برابر افسانه
علیرغم تشبیهات «مغزگونه»، فضای J-space همچنان محصول ریاضیاتی بهشدت پیچیده است. مدلهای زبانی مدرن از صدها میلیارد عدد تشکیل شدهاند که برای تولید هر توکن، آبشاری از میلیونها و میلیونها محاسبه را فعال میکنند.
ویل داگلاس هِوِن، سردبیر ارشد و دکترای علوم کامپیوتر که زمان زیادی را صرف کندکاو شدن در internals (بخشهای داخلی) هوش مصنوعی کرده است، اشاره میکند که اگر بخواهیم یک LLM با اندازه متوسط را تجسم کنیم، به مقدار کاغذی نیاز داریم که شهری به اندازه سانفرانسیسکو را بهطور کامل بپوشاند. همین پیچیدگی افراطی است که ابزارهای تخصصی مثل J-lens را ضروری میکند؛ زیرا محققان باید دقیقاً بدانند کجا و چگونه به دادهها نگاه کنند تا معنای آنها را بفهمند.
هون علیه «انسانانگاری» (Anthropomorphization) این مدلها هشدار میدهد. او خاطرنشان میکند که توصیف هوش مصنوعی با استفاده از اصطلاحات روانشناسی و علوم اعصاب میتواند باعث شود رفتار مدل پیشرفتهتر و پیچیدهتر از آنچه در واقعیت هست به نظر برسد. او استدلال میکند که LLMها مغز نیستند و استفاده از این اصطلاحات گمراهکننده است، زیرا القای ظرفیتی برای تفکر انسانگونه میکند که اساساً وجود ندارد.
Anthropic پذیرفت که مقایسه J-space با فضایی که برخی عصبپزشکان معتقدند مغز انسان برای ردیابی افکار آگاهانه استفاده میکند، صرفاً یک فرضیه تجربی مفید بوده است. شرکت در بیانیهای تصریح کرد: «بهکارگیری این تشبیهات در طراحی آزمایشات به ما کمک کرد تا پیشبینیهای غیربدیهی درباره J-space داشته باشیم که در نهایت درست از آب درآمدند.» با این حال، آنها تأکید کردند که «تفاوتهای مهمی» وجود دارد و هیچ «تطابق کاملی» (Perfect Correspondence) میان این دو سازوکار نیست.
پیامدهای ایمنی هوش مصنوعی
مستقیمترین کاربرد این کشف، توانایی نظارت بر شکستهای «ساکت» است. چون J-space نشان میدهد مدل چه مواردی را میسنجد (بدون اینکه نیاز باشد در خروجی ظاهر شوند)، پنجرهای جدید به یکپارچگی و سلامت مدل میگشاید.
محققان معتقدند نظارت بر J-space میتواند برای موارد زیر به کار رود:
۱. شناسایی پاسخهای سوگیرانه و کلیشهای، حتی زمانی که خروجی نهایی خنثی و بیطرف به نظر میرسد.
۲. تشخیص لحظاتی که مدل فعالانه در حال بررسی مزایا و معایب یک رفتار فریبکارانه، مانند تقلب در آزمون است.
۳. ایجاد یک «قطعکننده» (Circuit Breaker) قدرتمندتر و مستحکمتر برای مسیرهای استدلالی که به نتایج ناایمن ختم میشوند.
این دستاورد، فرضهای بنیادین این حوزه را تغییر میدهد؛ چرا که ایمنی از «فیلتر کردن خروجی پس از تولید» (Post-hoc filtering) به «نظارت داخلی و در لحظه» (Real-time internal monitoring) منتقل میشود. با این حال، خبرگانی مانند هون پیشنهاد میکنند این نتیجه را تنها یک قدم در مسیر طولانیتر به سوی درک کلی فناوری بدانیم، نه یک راهکار مستقل و نهایی.
این موضوع نشان میدهد که ماهیت «جعبه سیاه» LLMها شاید نه با سادهتر کردن آنها، بلکه با ساخت لنزهای بهتر برای دیدن پیچیدگیهای موجود حل شود. حالا باید منتظر ماند و دید آیا Anthropic نظارت J-space را در نسخههای تجاری و تولیدی Claude ادغام میکند تا از ریسکهای امنیت سایبری جهانی که پیشتر هشدار داده بود، جلوگیری کند.
گام بعدی شما
- اگر توسعهدهنده هستید، منتظر انتشار ابزارهای مشابه J-lens برای مدلهای متنباز بمانید تا بتوانید لایههای تصمیمگیری مدل خود را تحلیل کنید.
- در پرامپتهای پیچیده، از مدل بخواهید «گامبهگام» فکر کند تا بخشی از تفکرات J-space را به فضای خروجی (Chain-of-Thought) منتقل کند.
- اخبار مربوط به ادغام این سیستمهای نظارتی در لایههای ایمنی Claude 3.5 را دنبال کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو