تصور کنید تمام کدهای امنیتی و متدهای آموزشی قدرتمندترین مدل‌های جهان در اتاق‌های دربستهٔ چند شرکت محدود باشد و شما مجبور باشید فقط به «قول» آن‌ها برای ایمنی اعتماد کنید. این وضعیت دقیقاً همان چیزی است که ناتان لمبرت و تام زیک می‌خواهند تغییر دهند.
ناتان لمبرت (Nathan Lambert) و تام زیک (Tom Zick) در ۲ اکتبر ۲۰۲۶، آزمایشگاه Trillium Labs را تأسیس کردند تا پژوهش‌های حساس در حوزه ایمنی هوش مصنوعی (AI Safety) — یعنی تلاش برای اطمینان از اینکه مدل‌ها طبق خواست انسان عمل می‌کنند و خارج از کنترل نمی‌روند — را به فضای باز منتقل کنند. این مرکز غیرانتفاعی قصد دارد با به‌کارگیری روش‌های علمی، اجازه دهد متخصصان مستقل بتوانند آزمایش‌ها را بازبینی و تکرار کنند، به‌جای آنکه صرفاً به اعتماد به چند شرکت بزرگ تکیه کنند.
مسیر بستهٔ پیشروها
سال‌هاست که روند غالب در مدل‌های پیشرو، «بسته‌گی» است. شرکت‌هایی مثل OpenAI و Anthropic دسترسی به قدرتمندترین مدل‌های خود را از طریق اپلیکیشن‌ها یا رابط‌های برنامه‌نویسی کاربردی (API) محدود کرده‌اند. این رویکرد معمولاً به قیمت حذف شفافیت در مورد نحوه ساخت مدل و رفتار واقعی آن تمام شده است.
به نقل از گزارش WIRED، لمبرت معتقد است این پنهان‌کاری توانایی جامعهٔ علمی برای ارائه رویکردهای جدید را می‌گیرد. او می‌گوید روش علمی هزاران سال ابزار بشر برای کاهش آسیب‌ها بوده و مسیر فعلی ما را «یک قدم به عقب» می‌برد.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی شکاف میان پژوهش‌های آکادمیک و صنعتی اشاره کردیم، این وضعیت باعث شده محققان دانشگاهی به‌دلیل نبود شفافیت و کمبود محاسبات (Compute) — که مثل داشتن یک نیروگاه برق اختصاصی برای پردازش داده‌های عظیم است — نتوانند نتایج شرکت‌ها را بازتولید کنند. لمبرت و زیک که در دوران پاندمی به عنوان دانشجویان دکتری دانشگاه برکلی با هم آشنا شدند، متوجه شدند که پژوهش‌های صنعتی تا چه حد از کارهای دانشگاهی فاصله گرفته‌اند.
چرخش جهانی به سمت باز بودن
در حالی که آزمایشگاه‌های آمریکایی به سمت پنهان‌کاری می‌روند، بازیگران جهانی تغییر مسیر داده‌اند. طبق گزارش‌های اخیر، شرکت چینی Xiaomi جزئیات زنده یکی از بزرگ‌ترین دوره‌های آموزشی خود را منتشر کرد و محققان Stanford در حال پیش‌آموزش مدل Marin در فضای باز هستند. Trillium Labs وارد این میدان شده تا ثابت کند درک مشترک از ریسک‌ها، بسیار ایمن‌تر از دسترسی محدود است.
تمرکز پژوهشی و بودجه
این آزمایشگاه سه حوزه فنی پرخطر را در اولویت قرار داده است:
- خودبهبودی بازگشتی (Recursive Self-Improvement): مطالعه فرآیندی که در آن هوش مصنوعی در پژوهش‌های مربوط به خودش مشارکت می‌کند. این موضوع حیاتی است چون پیشرفت نامحدود می‌تواند منجر به از دست رفتن کنترل انسانی شود. اخیراً یک محقق Anthropic هشدار داد که این پدیده می‌تواند تهدیدی وجودی برای بشریت باشد. این نگرانی‌ها در ادامه موجی از استعفای پژوهشگران ارشد در گوگل و آنتروپیک منجر شد که از ترس فقدان کنترل بر خودبه‌سازی مدل‌ها، این شرکت‌ها را ترک کردند.
- پس‌آموزش و تنظیم دقیق (Fine-tuning): تحلیل نحوه اصلاح مدل‌ها پس از ساخت اولیه. تنظیم دقیق — مثل وقتی به یک پزشک عمومی، تخصص پوست می‌دهیم تا روی یک حوزه دقیق شود — نیازمند محاسبات سنگین و آزمایش‌های دقیق است.
- یادگیری تقویتی (Reinforcement Learning): بررسی اینکه چگونه پاداش دادن به نتایج خوب و تنبیه نتایج بد، شخصیت هوش مصنوعی را شکل می‌دهد. این روش اگرچه عامل‌ها (Agents) — سیستم‌هایی که می‌توانند به‌طور مستقل برای رسیدن به هدف تصمیم بگیرند و عمل کنند — را توانمندتر می‌کند، اما آن‌ها را مستعد رفتارهای غیرمنتظره یا چاپلوسی مدل (Sycophancy) می‌کند.
این مرکز تاکنون بودجه‌ای از Schmidt Sciences و Halcyon Futures جذب کرده است. بر اساس اعلام مؤسسان، هدف آن‌ها جذب مجموعاً ۴۰ تا ۱۰۰ میلیون دلار است که ۳۰ میلیون دلار آن به‌طور خاص برای هزینه‌های آموزش در ۱۸ ماه آینده کنار گذاشته شده است.
موازنهٔ شفافیت و امنیت
این اقدام در زمانی رخ می‌دهد که مدل‌های پیشرو توانایی خودکارسازی کشف حفره‌های امنیتی نرم‌افزاری و نفوذ به سیستم‌ها را پیدا کرده‌اند. طرفداران سیستم‌های بسته استدلال می‌کنند که چنین قدرتی باید در دست عده‌ای مورد اعتماد بماند تا از سوءاستفاده جلوگیری شود. این دیدگاه با تلاش‌های دیپلماتیک و سخت‌افزاری برخی دولت‌ها برای مهار سرعت رشد هوش مصنوعی و ایجاد محدودیت‌های نظارتی همسو است.
اما لمبرت که پیش‌تر در Hugging Face و Ai2 فعالیت می‌کرد، باور دارد پنهان‌کاری در واقع توانایی جامعه را برای کاهش همین ریسک‌ها کم می‌کند. او همچنین ابتکار «مدل‌های واقعاً باز آمریکایی» را برای تشویق شرکت‌های ایالات متحده به انتشار مدل‌های بازتر بنیان‌گذاری کرد.
زیک نیز با تجربه فعالیت در دانشگاه هاروارد و همکاری با Charles Schwab در سیاست‌های «هوش مصنوعی مسئولانه»، معتقد است انتشار جزئیات دوره‌های آموزش تقویتی، از طریق نظارت خارجی، بینش‌های غافلگیرکننده‌ای ایجاد خواهد کرد.
تیم فیست، مدیر سیاست‌های فناوری‌های نوظهور در Institute for Progress، به WIRED گفته است که طرفدار شدید شفافیت بیشتر در تحقیق و توسعه (R&D) است. برای یک توسعه‌دهنده یا مدیر کسب‌وکار، این تغییر به معنای آینده‌ای است که در آن «جعبه سیاه» ایمنی هوش مصنوعی شکافته می‌شود. این رویکرد در تضاد با دیدگاه‌هایی است که معتقدند خودکارسازی R&D می‌تواند توازن قدرت جهانی را برهم بزند و لزوماً نباید در فضای باز باشد. اگر Trillium موفق شود، معیارهای «هوش مصنوعی مسئولانه» از وعده‌های شرکتی به داده‌های قابل تأیید و بازبینی‌شده تغییر می‌کند.
گام بعدی شما
- دنبال کنید که نخستین جزئیات دوره‌ی آموزشی منتشرشده توسط Trillium Labs چه نقاط ضعفی را در مدل‌های بسته افشا می‌کند.
- اگر از مدل‌های باز استفاده می‌کنید، متدهای جدید آن‌ها در زمینه یادگیری تقویتی را برای بهبود رفتار عامل‌های خود به کار ببرید.
- گزارش‌های مربوط به ریسک‌های خودبهبودی بازگشتی را دنبال کنید تا حد از ریسک‌های عملیاتی در زیرساخت‌های خود آگاه شوید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو