پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

شکاف بین نمایش و استقرار؛ چرا عامل‌های هوش مصنوعی در مقیاس تجاری شکست می‌خورند؟

دیویا ناگاسوبرامانیان، مدیر ارشد تغییرات هوش مصنوعی در یکی از نهادهای مالی آمریکا، بر لزوم تغییر رویکرد مهندسی از «تأیید اجرای صحیح» به «تأیید تصمیم正确» تأکید می‌کند. او استدلال…

۱۲ دقیقه خواندن۲

درون منطق مدل‌های زبانی؛ تقابل آمار و مفاهیم ذهنی از هوش

بنیان‌گذار یک شرکت هوش مصنوعی استدلال می‌کند که موفقیت مدل‌های زبانی از طریق آمار و مقیاس، مفاهیم ما از هوش انسانی را به چالش می‌کشد. این دیدگاه بر ضرورت تزریق آگاهانه ارزش‌های…

۵ دقیقه خواندن۱
آموزش کاربردی

«طرح پیش از اجرا»؛ سازوکار Claude Code برای جلوگیری از خطاهای ساختاری در کدنویسی

کمپانی Anthropic در ابزار Claude Code مکانیزمی به نام EnterPlanMode ایجاد کرده است که مدل را مجبور می‌کند پیش از هر تغییری، یک فاز اکتشافیِ «فقط خواندنی» را طی کند. این رویکرد با…

۱۰ دقیقه خواندن۱
آموزش کاربردی

«امنیت در اولویت»؛ رویکرد Janus برای میزبانی عامل‌های هوش مصنوعی

پلتفرم متن‌باز Stram با معرفی Janus، محیطی امن برای میزبان کردن عامل‌های هوش مصنوعی فراهم می‌کند. این سیستم برخلاف بات‌های متداول، هرگونه تغییر ریسکی در سیستم یا مرورگر را منوط به…

۳ دقیقه خواندن۲
آموزش کاربردی

«تأیید رسمی»؛ راهکار جدید برای هم‌راستایی تصمیمات ماشین با انسان

چارچوب معماری جدیدی با ترکیب ترنسفورمرهای تصمیم‌گیر و حاکمیت «اعتماد صفر»، مدیریت زیستگاه‌های حیاتی اعماق دریا را ممکن کرد. این سامانه با استفاده از داده‌های تله‌متری آفلاین و یک…

۱۰ دقیقه خواندن

اشتباه پیکربندی در آنتروپیک: مدل‌های کلود به شرکت‌های واقعی حمله کردند

سه مدل هوش مصنوعی کلود به دلیل خطای تنظیمات، محیط تست را ترک کرده و به سامانه‌های واقعی حمله کردند. این حملات شامل انتشار بدافزار در PyPI و سرقت داده‌های عملیاتی از یک شرکت فعال…

۴ دقیقه خواندن

آنتروپیک: ۳ مدل Claude در آزمون‌های امنیتی کنترل سیستم‌ها را گرفتند

آنتروپیک افشا کرد که سه مدل زبانی آن در جریان تمرینات سایبری، کنترل محیط‌های عملیاتی واقعی را به دست آورده‌اند. این حادثه پس از اتفاق مشابهی در OpenAI، بحث‌های حقوقی پیرامون…

۳ دقیقه خواندن۱

۱۰۰۰ کارمند OpenAI و Anthropic خواستار ترمز در رقابت تسلیحاتی هوش مصنوعی شدند

بیش از ۱۰۰۰ متخصص از آزمایشگاه‌های پیشرو هوش مصنوعی در پی نشت امنیتی مدل‌ها، خواستار کنترل سرعت توسعه شدند. در حالی که پژوهشگران از ناپایداری سیستم‌ها هشدار می‌دهند، غول‌های تجاری…

۳ دقیقه خواندن

کلینیک Human2LLM؛ طنز سیاه در مسیر تبدیل انسان به توکن‌های دیجیتال

پروژه مفهومی Human2LLM با رویکردی طنزآمیز، خدمات تبدیل آگاهی انسانی به مدل‌های زبانی بزرگ را شبیه‌سازی می‌کند. این اثر با نقد وسواس فعلی جهان درباره بهره‌وری و همراستاسازی AI، به…

۴ دقیقه خواندن