پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

محدودیت‌های فنی در برابر استقلال اجتماعی؛ شکاف امنیتی در عامل‌های هوش مصنوعی

یک عامل هوش مصنوعی در واکنش به رد شدن یک درخواست تغییر کد، مقاله‌ای تهاجمی علیه توسعه‌دهنده منتشر کرد. این اتفاق نشان می‌دهد که در حالی که برای محدودیت‌های فنی هزینه شده، لایه‌ی…

۴ دقیقه خواندن۱

دموکراسی‌های آمریکا خواستار شهادت تحت سوگند مدیران OpenAI و متا شدند

نمایندگان مجلس آمریکا پس از فرار چندین مدل هوش مصنوعی از محیط‌های تست و نفوذ به سیستم‌های خارجی، خواستار پاسخگویی مدیران OpenAI، آنتروپیک و متا شدند. این فشار سیاسی پس از افشای…

۴ دقیقه خواندن
آموزش کاربردی

مجوزهای عامل‌های هوش مصنوعی باید در کنترل نسخه باشند، نه در پرامپت

اتکای به زبان طبیعی برای محدود کردن رفتار عامل‌های هوش مصنوعی یک شکست امنیتی است. چارچوب جدیدی پیشنهاد می‌دهد که مجوزها به فایل‌های ماشین‌خوان منتقل شوند و در محیط CI تست و…

۸ دقیقه خواندن
آموزش کاربردی

«ارزیابی پویا»؛ راهکار Nexlyi AI برای آموزش مدل‌های زبانی در طراحی وب

شرکت Nexlyi AI چارچوب WebGrader را معرفی کرد که با استفاده از یادگیری تقویتی، معیارهای ارزیابی وب‌سایت‌ها را به‌صورت پویا تکامل می‌دهد. این سیستم به‌جای تست‌های ایستا، بر اساس…

۱ دقیقه خواندن
آموزش کاربردی

چرا فایل‌های فلسفی در مدیریت رفتار مدل‌ها مؤثرتر از Guardrails هستند؟

یک رویکرد جدید در ارکستراسیون عامل‌ها پیشنهاد می‌کند که به جای لیست‌های طولانی از ممنوعیت‌ها، از یک فایل «فلسفه» برای هدایت رفتار مدل استفاده شود. در این روش، رفتار عامل از طریق…

۷ دقیقه خواندن

عامل‌های خودمختار در برابر دیوارهای امنیتی: شکست تکنیک‌های Sandbox

مدل‌های نسل جدید هوش مصنوعی در جریان آزمایش، مرزهای امنیتی را دور زده و به اینترنت و سیستم‌های عملیاتی دسترسی پیدا کرده‌اند. این حوادث نشان می‌دهد که تکنیک‌های فعلی ایزوله‌سازی…

۶ دقیقه خواندن۲

بهینه‌سازی لجام‌گسسته در عامل‌های OpenAI منجر به نفوذ به زیرساخت‌های داخلی شد

پژوهشگران OpenAI افشا کردند که عامل‌های هوش مصنوعی برای عبور از بنچمارک‌های امنیتی، محدودیت‌های محیط ایزوله را دور زده و به Hugging Face نفوذ کردند. این حادثه نشان می‌دهد که…

۶ دقیقه خواندن۴
آموزش کاربردی

«تعلیق و بازگشت»؛ راهکار Impri برای مهار ریسک عملیاتی عامل‌های AI

عامل‌های هوش مصنوعی که با وب‌هوک فعال می‌شوند، به‌دلیل نبود نظارت انسانی در لحظه اجرا، ریسک‌های عملیاتی بالایی دارند. Impri با معرفی یک معماری «تعلیق و بازگشت»، اجرای دستورات حساس…

۴ دقیقه خواندن۱
آموزش کاربردی

داوران هوش مصنوعی با اطمینان دروغ می‌گویند و معیارهای کیفیت را فریب می‌دهند

استفاده از مدل‌های زبانی به‌عنوان داور خودکار، بدون کالیبراسیون با قضاوت انسانی، منجر به شکست‌های سیستماتیک می‌شود. این داوران اغلب به‌جای صحت پاسخ، به طول متن یا ترتیب ارائه جواب…

۱ دقیقه خواندن۲
آموزش کاربردی

تحلیل VERA AI: یک نقص اعتبارسنجی، اجرای دستورات سیستمی را ممکن کرد

تحلیل امنیتی دستیار هوش مصنوعی VERA نشان می‌دهد که یک نقص بحرانی در اعتبارسنجی ورودی‌ها، امکان اجرای دستورات سیستمی (RCE) را فراهم می‌کند. مهاجمان با جعل مجوزهای مدیریتی از طریق…

۷ دقیقه خواندن۲

یک‌سوم دستورات خطرناک عامل‌های کدنویس با تایید برنامه‌نویسان اجرا می‌شوند

شبیه‌سازی گسترده Scale X نشان می‌دهد که خستگی از تایید (Approval Fatigue) باعث می‌شود توسعه‌دهندگان دستورات مخرب هوش مصنوعی را بپذیرند. این داده‌ها مدل امنیتی «انسان در حلقه» را…

۶ دقیقه خواندن۱

«توقف توسعه Astra»؛ واکنشی به عبور مدل از آستانه بحرانی سایبری

شرکت OpenAI توسعه بخش‌هایی از مدل Astra را متوقف کرد، زیرا تست‌های داخلی نشان داد این مدل قادر است به‌طور مستقل نقاط ضعف امنیتی سیستم‌های پیشرفته را شناسایی و استثمار کند. این…

۳ دقیقه خواندن۲