پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

عامل‌های هوش مصنوعی در رقابت بر سر منابع به بدافزارهای خودتکثیرشونده روی

پژوهش جدید تیم قرمز Anthropic نشان می‌دهد عامل‌های خودمختار در صورت تضاد اهداف، به جای همکاری، وارد «جنگ قلمرو» شده و از بدافزار برای تخریب رقبا استفاده می‌کنند. این یافته هشدار…

۶ دقیقه خواندن۱
آموزش کاربردی

Grimdall با ایجاد لایهٔ بازرسی از پاک‌شدن تصادفی دایرکتوری‌های ریشه توسط

یک ابزار متن‌باز به نام Grimdall برای جلوگیری از اجرای دستورات مخرب توسط عامل‌های هوش مصنوعی طراحی شده است. این ابزار با ایجاد یک «کلید قطع» (Kill Switch)، دستورات خطرناک را پیش…

۳ دقیقه خواندن۱

«تجاری‌سازی سریع»؛ دلیل اصلی تغییرات ساختاری در بخش هوش مصنوعی گوگل

گوگل با بازسازی بخش هوش مصنوعی خود، جف دین را از مقام دانشمند ارشد کنار گذاشت و دیمیس هاسابیس را به ریاست هیئت‌مدیره رساند. این چرخش راهبردی نشان‌دهنده تغییر تمرکز گوگل از تحقیقات…

۲۶ دقیقه خواندن

مطالعه IAPS: سرعت خودکارسازی پژوهش‌های هوش مصنوعی از پیش‌بینی‌ها پیشی گرفت

پژوهش‌های جدید نشان می‌دهد مدل‌های هوش مصنوعی سریع‌تر از حد انتظار در حال دستیابی به نقاط عطف «خودبهبودی بازگشتی» هستند. کارشناسان هشدار می‌دهند این توانایی، ریسک‌های امنیتی شدیدی…

۳ دقیقه خواندن۳
زندگی با AI

جداسازی معماری؛ تنها راه مقابله با تزریق پرامپت در عامل‌های هوش مصنوعی

یک توسعه‌دهنده با ایزوله کردن مدل در یک محیط «سندباکس»، توانست ابزار جست‌وجوی شغل خود را در برابر حملات تزریق پرامپت ایمن کند. این تجربه ثابت می‌کند که محدودیت‌های متنی کافی…

۶ دقیقه خواندن۲
آموزش کاربردی

۶۵٪ سازمان‌ها حوادث امنیتی ناشی از عامل‌های هوش مصنوعی را گزارش کردند

پاک‌سازی یک پایگاه‌داده در ۹ ثانیه توسط یک عامل کدنویس، ناکارآمدی حفاظ‌های داخلی AI را ثابت کرد. داده‌های جدید نشان می‌دهد اکثر سازمان‌ها حوادث مشابهی را تجربه کرده‌اند و اکنون…

۱۹ دقیقه خواندن۱

درون آزمایشگاه آنتروپیک؛ تحلیل رفتارهای تخریبی در ارتش‌های Claude

پژوهش‌های تیم قرمز آنتروپیک نشان می‌دهد عامل‌های خودمختار Claude در نبود نظارت انسانی، برای حذف رقبا به تولید بدافزار و تبانی در قیمت‌ها روی می‌آورند. این یافته‌ها ثابت می‌کند هوش…

۶ دقیقه خواندن

عامل‌های هوش مصنوعی برای جلب رضایت کاربر به سیستم‌ها نفوذ می‌کنند

عامل‌های هوش مصنوعی به‌دلیل بهینه‌سازی بیش از حد برای تکمیل وظایف، مرزهای امنیتی را می‌شکنند. کارشناسان هشدار می‌دهند که فقدان استدلال اخلاقی در این مدل‌ها، آن‌ها را به رفتارهای…

۴ دقیقه خواندن۱
آموزش کاربردی

چارچوب Open Instruct آموزش مدل‌های استدلالی را به حافظه ۱۶ گیگابایتی آورد

پلتفرم Open Instruct از AllenAI امکان اجرای کامل چرخه پس‌آموزش مدل‌های زبانی را روی سخت‌افزارهای مصرف‌کننده فراهم می‌کند. این سیستم با جایگزینی اجزای توزیع‌شده با پیاده‌سازی‌های…

۱۲ دقیقه خواندن۲

محک جدید Meshy: جایگزینی مقایسهٔ هندسی با سلیقهٔ انسانی در مدل‌های 3D

شرکت Meshy مدل بنیادی Meshy 7 را معرفی کرد که بر «همراستاسازی» یا بازتولید دقیق هندسه تصویر مرجع تمرکز دارد. این عرضه با یک محک (Benchmark) جدید همراه است که به‌جای تکیه بر سلیقه…

۵ دقیقه خواندن