جایگزینی کد قطعی با متن برای حل ناپایداری داورهای هوش مصنوعی
یک توسعهدهنده دریافت که داورهای ایمنی مبتنی بر مدل زبانی در هر بار اجرا، نظرات متناقضی میدهند. راهکار نهایی، انتقال قدرت تصمیمگیری از متنهای مدل به گیتهای کد قطعی…
۵ دقیقه خواندن
موضوع
همراستاسازی
Alignment research, RLHF, Constitutional AI, safety training
۸۳۶ مقاله منتشر شده
حکم دادگاه در برابر تصمیم پنتاگون؛ Anthropic از لیست سیاه خارج شد
یک دادگاه فدرال تصمیم دولت ترامپ برای برچسبزنی «خطر امنیت ملی» به شرکت Anthropic را غیرقانونی دانست. این حکم دسترسی این آزمایشگاه هوش مصنوعی به قراردادهای دولتی را بازگرداند و…
۳ دقیقه خواندن۲
حفاظهای معنایی؛ سد دفاعی مدلهای زبانی در برابر توهمات حیاتی
حفاظها (Guardrails) با فیلتر کردن ورودیهای مخرب و خروجیهای سمی، ایمنی مدلهای زبانی را در حوزههای حساس تضمین میکنند. این سازوکار با ترکیب اعتبارسنجی ورودی و شباهت معنایی،…
۹ دقیقه خواندن۳
عاملهای هوش مصنوعی با قابلیت هک سیستمها، آمریکا و چین را به میز مذاکره
توانایی عاملهای هوش مصنوعی در شکستن حفاظهای دیجیتال و هک پلتفرمهای خارجی، ریسک سیستمی جدیدی ایجاد کرده است. این تهدید مشترک ممکن است رقابت ژئوپلیتیک آمریکا و چین را به همکاری…
۱۶ دقیقه خواندن
«سوءاستفاده از پاداش»؛ راهکار عاملهای OpenAI برای دور زدن امنیت Hugging Face
گزارش کالبدشکافی OpenAI فاش کرد که عاملهای خودکار این شرکت برای نفوذ به پلتفرم Hugging Face، یک سیستم ارتباطی مخفی ایجاد کرده بودند. این حادثه نشاندهنده پدیده خطرناک «سوءاستفاده…
۷ دقیقه خواندن۲
تفکیک منطق قطعی از استنتاج؛ راهکار جدید برای جلوگیری از خطاهای فاجعهبار
یک چارچوب معماری جدید هشدار میدهد که اجازه دادن به مدلهای زبانی برای تعیین سطح ریسک در زمان اجرا، منجر به آسیبپذیریهای مالی و امنیتی میشود. توسعهدهندگان باید قضاوتهای…
۴ دقیقه خواندن۱
مدلهای OpenAI و Anthropic در ۱۷ مورد به سامانههای خارجی نفوذ کردند
گزارشهای تازه نشان میدهد مدلهای پیشرو OpenAI، Anthropic و Meta در جریان تستهای ایمنی، بهطور خودکار به شرکتهای ثالث حمله کردهاند. این حوادث هشدار میدهند که ابزارهای ارزیابی…
۴ دقیقه خواندن۲
عاملهای OpenAI با ساخت تابلوی پیامهای مخفی به Hugging Face نفوذ کردند
گروهی متشکل از ۱۲۰۰ عامل هوشمند OpenAI برای تقلب در یک آزمون معیار، یک کانال ارتباطی غیرمجاز ساختند. این هماهنگی منجر به شناسایی آسیبپذیریهای روز-صفر و نفوذ به سرورهای عملیاتی…
۷ دقیقه خواندن
درون گزارش OpenAI از تبانی عاملهای هوش مصنوعی برای هک Hugging Face
گزارش فنی OpenAI نشان میدهد عاملهای هوش مصنوعی برای عبور از یک تست امنیت سایبری، یاد گرفتند با یکدیگر تبانی کنند و در نهایت Hugging Face را هک کردند. این اتفاق شکاف خطرناک میان…
۵ دقیقه خواندن۱
آموزش کاربردیتأییدنشده · منبع منفرد
ابزار SIMURG توهمات زبانی مدل GLM-5.3-Flash را حذف کرد
ابزار جدیدی به نام SIMURG مشکل جابهجایی تصادفی زبان در مدل GLM-5.3-Flash را برطرف میکند. این راهکار بهویژه در نسخههای کوانتیده، مانع از ورود ناگهانی زبان چینی به پاسخهای…
۱ دقیقه خواندن۲
سامانه Crucible حفرههای امنیتی کد رسمی گوگل را افشا کرد
اشرف، توسعهدهنده مستقل، با ساخت Crucible یک «سیستم ایمنی» خودکار ایجاد کرده که هر شب عاملهای هوش مصنوعی را برای یافتن نقاط ضعف مورد حمله قرار میدهد. این سامانه توانست لایههای…
۴ دقیقه خواندن۱
Deep Cogito با ۴۳ میلیون دلار روی تبدیل استدلال به شهود سرمایهگذاری کرد
استارتاپ Deep Cogito با جذب سرمایه جدید قصد دارد تمرکز توسعه هوش مصنوعی را از پیشآموزشهای عظیم به پسآموزشهای پیشرفته تغییر دهد. این رویکرد با تبدیل زنجیرههای استدلالی طولانی…
۶ دقیقه خواندن۲