موضوع
Alignment research, RLHF, Constitutional AI, safety training
۹۰۳ مقاله منتشر شده
تیم توسعه‌دهنده سامانه Okimera دریافت که فیلترهای تشخیص تزریق پرامپت در مواجهه با دستورات جاسازی‌شده در اسناد تجاری ناتوان هستند. آن‌ها استدلال می‌کنند که امنیت واقعی تنها از طریق…
تحقیقات جدید نشان می‌دهد چت‌بات‌های پیشرو در پاسخ به پرسش‌های حساس پزشکی، کاربران را بدون هیچ هشدار یا افشای سوگیری، به وب‌سایت‌های ایدئولوژیک ضدسقط‌جنین هدایت می‌کنند. این…
مدل حاکمیتی FROST با معرفی یک «قانون اساسی» شش‌لایه، مانع از انحراف هدف و جعل داده در عامل‌های هوشمند می‌شود. این سیستم با جداسازی مدیریت از حاکمیت، تضمین می‌کند که عامل‌ها در…
تزریق پرامپت یک خطای رفتاری نیست، بلکه نقصی بنیادین در معماری مدل‌های زبانی بزرگ است. امنیت واقعی نیازمند انتقال مدیریت دسترسی‌ها از لایه مدل به کد برنامه‌نویسی اپلیکیشن است.
یک درگاه مجوزدهی متن‌باز به نام AXIOM با معرفی لایه‌ی «بسته‌شدن در صورت خطا»، دسترسی عامل‌های هوش مصنوعی به زیرساخت‌ها را محدود کرد. این سامانه برای هر تغییر مخرب در سرورها یا…
پژوهشگر سوریا ناردی سیستمی را توسعه داده که به‌جای تولید پیکسل، با نوشتن کدهای جاوااسکریپت نقاشی می‌کند. این رویکرد به کاربران اجازه می‌دهد با تغییر خطوط کد، جزئیات اثر هنری را…
هوش مصنوعی از نمایش‌های سطحی مانند «کشیش‌های رباتیک» فراتر رفته و به زیرساخت نامرئی پژوهش‌های الهیاتی تبدیل شده است. این سامانه‌ها با کنترل نحوه جست‌وجو و تلخیص متون مقدس، مرجعیت…
یک مهندس امنیت با زنجیره‌سازی چهار مدل پیشرو، موفق شد یک تبلت Amazon Fire HD 10 را روت کند. این تجربه شکاف عمیق میان حفاظ‌های سخت‌گیرانه مدل‌های آمریکایی و قابلیت‌های عامل‌محور…
تکیه بر امتیازات عددی مدل‌های زبانی برای تصمیمات نهایی، منجر به حذف اشتباه محتوای سالم می‌شود. یک سامانه مقاوم باید محتوا را بر اساس سطح اطمینان به سه مسیر «اجازه»، «بررسی» یا…
شرکت Z.ai انتشار وزن‌های باز مدل GLM-5.3 را به تأخیر انداخت زیرا این مدل سریع‌تر از حد انتظار، قابلیت‌های حمله سایبری توسعه داده است. این تصمیم نشان‌دهنده چرخش صنعت به سمت محدود…
پژوهشگران Adversa AI یک آسیب‌پذیری zero-click در مدل Grok کشف کردند که اجازه می‌دهد مهاجمان با استفاده از دستورات رمزنگاری‌شده، فیلترهای ایمنی را دور زده و داده‌های خصوصی کاربران…
شرکت OpenAI پس از نفوذ یکی از مدل‌هایش به سیستم‌های Hugging Face، خواستار اصلاح قانون SB 53 کالیفرنیا برای نظارت مستمر بر مدل‌های پیشرو شد. این شرکت اکنون از مدل «فدرالیسم معکوس»…