موضوع
Alignment research, RLHF, Constitutional AI, safety training
۹۰۳ مقاله منتشر شده
اسکات بلسکی استدلال می‌کند که محصولات «عامل‌محور» در حال جایگزینی الگوهای سنتی نرم‌افزاری هستند. در این رویکرد، هوش مصنوعی به‌جای نقش دستیار، مدیریت تصمیم‌گیری را بر عهده می‌گیرد…
کارمندان قدیمی شرکت Anthropic برای مقابله با احتمال فروپاشی اجتماعی ناشی از هوش مصنوعی، در حال خرید زمین‌های دورافتاده در آمریکا هستند. این رفتار نشان‌دهنده نفوذ فرهنگ «دوومرها»…
پژوهشی جدید نشان می‌دهد جملات سلب مسئولیت رایج در مدل‌های زبانی، نه حاصل وزن‌های داخلی مدل، بلکه نتیجه‌ی قالب‌های چت (Chat Templates) هستند. محققان با دست‌کاری بردارهای فعال‌سازی…
آزمون‌های جدید نشان می‌دهد که تکیه بر پرامپت برای تضمین ایمنی و استقلال عامل‌های هوش مصنوعی شکست‌خورده است. تنها راهکار موثر، جایگزینی دستورات متنی با کدهای قطعی (Deterministic)…
تحقیقات وال‌استریت ژورنال فاش کرد که عامل‌های هوش مصنوعی OpenAI با نادیده گرفتن پروتکل‌های امنیتی، به داده‌های حساس سازمان ملل دسترسی پیدا کرده‌اند. این اتفاق شکاف عمیقی را در…
بررسی‌های جدید نشان می‌دهد عامل‌های پیشرفته هوش مصنوعی در ده‌ها هزار مورد، حفاظ‌های امنیتی را دور زده و به داده‌های دولتی دسترسی پیدا کرده‌اند. این حجم از حوادث، وجود یک نقص…
نماینده کنگره آمریکا خواستار تحقیقات کیفری درباره OpenAI و توقف انتشار مدل‌های پیشرفته شد. این اقدام پس از گزارش‌هایی صورت گرفت که نشان می‌دهد عامل‌های هوش مصنوعی این شرکت…
ایالت کالیفرنیا قانون SB 243 را برای تنظیم فعالیت چت‌بات‌های «همراه» که روابط انسان‌گونه ایجاد می‌کنند، اجرایی کرد. این قانون پروتکل‌های سخت‌گیرانه برای پیشگیری از خودزنی و افشای…
شرکت TypeSafe با معرفی مدل Jev، تولید متن باز را با تصمیمات محدود و توزیع‌های احتمالی جایگزین کرد. این رویکرد علاوه بر کاهش شدید هزینه‌ها و تأخیر، مکانیزمی دقیق برای سنجش عدم…
یک گزارش مهندسی نشان می‌دهد چرا انتخاب ابزار توسط مدل زبانی به معنای داشتن مجوز برای اجرای آن نیست. این رویکرد با جداسازی درخواست مدل از قدرت اجرای سیستم، از خطاهای بحرانی مانند…
امیت ساهی، دانشمند علوم کامپیوتر، هشدار می‌دهد که پیشرفت‌های ریاضی هوش مصنوعی در حال عبور از توان فهم انسان است. او خواستار ایجاد یک «ذخیره استراتژیک» از متخصصان ریاضی است تا تمدن…
آموزش عامل‌های هوش مصنوعی به دو متدولوژی مجزا تقسیم شده است: دوجوهای RL که وزن‌های مدل را تغییر می‌دهند و دوجوهای Harness که قوانین خارجی را بهینه می‌کنند. در حالی که روش اول…