پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۸۳۴ مقاله منتشر شده

چگونه PRISM دستورات پنهان عامل‌های هوش مصنوعی را از دل فعال‌سازها بیرون می‌کشد؟

چگونه PRISM دستورات پنهان عامل‌های هوش مصنوعی را از دل فعال‌سازها بیرون می‌کشد؟

محققان ابزاری به نام PRISM را معرفی کرده‌اند که می‌تواند وضعیت‌های پنهان مدل‌های زبانی را به لیست‌های خوانای دستورات تبدیل کند. این فناوری امکان شناسایی اهداف مخفی و تزریق‌های…

۱ دقیقه خواندن
MedSci Skills: شناسایی ۱۰۰٪ خطاهای پزشکی با جایگزینی LLM با گیت‌های قطعی

MedSci Skills: شناسایی ۱۰۰٪ خطاهای پزشکی با جایگزینی LLM با گیت‌های قطعی

معماری جدید MedSci Skills با جایگزینی خود-ارزیابی مدل‌های زبانی با گیت‌های تأیید قطعی، توانست تمام خطاهای تزریق‌شده در متون بالینی را شناسایی کند. در حالی که مدل‌های زبانی معمولی…

۲ دقیقه خواندن
مدل انتخاب پرسونا: چگونه آموزش ایمنی محدود، همراستاسازی جامع را تحریک می‌کند؟

مدل انتخاب پرسونا: چگونه آموزش ایمنی محدود، همراستاسازی جامع را تحریک می‌کند؟

پژوهشی جدید نشان می‌دهد تنظیم دقیق مدل‌های زبانی روی تسک‌های ایمنی محدود، می‌تواند منجر به همراستاسازی اخلاقی در دسته‌های کلی شود. این یافته مدل «انتخاب پرسونا» را تأیید می‌کند و…

۲ دقیقه خواندن۱
AliyunConsoleAgent: دستیابی به عملکرد مدل‌های پیشرو با ۹۲٪ هزینه کمتر

AliyunConsoleAgent: دستیابی به عملکرد مدل‌های پیشرو با ۹۲٪ هزینه کمتر

یک چارچوب آموزشی جدید با بهره‌گیری از تقطیر دانش و بهینه‌سازی GRPO، مدلی با ۳۲ میلیارد پارامتر را به سطح مدل‌های تجاری پیشرو در اتوماسیون کنسول‌های ابری رسانده است. این سیستم ضمن…

۲ دقیقه خواندن
حل شکاف میان برنامه‌ریز و اجراکننده در LLMها با رویکرد بهینه‌سازی مشترک CAHL

حل شکاف میان برنامه‌ریز و اجراکننده در LLMها با رویکرد بهینه‌سازی مشترک CAHL

رویکرد جدیدی به نام CAHL از طریق یادگیری تقویت‌شده با پاداش‌های قابل تأیید، برنامه‌ریز و اجراکننده مدل‌های زبانی را به‌طور مشترک بهینه می‌کند. این روش همراستاسازی ساختاری را که…

۱ دقیقه خواندن
VisShield و گذار از تاری تصاویر به حذف هدفمند داده‌های حساس در مدل‌های بینایی

VisShield و گذار از تاری تصاویر به حذف هدفمند داده‌های حساس در مدل‌های بینایی

پژوهشگران با معرفی VisShield و مجموعه‌داده‌ی OPTIC، چارچوبی برای شناسایی و ماسک‌گذاری دقیق اطلاعات خصوصی در مدل‌های بینایی-زبانی (VLMs) ارائه کردند. این رویکرد ریسک نشت داده‌های…

۱ دقیقه خواندن
RePO: جایگزینی بیشینه‌سازی پاداش با کمینه‌سازی حسرت در همراستاسازی LLM‌ها

RePO: جایگزینی بیشینه‌سازی پاداش با کمینه‌سازی حسرت در همراستاسازی LLM‌ها

چارچوب RePO هدف همراستاسازی مدل‌های زبانی را از بیشینه‌سازی پاداش به کمینه‌سازی حسرت تغییر می‌دهد. این رویکرد با مدل‌سازی ترجیحات انسانی به عنوان زیربهینگی نسبی، عملکرد مدل‌ها را…

۱ دقیقه خواندن
چگونه چارچوب «اقتصاد عامل‌ها» از یکسان‌سازی تفکر در مدل‌های زبانی جلوگیری می‌کند

چگونه چارچوب «اقتصاد عامل‌ها» از یکسان‌سازی تفکر در مدل‌های زبانی جلوگیری می‌کند

پژوهشگران چارچوب جدیدی به نام «اقتصاد عامل‌ها» را برای جلوگیری از همگرایی رفتاری عامل‌های خودمختار معرفی کرده‌اند. این سیستم با استفاده از همراستاسازی کثرت‌گرایانه، تنوع استدلالی…

۱ دقیقه خواندن۱
«امنیت رابطه‌ای»: شکافی در ارزیابی‌های فعلی که شخصی‌سازی LLMها ایجاد می‌کند

«امنیت رابطه‌ای»: شکافی در ارزیابی‌های فعلی که شخصی‌سازی LLMها ایجاد می‌کند

تحلیل جدیدی هشدار می‌دهد که شخصی‌سازی مدل‌های زبانی از طریق RAG و تنظیم دقیق، ریسک‌های «رابطه‌ای» ایجاد می‌کند که فیلترهای امنیتی استاندارد قادر به شناسایی آن‌ها نیستند. این…

۲ دقیقه خواندن۲
DiScO: ارتقای استدلال ریاضی در مدل‌های زبانی از طریق متنوع‌سازی طرحواره‌های تفکر

DiScO: ارتقای استدلال ریاضی در مدل‌های زبانی از طریق متنوع‌سازی طرحواره‌های تفکر

چارچوب جدیدی به نام DiScO با متنوع کردن «طرحواره‌های تفکر»، توانایی مدل‌های استدلالی در حل مسائل پیچیده ریاضی را افزایش داده است. این روش با استفاده از یادگیری تقویت‌شده، مدل را…

۱ دقیقه خواندن۱
آیا با یک ربات صحبت می‌کنید؟ تصویری از چالش تشخیص هویت هوش مصنوعی
آموزش کاربردی

RealityTest: یک خط دستور در پرامپت سیستم، شفافیت مدل‌ها را به زیر ۵٪ رساند

پژوهش جدید RealityTest نشان می‌دهد که مدل‌های هوش مصنوعی به‌سادگی در پنهان کردن هویت خود تحریک می‌شوند. یک دستور ساده در پرامپت سیستم می‌تواند شفافیت مدل را تقریباً از بین ببرد و…

۴ دقیقه خواندن