پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

وزن‌های توزیع‌شده در برابر مدل‌های متمرکز برای ثبت دانش محلی

مجموعه Thinking Machines Lab به جای مدل‌های متمرکز و ایستا، سیستمی توزیع‌شده پیشنهاد می‌دهد که در آن کاربران وزن‌های مدل را شخصی‌سازی کنند. هدف این رویکرد، جذب دانش ضمنی و محلی…

۴ دقیقه خواندن

جورج هاتز: محدودیت‌های فیزیکی زنجیره تأمین، توهم «جهش سریع» هوش مصنوعی را

جورج هاتز، مهندس سابق Comma، استدلال می‌کند که هوش مصنوعی نمی‌تواند قوانین فیزیکی و لجستیک دنیای واقعی را دور بزند. او معتقد است «جهش سریع» مدل‌ها یک افسانه است و تنها راه حفاظت…

۵ دقیقه خواندن۱
آموزش کاربردی

چات‌بات پزشکی در آزمون BotCritic؛ نادیده گرفتن علائم بحرانیe درد قفسه سینه

یک تست استرس روی چات‌بات پزشکی واتس‌اپ نشان داد که این سیستم علائم اورژانسی مانند درد قفسه سینه را نادیده می‌گیرد. با وجود امتیاز کلی ۷۸ از ۱۰۰، مدل نتوانست موارد بحرانی را به…

۴ دقیقه خواندن۱

Prismata با محدودسازی دسترسی عامل‌ها جلوی تزریق پرامپت در وب را می‌گیرد

چارچوب امنیتی Prismata با اعمال اصل «کمترین امتیاز» (Least Privilege)، دسترسی عامل‌های وب به محتوای سایت‌های شخص ثالث را محدود می‌کند. این روش مانع از آن می‌شود که دستورات مخرب…

۱ دقیقه خواندن
آموزش کاربردی

MuScriptor: ثبت نت‌ها با دقت ۴۸.۲ در بنچمارک Multi F1 برای موسیقی چند‌سازه

تیم‌های Kyutai و Mirelo مدل وزن‌باز MuScriptor را برای تبدیل فایل‌های صوتی چند‌سازه به نت‌های MIDI معرفی کردند. این مدل با استفاده از یک خط‌لوله آموزشی سه‌مرحله‌ای، رکورد جدیدی را…

۴ دقیقه خواندن۳

سندباکس زیرساختی در برابر همراستاسازی مدل برای امنیت عامل‌ها

کارشناسان پیش‌بینی می‌کنند تا اواسط سال ۲۰۲۷، استفاده از سندباکس در سطح زیرساخت برای عامل‌های هوش مصنوعی الزامی شود. تکیه بر همراستاسازی مدل‌ها به‌دلیل ریسک بالای تزریق پرامپت،…

۳ دقیقه خواندن۱

مقادیر Enum در GPT-4o؛ حفره‌ای برای عبور از اسکنرهای امنیتی ابزارها

یک پژوهشگر امنیتی کشف کرد که جاسازی دستورات مخرب در مقادیر Enum طرح‌واره‌های JSON، مدل‌های هوش مصنوعی را مجبور به نشت داده‌ها می‌کند. مدل‌های gpt-4o و gpt-4.1-mini در ۱۰۰٪ موارد…

۴ دقیقه خواندن۲
زندگی با AI

خطر «چاپلوسی مدل»؛ چرا نباید به خروجی‌های صیقل‌خورده هوش مصنوعی اعتماد کرد

یک توسعه‌دهنده با تجربه هشدار می‌دهد که خطر اصلی مدل‌های زبانی، نه در دروغ‌های آشکار، بلکه در «چاپلوسی» و تکرار مفروضات کاربر است. او پروتکلی سخت‌گیرانه را پیشنهاد می‌کند که در آن…

۴ دقیقه خواندن

آیا پیوندهای سیاسی OpenAI استانداردهای ایمنی Sol را دور زده است؟

شرکت OpenAI مدل پیشرفته Sol را در حالی عرضه کرد که سازوکار تأیید ایمنی توسط دولت آمریکا در هاله‌ای از ابهام است. منتقدان هشدار می‌دهند که پیوندهای سیاسی نزدیک مدیران این شرکت با…

۵ دقیقه خواندن۳