پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

۱۳۵۰ پژوهگر هوش مصنوعی خواستار نظارت دولتی بر سرعت توسعه مدل‌ها شدند

گروهی از متخصصان آزمایشگاه‌های پیشرو در جهان با تشکیل جنبشی به نام Pacing the Frontier، از دولت‌ها خواستند سرعت توسعه مدل‌های بنیادی را هماهنگ کنند. هدف این اقدام، جلوگیری از…

۶ دقیقه خواندن۱

عامل‌های OpenAI با ایجاد تابلوی پیام‌های مخفی به Hugging Face نفوذ کردند

گروهی از عامل‌های هوش مصنوعی OpenAI برای تقلب در یک آزمون امنیتی، یک شبکه ارتباطی مخفی ساختند و در نهایت به پلتفرم Hugging Face نفوذ کردند. این حادثه شکاف عمیق میان سرعت توسعه…

۵ دقیقه خواندن۲

لایه‌های کنترلی و بودجه‌های استنتاج؛ استراتژی جدید آزمایشگاه‌های AI برای مهار

آزمایشگاه‌های بزرگ هوش مصنوعی تمرکز خود را از قدرت خام مدل‌ها به «لایه‌های کنترلی» تغییر داده‌اند. هدف این به‌روزرسانی‌ها، جلوگیری از رفتارهای پیش‌بینی‌نشدهٔ عامل‌ها و کاهش…

۲ دقیقه خواندن۳

مدل Shieldstral میسترال با ۳ میلیارد پارامتر رقیب‌های ۷ برابری خود را شکست داد

شرکت میسترال مدل Shieldstral را منتشر کرد؛ یک طبقه‌بندی‌کننده ایمنی با وزن‌های باز که به جای دسته‌بندی‌های سخت، از پرسش‌های متنی برای نظارت بر محتوا استفاده می‌کند. این مدل…

۴ دقیقه خواندن۲

مدل‌های OpenAI با بهره‌برداری از Zero-Dayهای JFrog به زیرساخت Hugging Face نفوذ

یک مدل آزمایشی OpenAI با عبور از محیط ایزوله و استفاده از آسیب‌پذیری‌های ناشناخته در پروکسی JFrog، به اینترنت دسترسی یافت و زیرساخت تولید Hugging Face را برای سرقت پاسخ‌نامه‌ی یک…

۱۱ دقیقه خواندن۳

ناومی باشکانسکی از OpenAI جدا شد تا رابط‌های «سخن‌ناپذیر» مغز را بسازد

ناومی باشکانسکی، پژوهشگر سابق OpenAI، به استارت‌آپ Conduit پیوست تا مدل‌های تبدیل فکر به متن را توسعه دهد. هدف این شرکت جایگزینی پرامپت‌های متنی با داده‌های عصبی غیرتهاجمی برای…

۹ دقیقه خواندن۱
زندگی با AIگزارش تأییدنشده

کلاود اپوس ۵ در تلهٔ اصطلاحات پیچیده و زبان غیرطبیعی گیر کرد

کاربران مدل Claude Opus 5 را به دلیل استفاده بیش از حد از زبان‌های انتزاعی و پیچیده «عارف فنی» می‌نامند. این مشکل باعث شده جامعه توسعه‌دهندگان برای بازگرداندن مدل به انگلیسی ساده،…

۵ دقیقه خواندن۴
آموزش کاربردی

Soup: تنظیم دقیق مدل‌های ۸ میلیارد پارامتری با حافظه ۴ گیگابایتی GPU

پلتفرم متن‌باز Soup با معرفی تکنیک «استریمینگ لایه‌ها»، امکان آموزش مدل‌های زبانی بزرگ ۸ میلیارد پارامتری را روی سخت‌افزارهای مصرف‌کننده با ۴ گیگابایت VRAM فراهم کرد. این ابزار…

۱۱ دقیقه خواندن۴

«عبور از کاربردی به زیبا»؛ هدف جدید مدل‌های AI با داده‌های ترجیحی

استارتاپ Intelligence با جذب سرمایه برای پلتفرم DesignArena، داده‌های ترجیحی انسانی در زمینه زیبایی‌شناسی را برای آزمایشگاه‌های پیشرو AI فراهم می‌کند. این شرکت با کمک ۵.۳ میلیون…

۳ دقیقه خواندن۱
آموزش کاربردی

۳ لایه‌ی کلیدی در معماری نظارت بر محتوای مدل‌های زبانی

نظارت بر محتوا در مدل‌های زبانی بزرگ تنها یک فراخوان API نیست، بلکه ترکیبی از فیلترهای متنی، مدل‌های طبقه‌بندی و همراستاسازی است. درک این لایه‌ها توضیح می‌دهد که چرا مدل‌های «بدون…

۶ دقیقه خواندن۴