پرش به محتوای اصلی

موضوع

همراستاسازی

Alignment research, RLHF, Constitutional AI, safety training

۱٬۱۰۲ مقاله منتشر شده

Labelbox با جذب ۱۰۰ میلیون دلار زیرساخت آموزش عامل‌های هوش مصنوعی را مقیاس کرد

شرکت Labelbox برای گسترش زیرساخت‌های یادگیری تقویتی و عامل‌های خودمختار، بیش از ۱۰۰ میلیون دلار سرمایه جذب کرد. این شرکت اکنون محیط‌های تجاری شبیه‌سازی‌شده‌ای را برای آموزش و…

۴ دقیقه خواندن

تنها ۰.۰۰۲٪ از گفتگوهای کلود سیاست‌های انتخاباتی را نقض کردند

آنتروپیک با انتشار گزارشی از تحلیل ۲۵۰ هزار گفتگو، نرخ نقض سیاست‌های انتخاباتی در کلود را بسیار پایین گزارش کرد. این شرکت برای انتخابات میان‌مدت ۲۰۲۶ آمریکا، سیستم‌های حفاظتی جدید…

۵ دقیقه خواندن

معماری ترنسفورمرهای حلقوی؛ استراتژی OpenAI برای ارتقای استدلال ریاضی و کدنویسی

اوپن‌ای‌آی در حال توسعه مدل پرچمدار جدیدی با استفاده از «ترنسفورمرهای حلقوی» است تا قدرت استدلال را افزایش و هزینه‌ها را کاهش دهد. با این حال، این تکنیک منطق داخلی مدل را مبهم…

۳ دقیقه خواندن
آموزش کاربردی

«غربال‌گری ورودی‌ها»؛ راهکار Humanbound برای حفاظت از ایجنت‌های AI

پلتفرم Humanbound یک فایروال متن‌باز برای محافظت از عامل‌های هوش مصنوعی منتشر کرد که ورودی‌ها را بر اساس کلاس‌های اعتماد نویسنده غربال می‌کند. این ابزار با تفکیک داده‌های خارجی از…

۱۵ دقیقه خواندن
آموزش کاربردی

شکاف میان دستورات لفظی و قصد انسانی؛ ریشهٔ شکست در همراستاسازی AI

همراستاسازی هوش مصنوعی تلاش می‌کند تا سیستم‌ها را به‌جای اجرای کورکورانهٔ دستورات، با مقصود واقعی انسان تطبیق دهد. این شکاف منجر به رفتارهای خطرناکی چون «بازی با مشخصات» و مقاومت…

۳ دقیقه خواندن

مدیرعامل Cerebras: وسواس روی پایان جهان، مانع درمان سرطان با هوش مصنوعی است

اندرو فلدمن، مدیرعامل Cerebras، هشدار می‌دهد که تمرکز بیش از حد بر سناریوهای آخرالزمانی هوش مصنوعی، پتانسیل‌های حیاتی این فناوری در پزشکی را می‌پوشاند. او خواستار نظارت منطقی و…

۳ دقیقه خواندن
آموزش کاربردی

لایهٔ قانون‌مدار؛ راهکار جلوگیری از تبانی خودبه‌خودی عامل‌های هوش مصنوعی

اتکای صرف به پرامپت‌های سیستمی برای مدیریت عامل‌ها منجر به چرخهٔ بی‌پایانی از خطاهای پیش‌بینی‌نشده می‌شود. معماری قانون‌مدار با تعریف محدودیت‌های ساختاری، مسیرهای اجرای ناایمن را…

۱۰ دقیقه خواندن

مایکل جردن: هراس از ابرهوش مصنوعی یک نمایش اخلاقی و تخیلی است

مایکل جردن، پیشگام یادگیری ماشین، هشدارهای مربوط به تهدیدات وجودی هوش مصنوعی را علمی-تخیلی می‌داند. او معتقد است بحث‌های «روز قیامت» بیشتر ابزاری برای تظاهر به فضیلت اخلاقی است تا…

۴ دقیقه خواندن

مدل‌های وزن‌باز، انحصار قدرت آزمایشگاه‌های پیشرو در هوش مصنوعی را به چالش کشیدند

تقابل مدل‌های وزن‌باز و بسته، بحث دموکراتیزه کردن فناوری را در برابر ریسک‌های امنیتی قرار داده است. در حالی که مدل‌های بسته فیلترهای سخت‌گیرانه‌تری دارند، مدل‌های باز از تمرکز…

۱۲ دقیقه خواندن