تصور کنید بتوانید دقیقاً لحظهای را شناسایی کنید که یک مدل هوش مصنوعی از تقلید صرف دادههای آموزشی دست میکشد و شروع به خلق میکند. این دیگر یک حدس یا شهود نیست، بلکه یک واقعیت ریاضی است.
به نقل از گزارش arxiv.org در ۳۰ آوریل ۲۰۲۶، مشخص شد که مدلهای انتشار گسسته مبتنی بر یکنواختی (Uniform-based Discrete Diffusion Models یا UDDMs) در واقع به عنوان حافظههای تداعی (Associative Memories) عمل میکنند. این کشف، پلی اندازهگیریپذیر میان حفظ کردن طوطیوار و سنتز خلاقانه ایجاد میکند.
بر اساس مستندات این پژوهش، مدلهای UDDM با ایجاد «حوضههای جذب» (Basins of Attraction) در اطراف نقاط داده، حافظههای ذخیرهشده را بازیابی میکنند. در حالی که شبکههای هاپفلد سنتی برای تثبیت این جذبکنندهها به توابع انرژی صریح تکیه دارند، UDDMها این هدف را از طریق بیشینهسازی احتمال شرطی به دست میآورند.
پژوهشگران یک گذار شدید را شناسایی کردند که توسط اندازه مجموعهدادههای آموزشی کنترل میشود:
- با رشد مجموعهداده، حوضههای جذب اطراف نمونههای آموزشی کوچکتر میشوند.
- بهطور همزمان، حوضههای جذب اطراف نمونههای تست (دادههای دیدهنشده) گسترش مییابند.
- در نهایت، هر دو حالت به سطح یکسانی از قابلیت بازیابی میرسند.
همانطور که در تحلیلهای پیشین ما دربارهی توهمات مدلهای زبانی اشاره کردیم، مرز میان بازیابی داده و خلق محتوا همیشه مبهم بوده است. اما اکنون یک ابزار تشخیصی دقیق برای این جداسازی وجود دارد: آنتروپی شرطی (Conditional Entropy). طبق یافتههای این تیم، حفظ کردن با «ناپدید شدن» آنتروپی شرطی شناخته میشود، در حالی که رژیم تعمیم (Generalization) با آنتروپیای مشخص میشود که برای اکثر توکنها مقدار محدودی باقی میماند.
این دستاورد به جامعهی هوش مصنوعی زاینده (Generative AI) اجازه میدهد تا بفهمند آیا یک مدل در حال استنتاج (Inference) واقعی است یا صرفاً رشتههای متنی ذخیرهشده را بازیابی میکند. این نگاه، مدلهای انتشار را از ابزارهای سادهی حذف نویز به سیستمهای حافظه پیچیده تبدیل میکند.
اما چالش بعدی، جلوگیری از فراموشی فاجعهبار در مدلهایی است که با تریلیونها توکن آموزش میبینند.
گام بعدی شما
- اگر توسعهدهنده هستید، از پایش آنتروپی شرطی برای شناسایی بیشبرازش (Overfitting) در مدلهای انتشار استفاده کنید.
- در ارزیابی مدلهای خود، تفاوت بین بازیابی دقیق (Exact Retrieval) و تعمیم را با تغییر اندازه مجموعهداده بسنجید.
- مقالات مرتبط با شبکههای هاپفلد مدرن را برای درک عمیقتر مکانیسم حوضههای جذب مطالعه کنید.
گفتگو