اگر یک دانشجوی مهندسی برق هستید و منتظر پاسخ به سوالات تخصصی خود میمانید، سرعت ۲ ثانیهای است یک استاندارد جدید است. این سرعت خیرهکننده نتیجهی پردازش موازی ۱۱ مدل مختلف برای بازیابی، تولید و رتبهبندی پاسخهاست.
به نقل از مستندات گیتهاب این پروژه که در ۱۷ ژوئیه ۲۰۲۶ منتشر شد، این دستیار آموزشی برای درس مقدماتی ECE 120 طراحی شده تا پشتیبانی آنی برای دانشجویان فراهم کند. این اقدام در حالی صورت میگیرد که در سطح جهانی، چالشهای ادغام هوش مصنوعی در برنامههای درسی فشار زیادی بر مدرسان وارد کرده است. ساخت یک مدرس تخصصی فراتر از بهکارگیری یک مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — است. همانطور که در بحثهای گذشتهی ما دربارهی توهم مدلهای زبانی اشاره کردیم، باتهای عمومی در جزئیات فنی اغلب دچار خطا میشوند؛ بنابراین این سیستم از معماری تولید بازیابیافزا (RAG) — شبیه دانشآموزی که قبل از جواب دادن، اول کتاب درسی را باز میکند و از آن نقل میآورد — استفاده میکند تا پاسخها را به منابع دانشگاهی تاییدشده گره بزند.
طبق گزارش تیم توسعه، این سیستم از یک پایگاه دانش لایهبندی شده شامل کتب درسی، ویدئوهای سخنرانی و تالارهای گفتگوی دانشجویان برای اولویتبندی دقت استفاده میکند. زیرساخت فنی این ابزار شامل اجزای زیر است:
- Pinecone: به عنوان پایگاهداده برداری (Vector Database) اصلی برای بازیابی اسناد.
- Whisper: برای تبدیل صوت ویدئوهای آموزشی به متنهای قابل جستوجو.
- GPT-3: به عنوان ارزیاب اصلی برای مقایسه پاسخهای تولید شده با داده مرجع (Ground Truth) انسانی.
- مجموعه داده RLHF: یک دیتاست جدید برای جستوجوی معنایی که توسط ۵ دانشجوی مهندسی برق تهیه و در HuggingFace منتشر شده است.
تیم سازنده برای حفظ کیفیت از یک حلقه ارزیابی تکرارپذیر استفاده میکند. هر قابلیت جدید با یک مجموعه داده اختصاصی از جفتهای پرسش و پاسخ که توسط مهندسان خبره نوشته شده، سنجیده میشود. با این حال، توسعهدهندگان به یک محدودیت اذعان کردهاند: چون GPT-3 خروجیهای خودش را ارزیابی میکند، ناخودآگاه به سبک نوشتاری خودش سوگیری دارد. به همین دلیل، تیم در حال بررسی مدلهای Cohere برای دستیابی به مقایسههای عینیتر است. این رویکرد دقیق در ارزیابی، با تغییر پارادایمهای سنجش ارزش مدلها همسو است که در آن معیارهای کلی جای خود را به تحلیلهای کاربردی و اقتصادی دادهاند.
این تجربه ثابت میکند که اتکای مطلق به «یک مدل بزرگ» برای آموزشهای تخصصی بهینه نیست. ارزش واقعی در لایه هماهنگکننده (Orchestrator) است؛ یعنی همان کدی که بازیابی، نظارت و رتبهبندی را بهصورت موازی مدیریت میکند، نه صرفاً قدرت خام یک مدل.
گام بعدی شما
- اگر توسعهدهنده هستید، اسکریپتهای متنباز پردازش PDF و تصویر این پروژه را در HuggingFace بررسی کنید.
- برای استقرار نسخه شخصی، یک پایگاهداده Pinecone راهاندازی کرده و دادههای تخصصی خود را به آن متصل کنید.
- مجموعه داده RLHF-QA را برای تحلیل نحوه ارزیابی پاسخهای مدلها مطالعه کنید.
اما معماریهای موازی تنها بخشی از داستان هستند؛ برای درک اینکه چگونه مدلهای کوچکتر در محیطهای عملیاتی برنده میشوند، تحلیل ما دربارهی مدلهای SLM را بخوانید.
گفتگو