۵ مورد: مدل، اسکریپت، حافظه و زمان کامپایل در ترینیوم

اگر مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه خوانده و با همان لحن کتاب‌ها جواب می‌دهد — خود را روی ترینیوم AWS می‌خواهید اجرا کنید، دیگر حدس نزنین. یک اسپیس عمومی جدید دقیقاً مشخص می‌کند کدام مدل‌ها بدون تغییر کار می‌کنند.

همان‌طور که در تحلیل قبلی ما درباره‌ی شتاب‌دهنده‌های اختصاصی اشاره کردیم، ترینیوم ۲ (Trainium2) — شتاب‌دهنده یادگیری عمیق AWS — وعده‌ی ۲.۵ برابر سرعت برای ترنسفورمرهای بزرگ می‌دهد. اما تا امروز مهندسان باید به‌صورت آزمایش و خطا بفهمند مدل‌شان سازگار است یا خیر. این شکاف اکنون پر شده است. این شتاب‌دهنده در ادامه‌ی تحلیل قبلی ما درباره‌ی زیرساخت‌های AWS قرار می‌گیرد که عدم پیش‌بینی‌پذیری ظرفیت سرورها در مناطق مختلف را بررسی می‌کند.

اسپیس جدید هاگینگ فیس (Hugging Face) موارد زیر را برای هر مدل نشان می‌دهد:

• وضعیت اجرا روی ترینیوم بدون تغییر کد
• تعداد هسته‌های (core) مورد نیاز
• زمان کامپایل و استنتاج (Inference) — لحظه‌ای که مدل واقعاً جواب تولید می‌کند، مثل خودِ آشپزی، نه دوره‌ی آموزش آشپز
• مصرف حافظه اوج دستگاه
• اسکریپت run.py با دستور واحد اجرا
• فایل requirements.txt شامل torch-neuronx، transformers و neuronx-cc

پشتیبانی فعلی مدل‌های تولید متن (text-generation) و تصویر-متن-به-متن (image-text-to-text) را پوشش می‌دهد. برنامه برای افزودن دیفیوژن (diffusion models)، ترنسفورمرهای جمله (sentence transformers) و سایر وظایف وجود دارد. نسخه‌های دقیق neuronx-cc و ترنسفورمرز برای تکرارپذیری ثبت شده‌اند.

مدل‌های حذف‌شده (معمولاً به دلیل اولویت پایین یا ناسازگاری واقعی) مشخص شده‌اند. وقتی مدل از حافظه دستگاه فراتر رود، تعداد هسته لازم و پیشنهاد موازی‌سازی مدل (model parallelism) نمایش داده می‌شود.

این کارگاه زنده (living catalog) چرخه‌ی آزمایش-و-خطا را برای تیم‌های تولید (production) می‌شکند. به‌جای هفته‌ها پروفایلینگ، مهندس در دقیقه‌ها می‌فهمد آیا کدش بدون تغییر روی ترینیوم می‌چرخد یا نیاز به تطبیق دارد. شتاب‌دهنده‌های اختصاصی (ASIC) — مدار مجتمع کاربردی‌ویژه (ASIC) — در نهایت به ابزار تصمیم‌گیری روزمره تبدیل می‌شوند.

مشارکت جامعه از طریق درخواست‌های kéo (pull request)، نتایج تست و پیشنهادات UI امکان‌پذیر است. این مدلِ کاتالوگ زنده، الگوئی است برای سایر شتاب‌دهنده‌ها — از اینفيدیا (NVIDIA) تا گوگل (Google) — که اکوسیستم مدل‌های باز را می‌خواهند به سخت‌افزار خود بکشند.

گام بعدی شما

• به اسپیس هاگینگ فیس مراجعه کنید و مدل‌های خود را در تب Trending یا Downloads جستجو کنید.
• اسکریپت run.py و requirements.txt را برای مدل سازگار دانلود و روی نمونه Trainium2 در کانتینر AWS Neuron Deep Learning Container اجرا کنید.
• اگر مدلی استفاده می‌کنید که در لیست نیست، نتیجه تست خود را به مخزن بفرستید تا کاتالوگ کامل‌تر شود.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.