اگر برای اجرای تستهای مدلهای هوش مصنوعی ساعتها منتظر پاسخ گیتهاب میمانید، زمان آن رسیده که استراتژی خود را تغییر دهید. تیم Trackio با یک چرخش ساده در زیرساخت، زمان اجرای تستهای پردازشی خود را ۳۰٪ کاهش داد.
بیشتر پروژههای متنباز در محیطهای CI پیشفرض به سختافزارهای گرافیکی دسترسی ندارند. توسعهدهندگان معمولاً بین دو گزینه دشوار گیر میکنند: یا باید با ماشینهای کند بسازند یا خودشان سرورهای گرانقیمتی را مدیریت کنند. در واقع نیاز به محاسبات (Compute) — که شبیه اجاره کردن یک آشپزخانه صنعتی برای پختن یک غذای سنگین است — همیشه یک گلوگاه بود. همانطور که در تحلیلهای پیشین ما دربارهی بهینهسازی هزینههای مدلهای بازمتن اشاره کردیم، حذف زیرساختهای دائمی و جایگزینی آنها با سختافزارهای On-demand، کلید بهرهوری است.
بر اساس مستندات huggingface.co و گزارش این تیم در ۹ ژوئن ۲۰۲۶، این معماری بر پایه پل ارتباطی huggingface/jobs-actions بنا شده است. این سیستم یک Action گیتهاب را به یک Runner موقت در HF Job تبدیل میکند. طبق اعلام Trackio، این جریان از طریق یک Space توزیعکننده عمل میکند که وبهوکها را تأیید کرده و توکنهای ثبتنام کوتاهمدت صادر میکند.
به نقل از گزارش فنی این تیم، استفاده از سختافزارهای t4-small و cpu-upgrade نتایج زیر را داشت:
- تستهای CPU: زمان اجرا از ۱ دقیقه و ۴۰ ثانیه به ۱ دقیقه و ۱۰ ثانیه رسید (کاهش ۳۰ درصدی).
- تستهای GPU: اجرای کامل در ۴۵ ثانیه با هزینهای کمتر از یک سنت.
- ایمیجها: استفاده از
mcr.microsoft.com/playwrightبرای تستهای رابط کاربری وnvidia/cuda:12.4.0برای پردازشهای گرافیکی.
این تغییر در واقع «مالیات سختافزاری» را برای تیمهای کوچک حذف میکند. با استفاده از Runnerهای بدون سرور، توسعهدهندگان میتوانند مجموعههای تست جامع را بدون پرداخت هزینه برای زمانهای بیکار یا مدیریت پیچیده VMها اجرا کنند. این رویکرد این فرض قدیمی را میشکند که CIهای با کارایی بالا فقط مخصوص آزمایشگاههای ثروتمند هستند.
گام بعدی شما
- برای اتصال مخزن کد خود به این سیستم، Space مربوط به
jobs-actions-dispatcherرا کپی کنید. - تستهای سنگین خود را به GPUهای T4 یا H200 منتقل کنید تا سرعت استقرار کد افزایش یابد.
- هزینههای محاسباتی خود را با جایگزینی Runnerهای دائمی با مدلهای موقت مقایسه کنید.
ama داستان سختافزاری این تحول حتی حیاتیتر است؛ برای درک اثر این تغییر روی مقیاسپذیری مدلها، به تحلیل ما دربارهی بهینهسازی GPUها مراجعه کنید.
گفتگو