
«vLLM برای سرورها و Ollama برای شخصی»؛ معیار انتخاب موتور LLM
انتخاب بین Ollama، vLLM و llama.cpp بیش از آنکه به سرعت تکدرخواست وابسته باشد، به میزان ترافیک همزمان کاربران بستگی دارد. در حالی که Ollama برای استفادههای شخصی ایدهآل است،…
موضوع
تراشهها، پردازندهها و تجهیزات فیزیکی مورد استفاده در اجرای مدلهای هوش مصنوعی
۴۶۰ مقاله منتشر شده

انتخاب بین Ollama، vLLM و llama.cpp بیش از آنکه به سرعت تکدرخواست وابسته باشد، به میزان ترافیک همزمان کاربران بستگی دارد. در حالی که Ollama برای استفادههای شخصی ایدهآل است،…

پرانیث کاویا تاتسارا با استفاده از ابزار Rive، سیستمهای انیمیشنی پویا را برای رباتهای همراه AI طراحی کرده است. این متد با جایگزینی ویدیوهای ثابت با ماشینهای حالت، اجازه میدهد…

استارتاپ Flow Engineering برای خودکارسازی همراستاسازی نقشههای مهندسی با الزامات محصول، ۵۰ میلیون دلار سرمایه جذب کرد. این شرکت که توسط سرمایهگذاران نزدیک به ایلان ماسک حمایت…

متا و OpenAI برای عبور از شکستهای سختافزاری، ابتدا عاملهای نرمافزاری با قابلیت ایجاد پیوند عاطفی عرضه میکنند تا کاربران را برای خرید دستگاههای فیزیکی آماده کنند. متا یک آویز…

پروژه متنباز B.L.O.O.M با استفاده از برد Arduino UNO Q، یک ایستگاه کاری هوش مصنوعی آفلاین و قابلحمل برای طبیعتگردان ساخته است. این دستگاه صدای پرندگان را بهصورت محلی شناسایی…

پروژه متنباز Oído امکان تبدیل گفتار به متن انگلیسی را بهصورت محلی و بدون نیاز به لیست دستورات پیشفرض روی میکروکنترلرهای ESP32-S3 فراهم کرد. این موتور با اجرای مدل کوانتیده…

شرکتهای OpenAI و Synopsys با توسعه مدل تخصصی GPT-Synopsys، ابزارهای پیچیده طراحی سختافزار را به دست عاملهای هوش مصنوعی سپردند. این همکاری هدفش تسریع تولید نیمههادیها از طریق…

متا با طبقهبندی مراکز داده و تراشههای انویدیا به عنوان تجهیزات آزمایشی، میلیاردها دلار تخفیف مالیاتی دریافت کرده است. این استراتژی با ادعاهای عمومی شرکت درباره ساخت زیرساختهای…

موتور استنتاج Magnitude با کامپایل مستقیم کرنلها روی سختافزار کاربر، سرعت اجرای مدلهای وزنباز را تا ۲ برابر افزایش داد. این رویکرد برخلاف ابزارهای رایج، نرمافزار را با مشخصات…

شرکت CoreWeave با استقرار پردازندههای NVIDIA Vera در مقیاس رک، گلوگاههای سختافزاری عاملهای هوش مصنوعی را هدف قرار داده است. این سختافزار جدید با کاهش شدید زمان راهاندازی…

ابزار Whisper Notes با بهرهگیری از NPU تراشههای Snapdragon X Elite، تبدیل گفتار به متن را بهصورت کاملاً آفلاین و با تأخیر ناچیز انجام میدهد. این رویکرد با حذف پردازش ابری،…

شرکت Cerebras با جایگزینی تراشههای کوچک با پردازندههای عظیم در مقیاس ویفر، به دنبال رفع گلوگاههای انرژی و زیرساختی در مقیاسدهی مدلهای هوش مصنوعی است. این شرکت با جذب سرمایه…