گزارش BenchCAD: ناتوانی مدل‌های پیشرو در تولید کدهای اجرایی برای طراحی صنعتی

اگر تصور می‌کنید مدل‌های چندوجهی اکنون قادر به طراحی قطعات صنعتی واقعی هستند، در اشتباهید. باید بدانید که تفاوت میان «چیزی که شبیه قطعه است» و «کدی که قطعه را می‌سازد»، همان جایی است که پیشرفته‌ترین هوش مصنوعی‌های جهان سقوط می‌کنند.

طبق گزارشی که در ۱۲ مه ۲۰۲۶ در arxiv.org منتشر شد، بنچمارک جدیدی به نام BenchCAD ثابت می‌کند که مدل‌های چندوجهی (Multimodal) فعلی، تقریب بصری را بر منطق سخت‌گیرانه‌ی پارامتریک ترجیح می‌دهند. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی ضعف استدلال فضایی در مدل‌های زبانی اشاره کردیم، این مدل‌ها هنوز نمی‌توانند تفاوت میان یک تصویر زیبا و یک دستورالعمل اجرایی برای ماشین‌های CNC را درک کنند.

اتوماسیون صنعتی تنها به تشخیص یک شکل سه‌بعدی نیاز ندارد، بلکه نیازمند درک دقیق فرآیند ساخت است. BenchCAD برای سنجش این توانایی، از ۱۷٬۹۰۰ برنامه‌ی تأییدشده‌ی CadQuery در ۱۰۶ خانواده‌ی قطعات صنعتی (مانند چرخ‌دنده‌های مخروطی و فنرهای فشاری) استفاده می‌کند. این بنچمارک بیش از ۱۰ مدل پیشرو را در چهار محور کلیدی می‌سنجد:

• پاسخ به سؤالات بصری و کد-محور
• تولید کد از روی تصویر (Image-to-code)
• ویرایش کد بر اساس دستورات
• انتزاع و سنتز پارامتریک

به نقل از مستندات این پژوهش، یک الگوی شکست تکرارشونده دیده می‌شود: مدل‌ها عملیات‌های پیچیده و حیاتی مانند Sweep، Loft و Twist-extrude را با الگوهای ساده‌انگارانه‌ی «طرح و بیرون‌زدگی» (Sketch-and-extrude) جایگزین می‌کنند. اگرچه تنظیم دقیق (Fine-tuning) و یادگیری تقویت‌شده عملکرد مدل‌ها را در قطعات شناخته‌شده بهبود می‌بخشد، اما آن‌ها در تعمیم این مهارت به خانواده‌های صنعتی جدید کاملاً ناتوان هستند.

این تغییر در متدولوژی ارزیابی، هدف را از «شباهت بصری» به «اجرای کاربردی» تغییر می‌دهد. برای جامعه‌ی فنی، این بدان معناست که بنچمارک‌های فعلی استدلال فضایی، آمادگی هوش مصنوعی برای طراحی صنعتی را بیش از حد تخمین زده‌اند. شکاف اصلی نه در پیکسل‌ها، بلکه در منطق مهندسی زیرساختی است.

گام بعدی شما

• پژوهشگران باید بر ادغام مجموعه‌داده‌های تأییدشده‌ی اجرایی در خط‌لوله‌های RLHF نظارت کنند تا شکاف میان هندسه‌ی تقریبی و سنتز دقیق پر شود.
• توسعه‌دهندگان ابزارهای CAD باید به جای تکیه بر تولید مستقیم کد، به دنبال معماری‌های ترکیبی (Hybrid) باشند که محدودیت‌های هندسی را به صورت سخت‌افزاری اعمال می‌کنند.
• بررسی کنید که آیا مدل‌های استدلالی جدید می‌توانند با استفاده از زنجیره تفکر (Chain-of-Thought)، مراحل ساخت قطعه را پیش از تولید کد تحلیل کنند.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است؛ برای درک اینکه چرا پردازش این حجم از داده‌های هندسی به سخت‌افزارهای خاص نیاز دارد، به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.