تصور کنید یک عامل (Agent) — شبیه دستیاری که می‌تواند موس و کیبورد شما را کنترل کند — روی لپ‌تاپ شما عالی کار می‌کند اما روی مانیتور شرکت، دکمه‌ها را در جای اشتباهی کلیک می‌کند. این شکست ریاضی در ترجمه فضای بصری، بزرگ‌ترین مانع تبدیل مدل‌های زبانی به اپراتورهای واقعی است.
به گزارش وب‌سایت dev.to، مشکل اصلی در تفاوت تراکم پیکسل‌هاست؛ یعنی مدل نمی‌تواند تفاوت یک مانیتور ۱۰۸۰p با یک نمایشگر رتینا با تراکم بالا را درک کند و در نتیجه روی فضای خالی کلیک می‌کند. همان‌طور که در تحلیل قبلی ما درباره‌ی سرمایه‌گذاری‌های کلان آنتروپیک (Anthropic) در مهندسی سازمانی اشاره کردیم، صنعت اکنون از آموزش مدل‌های کلی به سمت واقعیت‌های سخت تعامل با سخت‌افزار حرکت می‌کند. این رویکرد در راستای تلاش‌های گسترده‌تر این شرکت برای جایگزینی حدس با محاسبه در مدل‌های مهندسی است تا دقت عملیاتی مدل‌ها را افزایش دهد.
برای حل این چالش، در ۳ اکتبر ۲۰۲۶ ابزاری به نام نرمال‌ساز مختصات کامپیوتر کلود (Claude Computer Use Coordinate Normalizer) معرفی شد. طبق مستندات این ابزار، «کلیک‌های شبح‌وار» که ناشی از خطاهای زیرپیکسلی و محاسبات نادرست کادرهای محیطی هستند، حذف شده‌اند. این سیستم بر سه اصل استوار است:
- مدیریت خطا: جلوگیری از اشتباهات رایج در ترجمه مختصات مکانی.
- پروجکشن قطعی: نگاشت مختصات فیزیکی روی بافرهای داخلی هدف.
- محدودسازی ورودی (Clamping): برنامه‌نویسی دفاعی برای جلوگیری از دسترسی به حافظه خارج از محدوده.
از نظر ریاضی، این سیستم ورودی‌های فیزیکی را از ابعاد دلخواه صفحه به یک فضای مجازی استاندارد ۱۰۲۴ در ۷۶۸ تبدیل می‌کند. این یعنی قصد منطقی مدل، حتی با تغییر محیط فیزیکی، ثابت می‌ماند. این بهینه‌سازی‌های ساختاری در حالی صورت می‌گیرد که آنتروپیک همزمان با چالش‌های افت کیفیت نوشتاری در مدل‌های جدید کلود دست و پنجه نرم می‌کند تا تعادلی میان کارایی فنی و خروجی‌های انسانی برقرار کند.
این تغییر، فرضیات پیشین را به چالش می‌کشد و ریاضیات دستی و شکننده را با سرویس‌های تبدیل رسمی جایگزین می‌کند. توسعه‌دهندگان اکنون با استفاده از پروتکل زمینه مدل (MCP) — که مثل یک مترجم استاندارد بین مدل و ابزارهای خارجی عمل می‌کند — می‌توانند نرمال‌سازی مکانی را به جای نوشتن اسکریپت‌های تکراری، به عنوان یک سرویس استاندارد دریافت کنند.
گام بعدی شما
- حلقه‌های ارکستراسیون عامل‌های خود را برای خطاهای مربوط به DPI بازبینی کنید.
- پیاده‌سازی MCP را برای استانداردسازی تعاملات سخت‌افزاری بررسی کنید.
- مدیریت مختصات در محیط‌های چند-مانیتوری را در اولویت‌های توسعه قرار دهید.
اما مدیریت این مختصات در محیط‌های پویا و تغییر اندازه پنجره‌ها، چالش بعدی است که در گزارش‌های آتی بررسی خواهیم کرد.
گفتگو