تصور کنید بخواهید تمام کارهای تکراری سیستم‌عامل را خودکار کنید، اما نگران باشید که ابزارهای موجود مثل بدافزارها رفتار کنند. یک توسعه‌دهنده در ۱۹ اوت ۲۰۲۶ با عرضه یک ضبط‌کننده ماکروی سبک که با زبان Rust نوشته شده، این چالش را با رویکردی متفاوت حل کرد.
بسیاری از ابزارهای اتوماسیون فعلی از فرمت‌های باینری بسته استفاده می‌کنند که بررسی آن‌ها برای کاربر غیرممکن است. این ابزار جدید با استفاده از لایسنس MIT و ذخیره‌سازی داده‌ها در قالب JSON — شبیه به یک دفترچه یادداشت ساده که هر کسی می‌تواند آن را بخواند و ویرایش کند — باعث می‌شود هر توالی خودکار به‌راحتی قابل بازبینی و تغییر باشد. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، شفافیت در کد، اولین قدم برای جلب اعتماد کاربران حرفه‌ای است. این رویکرد ساده‌سازی ذخیره‌سازی داده‌ها، یادآور تلاش‌های اخیر برای جایگزینی ساختارهای پیچیده با فرمت‌های متنی مانند Markdown در حافظه عامل‌های هوش مصنوعی است تا دسترسی و مدیریت داده‌ها تسهیل شود.
به نقل از مستندات این پروژه، ابزار مذکور برای یافتن عناصر رابط کاربری (UI) از چهار روش با هزینه‌های محاسباتی متفاوت استفاده می‌کند:
- Windows UI Automation: سریع‌ترین روش برای شناسایی عناصر برنامه‌های استاندارد دسکتاپ.
- جست‌وجوی تصویری: استفاده از تکه‌های اسکرین‌شات؛ محدود کردن ناحیه جست‌وجو در مانیتورهای 1440p، تأخیر هر مرحله را از ۷۸ میلی‌ثانیه به ۷ میلی‌ثانیه کاهش داد.
- نویسه‌خوانی نوری (OCR): استفاده از موتور داخلی ویندوز برای جلوگیری از دانلود مدل‌های خارجی.
- مختصات: لنگر انداختن روی پنجره‌های هدف با در نظر گرفتن DPI.
طبق گزارش توسعه‌دهنده، در حالی که یک عامل (Agent) — مثل دستیاری که بخش‌های تکراری کد را می‌نویسد تا برنامه‌نویس روی استراتژی تمرکز کند — بخش بزرگی از بدنه کد را تولید کرده، اما معماری کلی و بهینه‌سازی‌های مربوط به DPI و جست‌وجوی تصویری به‌صورت دستی انجام شده است. نتیجه این همکاری، یک فایل اجرایی ۷ مگابایتی است که نیازی به نصب ندارد.
برای کاربر نهایی، این یعنی عبور از اتوماسیون‌های «جعبه سیاه» به سمت یک پشته شفاف. با این حال، توسعه‌دهنده هشدار می‌دهد که به‌دلیل استفاده از SendInput، ممکن است آنتی‌ویروس‌ها یا نرم‌افزارهای ضدتقلب (Anti-cheat) این ابزار را به‌عنوان یک کی‌لاگر شناسایی کنند.
گام بعدی شما
- بررسی نتایج VirusTotal در مخزن پروژه برای تأیید امنیت پیش از اجرا.
- آزمایش ابزار روی برنامه‌های مختلف برای سنجش دقت روش OCR.
- بررسی نحوه ساختاردهی فایل‌های JSON برای شخصی‌سازی ماکروها.
اما چالش بعدی این پروژه، بهینه‌سازی مکانیزم‌های OCR بر اساس بازخوردهای جامعه است؛ موضوعی که ما در گزارش‌های آینده درباره‌ی مدل‌های بینایی-زبانی بررسی خواهیم کرد.
گفتگو