تصور کنید یک عامل هوش مصنوعی بتواند دقیقاً مثل یک انسان، انگشتش را روی صفحه آیفون شما بکشد یا دکمه‌ای را فشار دهد، بدون اینکه اپل اجازه دسترسی به سیستم‌عامل را داده باشد. این رویای کنترل سخت‌افزاری اکنون با یک برد ۷ دلاری Seeed Studio XIAO ESP32S3 به واقعیت تبدیل شده است.
طبق مستندات پروژه ESP32-iPhone-Agent که در ۱۳ اکتبر ۲۰۲۶ منتشر شد، توسعه‌دهندگان راهی یافته‌اند تا محدودیت‌های نرم‌افزاری iOS را با یک ترفند سخت‌افزاری دور بزنند. در این روش، به جای تلاش برای نفوذ به کدهای بسته اپل، آیفون به عنوان یک دستگاه جانبی استاندارد در نظر گرفته می‌شود. این رویکرد مبتنی بر سخت‌افزار، موانع سنتی مانند جیل‌بریک کردن دستگاه یا نیاز به امضای مجدد و مکرر اپلیکیشن‌ها را کاملاً از بین می‌برد.
سال‌ها بود که اتوماسیون در iOS یک نبرد فرسایشی در یک «باغ محصور» (Walled Garden) بود. اکثر توسعه‌دهندگان مجبور بودند به قلاب‌های نرم‌افزاری شکننده یا اشتراک‌های گران‌قیمت اپل تکیه کنند تا بتوانند با رابط کاربری موبایل تعامل داشته باشند. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، حذف واسطه‌های نرم‌افزاری پیچیده، هم ریسک شناسایی را کم می‌کند و هم پایداری سیستم را بالا می‌برد.
زمینه و موانع
از نظر تاریخی، ساخت عامل‌های هوش مصنوعی برای آیفون یک سردرد بزرگ بوده است. روش‌های سنتی اغلب نیازمند یک حساب فعال توسعه‌دهنده اپل هستند که برای فعال نگه داشتن اپلیکیشن‌ها، نیاز به امضای مجدد (Re-signing) مکرر دارد. روش‌های دیگر مستلزم جیل‌بریک کردن دستگاه بود که امنیت و پایداری سیستم‌عامل را به شدت به خطر می‌انداخت.
این پروژه متن‌باز برای کسانی که ابزارهای رایگان و محلی هوش مصنوعی را به اشتراک‌های هزینه‌بر ترجیح می‌دهند، یک راهکار نوآورانه ارائه می‌دهد. این رویکرد با استفاده از شبکه‌های محلی برای همگام‌سازی و کنترل هم‌سو است تا وابستگی به زیرساخت‌های ابری کاهش یابد. با استفاده از سخت‌افزار ارزان‌قیمت، کنترل پیشرفته هوش مصنوعی برای توسعه‌دهندگان مستقل و علاقه‌مندان به تکنولوژی (Tinkerers) که می‌خواهند هوش مصنوعی تجسم‌یافته را روی دستگاه‌های شخصی خود آزمایش کنند، بسیار دسترس‌پذیرتر شده است.
این سامانه برای کار کردن، قابلیت‌های هوش مصنوعی را به سه بخش مجزا تقسیم می‌کند:
چشم‌ها (بینایی)
- آینه‌سازی: صفحه آیفون از طریق پروتکل AirPlay به یک کامپیوتر که سیستم‌عامل macOS یا Linux دارد منتقل می‌شود.
- ضبط: یک گیرنده متن‌باز به نام UxPlay این جریان تصویری را دریافت و ضبط می‌کند.
- پردازش: یک خط لوله (Pipeline) از GStreamer این جریان را به فریم‌های JPEG تبدیل می‌کند.
- پایش: این تصاویر برای تحلیل به عامل هوش مصنوعی ارسال شده و همزمان در یک رابط وب برای نظارت انسانی نمایش داده می‌شوند.
دست‌ها (اجرا)
- سخت‌افزار: یک برد توسعه ESP32-S3 مستقیماً به پورت USB آیفون متصل می‌شود.
- شبیه‌سازی: این برد به عنوان یک دستگاه رابط انسانی (HID) عمل می‌کند و خود را به عنوان یک موس و کیبورد استاندارد USB معرفی می‌کند.
- دسترسی: با فعال کردن AssistiveTouch در تنظیمات دسترسی‌پذیری (Accessibility) آیفون، یک نشانگر روی صفحه ظاهر می‌شود.
- عمل: کامپیوتر دستورات ساده‌ای مانند «حرکت»، «کلیک» یا «تایپ» را از طریق Wi-Fi به ESP32-S3 می‌فرستد. این امر به برد اجازه می‌دهد تا ضربات (از طریق کلیک موس) و کشیدن‌ها (از طریق درگ کردن موس) را اجرا کند.
مغز (هوش)
یک مدل بینایی سازگار با OpenAI — چه از طریق API ابری و چه به صورت محلی با اولاما (Ollama) — اسکرین‌شات‌ها را پردازش می‌کند. این «مغز» به دو نقش تخصصی تقسیم شده است:
- برنامه‌ریز (The Planner): توالی مراحل لازم برای دستیابی به یک هدف خاص را ترسیم می‌کند.
- مجری (The Actor): اسکرین‌شات فعلی را تحلیل کرده و اقدام فیزیکی بعدی را اجرا می‌کند.
این سیستم با ردیابی موقعیت نشانگر، کالیبره کردن آن در صورت نیاز و تأیید تغییرات صفحه پس از هر اقدام، حلقه کنترل را می‌بندد.
به نقل از مستندات گیت‌هاب این پروژه، این ساختار اجازه می‌دهد کارهایی که هیچ API رسمی برای آن‌ها وجود ندارد — مثل مدیریت جریان‌های پیچیده در اپلیکیشن‌های خاص یا تنظیم آلارم‌های سیستمی — به‌طور خودکار انجام شوند. این یک نقطه عطف برای پژوهشگرانی است که مدل‌های بینایی را روی رابط‌های کاربری واقعی iOS آزمایش می‌کنند.
البته این سیستم محدودیت‌های سخت‌افزاری و نرم‌افزاری جدی دارد. iOS آینه‌سازی صفحه را برای داده‌های حساس، از جمله رمزهای عبور، Apple Pay و ویدیوهای دارای حفاظت DRM مسدود می‌کند. این یعنی عامل هوش مصنوعی نمی‌تواند با این صفحات خاص تعامل داشته باشد. علاوه بر این، قابلیت Auto-lock گوشی باید غیرفعال باشد، زیرا در صورت قفل شدن گوشی، آینه‌سازی صفحه متوقف می‌شود. ورودی کیبورد فعلاً به کاراکترهای ASCII محدود است و برنامه‌هایی که در حالت افقی (Landscape) اجرا می‌شوند، پشتیبانی نمی‌شوند.
این حرکت به سمت «هوش مصنوعی تجسم‌یافته» (Embodied AI) به این معناست که توسعه‌دهندگان دیگر منتظر اجازه اپل برای انتشار یک API جهت اتوماسیون تکالیف موبایل نمی‌مانند. در حالی که اپل در تلاش است با عرضه هاب‌های هوشمند مبتنی بر Siri AI اکوسیستم خود را شخصی‌سازی کند، این پروژه‌ها نشان می‌دهند که جامعه متن‌باز مسیرهای جایگزینی برای کنترل سخت‌افزاری می‌سازد. وقتی منطق کنترل به سخت‌افزار خارجی منتقل شود، عامل هوش مصنوعی نسبت به نسخه سیستم‌عامل یا وصله‌های امنیتی که معمولاً اتوماسیون‌های نرم‌افزاری را می‌شکنند، بی‌تفاوت (Agnostic) می‌شود.
برای یک علاقه‌مند به تکنولوژی، هزینه ورود به دنیای آزمایش‌های هوش مصنوعی موبایل تقریباً به صفر رسیده است. حالا چالش اصلی از «چطور کلیک کنیم» به «چطور صحت عمل را تایید کنیم» تغییر کرده است. همان‌طور که در سایر چارچوب‌های عامل‌محور دیده‌ایم، ضعف در اعتبارسنجی و مدیریت خطا از رایج‌ترین نقاط ضعف است. عامل باید بتواند وضعیت‌های رابط کاربری را به درستی تفسیر کند تا از ایجاد حلقه‌های تکراری بی‌‌پایان یا خطاهای سیستمی جلوگیری کند.
گام بعدی شما
- برای تست این پروژه، ابتدا یک محیط لینوکس یا مک برای میزبانی گیرنده AirPlay آماده کنید.
- مدل بینایی خود را از طریق اولاما به صورت محلی نصب کنید تا هزینه API کاهش یابد.
- تنظیمات AssistiveTouch را در آیفون فعال کنید تا نشانگر موس برای عامل هوش مصنوعی ردیابی باشد.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است؛ برای درک اینکه چگونه تراشه‌های ارزان‌قیمت در حال بلعیدن تسک‌های پیچیده می‌شوند، به تحلیل ما درباره تراشه‌های لبه مراجعه کنید.
گفتگو