پرش به محتوای اصلی
پرش به محتوای مقاله

۵ کاربرد Onscreen Awareness برای تسهیل گردش‌کار در آیفون

·۳۱ شهریور ۱۴۰۵۵ دقیقه مطالعه
راهنما
۵ ترفند برتر هوش مصنوعی Siri با قابلیت آگاهی از صفحه نمایش و دلایل انتخاب آن‌ها
۵ ترفند برتر هوش مصنوعی Siri با قابلیت آگاهی از صفحه نمایش و دلایل انتخاب آن‌ها
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

تبدیل نمایشگر به یک پرامپت بصری؛ Siri دیگر فقط به کلمات گوش نمی‌دهد، بلکه محتوای فعال روی صفحه را به عنوان زمینه (Context) برای اجرای دستورات در نظر می‌گیرد.

تصور کنید در حال تماشای یک عکس هستید و بدون خروج از گالری، فقط با یک جمله می‌گویید: «این عکس را برای همسرم بفرست». این دیگر یک رویای علمی-تخیلی نیست، بلکه خروجی قابلیت آگاهی از محتوای صفحه (Onscreen Awareness) در نسخه‌ی جدید Siri است. این قابلیت به کاربر اجازه می‌دهد بدون ترک نمایشگرِ مشاهده‌ی تصویر، دستورات پیچیده را صادر کند.

این فناوری به هوش مصنوعی اجازه می‌دهد محتوای بصری نمایشگر را تحلیل کند تا پاسخ‌های فوری بدهد یا درخواست‌های چندمرحله‌ای را اجرا کند. در واقع Siri حالا می‌تواند «ببیند» چه چیزی روی صفحه است تا اطلاعات لازم را استخراج کند، به سوالات کاربر پاسخ دهد و درباره‌ی محتوای نمایش داده شده با کاربر گفتگو کند.

این به‌روزرسانی در حالی رخ می‌دهد که اپل برای بازگرداندن اعتماد کاربران، تمرکز خود را بر کاربردهای عملی و محلی (On-device) گذاشته است و عمیق‌تر در ادغام هوش مصنوعی مولد در اکوسیستم خود پیش می‌رود. همان‌طور که در تحلیل قبلی ما درباره‌ی جریمه‌های ۲۵۰ میلیون دلاری اپل بابت تأخیر در ویژگی‌های AI اشاره کردیم، شرکت اکنون سعی دارد با ارائه ابزارهای کاربردی روی دستگاه، این فاصله را پر کند. تصور کنید گوشی شما کمتر شبیه به یک ابزار ساده و بیشتر شبیه به یک همکار باشد که بستر دیجیتال فعلی شما را به‌طور کامل درک می‌کند.

سازگاری دستگاه‌ها و الزامات سیستم‌عامل

به گزارش ZDNET در تاریخ ۲۲ سپتامبر ۲۰۲۶، این قابلیت برای سیستم‌عامل‌های iOS 27، iPadOS 27 و MacOS 27 عرضه شده است. اگرچه WatchOS 27 نیز از این ویژگی پشتیبانی می‌کند، اما در حال حاضر کاربرد آن تنها به چند برنامه‌ی داخلی مثل پیام‌ها (Messages)، اعلان‌ها (Notifications) و تقویم (Calendar) محدود است. با این حال، انتظار می‌رود در آینده برنامه‌های بیشتری در ساعت‌های اپل به این موج بپیوندند و از این قابلیت پشتیبانی کنند.

نحوه شروع به کار

برای دسترسی به این ویژگی‌ها، کاربران ابتدا باید سیستم‌عامل دستگاه خود را به آخرین نسخه به‌روزرسانی کنند. در آیفون، این کار از مسیر Settings، سپس انتخاب General و در نهایت ضربه زدن روی Software Updates برای نصب iOS 27 انجام می‌شود.

پس از ری‌استارت شدن گوشی، کاربران باید برای نسخه‌ی بتای عمومی Siri AI ثبت‌نام کنند. این گزینه با ضربه زدن بر روی بخش «امتحان کردن بتای Siri AI» در منوی تنظیمات (Settings) در دسترس است. لازم به ذکر است که پردازش درخواست ثبت‌نام ممکن است از چند ساعت تا یک شبانه‌روز کامل زمان ببرد تا هوش مصنوعی برای کاربر فعال شود.

پس از فعال‌سازی، کاربران می‌توانند با رفتن به یک صفحه‌ی خاص و فعال کردن Siri از طریق دستورات صوتی «Hey Siri» یا «Siri»، و یا با فشردن دکمه‌ی کناری (Side Button)، این آگاهی را تحریک کنند. زمانی که Siri ظاهر شد، کاربر می‌تواند درخواستی را بر اساس محتوای مرئی روی صفحه مطرح کند.

کاربردهای عملی

بر اساس مستندات اپل، Siri AI می‌تواند چندین وظیفه‌ی کاربردی را از طریق تحلیل نمای فعلی (Viewport) انجام دهد:

  • ناوبری فوری: Siri می‌تواند نام یک مکان یا آدرس را در یک ایمیل، پیام متنی، صفحه وب یا حتی یک تصویر شناسایی کرده و بلافاصله اپلیکیشن Maps را با مسیرهای گام‌به‌گام (Turn-by-turn) باز کند. برای مثال، اگر کاربر ایمیلی درباره‌ی یک کنفرانس یا نمایش تئاتر باز کند، Siri می‌تواند آدرس را تأیید کرده و فوراً ناوبری را آغاز کند.

۵ ترفند برتر Siri با قابلیت آگاهی از صفحه نمایش در iOS 18

  • راهنمای تنظیمات: با پرسش «این صفحه را توضیح بده و برای تنظیم آن به من مشاوره بده»، کاربر تحلیل دقیقی از تنظیمات پیچیده آیفون و توصیه‌هایی درباره‌ی نحوه‌ی پیکربندی آن‌ها دریافت می‌کند. این ویژگی به‌ویژه برای تنظیمات حرفه‌ای یا شخصی که کاربر ممکن است به‌طور کامل آن‌ها را درک نکند، بسیار مفید است.

پنج ترفند برتر Siri با قابلیت آگاهی از صفحه نمایش و دلایل انتخاب آن‌ها

  • اشتراک‌گذاری مستقیم: کاربران می‌توانند هر فایل، صفحه یا عکسی را که روی نمایشگر است، با فرمان صوتی برای یک مخاطب به اشتراک بگذارند. با گفتن «Siri، این عکس را برای همسرم بفرست»، هوش مصنوعی عملیات را تأیید کرده و آیتم را از طریق پیامک ارسال می‌کند. این کار باعث می‌شود کاربر از فرآیند دستی باز کردن اپلیکیشن Photos یا Messages برای پیوست کردن فایل بی‌نیاز شود.

  • مدیریت لیست‌ها: Siri می‌تواند یک دستور پخت غذا در یک وب‌سایت را اسکن کرده و به‌طور خودکار مواد لازم ذکر شده را به لیست خرید کاربر اضافه کند. برای نمونه، کاربری که در حال مرور دستور پخت «تارت لایم» است، می‌تواند از Siri بخواهد مواد مورد نیاز را سریع و آسان به لیستش اضافه کند.

Add items to a list

  • ویرایش هوشمند عکس: کاربران می‌توانند درخواست‌های اصلاحی خاصی را مطرح کنند، مثلاً «این عکس را ویرایش کن تا روشن‌تر شود» و Siri به‌طور خودکار بهبودهای لازم را اعمال می‌کند. سپس کاربر می‌تواند نتایج را بررسی کرده و تصمیم بگیرد که نسخه‌ی اصلاح‌شده را ذخیره کند یا خیر.

Revise a photo or other file

محدودیت‌های فنی

با این حال، یک محدودیت فنی کلیدی همچنان باقی است: Siri فقط آنچه را که در لحظه «مرئی» است می‌بیند. اگر کاربر در حال مشاهده‌ی یک ایمیل طولانی، یک صفحه وب گسترده یا یک فایل حجیم باشد، هوش مصنوعی نمی‌تواند به محتوایی که در بالا یا پایین نمای فعلی (Viewport) قرار دارد دسترسی پیدا کند. کاربران باید این نکته را در نظر داشته باشند اگر به کمک برای محتوایی نیاز دارند که فراتر از صفحه نمایش فعلی امتداد یافته است.

برای کاربر عادی، این تغییر یعنی هوش مصنوعی از یک «جایگزین موتور جست‌وجو» به یک «لایه‌ی رابط کاربری کاربردی» تبدیل شده است. این قابلیت «مالیات جابه‌جایی بین اپلیکیشن‌ها» — یعنی فشار ذهنی ناشی از پرش بین مرورگر، اپلیکیشن یادداشت‌ها و ابزارهای پیام‌رسان برای تکمیل یک هدف واحد — را حذف می‌کند.

در واقع نمایشگر حالا تبدیل به یک پرامپت (Prompt) شده است. به جای توصیف مفصل یک مشکل، کاربر به‌سادگی هوش مصنوعی را به شواهد بصری ارجاع می‌دهد که این امر اصطکاک تعاملات صوتی را به‌شدت کاهش می‌دهد.

کاربران باید روند عرضه پشتیبانی از اپلیکیشن‌های شخص ثالث برای WatchOS 27 را زیر نظر داشته باشند تا ببینند آیا این آگاهی به ابزارهای پوشیدنی بیشتری گسترش می‌یابد یا خیر. شما می‌توانید همین امروز با پیوستن به بتای Siri AI در تنظیمات دستگاه خود، تست این گردش‌های کاری را آغاز کنید.

گام بعدی شما

  • اگر کاربر اکوسیستم اپل هستید، همین امروز از طریق تنظیمات دستگاه در نسخه‌ی بتای Siri AI ثبت‌نام کنید.
  • گردش‌های کاری تکراری خود (مثل انتقال آدرس از ایمیل به نقشه) را شناسایی کنید تا با قابلیت Onscreen Awareness آن‌ها را سریع‌تر کنید.
  • در به‌روزرسانی‌های آتی WatchOS 27 به‌دنبال پشتیبانی از اپلیکیشن‌های شخص ثالث باشید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های سری A جدید مراجعه کنید.

چرا این موضوع مهم است؟

این تحول با تکیه بر اعتبار یکپارچگی سخت‌افزاری و نرم‌افزاری اپل، استانداردی جدید برای تعامل انسان و ماشین تعریف می‌کند. حذف جابه‌جایی بین اپلیکیشن‌ها، بهره‌وری کاربر را در سطح سیستم‌عامل به‌طور ملموسی افزایش می‌دهد.

تأثیر برای ایران

به‌دلیل محدودیت‌های منطقه‌ای و نیاز به نسخه‌های بتای خاص، دسترسی کاربران ایرانی به این ویژگی‌ها احتمالاً نیازمند تغییر آی‌پی و حساب‌های توسعه‌دهنده است.

·نگاه ما
تحریریه دات‌هوش

این قابلیت در واقع نمایشگر را به یک ورودی چندوجهی تبدیل می‌کند و نیاز به توصیف متنی جزئیات را از بین می‌برد. اپل با این کار، مدل‌های زبانی را از حالت «چت‌بات» خارج کرده و آن‌ها را به «عامل‌های عملیاتی» تبدیل می‌کند که بستر بصری کاربر را درک می‌کنند. این یک چرخش از AI به عنوان مشاور به AI به عنوان اپراتور است.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.