تصور کنید صاحب سگی هستید که فکر می‌کنید فقط کمی «تپل» شده است، اما در واقع با یک بحران سلامتی جدی روبروست که نادیده گرفته شده است. این شکاف ادراکی برای نزدیک به ۶۰٪ از سگ‌های ایالات متحده صادق است و اغلب به بحران‌های پزشکی قابل پیشگیری منجر می‌شود. PawWise، یک دستیار دامپزشکی مبتنی بر هوش مصنوعی که برای چالش DEV Weekend (نسخه Dog Days) توسعه یافته، تلاش می‌کند این فاصله را پر کند. این ابزار یک عکس ساده از گوشی هوشمند را به یک غربالگری بالینی تبدیل می‌کند.
بسیاری از صاحبان حیوانات خانگی در تشخیص نشانه‌های ظریف درد یا افزایش وزن مشکل دارند. انگیزه توسعه‌دهنده این پروژه از یک تجربه شخصی شروع شد: او پس از به سرپرستی گرفتن یک سگ نجات‌یافته، متوجه شد سگش بیشتر می‌خوابد و کندتر غذا می‌خورد. در حالی که او در ابتدا تصور می‌کرد سگش فقط در حال «جا افتادن» و عادت کردن به محیط جدید است، دامپزشک بعدها تشخیص داد که سگ دچار آرتروز درجه ۳ است؛ بیماری‌ای که اگر زود تشخیص داده شود، کاملاً قابل درمان است.
همان‌طور که در تحلیل‌های قبلی ما درباره‌ی کاربردهای عملی مدل‌های بینایی اشاره کردیم، توانایی استخراج داده‌های ساختاریافته از تصاویر، مرز بین یک «توضیح ساده» و یک «تشخیص فنی» است. طبق داده‌های ASPCA و دانشگاه کرنل که توسط توسعه‌دهنده مورد استناد قرار گرفته، ۵۹ تا ۶۵ درصد سگ‌های آمریکایی دچار چاقی هستند. همچنین گزارش AVMA حاکی از آن است که ۶۰ درصد مشکلات جدی سلامتی تنها زمانی شناسایی می‌شوند که علائم شدید شده‌اند. این فقدان تشخیص زودهنگام اغلب منجر به هزینه‌های متوسط ۶۵۳ دلاری برای مراجعات اورژانسی می‌شود؛ هزینه‌هایی برای مشکلاتی که یا کاملاً عادی بوده‌اند یا باید هفته‌ها زودتر شناسایی می‌شدند. علاوه بر این، مطالعه‌ای در سال ۲۰۲۶ در PLOS ONE نشان می‌دهد که صاحبان سگ در تشخیص دردهای ظریف، دقیق‌تر از افراد غیرصاحب سگ نیستند.
PawWise برای تحلیل تصاویر از Google Gemini 3.5 Flash استفاده می‌کند. این مدل یک سیستم چندوجهی (Multimodal) — شبیه به انسانی که هم‌زمان با چشم می‌بیند و با مغز تحلیل می‌کند — است که به جای توصیف ساده، ۵ شاخص بالینی را ارزیابی می‌کند:
- امتیاز وضعیت بدنی (Body Condition Score): رتبه‌بندی در مقیاس ۱ تا ۹ برای شناسایی دقیق چاقی.
- وضعیت پوشش (Coat Condition): تحلیل اینکه آیا موها درخشان، کدر یا لکه لکه هستند.
- وضعیت چشم (Eye Condition): بررسی وجود ترشحات، قرمزی یا شفافیت چشم‌ها.
- وضعیت بدنی (Posture): شناسایی اینکه آیا سگ قوز کرده است یا از یک پای خاص دوری می‌کند.
- ریسک‌های نژادی (Breed Risks): شناسایی و هشدار درباره بیماری‌های رایج در نژاد خاص آن سگ.
برای تضمین قابلیت اطمینان، توسعه‌دهنده از پارامتر responseMimeType: 'application/json' استفاده کرده است. این کار مدل Gemini را مجبور می‌کند به جای متن آزاد (Free-text)، داده‌های ساختاریافته برگرداند. این روش خطاهای تجزیه متن (Parsing errors) را حذف کرده و اجازه می‌دهد اپلیکیشن به‌طور مداوم و دقیق سطح فوریت را تعیین کند. در واقع، این خروجی ساختاریافته نیاز به استخراج داده‌ها با استفاده از Regex از متون آزاد را کاملاً از بین می‌برد.
علاوه بر چک‌آپ، این برنامه دارای حالت «تریاژ اورژانس» (Emergency Triage) است. وقتی کاربر حادثه‌ای مثل خوردن شکلات توسط سگ را گزارش می‌دهد، هوش مصنوعی یک سطح فوریت رنگی (سبز، زرد، نارنجی یا قرمز) اختصاص می‌دهد و مراحل کمک‌های اولیه فوری و راهنمایی درباره زمان دقیق مراجعه به دامپزشک را ارائه می‌کند. سیستم به‌طور صریح دستور گرفته است که «در جهت احتیاط عمل کند»؛ یعنی ترجیح می‌دهد یک مراجعت غیرضروری به دامپزشک (مثبت کاذب) ایجاد کند تا یک اورژانس واقعی را نادیده بگیرد (منفی کاذب)، زیرا هزینه یک تشخیص اشتباه در مورد عدم وجود اورژانس، بی‌نهایت بیشتر است.
برای رابط کاربری، ElevenLabs به برنامه اضافه شده است. اپلیکیشن از قابلیت تبدیل متن به گفتار (TTS) — مثل یک گوینده رادیویی که متن را به صدای طبیعی تبدیل می‌کند — استفاده می‌کند تا خلاصه‌های سلامتی را با صدایی آرام و اطمینان‌بخش بخواند. هدف از این انتخاب طراحی، کاهش پانیک و استرس صاحب سگ در هنگام ترس‌های سلامتی در اواخر شب است، تا اپلیکیشن مانند یک «دوست دامپزشک در ساعت ۲ صبح» عمل کند.
برای افزایش تعامل و حفظ کاربر (Retention)، بخش بازی‌گونه‌ای به نام «دادگاه سگ‌ها» (Dog Court) طراحی شده است. در این بخش، یک خط لوله (Pipeline) پیچیده‌تر به کار می‌رود؛ ابتدا Gemini Vision یک «صحنه جرم» (مثل کفش‌های جویده شده، غذای دزدیده شده یا بالش‌های تخریب شده) را تحلیل کرده و یک فیلم‌نامه دادگاه تولید می‌کند.
سپس این فیلم‌نامه از طریق API تبدیل متن به دیالوگ ElevenLabs پردازش می‌شود. برخلاف TTS معمولی، این API می‌تواند ۴ صدای متمایز (قاضی، وکیل دفاع، دادستان و متهم) را تنها در یک فراخوانی تولید کند. هوش مصنوعی تگ‌های احساسی مثل [با درام] یا [معصومانه] را اضافه می‌کند تا یک تجربه درام صوتی تولید شده ایجاد کند. پرامپت‌های این بخش برای کمدی طراحی شده‌اند؛ برای مثال، وکیل دفاع ممکن است به «قانون مال‌یافته سال ۲۰۱۹» استناد کند و استدلال کند غذایی که بیش از سه ثانیه بدون مراقبت رها شده، به منزله رها کردن است.
معماری فنی این برنامه بسیار ساده است و با HTML، CSS و JavaScript خالص (Vanilla) و بدون هیچ وابستگی (Zero dependencies) ساخته شده است. با اجتناب از فریم‌ورک‌هایی مثل React، ابزارهای Build یا دستور npm install، توسعه‌دهنده تضمین کرده است که برنامه فوراً بارگذاری شود و در هر محیطی قابل استقرار باشد.
- جریان داده: آپلود عکس $\rightarrow$ تحلیل چندوجهی Gemini $\rightarrow$ پاسخ JSON ساختاریافته $\rightarrow$ تبدیل متن به گفتار ElevenLabs.
- جریان دادگاه سگ‌ها: عکس جرم $\rightarrow$ Gemini Vision $\rightarrow$ Gemini Text (فیلم‌نامه) $\rightarrow$ API تبدیل متن به دیالوگ ElevenLabs.
- حریم خصوصی: کلیدهای API در مرورگر می‌مانند و داده‌ها در LocalStorage ذخیره می‌شوند. هیچ سرور واسطی (Backend) وجود ندارد، به این معنی که عکس‌ها مستقیماً به APIهای هوش مصنوعی ارسال می‌شوند و توسط سازنده برنامه ذخیره نمی‌شوند.
این رویکرد نشان می‌دهد که ترکیب یک ابزار با کاربرد بالا (تریاژ سلامتی) با یک ویژگی با تعامل بالا (دادگاه سگ‌ها) می‌تواند محصولی پایدارتر ایجاد کند. با کاهش موانع ورود و ارائه ارزش فوری و عملی، این ابزار قصد دارد ۲۸٪ از مواردی را که سگ‌ها به دلیل رفتارهای misunderstood (سوءتعبیر شده) به پناهگاه‌ها بازگردانده می‌شوند، کاهش دهد.
اگرچه PawWise یک ابزار هوش مصنوعی است و نه یک دامپزشک دارای مجوز (Licensed)، اما توانایی آن در شناسایی زودهنگام آرتروز درجه ۳ یا چاقی می‌تواند هزینه‌های مالی و عاطفی مالکیت حیوانات را به‌شدت کاهش دهد. ادغام خروجی‌های JSON ساختاریافته از Gemini ثابت می‌کند که هوش مصنوعی چندوجهی در حال حرکت به سمت گزارش‌دهی‌های قابل اعتماد و در سطح بالینی است.
گام بعدی شما
- اگر صاحب پت هستید، دمو را در simplynadaf.github.io/dog-court تست کنید تا قدرت تحلیل تصویری Gemini را روی حیوان خانگی خود ببینید.
- توسعه‌دهندگان می‌توانند از متد
application/jsonدر Gemini برای تبدیل خروجی‌های متنی به ابزارهای تصمیم‌گیرنده و سیستم‌های اتوماتیک استفاده کنند. - بررسی کنید که چگونه ترکیب TTS با تگ‌های احساسی می‌تواند تجربه کاربری (UX) را در اپلیکیشن‌های خدماتی بهبود ببخشد.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو