حفاظ‌های مهندسی نرخ خطای تست‌های تولیدشده با AI را ۴۰٪ کاهش داد

اگر امروز برای تست‌های خود روی هوش مصنوعی تکیه می‌کنید، احتمالاً در حال انباشت بدهی فنی به شکل تست‌های ناپایدار هستید. طبق گزارشی که در tamiz.pro منتشر شده، جایگزینی ۴۰٪ از مجموعه‌ی تست‌های رگرسیون با اسکریپت‌های تولیدشده توسط AI، تیمی را به «دره ناامیدی» کشاند؛ جایی که هزینه‌ی نگهداری کدها از سرعتِ تولید آن‌ها پیشی گرفت. این گزارش نشان می‌دهد که رویکرد اولیه «اول AI» (AI-first) در واقع به دلیل ناپایداری بالا و عدم آگاهی از معماری سیستم، باعث افزایش استرس و نارضایتی توسعه‌دهندگان شد. این مطالعه، استقرار تست‌های Playwright تولیدشده توسط AI را در یک محیط عملیاتی با ترافیک بالا طی یک بازه شش ماهه ردیابی کرد.

این وضعیت نشان می‌دهد که اتوماسیون بدون نظارت، به‌جای کاهش فشار، باعث افزایش استرس توسعه‌دهندگان می‌شود. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، تکیه بر خروجی‌های خام مدل‌ها بدون لایه‌ی اعتبارسنجی، ریسک‌های عملیاتی را به‌شدت بالا می‌برد. در این مورد، تیم مورد مطالعه متوجه شد که مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — در نوشتن کدهای تکراری عالی است، اما در درک معماری پیچیده یک اپلیکیشن شکست می‌خورد. کد حاصل اغلب فاقد پایداری معنایی و درک معماری لازم برای خط لوله‌های یکپارچه‌سازی مداوم (CI) و استقرار مستمر است.

تست در محیط‌های عملیاتی با ترافیک بالا، نیازمند مهندسی تدافعی برای مدیریت تأخیرهای شبکه و وضعیت‌های متغیر است. اکثر توسعه‌دهندگان با LLMها مانند یک معمار رفتار می‌کنند، اما این مطالعه ثابت کرد که آن‌ها بیشتر شبیه به کارآموزانی جونیور هستند که کدهای کلیشه‌ای (Boilerplate) را سریع می‌نویسند، اما در منطق‌های پیچیده تجاری خطا می‌کنند. نتیجه این است که کدها فاقد پایداری معنایی لازم برای خط لوله‌های یکپارچه‌سازی مداوم (CI) و استقرار مستمر هستند.

تصور کنید خط لوله‌ی CI شما به‌طور تصادفی شکست می‌خورد؛ نه به این دلیل که ویژگی جدید خراب است، بلکه چون تست تولیدشده توسط AI تأخیر ۲۰۰ میلی‌ثانیه‌ای سرور را پیش‌بینی نکرده است. این دقیقاً همان نقطه‌ی اصطکاک اصلی برای تیم‌هایی است که از اسکریپت‌های دستی به سمت تست‌های کمک‌گرفته از AI می‌روند. نرخ بقای تست‌ها — که به عنوان درصدی از تست‌ها تعریف می‌شود که طی شش ماه بدون نیاز به بازنویسی دستی، سبز و پایدار ماندند — در ابتدا بسیار پایین بود تا اینکه تیم حفاظ‌های مهندسی پرامپت و لینتینگ پس از تولید را پیاده کرد.

آزمایش: تعیین خط پایه

هدف این بود که سرعت ایجاد تست‌های رگرسیون برای یک داشبورد پیچیده SaaS افزایش یابد. تیم با یک مجموعه‌ی قدیمی Cypress شروع کرد که کند، ناپایدار و دشوار برای خواندن توصیف شده بود.

آن‌ها گردش کاری را تعریف کردند که در آن مدیران محصول و توسعه‌دهندگان، سناریوهای تست را به زبان طبیعی توصیف می‌کردند. سپس یک عامل (Agent) کد Playwright مربوطه را به زبان TypeScript تولید می‌کرد. این کدها به یک برنچ (Branch) منتقل شده، از یک هوک pre-commit محلی برای بررسی سینتکس پایه عبور می‌کردند و سپس در خط لوله‌ی اصلی CI ادغام می‌شدند. برای شبیه‌سازی سناریوی «حداکثر اتوماسیون»، در دو ماه اول هیچ بررسی انسانی روی منطق تست‌ها صورت نگرفت.

موفقیت‌ها: الگوهای مسیر خوشحال

تمام تست‌های AI شکست نخوردند. بر اساس داده‌های این مطالعه، ۸۵٪ از سناریوهای ساده‌ی «مسیر خوشحال» (Happy Path) در اولین اجرا در CI پاس شدند. این تست‌ها معمولاً شامل تعاملات خطی بودند؛ مثلاً پر کردن یک فرم و تأیید پیام موفقیت. از آنجا که مدل‌های زبانی موتورهایی احتمالی هستند که روی داده‌های عظیم آموزش دیده‌اند، خروجی آن‌ها برای کارهای تکراری مانند «پر کردن فرم، کلیک روی ارسال و تأیید موفقیت» بسیار سازگار و پایدار است.

مدل‌های مدرن در استفاده از بهترین شیوه‌های Playwright، مانند اولویت دادن به getByTestId و getByRole به‌جای انتخابگرهای شکننده CSS، عالی عمل کردند. این قابلیت مکان‌یابی معنایی باعث شد تست‌ها در برابر تغییرات جزئی استایل UI مقاوم باشند. همچنین، مدل‌ها به‌طور مداوم ماژول‌های درست را وارد کرده، از async/await به‌درستی استفاده کردند و از کتابخانه expect برای اعتبارسنجی‌ها بدون توهم متدهای غیرموجود بهره بردند. سینتکس کدها تمیز، خوانا و به‌طور دقیق در TypeScript تایپ شده بود که زمان نوشتن کدهای تکراری را برای توسعه‌دهندگان به صفر رساند.

نقاط شکست: جایی که AI کم می‌آورد

شکست‌ها در مواجهه با پیچیدگی رخ داد. در ماه دوم، ۳۰٪ از تست‌های تولیدشده دچار ناپایداری شدند. این خطاها تصادفی نبودند و الگوهای مشخصی داشتند که به محدودیت‌های پنجره زمینه (Context Window) و عدم درک معماری اپلیکیشن بازمی‌گشت:

• شرایط رقابتی (Race Conditions): مدل‌ها اغلب فرض می‌کردند به‌روزرسانی‌های DOM هم‌زمان هستند و اعتبارسنجی‌های web-first که برای مشاهده عنصر پولینگ (Poll) می‌کنند را حذف می‌کردند. AI یک کلیک تولید می‌کرد و بلافاصله انتظار مشاهده عنصر را داشت، بدون اینکه تأخیر شبکه، تأخیرهای رندرینگ سمت سرور یا قفل‌های تراکنش دیتابیس را در نظر بگیرد. همچنین به‌ندرت از page.waitForTimeout برای جریان‌های پیچیده async به‌طور مؤثر استفاده می‌کرد، که منجر به شکست CI و سپس پاس شدن در اجرای مجدد می‌شد و اعتماد تیم را سلب می‌کرد.
• مدیریت وضعیت (State Management): AI مکرراً سعی می‌کرد جریان ورود (Login) را در هر تست اتوماتیک کند که منجر به مسدود شدن حساب‌ها به دلیل احراز هویت چندعاملی (MFA) و کندی اجرا می‌شد. مدل فاقد «زمینه کلی» (Global Context) بود؛ مثلاً نمی‌دانست که API در صورت منقضی شدن توکن خطای ۴۰۱ می‌دهد یا اینکه بک‌اند نشست‌ها را پس از ۲۴ ساعت باطل می‌کند. همچنین اغلب به متغیرهای محیطی برای توکن‌های نشست ارجاع می‌داد که در محیط CI وجود نداشتند.
• جریان‌های تکه‌تکه: در گردش‌های چندمرحله‌ای (مثلاً «ثبت‌نام کاربر، تخصیص نقش و تأیید دسترسی به داشبورد محدود»)، AI منطق را خرد می‌کرد. کد مرحله اول درست بود، اما برای مرحله دوم، انتخابگرهایی را برای عناصری می‌ساخت که فقط پس از یک اعتبارسنجی خاص در سمت سرور ظاهر می‌شدند. کد منطقی به نظر می‌رسید اما در زمان اجرا شکست می‌خورد چون پیش‌نیازها تأیید نشده بودند.

چرخش مهندسی: سخت‌سازی خط لوله

برای بقا در محیط عملیاتی، تیم از «تولید کورکورانه» به «سخت‌سازی کمکی» تغییر مسیر داد و یک سیستم دفاعی سه‌لایه ایجاد کرد.

اول، لینتینگ پس از تولید را معرفی کردند. یک قانون سفارشی در ESLint تعریف شد تا استفاده از page.waitForTimeout را ممنوع کند. این یک قانون ساده، نرخ ناپایداری را در ماه بعد ۴۰٪ کاهش داد، چون توسعه‌دهندگان را مجبور کرد به‌جای انتظار ثابت، از اعتبارسنجی‌های پویا (web-first assertions) استفاده کنند. آن‌ها همچنین eslint و tsc را روی تمام فایل‌های تولیدشده اجرا کردند تا تایپ‌های نامعتبر TypeScript را بگیرند، زیرا AI گاهی با وجود سینتکس درست، تایپ‌های اشتباه تولید می‌کرد.

دوم، مهندسی پرامپت (Prompt Engineering) بازنگری شد. به‌جای درخواست ساده برای «نوشتن تست»، از یک پرامپت سیستمی (System Prompt) استفاده کردند که محدودیت‌های سخت‌گیرانه‌ای داشت: ممنوعیت انتظار ثابت، فرض بر استفاده از context.storageState برای احراز هویت و اجبار به استفاده از لوکیتورهای getByRole و getByLabel. پرامپت صراحتاً به AI می‌گفت: «فرض کن اپلیکیشن تأخیر شبکه دارد. اگر کاربر باید وارد شده باشد، فرض کن context.storageState قبلاً تنظیم شده است؛ فرم ورود را اتوماتیک نکن مگر اینکه صراحتاً خواسته شود.» این تغییر اجازه داد AI روی منطق تعامل تمرکز کند نه حل مشکل احراز هویت.

سوم، یک دروازه‌ی «انسان در حلقه» (Human-in-the-Loop) ایجاد کردند. هر تستی که بیش از سه اقدام کاربر داشت، نیاز به تأیید انسانی داشت تا اطمینان حاصل شود که تست، ریسک تجاری را بررسی می‌کند، نه فقط رنگ یک دکمه را. انسان‌ها برای افزودن تست‌های منفی (Negative Tests) و اعتبارسنجی‌های لبه‌ای (Edge-case) که AI به‌طور مداوم نادیده می‌گرفت، ضروری بودند. تأیید اینکه یک دکمه سبز می‌شود برای AI آسان است، اما تأیید اینکه دکمه «تنها در صورت موفقیت تراکنش دیتابیس» سبز شود، نیازمند یک معمار انسانی است.

نتایج کمی

داده‌ها نشان می‌دهند که گذار از رویکرد «اول AI» به رویکرد «ترکیبی/سخت‌شده»، روند افزایش هزینه‌های نگهداری را معکوس کرد:

بهداشت پیشرفته AI

برای مقیاس‌پذیری بیشتر، تیم یک پنجره زمینه ساختاریافته برای پرامپت‌ها ساخت. آن‌ها به‌جای پرامپت‌های مستقیم علیه وضعیت خام اپلیکیشن، اطلاعات زیر را به مدل می‌دادند:

• اسنپ‌شات‌های اخیر DOM: نتایج ۵ اجرای موفق اخیر برای آن صفحه هدف.
• رجیستری انتخابگرها: یک فایل JSON مرکزی که عناصر UI معنایی (مثلاً #login-button) را به لوکیتورهای پایدار Playwright متصل می‌کرد.
• تاریخچه شکست‌ها: لاگ ۱۰ شکست اخیر برای همان فایل تست تا AI بفهمد چرا نسخه‌های قبلی خراب شدند.

آن‌ها از یک قالب پرامپت خاص در مسیر prompts/test-generation.md استفاده کردند که نقش AI را به عنوان «مهندس QA ارشد متخصص در Playwright» تعریف می‌کرد و دستور می‌داد که هرگز از انتخابگرهای کلاس CSS استفاده نکند مگر اینکه مبتنی بر data-testid باشند.

همچنین ابزاری به نام ai-test-audit را مستقر کردند. این ابزار تست‌های تولیدشده را برای الگوهای پرریسک با استفاده از یک آرایه bannedPatterns بررسی می‌کرد که کلاس‌های CSS شکننده (/locator('class=/g)، فراخوانی‌های waitForTimeout و ورودی‌های خام بدون زمینه را علامت‌گذاری می‌کرد. هر تستی که امتیاز ریسک آن بالای ۱۵ بود، به‌طور خودکار توسط CI رد می‌شد و توسعه‌دهنده را مجبور می‌کرد پرامپت را اصلاح کند یا خروجی را دستی درست کند.

در نهایت، یک مکانیسم «خود-ترمیم» (Self-healing) اضافه کردند. وقتی یک عدم تطابق در انتخابگر (Selector Mismatch) رخ می‌داد، رانر مراحل زیر را طی می‌کرد:

1. ثبت وضعیت فعلی DOM.
2. ارسال انتخابگر شکست‌خورده و اسنپ‌شات DOM به یک اندپوینت LLM محلی.
3. درخواست از LLM برای پیشنهاد ۳ انتخابگر جایگزین.
4. اجرای تست در حالت 'shadow mode' علیه URL اصلی برای بررسی تطابق پیشنهادها.

اگر تطابقی پیدا می‌شد، سیستم به‌طور خودکار یک Pull Request برای به‌روزرسانی فایل تست باز می‌کرد که با تگ #auto-healed مشخص می‌شد. این اقدام حجم تیکت‌های مربوط به ناپایداری را ۴۰٪ کاهش داد.

تحلیل عمیق کد: الگوهای استوار

برای جلوگیری از اشتباه رایج AI در استفاده از waitForSelector ،تیم استفاده از expect.poll را برای محتوای پویا اجباری کرد. به‌جای انتظار ساده برای پنهان شدن یک اسپینر، تابعی را اجرا می‌کردند که تعداد اسپینرها را چک کند تا از وضعیت واقعی «پنهان» قبل از ادامه کار مطمئن شوند.

مثال از پولینگ اجباری:

await expect(async () => {
  const spinner = page.locator('.loading-spinner');
  const count = await spinner.count();
  return count === 0 ? 'Hidden' : 'Visible';
}).toBe('Hidden', { timeout: 10000 });

تست‌های استوار تولیدشده توسط AI اکنون از الگوی تدافعی پیروی می‌کنند: ناوبری و انتظار برای Hydration، استفاده از لوکیتورهای نقش‌محور (مثلاً page.getByRole('button', { name: /pay now|proceed/i }))، اطمینان از فعال بودن دکمه‌ها قبل از کلیک از طریق await expect(payButton).toBeEnabled()، و استفاده از پولینگ برای تغییرات وضعیت async با تایم‌اوت‌های گسترده (مثلاً ۱۵,۰۰۰ میلی‌ثانیه) برای جلوگیری از ناپایداری‌های شبکه. آن‌ها همچنین پاک‌سازی وضعیت (State Cleanup) را شامل می‌شوند تا کاربر در وضعیت خراب رها نشود و URL نهایی را با await expect(page).toHaveURL(/.*thank-you.*/) تأیید می‌کنند.

تحلیل: تغییر در نقش‌های QA

این تحول، فرض بنیادی درباره نقش مهندس QA را تغییر می‌دهد. ارزش دیگر در نوشتن ۸۰٪ کدهای تکراری و خسته‌کننده اعتبارسنجی نیست، بلکه در مدیریت ۲۰٪ بحرانی منطق تجاری است. AI یک تولیدکننده کد است، نه معمار تست؛ او نمی‌تواند ریسک تجاری مرتبط با شکست تراکنش دیتابیس را در مقابل یک نقص ساده UI درک کند. این چالش دقیقاً به شکاف درک فنی در عصر عامل‌ها بازمی‌گردد، جایی که تولید کد توسط AI لزوماً به معنای درک عمیق برنامه‌نویس از منطق زیربنایی نیست.

برای توسعه‌دهنده عملیاتی، این بدان معناست که رویای «تست بدون دخالت انسان» یک افسانه است. برد واقعی در توسعه «هدایت‌شده توسط انسان و شتاب‌یافته توسط AI» است. بار نگهداری تنها زمانی کاهش می‌یابد که انسان به عنوان معمار و AI به عنوان تایپیست عمل کند.

اگر امروز برای تست‌های خود روی AI تکیه می‌کنید، احتمالاً در حال انباشت بدهی فنی به شکل تست‌های ناپایدار هستید. راه حل، توقف استفاده از AI نیست، بلکه ساخت یک خط لوله سخت‌گیرانه از غنی‌سازی زمینه (Context Enrichment) و لینتینگ خودکار است، پیش از آنکه کد به برنچ اصلی برسد. قالب‌های پرامپت خود را تحت کنترل نسخه (Version-control) قرار دهید و آن‌ها را به‌طور دوره‌ای بازبینی کنید، زیرا به‌روزرسانی‌های مدل‌های LLM می‌تواند باعث «رانش پرامپت» (Prompt Drift) شود؛ پرامپتی که در ژوئن عالی کار می‌کرد، ممکن است در اکتبر کدهای بدتری تولید کند.

منتظر ظهور فریم‌ورک‌های تست «خود-ترمیم‌شونده» بیشتری باشید که می‌توانند به‌طور خودکار انتخابگرها را بر اساس تغییرات DOM به‌روز کنند و احتمالاً نیاز به رجیستری‌های دستی انتخابگر را به‌طور کامل از بین ببرند. آینده تستینگ، تقابل انسان در برابر AI نیست، بلکه مشارکتی است که در آن مهندس بر روی آن ۲۰٪ بحرانی تمرکز می‌کند که منطق تجاری و تجربه کاربر در آن واقعاً اهمیت دارد.

گام بعدی شما

• اگر از AI برای تست استفاده می‌کنید، فوراً یک قانون ESLint برای ممنوع کردن waitForTimeout تعریف کنید.
• پرامپت‌های خود را از «نوشتن تست» به «تولید کد با محدودیت‌های معماری» تغییر دهید و وضعیت احراز هویت را به عنوان پیش‌فرض تعریف کنید.
• برای تست‌های حساس تجاری، حتماً یک مرحله بازبینی انسانی (Human-in-the-Loop) قرار دهید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.