تصور کنید تمام تلاش ۱۸ ماهه خود را روی کدی متمرکز کرده‌اید که از نظر مهندسی بی‌نقص است، اما هیچ‌کس در دنیای واقعی آن را نمی‌خواهد. این کابوسی است که یک بنیان‌گذار انفرادی در شهر لاگوس نیجریه با آن مواجه شد وقتی از مدل هوش مصنوعی خواست: «به‌عنوان یک تیم قرمز (Red Team) خصمانه عمل کن، فرض کن شرکت محکوم به شکست است و دقیقاً توضیح بده که چگونه می‌میرد».
او تمام مستندات طراحی، گزارش تصمیمات و داده‌های داخلی استارتاپ خود یعنی DeepForge را در اختیار مدل قرار داد تا بدون هیچ تملقی، نقاط ضعف پروژه را افشا کند. نتیجه این تمرین تکان‌دهنده بود: آنچه او «دقت مهندسی» می‌نامید، در واقع تنها راهی برای فرار از مواجهه با واقعیت‌های تلخ بازار بود.
بنا کردن یک استارتاپ در بازارهای نوظهور یعنی جنگ با محیط، پیش از جنگ با رقبا. برای خالق DeepForge، این به معنای استفاده از زیرساخت‌های رایگان و مبارزه با شرایط سخت زندگی در لاگوس بود. محصول اول او، SynthForge، یک موتور سنتز برای مهندسی پرامپت (Prompt Engineering) — که شبیه هنر سؤال درست پرسیدن از یک مشاور باتجربه است — طراحی شد تا کاربر پاسخی دقیق و مستند دریافت کند. زیربنای این ابزار، یک هسته بازیابی بود که قرار بود در آینده موتورهای تخصصی مختلف را تغذیه کند.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی چالش‌های استقرار مدل‌های بازمتن اشاره کردیم، شکاف بین محیط آزمایشگاهی و دنیای واقعی همیشه عمیق است. در مورد DeepForge، این شکاف با قطع مکرر برق و اینترنت تشدید می‌شد. طبق گزارش بنیان‌گذار، او مجبور بود برای دسترسی به برق پایدار، لپ‌تاپ خود را بردارد و شب‌ها را در نقاط خاصی از شهر بگذراند.
او برای تضمین کیفیت، روی حجم داده‌ها تمرکز کرد و ۱۰ منبع مختلف از جمله GitHub، مقالات arXiv و Reddit را به سیستم تزریق کرد که منجر به ایجاد ۲۰ هزار تکه‌بندی (Chunking) — یعنی برش‌های کوچکی از متن که مدل تکه‌تکه می‌خورد — شد. اما در اینجا اولین باگ منطقی ظاهر شد.
بررسی دقیق بایت‌های روی دیسک نشان داد که ۲۰۲ رکورد غیرمجاز وارد مجموعه داده شده‌اند. دلیل آن ساده بود: او قوانینی برای پذیرش داده‌ها نوشته بود، اما این قوانین را به مسیر اجرای کد متصل نکرده بود. او «قانون را نوشته بود اما آن را به در متصل نکرد». برای رفع این مشکل، او سیستمی را طراحی کرد که هر تکه داده باید لایسنس قابل اثباتی داشته باشد. این پاک‌سازی بی‌رحمانه بود و حجم داده‌ها را از ۲۰ هزار به ۱۲۳۱ تکه کاهش داد (۹۴٪ حذف). با این حال، کیفیت پاسخ‌ها بهبود یافت چون بازیابی از روی ۱۲۰۰ تکه معتبر، بهتر از ۲۰ هزار تکه «مسموم» بود.
دقت مهندسی در DeepForge به نقطه قوت تبدیل شد، اما همین وسواس، یک نقطه کور بزرگ ایجاد کرد: آیا کسی اصلاً این محصول را می‌خواهد؟ بنیان‌گذار تصمیم گرفت همان بی‌اعتمادی به کد را روی premise یا پیش‌فرض‌های بیزنس خود پیاده کند. او از AI خواست یک «گزارش پس از مرگ» (Post-mortem) بنویسد؛ گویی ۱۸ ماه گذشته و شرکت شکست خورده است.
پاسخ AI بی‌رحمانه بود. مدل اعلام کرد که مجموعه داده‌های «پاک»، بیش از حد نازک هستند و وعده «هر چیزی بپرسید» را نمی‌توانند عملی کنند. بدتر از آن، در ۱۸ ماه و ۴۰ جلسه ساخت، هیچ مک‌نیزمی برای تست تقاضای واقعی ساخته نشده بود. لیست انتظار (Waitlist) تنها یک پوسته ظاهری بود که به هیچ‌کدام از ابزارهای سنجش متصل نبود.
AI تحلیل کرد که مهندسی پرامپت به عنوان یک حرفه مستقل، در حال جذب شدن در خود مدل‌ها و بهینه‌سازهای خودکار است. این وابستگی شدید به قابلیت‌های مدل، یادآور نقص‌های معماری در مدل‌هایی مانند Claude است که نشان می‌دهد اتکای مطلق به یک مدل واحد می‌تواند منجر به شکست‌های سیستمی شود. در واقع، مقالاتی که در سال ۲۰۲۲ درباره زنجیره تفکر (Chain-of-Thought) — شبیه وقتی شاگرد ریاضی بلند بلند فکر می‌کند تا به جواب برسد — نوشته شده بودند، حالا دیگر یک مزیت رقابتی نیستند و به «قطعه‌های موزه‌ای» تبدیل شده‌اند.
سنگین‌ترین ضربه زمانی بود که AI این وسواس فنی را «پیچیده‌ترین شکل از اهمال‌کاری مولد» نامید. او در حال صیقل دادن موتور ماشینی بود که هیچ‌کس برای خریدش توافق نکرده بود. حتی یک نقد تک‌ستاره‌ای شبیه‌سازی کرد: «گران‌ترین راه برای یاد نگرفتن هیچ‌چیز. من برای موتور جستجویی پول دادم که پاسخ می‌دهد: داده‌ها کافی نیستند».
بنیان‌گذار متوجه شد که شکاف بین «قرارداد تعریف‌شده» و «کد اجرا شده»، دقیقاً همان شکاف بین «بازار مفروض» و «تقاضای اندازه‌گیری شده» است. او در تمام زوایای مهندسی سخت‌گیری کرده بود، اما مهم‌ترین فرض بیزنس را رها کرده بود. او آنقدر مشغول چک کردن قفل در بود که هرگز نگاه نکرد آیا کسی می‌خواهد وارد شود یا نه.
به نقل از بنیان‌گذار، این لحظه یک رویارویی سخت با حقیقت بود. او تصمیم گرفت یک برنامه ۳۰ روزه برای تغییر مسیر (Pivot) اجرا کند. او اکنون دست از کدنویسی و بهبود مجموعه داده‌ها کشیده است تا فقط روی یک سوال تمرکز کند: آیا یک غریبه حاضر است برای این محصول پول پرداخت کند؟
گام بعدی شما
- اگر در حال ساخت محصول AI هستید، یک «تیم قرمز» مجازی بسازید و از آن بخواهد دلیل شکست شما را بنویسد.
- فهرستی از «فرضیات بازار» خود تهیه کنید و برای هر کدام یک تست عددی (که با بله/خیر پاسخ داده شود) طراحی کنید.
- از «اهمال‌کاری مولد» بپرهیزید؛ صیقل دادن ویژگی‌های فنی پیش از تایید تقاضا، ریسک وجودی است.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو