اگر برای نوشتن گزارشهای خطا در گیتهاب به هوش مصنوعی تکیه میکنید، احتمالاً دارید به تولید نوع جدیدی از «زبالههای دیجیتال» کمک میکنید که مدیران پروژهها حالا برای حذف آنها ابزار ساختهاند. باید بدانید که اعتماد کورکورانه به این ابزارها، شما را از یک مشارکتکننده مفید به یک منبع مزاحمت تبدیل میکند.
پروژه Pi که بخشی از اکوسیستم Earendil است، متوجه شده که مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — در کدنویسی تلههای خطرناکی میسازد. همانطور که در تحلیلهای قبلی ما دربارهی توهمات مدلهای زبانی اشاره کردیم، مشکل اصلی این است که این مدلها تفاوت بین «واقعیت کد» و «احتمال آماری» را نمیفهمند.
طبق گزارش تیم Earendil، وقتی کاربران گزارشهای خطای بازنویسیشده توسط AI را ارسال میکنند، عامل (Agent) هوش مصنوعی این متنها را به جای «گزارش»، به عنوان «سند واقعی» میپذیرد. این اتفاق باعث ایجاد یک حلقه معیوب میشود؛ مدل بر اساس یک فرض غلط، راهکاری غلط ارائه میدهد و هر دو در یک توهم مشترک غرق میشوند. این وضعیت شبیه به دو دوستی است که هر دو خاطرهای را اشتباه تعریف میکنند و با اطمینان کامل، اشتباه یکدیگر را تأیید میکنند — یعنی همان چیزی که ما به آن توهم (Hallucination) میگوییم.
برای مقابله با این بحران، تیم Pi اقدامات سختگیرانهای انجام داده است:
- طراحی دستور
/is(تحلیل مسئله): این دستور به مدل دستور میدهد تمام تحلیلهای متنی موجود در گزارش را نادیده بگیرد و فقط بر اساس مسیر اجرای واقعی کد، وضعیت را بررسی کند. - پاکسازی گسترده: بر اساس مستندات پروژه، بین ۲۴ فوریه تا ۲۴ مه ۲۰۲۶، تعداد ۳٬۱۴۵ مورد گزارش و درخواست کد (PR) ثبت شده که ۲٬۵۰۴ مورد از آنها به دلیل عدم تأیید اعتبار نویسنده، بهطور خودکار بسته شدند.
به نقل از تحلیلگران پروژه، مشکل فقط حجم زیاد نیست، بلکه کیفیت کدهاست. هوش مصنوعی تمایل دارد «وصلههای محلی» بزند؛ یعنی به جای حل ریشهای مشکل، راهکارهای موقتی میسازد که سیستم را در برابر دادههای غلط «تحملپذیر» میکند، اما ساختار کلی پروژه را تخریب میکند.
این برای شما چه معنایی دارد؟ یعنی AI دارد هزینهٔ دور زدن مشکلات را ارزان میکند، اما در عوض، هماهنگی انسانی که قلب تپنده دنیای متنباز است را از بین میبرد. وقتی انسان و ماشین در انزوای خود راهکارهای سریع میسازند، دیگر با بقیه دربارهی «جایگاه درستِ اصلاح» صحبت نمیکنند.
گام بعدی شما
- اگر از AI برای کدنویسی استفاده میکنید، هرگز متن گزارش خطا را به آن دیکته نکنید؛ اجازه دهید مدل مستقیماً کد را بخواند.
- به دنبال پیادهسازی فیلترهای «تأیید مستقل» در گردشکارهای خود باشید تا دچار حلقه توهم نشوید.
- بررسی کنید آیا ابزارهای مدیریت کد شما میتوانند بین «مشاهده انسانی» و «فرضیه AI» تمایز قائل شوند یا خیر.
این تنها آغاز ماجراست؛ اثر موجگونهی این «زبالههای دیجیتال» بر آیندهی همکاریهای متنباز را در گزارشهای بعدی بررسی خواهیم کرد.
گفتگو