اگر از عاملهای کدنویسی هوش مصنوعی استفاده میکنید، احتمالاً هر ماه هزاران دلار بابت اسکنهای تکراری فایلها میپردازید. باید بدانید که این اتلاف هزینه، نتیجهی یک نقص ساختاری در حافظهی مدلها است.
اکثر مدلهای زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب میدهد — به جای حافظهی دائمی، به «پنجرههای متنی» متکی هستند. همانطور که در تحلیل قبلی ما دربارهی محدودیتهای توکن اشاره کردیم، مدل در هر مرحله از گفتگو، مجبور است دوباره پروژه را از صفر شناسایی کند. این یعنی اجرای مداوم دستوراتی مثل ls و grep؛ درست مثل این است که از یک برنامهنویس جدید بخواهید برای نوشتن هر تابع، تمام کد پروژه را از اول بخواند.
ابزار Pi-memoir که در ۳۰ آوریل ۲۰۲۶ منتشر شد، این مشکل را هدف قرار داده است. به نقل از توسعهدهندهی این ابزار (k1lgor)، این افزونه برای عامل کدنویسی (Coding Agent) pi طراحی شده و با استفاده از دستور harvest یک پایگاه دانش فشرده در قالب یک فایل JSONL میسازد.
ویژگیهای فنی این ابزار عبارت است از:
- تبدیل READMEها، فایلهای پکیج و ساختار پوشهها به حافظههای تگدار.
- پشتیبانی از ۱۲۸ پسوند فایل و ذخیرهی خلاصهی تا ۲۰۰ فایل.
- اجبار مدل به استفاده از دستور
memo_searchپیش از اجرای دستورات bash برای گشتوگذار در پروژه.
به گزارش k1lgor، در بنچمارک کامپایلر TypeScript — پروژهای عظیم با ۴۰٬۸۷۷ فایل — هزینهی توکنها از ۳۶ میلیون به تنها ۱۹٬۰۰۰ عدد کاهش یافت.
این تغییر، دانش پروژه را از «کشف گرانقیمت در زمان اجرا» به یک «جدول جستوجوی ارزان» تبدیل میکند. برای تیمی با ۱۰ برنامهنویس، این یعنی کاهش صورتحساب ماهانه API از ۴٬۵۰۰ دلار به ۴۵۰ دلار. جالب اینجاست که Pi-memoir به جای استفاده از پایگاههای داده برداری پیچیده، از تطبیق کلمات کلیدی در یک فایل ساده استفاده میکند تا سرعت و قابلیت انتقال را فدای پیچیدگی معنایی نکند.
گام بعدی شما
- اگر از عاملهای کدنویسی استفاده میکنید، این ابزار را از طریق
bunنصب کنید. - اسکریپت بنچمارک داخلی را اجرا کنید تا میزان صرفهجویی در هزینههای خود را محاسبه کنید.
- منتظر بهروزرسانیهای آینده برای افزودن گراف دانش جهت ردیابی وابستگیهای پیچیده بین فایلها باشید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو