دیگر هیچ پژوهشگری نمیتواند ادعای دستیابی به یک رکورد جدید در بنچمارکها را داشته باشد، مگر اینکه ثابت کند سختافزارش واقعاً آن حجم از محاسبات را انجام داده است. K-Veritas که در ۳۱ اوت ۲۰۲۶ منتشر شد، مکانیزمی را معرفی میکند که نتایج منتشرشده را از طریق فایلهای PDF امضا شده به کد، سختافزار و برچسب زمانی دقیق متصل میکند.
پژوهشهای مدرن هوش مصنوعی با بحران بازتولید روبروست؛ یعنی نتایج اغلب بدون جزئیات کامل محیط محاسباتی گزارش میشوند. در حالی که بسیاری از تیمها کد خود را در گیتهاب به اشتراک میگذارند، ردپای واقعی اجرا — شامل میزان بهرهبرداری از سختافزار و مصرف انرژی — مانند یک جعبه سیاه باقی میماند. این شکاف، راه را برای جعل نتایج یا استفاده از منابع محاسباتی پنهان برای متورم کردن عملکرد مدل باز میکند.
K-Veritas با تبدیل شدن به یک پوشش (Wrapper) برای هر دستور در خط فرمان، این مشکل را حل میکند. این ابزار نقشهای جامع از فعالیت فایلها و زیرپردازشها تهیه میکند. البته طبق مستندات، تخصیص دقیق سختافزار به هر پردازش در حال حاضر محدود به لینوکس است و در سایر پلتفرمها برای حفظ سازگاری، از خوانشهای کلی سیستم استفاده میشود. این ابزار به صورت یک فایل باینری استاتیک و بدون نیاز به پیشنیازهای زمان اجرا توزیع شده است و از نسخههای kveritas-{linux,darwin,windows}-{amd64,arm64} پشتیبانی میکند. کاربران لینوکس میتوانند با دستور curl -fsSL https://github.com/27-GROUP/kveritas-releases/raw/main/bin/kveritas-linux-amd64 -o kveritas آن را نصب کنند یا با استفاده از Go 1.22+ و دستور make build از سورس کد بسازند.
همانطور که در بحثهای گذشتهی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، شفافیت در لایهی زیرساختی برای اعتماد به مدلهای بزرگ حیاتی است. K-Veritas دقیقاً همین شفافیت را به لایهی سختافزاری میآورد.
مکانیزم انسجام در اجرا
هستهی این سیستم، «تحلیل انسجام متریک سختافزاری» (HMCA) است. این فرآیند کاملاً نسبت به نتیجهی نهایی کور است؛ یعنی به جای نگاه کردن به عددِ گزارششده، روی سیگنالهای فیزیکی ماشین تمرکز میکند. یک نمونهبردار در پسزمینه، دادهها را با فرکانس تقریباً ۱۰ هرتز ثبت میکند که شامل موارد زیر است:
- میزان بهرهبرداری از CPU و GPU، حافظه و توان مصرفی
- تعویضهای زمینه (Context switches) و خطاهای صفحه (Page faults)
- فرکانس پردازنده و فعالیت ورودی/خروجی (I/O)
- دمای واحد پردازش گرافیکی
در لحظهی مهر و موم کردن گزارش، HMCA بررسی میکند که آیا این کانالها به عنوان «سایههای» یک پردازش واحد با هم نوسان کردهاند یا خیر. یک اجرای واقعی، تمام این متریکها را به صورت هماهنگ به حرکت در میآورد، اما یک ردپای جعلی یا بازپخششده، چنین انسجامی ندارد. در نهایت سیستم یکی از چهار حکم PASS (منسجم)، WARN، FAIL (نامنسجم) یا N/A (تلهمتری ناکافی برای قضاوت) را صادر میکند. یک اجرای سبک تنها بر اساس فعالیتی که دارد قضاوت میشود و هرگز به دلیل سبک بودن جریمه نمیشود.
خطوط پروتکل و ثبت دادهها
برای متصل کردن نتایج به رکوردها، K-Veritas از مجموعهای از خطوط پروتکل استفاده میکند که در خروجی استاندارد (stdout) به هر زبانی چاپ شوند. این دادهها استخراج شده و در رکورد امضا شده قرار میگیرند:
KVERITAS_METRIC: ثبت یک متریک با نام، مقدار اعشاری و یک برچسب گام (Step label) اختیاری.KVERITAS_PHASE: علامتگذاری مرز یک فاز که باعث ثبت لحظهای وضعیت سختافزار میشود.KVERITAS_CLAIM: ثبت ادعای اصلی و تیتر آزمایش.KVERITAS_INPUT: ثبت بذر (Seed) تصادفی از طریقsrc=seed:<value>برای بازتولید.KVERITAS_MODEL: تعریف کارت مدل شامل پارامترها، معماری و دقت (مانند fp16، bf16 یا fp32) برای محاسبه هزینه محاسباتی.KVERITAS_WORKLOAD: تعریف جزئیات حجم داده، تعداد Epochها، اندازه دسته (Batch size) و طول توالی (Sequence length).KVERITAS_ARTIFACT: تایید یک مدل یا مجموعه داده با نقش مشخص و سطح دسترسی (عمومی یا خصوصی).
متریکهای رایج از تاریخچه Keras، اعتبارسنجی متقاطع sklearn و متغیرهای محلی مشابه، به طور خودکار شناسایی میشوند؛ به این معنی که اجراهای ساده اغلب نیازی به نوشتن دستی خطوط پروتکل ندارند.
گواهی هزینه محاسباتی
برای جلوگیری از ادعاهای «غیرممکن»، این ابزار یک گواهینامه هزینه محاسباتی تولید میکند. این سیستم مقدار FLOPs اعلام شده در کارت مدل را با حداکثر توان فیزیکی سختافزار مورد استفاده مقایسه میکند. طبق مستندات github.com، اگر موارد زیر رخ دهد، اجرای مدل به عنوان «جعل غیرممکن» (FABRICATION-IMPOSSIBLE) علامتگذاری میشود:
- مقدار FLOPs ادعایی از حاصلضرب حداکثر توان GPU در ثانیههای فعال، به اضافهی توان حداکثری هستههای CPU در ثانیه بیشتر باشد.
- مقدار FLOPs ادعایی از مقدار ژولهای اندازهگیری شده در GPU تقسیم بر حداقل انرژی مورد نیاز برای هر FLOP بیشتر باشد.
- وزنهای ادعایی از حافظه مشاهده شده در GPU بیشتر باشد (محدودیت نرم).
محدودیت زمانی مجموع تمام دستگاهها را محاسبه میکند تا اطمینان حاصل شود که مثلاً یک مدل ۱۷۵ میلیارد پارامتری که ادعا شده روی یک CPU بیکار اجرا شده است، شناسایی شود. این محدودیتها سخاوتمندانه طراحی شدهاند تا اجراهای صادقانه تایید شوند؛ اگر هیچ کارت مدل یا تلهمتری موجود نباشد، نتیجه N/A خواهد بود.
منشأ و افشای گزینشی
هر جلسه به صورت یک خط زمانی امضا شده از اسنپشاتهای با آدرس محتوایی (Content-addressed) ثبت میشود. این شامل وضعیت سورس در شروع، هر فاز، پایان اجرا و رکوردی از تغییرات است. این موارد به صورت Merkle-linked به هم متصل شده و در امضا قرار میگیرند. کاربران میتوانند سطح افشا را در هنگام kveritas init با فلگهای زیر کنترل کنند:
- Redacted (پیشفرض): هیچ مورد حساسی (کد، نامها، دادهها، وزنها، خط فرمان یا نمک/salt) فاش نمیشود. سرور فقط یک هش دریافت میکند.
- Names (
--show-names): نامهای واقعی فایلها فاش میشود اما محتوای آنها خیر. - Open (
--disclosure open): نامهای واقعی فاش شده و یک بسته (Bundle) برای دریافت کد ارائه میشود.
الگوهای تعریف شده در .kveritasignore باعث میشود فایلهای خاصی وارد بستهها نشوند. فایلهای حذف شده همچنان به صورت برگهای «فقط هش» ثبت میشوند تا نتوان آنها را بیصدا از رکورد حذف کرد.
اثباتهای افشای گزینشی
برای کسانی که میخواهند جزئیات خاصی را بدون افشای کل مجموعه داده ثابت کنند، K-Veritas «اثباتهای افشای گزینشی» را ارائه میدهد. با دستور kveritas prove report.pdf src/train.py کاربر میتواند یک اثبات JSON تولید کند که نشان میدهد یک فایل خاص در یک اسنپشات امضا شده وجود داشته است، بدون اینکه سایر فایلها لو بروند. این اثبات از طریق kveritas verify-proof تایید میشود.
ردیابی جلسات عاملهای هوش مصنوعی
این ابزار از گردشکارهای عاملمحور (Agentic) نیز پشتیبانی میکند. با استفاده از kveritas init --harness یک لاگ با زنجیره هش از اقدامات تعیین شدهی عامل ثبت میشود. با نصب قلابهایی (Hooks) برای ابزارهایی مانند Claude Code، این سیستم عاملِ اجراکننده، هشهای ورودی/خروجی و توالی اقدامات را به هم متصل میکند. این کار یک زنجیره قابل تایید از وجود و ترتیب اقدامات ایجاد میکند که اجازه میدهد حسابرسان هرگونه دستکاری را در لاگ جلسه با دستور kveritas verify session.json شناسایی کنند.
کاربران میتوانند یک پرامپت یا خروجی خاص را در برابر هش ثبت شده آن با استفاده از kveritas harness-prove ثابت کنند و ورودیها را از طریق ایندکس یا --tool-use-id انتخاب نمایند.
پروتکل رمزنگاری و تایید
یکپارچگی سیستم بر یک خط لوله رمزنگاری سختگیرانه استوار است. دادههای امضا به یک JSON فشرده با کلیدهای مرتب شده تبدیل شده، با SHA-256 هش میشوند و با کلید ۴۰۹۶ بیتی RSA-PSS-SHA256 امضا میگردند. مهر نهایی شامل هش PDF بصری و هش بلوک مهر است که بین نشانگرهای %%KVERITAS_SEAL_BEGIN%% و %%KVERITAS_SEAL_END%% قرار میگیرد.
تایید نهایی میتواند به صورت محلی با دستور kveritas verify report.pdf (با فلگ --offline برای رد کردن سرور) یا از طریق تاییدکننده وب در kveritas.org/verify انجام شود. تاییدکننده وب، کانالهای تلهمتری را در طول زمان رندر کرده و بدون نیاز به حساب کاربری، بازرسی کد توسط AI و تطبیق با مقاله را انجام میدهد.
استخراج و آرتیفکتها
هنگام مهر و موم با افشای باز (Open)، سیستم یک فایل report.pdf.kvbundle.zip میسازد. این بسته شامل محتویات سورس با آدرس محتوایی و حذف تکرارها و یک مانیفست برای هر اسنپشات است، هرچند هرگز شامل مجموعهدادهها یا وزنها نمیشود. کاربران میتوانند فایلهای یک اسنپشات را با دستور kveritas checkout report.pdf.kvbundle.zip run_end /tmp/out بازسازی کنند.
برای بنچمارکها، این ابزار اجازه میدهد امتیازی را بدون افشای مدل تایید کنید. یک آرتیفکت عمومی، هشی را ثبت میکند که با یک مرجع قابل تطبیق است، در حالی که یک آرتیفکت خصوصی از یک تعهد نمکزده (Salted commitment) استفاده میکند. بررسیهای متقاطع هزینه محاسباتی تضمین میکند که ارزیابی، مقدار محاسباتی مورد نیاز برای یک Forward pass واقعی را مصرف کرده است.
این تغییر، صنعت را از گزارشدهی «مبتنی بر اعتماد» به گزارشدهی «مبتنی بر تایید» منتقل میکند. با تبدیل سختافزار به منبع حقیقت، K-Veritas امکان دستچین کردن نتایج (Cherry-picking) یا شبیهسازی عملکرد از طریق ترفندهای نرمافزاری را از بین میبرد.
برای توسعهدهندگان، این بدان معناست که هزینه اثبات یک ادعا اکنون تقریباً صفر است. بار اثبات از دوش بازبین به دوش نویسنده منتقل شده است؛ کسی که اکنون باید یک PDF امضا شده ارائه دهد که از طریق یک تاییدکننده وب عمومی قابل حسابرسی باشد.
گام بعدی شما
- اگر پژوهشگر هستید، با نصب باینری پیشساخته از طریق curl و اجرای
kveritas initاولین جلسه تاییدشده خود را آغاز کنید. - برای بررسی اعتبار مقالات جدید، از تاییدکننده وب برای تطبیق ادعاهای محاسباتی با سختافزار گزارششده استفاده کنید.
- در پروژههای عاملمحور، از
--harnessبرای ایجاد زنجیره تایید اقدامات عامل استفاده کنید.
اما برای درک اینکه چگونه سختافزارهای نسل جدید این تاییدات را سختتر میکنند، تحلیل ما درباره تراشههای Blackwell را بخوانید.
گفتگو