OmniParseBench: مِلاک جدید برای سنجش دقت نویسه‌خوانی نوری با ۱۶ هزار آزمون

تفاوت میان یک جدول رده‌بندی مبهم و یک حسابرسی دقیق «پاس/فیل» (Pass/Fail) می‌تواند مرز بین اعتماد به داده‌ها و شکست کامل یک سیستم باشد. برای پر کردن این شکاف، دیتا‌لب (Datalab) در ۱۴ اکتبر ۲۰۲۶ ابزار OmniParseBench را منتشر کرد؛ یک محک متن‌باز که ابزاری سخت‌گیرانه برای اعتبارسنجی خروجی‌های نویسه‌خوانی نوری (OCR) در اختیار صنعت قرار می‌دهد تا در نهایت بتوان به خروجی‌های OCR اعتماد کرد.

زمینه و انگیزه‌ها

طبق گزارش منتشرشده، بنچمارک‌های فعلی OCR اغلب دچار اشباع شده‌اند یا معیارهای متناقضی دارند. دیتا‌لب دو مشکل اساسی را در ابزارهای فعلی شناسایی کرده است: نخست اینکه ابزاری مانند olmOCR-bench اکنون اشباع شده تلقی می‌شود؛ به این معنا که سیستم‌های برتر بیشتر بر اساس قراردادهای خروجی و بیش‌برازش (Overfitting) از یکدیگر متمایز می‌شوند تا توانایی واقعی در خواندن متن. علاوه بر این، تست‌های olmOCR-bench در دسته‌های تک‌بعدی بر اساس منبع صفحه قرار دارند؛ به این معنا که برای مثال، یک جدول دست‌نویس صرفاً در میانگینِ هر دسته‌ای که صفحه مربوط به آن قرار گرفته است، محاسبه می‌شود و هویت مستقل خود را از دست می‌دهد.

دوم اینکه ابزار ParseBench متعلق به LlamaIndex، فرآیند تجزیه (Parsing) را به پنج قابلیت مختلف تقسیم می‌کند که هر کدام معیار سنجش خاص خود را دارند. دیتا‌لب استدلال می‌کند که این امتیازها هیچ واحد مشترکی با یکدیگر ندارند و همین موضوع باعث می‌شود ترکیب یا مقایسه آن‌ها برای رسیدن به یک شاخص عملکرد واحد و شفاف غیرممکن باشد. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی استانداردهای ارزیابی مدل‌های بینایی اشاره کردیم، نبودِ یک واحد اندازه‌گیری مشترک، مقایسه مدل‌ها را به حدس و گمان تبدیل می‌کند.

OmniParseBench این مشکل را با تبدیل هر تست به یک پرسش دوتایی «بله/خیر» درباره یک صفحه واحد حل می‌کند. این مجموعه شامل ۱۶,۲۸۸ تست است که ۲,۹۳۷ صفحه از ۲,۳۴۳ سند در ۹۲ زبان مختلف را پوشش می‌دهد. امتیاز نهایی بر اساس میانگین سه «خانواده» اصلی محاسبه می‌شود: متن، جداول و چیدمان (Layout).

مکانیسم فنی امتیازدهی

بر اساس مستندات فنی، این بنچمارک از پنج نوع تست مشخص برای تعیین صحت (Accuracy) یک تجزیه‌کننده استفاده می‌کند:

• حضور (Present): بررسی می‌کند که آیا یک متن، عدد یا معادله خاص در صفحه ظاهر شده است یا خیر (خانواده متن).
• ترتیب (Order): تایید می‌کند که آیا یک متن A پیش از متن B ظاهر شده است (خانواده متن).
• تکرار (Repeat): تایید می‌کند که آیا یک خط دقیقاً N بار تکرار شده است (خانواده متن).
• سلول جدول (Table_cell): اعتبارسنجی می‌کند که آیا یک سلول خاص زیر سرستون‌های مشخص و در کنار همسایگان تعیین‌شده قرار دارد (خانواده جداول).
• نوع چیدمان (Layout_kind): تشخیص می‌دهد که آیا بلوک حاوی یک خط، یک عنوان (Heading)، متن معمولی یا یک جدول است (خانواده چیدمان).

برای تضمین دقت حداکثری، اعداد باید رقم‌به‌رقم مطابقت داشته باشند، هرچند برای تسهیل، عدد ۱,۲۴۰ به عنوان تطبیق صحیح برای ۱۲۴۰ پذیرفته می‌شود. معادلات نیز بر اساس آنچه KaTeX رندر می‌کند مقایسه می‌شوند؛ به این معنا که عبارت \frac{a}{b} با \dfrac{a}{b} یکسان تلقی می‌شود. هر تصمیم در چهار دستهٔ «پاس» (Pass)، «فیل» (Fail)، «پشتیبانی‌نشده» (Unsupported) یا «خطا» (Error) قرار می‌گیرد که دو مورد آخر (پشتیبانی‌نشده و خطا) از تمامی امتیازات حذف می‌شوند.

نکته کلیدی این است که سیستم امتیازدهی به‌صورت کد باز (Open Code) است و به‌طور آفلاین اجرا می‌شود. این یعنی از هیچ مدلی برای قضاوت خروجی‌ها استفاده نمی‌شود و سوگیری مدل زبانی به‌مثابه داور (LLM-as-a-judge) کاملاً حذف شده است. همچنین هر تست، «مسیر استخراج» (Derivation) خود را ثبت می‌کند تا مشخص شود پاسخ چگونه تعیین شده است. برای این کار از ۱۰ روش مختلف استفاده شده است، از جمله: فایل‌های JATS XML ناشران، لایه متنی PDF، صفحات تالیف‌شده، تست‌های olmOCR-bench، پنل‌های مدل و بررسی انسانی.

نتایج عرضه و عملکرد

به نقل از گزارش دیتا‌لب، فاصله بین سه سیستم برتر تنها ۱.۳ امتیاز در رده‌بندی کلی است. Gemini 3.8 Flash با امتیاز ۹۲.۹ در صدر قرار دارد و Datalab accurate با ۹۲.۷ در رتبه دوم است. مدل‌های Reducto (۹۰.۸) و LlamaParse (۹۰.۴) نیز عملکرد قابل‌توجهی داشتند. همچنین تنظیمات «متعادل» (balanced) دیتا‌لب امتیاز ۹۱.۶ را کسب کرد.

جزئیات بیشتر نقاط قوت و ضعف مدل‌ها را آشکار می‌کند:

• Claude Sonnet 5.5 بالاترین امتیازات فردی را در بخش متن (۹۳.۱) و جداول (۹۵.۴) به دست آورد، اما امتیاز پایین آن در بخش چیدمان (۷۷.۵)، میانگین کلی آن را به ۸۸.۷ کاهش داد.
• Reducto در حال حاضر با امتیاز ۹۵.۸ پیشتاز دقت در تشخیص چیدمان است.
• Tesseract به‌شدت در این آزمون شکست خورد و در بخش متن امتیاز ۱۷.۶ و در بخش جداول امتیاز ۰.۰ را ثبت کرد.

دیتا‌لب علاوه بر صحت، نموداری از امتیازات کلی را در برابر تأخیر (Latency) میانگین (که روی ۲۰۰ صفحه نمونه با ارسال ۸ صفحه در هر درخواست اندازه‌گیری شده) و هزینه برای هر ۱,۰۰۰ صفحه رسم کرده است. این شرکت صراحتاً اشاره کرده که Gemini 3.8 Flash و برخی از تست‌های داخلی خودش در ایجاد و تایید این بنچمارک نقش داشته‌اند و از کاربران می‌خواهد این موضوع را در کنار این واقعیت که دیتا‌لب خود فروشنده یک تجزیه‌کننده است، بسنجند.

استقرار و دسترسی

OmniParseBench یک مدل نیست، بلکه یک چارچوب ارزیابی (Evaluation Harness) است که برای اجرا به پایتون ۳.۱۱ به بالا نیاز دارد و از طریق دستور uv pip install omni-parse-bench نصب می‌شود. در حالی که فرآیند امتیازدهی به‌صورت آفلاین و بدون نیاز به کلید API اجرا می‌شود، اما تست کردن مدل‌های تجاری نیازمند کلیدهای API مربوط به آن‌ها است (مانند DATALAB_API_KEY یا OPENROUTER_API_KEY).

کاربران می‌توانند بنچمارک را از طریق رابط خط فرمان (CLI) اجرا کنند:
opb benchmark --out runs/ --limit 5 --providers datalab openai/gpt-5.6-sol

این رابط CLI ابتدا برنامه خود را نمایش داده و پیش از فراخوانی هر ارائه‌دهنده، تاییدیه می‌گیرد؛ همچنین اجراهای متوقف شده، قابلیت ادامه (Resumable) دارند. برای مهندسان، قدرتمندترین ویژگی این ابزار، سیستم برچسب‌گذاری (Tagging) است. هر آرگومان دارای برچسب‌هایی در پنج محور است: ساختار، رندرینگ، نقش، اسکریپت (با استفاده از کدهای ISO 15924) و زبان (با استفاده از کدهای ISO 639-3).

این قابلیت به کاربران اجازه می‌دهد داده‌ها را برش داده و به این پرسش پاسخ دهند که «کدام تجزیه‌کننده برای اسناد مشابه اسناد من مناسب است؟»:

• برچسب جدول: شامل ۶,۷۶۷ تست روی ۱,۰۰۰ صفحه از ۸۷۵ سند است.
• زبان انگلیسی: ۱۰,۰۸۹ تست را پوشش می‌دهد.
• زبان‌های غیرانگلیسی: شامل ۱,۹۳۱ تست روی ۵۲۹ صفحه از ۳۲۱ سند است.

این چرخش به سمت تست‌های واحد (Unit Tests) دانه‌ریز و قابل حسابرسی، فرضیات ارزیابی OCR را تغییر می‌دهد. توسعه‌دهندگان اکنون به جای تعقیب یک امتیاز جهانی واحد، می‌توانند دقیقاً شناسایی کنند که یک تجزیه‌کننده در کجا شکست می‌خورد؛ خواه این شکست مربوط به یک اسکریپت زبانی خاص باشد یا یک چیدمان پیچیده از جدول. این رویکرد دقیق در ارزیابی، مشابه همان متدولوژی است که در مقایسه نرخ موفقیت سیستم‌های عامل‌محور برای سنجش کارایی مدل‌های پیچیده به کار گرفته شد.

در حالی که دیتا‌لب تجزیه‌کننده خود را می‌فروشد، کد این ابزار را تحت لایسنس Apache 2.0 و تست‌ها را تحت CC BY 4.0 (با برخی استثنائات) منتشر کرده است و داده‌های صفحات نیز طبق لایسنس منبع هر یک است. آن‌ها تأکید می‌کنند که اگرچه OmniParseBench ابزاری قدرتمند است، اما محک نهایی همواره اسناد اختصاصی و مالکانه هر کاربر است.

اکنون توسعه‌دهندگان می‌توانند این چارچوب را در خط لوله‌های CI/CD خود ادغام کنند تا از افت کیفیت (Regression) در تجزیه اسناد هنگام تغییر مدل یا به‌روزرسانی پرامپت‌ها جلوگیری کنند.

گام بعدی شما

• اگر از مدل‌های OCR برای استخراج داده استفاده می‌کنید، OmniParseBench را نصب کنید تا نقاط ضعف مدل فعلی خود را در جداول یا چیدمان‌ها شناسایی کنید.
• در صورت استفاده از مدل‌های چندوجهی، خروجی‌های آن‌ها را با تست‌های دوتایی (بله/خیر) این بنچمارک بسنجید تا نرخ توهم در استخراج اعداد را کاهش دهید.
• برای بهینه‌سازی هزینه، نمودار تأخیر و قیمت دیتا‌لب را با نیازهای عملیاتی خود تطبیق دهید. این تحلیل هزینه-به-عملکرد یادآور بررسی‌های مشابه در حوزه ابزارهای تبدیل متن به گفتار است که توازن میان کیفیت و قیمت را به چالش می‌کشید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.