پولشویی دامنه: سازوکار فریب بنچمارک‌های استدلال حقوقی در مدل‌های زبانی

باید بدانید که تکیه بر امتیازات بالای بنچمارک‌ها در هوش مصنوعی حقوقی، می‌تواند به شکست‌های منطقی فاجعه‌باری منجر شود. طبق تحلیل فنی منتشر شده در تاریخ ۱۶ ژوئن ۲۰۲۶ در سامانه arxiv.org، مدل‌های زبانی بزرگ (LLM) می‌توانند در آزمون‌های استدلال حقوقی پیروز شوند، در حالی که در واقعیت، منطق نمادین (Symbolic Logic) زیربنایی را کاملاً نادیده می‌گیرند.

این یافته در حالی منتشر می‌شود که متخصصان حقوق به‌طور گسترده‌ای برای تحلیل قراردادها و استنتاج به هوش مصنوعی وابسته شده‌اند. همان‌طور که در تحلیل قبلی ما درباره‌ی شکست قوانین مقیاس‌پذیری (Scaling Laws) در آموزش سقراطی مدل‌ها اشاره کردیم، صرفاً افزایش پارامترها نمی‌تواند شکاف میان «الگویابی» و «درک واقعی» را پر کند.

این مطالعه پنج مدل زبانی را با استفاده از مجموعه‌داده‌ی ContractNLI در سه الگوی مختلف مقایسه کرد: طبقه‌بندی خالص، استدلال رسمی مبتنی بر LLM و استدلال مبتنی بر Z3 SMT solver. هرچند استدلال رسمی بالاترین امتیاز را در بنچمارک‌ها کسب کرد، اما پژوهشگران سه حالت شکست بحرانی را شناسایی کردند:

• پولشویی دامنه (Scope Laundering): مدل نتایجی سازگار با طبقه‌بندیِ حل‌کننده (Solver) ارائه می‌دهد، اما مراحل واقعی استدلال رسمی را نادیده می‌گیرد.
• کوری نسبت به محدودیت‌های ضمنی (Implicit Constraint Blindness): مدل‌ها محدودیت‌های منطقی نهفته در بازنمایی‌های رسمی را نمی‌بینند.
• شکست در سنتز برنامه (Program Synthesis Failures): مدل‌ها با وجود پرامپت‌های ساختاریافته، کدهای Z3 نادرستی تولید می‌کنند.

از دیدگاه فنی، این نتیجه پیش‌فرض‌های صنعت را به چالش می‌کشد؛ اینکه «رسمی‌سازی» یک پرامپت — مثل درخواست از مدل برای تفکر به زبان کد — لزوماً اجرای نمادین را تضمین نمی‌کند. این یعنی دقت در بنچمارک، شاخصی پس‌رو برای «وفاداری» (Faithfulness) است و مدل ممکن است به دلیل دلایلی غلط، به جواب درست برسد. بنابراین، توسعه‌دهندگان باید از بررسی «پاسخ نهایی» به سمت تأیید «ردپای اجرا» (Execution Trace) حرکت کنند.

گام بعدی شما

• بررسی معماری‌های عصبی-نمادین (Neuro-symbolic) که در آن‌ها LLM تنها به عنوان مترجم و حل‌کننده نمادین به عنوان داور حقیقت عمل می‌کند.
• جایگزینی بنچمارک‌های خروجی‌محور با متدهای ارزیابی فرآیندمحور در پروژه‌های حقوقی.
• تحلیل دقیق کدهای تولید شده توسط مدل در محیط‌های ایزوله پیش از اعتماد به پاسخ نهایی.

اما چالش‌های مربوط به توهم در مدل‌های تخصصی حقوقی حتی پیچیده‌تر است — به تحلیل ما درباره‌ی توهم در مدل‌های دامنه-محور مراجعه کنید.