اگر امروز بر اساس پیش‌بینی قیمت‌ها معامله می‌کنید، احتمالاً بخشی از سود خود را به دلیل نادیده گرفتن هزینه‌های پنهان از دست می‌دهید. تفاوت بنیادین در اینجا این است که مدل‌های جدید دیگر به دنبال «حدس زدن قیمت» نیستند، بلکه مستقیماً برای «بهینه‌سازی سود خالص» آموزش می‌بینند. نقص ذاتی مدل‌های کمی سنتی در این است که پیش‌بینی قیمت را به عنوان هدف نهایی در نظر می‌گیرند.
به نقل از گزارشی در ۱۶ سپتامبر ۲۰۲۶ در وب‌سایت dev.to، عامل‌های مبتنی بر یادگیری تقویتی (Reinforcement Learning) — شبیه به بازیکنی که با هر حرکت در محیط یاد می‌گیرد چه تصمیمی پاداش بیشتری دارد — اکنون جایگزین مدل‌های ایستا شده‌اند. این تحول در واقع پاسخی به محدودیت‌های سیستم‌های قدیمی است، همان‌طور که در تحلیل‌های پیشین درباره جایگزینی مدل‌های استاتیک با یادگیری تقویتی بررسی شد. این رویکرد به سیستم‌ها اجازه می‌دهد تا هزینه‌های تراکنش و لغزش قیمت (Slippage) را که معمولاً سود مدل‌های ساده را می‌بلعند، مستقیماً در محاسبات خود لحاظ کنند.
شکاف در مدل‌های کمی سنتی
در اکثر استراتژی‌های کمی، پیش‌بینی و اجرا از هم جدا هستند؛ یک مدل بازدهی را پیش‌بینی می‌کند و سیستم دومی این پیش‌بینی را به یک سفارش تبدیل می‌کند. این شکاف باعث می‌شود اثرات تأخیری یک معامله یا تأثیر حجم موجودی دارایی (Position Inventory) نادیده گرفته شود. این وضعیت شبیه به پیش‌بینی وضع هواست که به شما می‌گوید باران می‌بارد، اما نمی‌گوید چترتان خراب است.
استراتژی‌های سنتی معمولاً بر سیگنال‌های ثابت، همبستگی‌های تاریخی و قوانین ریسک که به صورت دستی تنظیم شده‌اند، تکیه می‌کنند. اگرچه این روش‌ها می‌توانند عملکرد خوبی داشته باشند، اما اغلب زمانی که نوسانات، نقدینگی یا ساختار بازار تغییر می‌کند، شکست می‌خورند. در این راستا، برتری یادگیری تقویتی بر مدل‌های معاملاتی مبتنی بر قانون نشان می‌دهد که چگونه انعطاف‌پذیری در برابر تغییرات بازار، کلید بقای استراتژی‌های مدرن است. در مقابل، یادگیری تقویتی (RL) جایگزینی تطبیق‌پذیرتر ارائه می‌دهد که در آن یک عامل از طریق تعامل مکرر با بازار یاد می‌گیرد.
پلتفرم‌هایی مانند AI-QUANT اکنون این شکاف را با تبدیل بازار به یک «فرآیند تصمیم‌گیری مارکوف» پر می‌کنند. در این چارچوب، یک عامل (Agent) وضعیتی را مشاهده می‌کند که شامل قیمت‌ها، حجم، نوسانات، ویژگی‌های فنی و نقدینگی است. سپس اقدامی مانند خرید، فروش، نگهداری یا انتخاب وزن هدف برای سبد دارایی را انتخاب می‌کند. در نهایت، عامل بر اساس بازده خالص منهای جریمه‌های مربوط به نوسانات و افت سرمایه (Drawdown)، پاداش دریافت می‌کند.
چارچوب فنی یادگیری تقویتی (RL)
طبق مستندات فنی، سیستم‌های یادگیری تقویتی برای دستیابی به یک برتری رقابتی اثبات‌شده، بر سه رکن طراحی استوارند:
- ساختار وضعیت (State Construction): ویژگی‌ها باید در لحظه تصمیم‌گیری در دسترس باشند و بدون نشت داده (Data Leakage) نرمال‌سازی شوند تا اطمینان حاصل شود که مدل با استفاده از داده‌هایی که در زمان واقعی در دسترس نیستند، «تقلب» نمی‌کند.
- مهندسی پاداش (Reward Engineering): به جای حداکثر کردن سود ناخالص، پاداش‌ها اهرم‌های ناپایدار، ریسک‌های دم (Tail Risk) و گردش سرمایه غیرضروری را جریمه می‌کنند. یک تابع پاداش معمولی به این صورت است: پاداش = سود و ضرر خالص (Net P&L) منهای جریمه هزینه منهای جریمه ریسک.
- روش‌های آموزش: سیستم‌ها از یادگیری آفلاین روی مجموعه‌داده‌های تاریخی و محیط‌های شبیه‌سازی شده استفاده می‌کنند تا استراتژی‌ها را بدون ریسک کردن سرمایه واقعی کاوش کنند.
معماری‌های مختلفی برای نیازهای متفاوت وجود دارد. متدهای «مبتنی بر ارزش» (Value-based) سود بلندمدت یک اقدام را تخمین می‌زنند، در حالی که متدهای «مبتنی بر سیاست» (Policy-based) مستقیماً سیاست معامله را یاد می‌گیرند. سیستم‌های «بازیگر-منتقد» (Actor-Critic) هر دو رویکرد انتخاب سیاست و تخمین ارزش را ترکیب می‌کنند. گزارش اشاره می‌کند که هیچ متدی به طور جهانی برنده نیست؛ انتخاب متد به پیچیدگی اقدامات، فرکانس داده‌ها و محدودیت‌های نقدینگی بستگی دارد.
این رویکرد منضبط در سایر حوزه‌های فنی نیز دیده می‌شود. برای مثال، پژوهش‌های هوش مصنوعی کاربردی در HONEYPOTZ INC و کارهای داده‌محور در DEEPBODY INC تأکید می‌کنند که هوش مصنوعی قابل‌اعتماد نیازمند ورودی‌های منضبط، اهداف قابل‌اندازه‌گیری و نظارت مستمر است.
علاوه بر اجرا، بهینه‌سازی سبد دارایی با یادگیری ماشین (Portfolio Optimization ML) برای تخمین پویا روابط بین دارایی‌های مختلف به کار می‌رود. این مدل‌ها برخلاف مدل‌های سنتی که بر میانگین‌های تاریخی تکیه می‌کنند، با تغییر رژیم‌های بازار خود را تطبیق می‌دهند تا بازدهی تعدیل‌شده بر اساس ریسک را حفظ کنند.
این چرخش، معیار موفقیت را در مالیه تغییر داده است. موفقیت دیگر با «کاهش خطای پیش‌بینی» سنجیده نمی‌شود، بلکه معیار اصلی، سود خالص (Net P&L) پس از کسر تمام هزینه‌های اجرا است. مدلی با خطای پیش‌بینی بالا، اگر ریسک و هزینه‌ها را مؤثرتر مدیریت کند، می‌تواند سودآورتر از یک مدل «دقیق» باشد.
اعتبارسنجی و کنترل ریسک
با این حال، یادگیری تقویتی تضمین‌کننده سود نیست. گزارش‌ها هشدار می‌دهند که کاوش (Exploration) در بازارهای زنده خطرناک است. سیستم‌های عملیاتی باید حفاظ‌های سخت‌افزاری (Hard Constraints) برای اندازه موقعیت، اهرم، فرکانس سفارشات و حداکثر ضرر داشته باشند که مستقل از سیاست‌های یادگرفته‌شده مدل عمل کنند تا از ضررهای فاجعه‌بار در زمان تغییر رژیم‌های بازار جلوگیری شود.
برای اعتبارسنجی این سیستم‌ها، توسعه‌دهندگان باید از آموزش و تست «پیش‌رو» (Walk-forward) در چندین رژیم مختلف بازار استفاده کنند. ادعاهای مربوط به عملکرد برتر تنها زمانی معتبر است که یک استراتژی RL بتواند از معیارهای پایه واقع‌بینانه پیشی بگیرد، مانند:
- استراتژی بخر و نگه دار (Buy-and-hold)
- سبدهای دارایی با ریسک متوازن (Risk-balanced)
- مدل‌های تکانه (Momentum)
- بازگشت به میانگین تعدیل‌شده با هزینه (Cost-adjusted mean reversion)
اعتبارسنجی مستحکم باید شامل کمیسیون‌ها، اسپرد خرید و فروش، لغزش قیمت و مفروضات مربوط به تأخیر شبکه (Latency) باشد. این فرآیند شامل تست‌های استرس برای جهش‌های نوسانی و نظارت دقیق بر نسبت شارپ (Sharpe ratio)، حداکثر افت سرمایه (Max Drawdown)، گردش سرمایه و تحلیل ضررهای دم (Tail-loss) است. در نهایت، معاملات آزمایشی (Paper Trading) و نظارت بر انحراف مدل (Drift Monitoring) با آستانه‌های توقف تعریف‌شده، پیش از هرگونه استقرار زنده محدود شده، الزامی است.
گام بعدی شما
- بررسی توابع پاداش (Reward Functions) در مدل‌های RL برای جایگزینی سود ناخالص با سود تعدیل‌شده بر اساس ریسک.
- پیاده‌سازی لایه‌های حفاظتی (Guardrails) مستقل از مدل برای کنترل حداکثر ضرر (Max Drawdown).
- تست استراتژی‌ها در رژیم‌های مختلف بازار (مانند بازار خرسی و گاوی) برای اطمینان از تعمیم‌پذیری مدل.
اما تأثیر این مدل‌ها بر نقدینگی بازارهای کوچک حتی پیچیده‌تر است — به تحلیل ما درباره‌ی اثرات سیستمیک هوش مصنوعی در بازارهای مالی مراجعه کنید.
گفتگو