یادگیری تقویتی در برابر الگوریتم‌های قانون‌محور در بازارهای پرنوسان

تصور کنید در بازاری معامله می‌کنید که دیگر خبری از منطق‌های خشک «اگر این شد، آن کار را بکن» یا تکیه به شهود شخصی نیست؛ در عوض، سیستمی دارید که سفارشات را بر اساس پاداش‌های لحظه‌ای بازار ارسال می‌کند. طبق گزارشی که در ۱۰ اکتبر ۲۰۲۶ در وب‌سایت dev.to منتشر شد، چرخش به سمت یادگیری تقویتی (Reinforcement Learning یا RL) بازدهی سالانه معاملات را به ۱۸٪ رسانده و هم‌زمان ریسک را به‌شدت کاهش داده است.

زمینه و بستر تحول

برای درک این تحول، باید به تجربه نویسنده نگاه کنیم. او سال‌ها به عنوان یک معامله‌گر روزانه (Day Trader) فعالیت می‌کرد و به‌طور وسواس‌گونه‌ای روی دفتر سفارشات (Order Books) و نمودارها متمرکز بود. اما با گذشت زمان، این رویکرد خسته‌کننده و ناامیدکننده شد؛ زیرا بازارها به دلیل نویز زیاد و نفوذ الگوریتم‌های معاملات فرکانس بالا (HFT)، پیش‌بینی‌ناپذیرتر شدند. در نهایت، این معامله‌گر متوجه شد که زمان بیشتری را صرف مدیریت ریسک می‌کند تا کسب سود.

در این بستر، مفهوم «مناقصه» (Tendering) تعریف می‌شود. مناقصه در اینجا به معنای بهره‌گیری از هوش مصنوعی برای ارسال پویا و متغیر سفارشات خرید و فروش بر اساس شرایط ظریف بازار است. در این روش، هوش مصنوعی به‌جای پیروی از استراتژی‌های پیش‌فرض و صلب، برای رسیدن به بهینه‌ترین قیمت‌های اجرا «مناقصه» می‌کند. در واقع، مدل بازار را نه مانند پازلی که با یک کلید ثابت باز شود، بلکه محیطی می‌بیند که باید در آن پیمایش کرد تا به بهترین نتیجه رسید.

الگوریتم‌های سنتی بر اساس داده‌های تاریخی و قوانین ثابت — مثل تقاطع میانگین‌های متحرک — ساخته شده‌اند. این سیستم‌ها منطق قطعی دارند: «اگر X رخ داد، Y را انجام بده». اما این قوانین در برابر تغییرات ناگهانی بازار شکننده هستند؛ وقتی دینامیک‌های بازار تغییر می‌کند، این قوانین اغلب منسوخ می‌شوند. درست مثل یک GPS که فقط یک مسیر را می‌شناسد و اگر جاده‌ای بسته شود، چون نمی‌تواند در لحظه از آن انسداد یاد بگیرد، کاملاً شکست می‌خورد. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، انعطاف‌پذیری در برابر داده‌های پیش‌بینی‌نشده، مرز بین شکست و موفقیت در سیستم‌های هوشمند است.

به همین دلیل، توسعه‌دهنده این سیستم از محیط OpenAI Gym و کتابخانه Stable-Baselines3 استفاده کرد. این عامل (Agent) — برخلاف ربات‌های سنتی که دستورات ثابت دارند — شبیه به کودکی است که با آزمون و خطا یاد می‌گیرد. این عامل از طریق دریافت پاداش برای سودآوری و دریافت جریمه برای هزینه‌های تراکنش، استراتژی خود را به‌طور مداوم اصلاح می‌کند.

جزئیات فنی

ساختار فنی این سیستم برای عبور از قوانین سخت‌گیرانه، بر پذیرش یک فضای حالت و اکشن مبتنی بر یادگیری استوار است:

• فضای حالت (State Space): عامل داده‌های OHLCV (قیمت باز، بالا، پایین، بسته و حجم) را برای X دوره اخیر پردازش می‌کند. این داده‌ها با شاخص‌های فنی مانند RSI، MACD و باندهای بولینگر ترکیب شده و در کنار موجودی فعلی سبد دارایی (Portfolio Holdings) قرار می‌گیرند تا یک تصویر کامل از وضعیت بازار ارائه دهند.
• فضای اکشن (Action Space): برای جلوگیری از پیچیدگی بیش از حد، دستورات به سه فرمان اصلی «نگهداری» (Hold)، «خرید» (Buy) یا «فروش» (Sell) محدود شده است.
• مکانیزم پاداش: یک تابع پاداش سفارشی، سود و ضرر (P&L) را بر اساس تفاوت بین قیمت فعلی و قبلی محاسبه می‌کند. سپس هزینه‌های تراکنش را از این مبلغ کسر می‌کند تا عامل را از معامله‌گری بیش از حد (Over-trading) دلسرد کند.

پشته تکنولوژی (Technical Stack)

زیرساخت عملیاتی این پروژه برای تضمین اجرای واقعی و شبیه‌سازی دقیق، از یک خط لوله پیچیده استفاده می‌کند:

• داده‌ها و پردازش: فیدهای لحظه‌ای از KuCoin API (و سایر منابع برای تست‌های گذشته) دریافت شده و توسط Pandas برای دستکاری داده‌ها و TA-Lib برای محاسبه شاخص‌های فنی پردازش می‌شوند.
• چارچوب RL: پیاده‌سازی الگوریتم‌های بهینه‌سازی سیاست تقریبی (PPO) و عامل-منتقد مزیت (A2C) از طریق کتابخانه Stable-Baselines3 انجام شده است.
• زیرساخت: یک محیط سفارشی طراحی شده که لغزش قیمت (Slippage)، دینامیک‌های دفتر سفارشات و هزینه‌های تراکنش را شبیه‌سازی می‌کند. این سیستم از طریق یک Flask API روی سرورهای ابری مستقر شده است.
• نظارت: رصد لحظه‌ای عملکرد سیستم با استفاده از ابزارهای Grafana و Prometheus صورت می‌گیرد.

بنچمارک‌های عملکرد

بر اساس گزارش dev.to، این عامل RL به‌طور مستمر از استراتژی‌های الگوریتمی سنتی در معاملات زنده پیشی گرفت. بازدهی سالانه از ۱۲٪ در مدل سنتی به ۱۸٪ در مدل RL رسید. اما دستاورد مهم‌تر، کاهش حداکثر افت سرمایه (Maximum Drawdown) از ۲۵-٪ به ۱۰-٪ و بهبود نسبت شارپ (Sharpe Ratio) از ۰.۸ به ۱.۲ بود. این رویکرد در راستای تلاش‌های گسترده‌تر برای بهینه‌سازی مدیریت ریسک است، مشابه آنچه در بررسی اثر بازنویسی دستورات بر کاهش شدید افت سرمایه در ترید مشاهده کردیم.

با این حال، این انتقال چالش‌های مهندسی جدیدی ایجاد کرد. توسعه‌دهنده اشاره کرد که بازارها «ناپایا» (Non-stationary) هستند؛ به این معنا که عاملی که روی داده‌های ماه گذشته آموزش دیده، می‌تواند به‌سرعت منسوخ شود. این موضوع نیازمند یادگیری مداوم و ایجاد تعادل ظریف میان «اکتشاف» (Exploration - امتحان کردن کارهای جدید) و «بهره‌برداری» (Exploitation - استفاده از استراتژی‌های سودآور شناخته‌شده) است.

چالش‌های قابل توجه دیگر شامل «شکل‌دهی پاداش» (Reward Shaping) بود. یک پاداش ساده بر اساس سود و ضرر می‌تواند منجر به استراتژی‌های بیش از حد تهاجمی شود؛ به همین دلیل توسعه‌دهنده مجبور شد توابعی طراحی کند که رفتار ریسک‌آگاه را تشویق کنند. علاوه بر این، مدل‌سازی دقیق لغزش قیمت و هزینه‌های تراکنش حیاتی بود، زیرا نادیده گرفتن این موارد منجر به نتایج غیرواقعی و خوش‌بینانه در تست‌های گذشته (Backtesting) می‌شود.

برای یک معامله‌گر، این تغییر به معنای تبدیل شدن از یک «مدیر ریسک» به یک «طراح توابع پاداش» است. هدف دیگر پیش‌بینی کندل بعدی نیست، بلکه ساخت سیستمی است که بتواند رفتار خود را با تغییر رژیم بازار تطبیق دهد.

نسخه‌های آینده به سمت یک اکوسیستم خود-تطبیق‌پذیر حرکت می‌کنند. این شامل استفاده از مجموعه‌ای (Ensemble) از چندین عامل RL است که روی دارایی‌های مختلف یا شرایط مختلف بازار آموزش دیده‌اند و توسط یک الگوریتم «فرا-یادگیری» (Meta-learning) ترکیب می‌شوند. همچنین، پیاده‌سازی یادگیری ماشین برای «تشخیص رژیم بازار» در حال اجراست تا سیستم بتواند تشخیص دهد که آیا بازار در حالت رونددار (Trending) است یا در حال نوسان در یک محدوده (Ranging).

گام بعدی شما

• بررسی کتابخانه Stable-Baselines3 برای پیاده‌سازی اولین عامل یادگیری تقویتی ساده.
• مطالعه مفهوم PPO برای درک نحوه بهینه‌سازی سیاست‌ها در محیط‌های پویا.
• تمرین طراحی «تابع پاداش» برای یک مسئله کوچک مدیریتی یا مالی جهت درک تفاوت پاداش‌های تهاجمی و محافظه‌کارانه.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.