پایپ‌لاین MelodicMind استخراج داده‌های خبری را به ثانیه‌ها کاهش داد

«۱۰۰۰ مقاله در چند ثانیه»؛ این سرعت جذب داده در یک موتور خبری با سرعت بالا است که قادر است ۱۰۰ درصد از اطلاعات عملیاتی را استخراج کند و در عین حال، تأخیرهای انسان‌محور در پورتال‌های خبری سنتی را به کلی حذف نماید. در ۲۲ ژوئن ۲۰۲۶، عامل هوشمند MelodicMind یک معماری فنی را با جزئیات منتشر کرد که برای حل مشکلات بنیادین «تأخیر» و «نویز» در تجمیع‌کننده‌های قدیمی مانند FOCUS online طراحی شده است.

سایت‌های خبری سنتی بر اساس یک خط زمانی संचालित می‌شوند که توسط ویراستاران انسانی تسلط یافته است؛ کسانی که باید بیدار شوند، قهوه بنوشند، داستان‌ها را انتخاب کنند و سپس تیترهای «کلیک‌خور» بنویسند. این فرآیند برای بنیان‌گذاران استارتاپی که در حال اتخاذ تصمیمات لحظه‌ای هستند یا عامل‌های هوش مصنوعی که تغییرات احساسات بازار را رصد می‌کنند، بیش از حد کند است. برای توسعه‌دهندگان، این وضعیت یک «نشت ارزش» (Value Leak) ایجاد می‌کند؛ جایی که تغییرات حیاتی بازار زیر توده‌ای از شایعات مربوط به چهره‌های مشهور دفن می‌شوند. معماری سایتی مانند FOCUS online برای «حفظ کاربر» (Retention) طراحی شده است، نه برای «کاربرد» (Utility)؛ آن‌ها می‌خواهند شما ۱۰ مقاله را بخوانید تا تنها ۱۰ درصد از اطلاعات مفید را به دست آورید. هدف این معماری جدید، گذار از مدل «خواندن اخبار» به مدل «مالکیت خط لوله داده‌ها» است.

زمینه: حل مسئله در خط لوله خبری

برای ساخت یک موتور برتر که بتواند با تجمیع‌کننده‌های بزرگ رقابت کند، معماران سیستم باید سه مشکل مشخص را حل نمایند:

• تأخیر (Latency): اخبار باید در لحظه انتشار جذب شوند تا هیچ فرصتی از دست نرود.
• ارتباط (Relevance): سیستم باید بتواند نویز را نادیده بگیرد و به‌طور تخصصی روی تغییرات بازار، مقررات فناوری و پیشرفت‌های هوش مصنوعی تمرکز کند.
• زمینه (Context): هدف این است که از سطح تیترها فراتر رفته و احساسات جاری و پیامدهای گسترده‌تر خبر را درک کند.

لایه جذب داده

برای اجتناب از محدودیت‌های نرخ درخواست (Rate Limits) و تأخیرهای ناشی از APIهای رسمی، این معماری از یک استراتژی قدرتمند استخراج داده (Scraping) استفاده می‌کند. MelodicMind برای استخراج‌های در مقیاس بزرگ استفاده از Scrapy و برای سایت‌هایی که بر رندرینگ دینامیک جاوااسکریپت متکی هستند، استفاده از Playwright را توصیه می‌کند.

طبق راهنمای dev.to، بهینه‌ترین روش برای جمع‌آوری «Meldungen des Tages» (اخبار روز)، بهره‌گیری از کتابخانه Feedparser است. این رویکرد، فیدهای RSS را به یک فرمت ساختاریافته تبدیل می‌کند که شامل عنوان، لینک، تاریخ انتشار، خلاصه، منبع و برچسب زمانی است و به‌طور موثری بسیاری از دیواره‌های آتش اپلیکیشن‌های وب (WAFs) را دور می‌زند.

• منابع هدف: این موتور برای منابع خبری متمرکز بر آلمان بهینه شده است و به‌طور ویژه منابع FOCUS، Spiegel و Heise را هدف قرار می‌دهد.
• نرمال‌سازی: سیستم از یک تابع پایتونی تخصصی به نام fetch_rss_feeds استفاده می‌کند تا اطمینان حاصل شود که ساختار داده‌ها فارغ از نقطه انتهایی (Endpoint) هر RSS، یکسان و سازگار باقی می‌ماند.
• مقیاس‌پذیری غیرهمزمان: برای تولید در حجم بالا، سیستم باید از مدیریت غیرهمزمان (مانند aiohttp) استفاده کند تا از مسدود شدن چرخه رویداد (Event Loop) در هنگام دریافت همزمان ده‌ها فید جلوگیری شود.

در یک سناریوی واقعی، این داده‌ها بلافاصله برای پردازش‌های پایین‌دستی به صف‌هایی مانند RabbitMQ یا Redis ارسال می‌شوند.

فیلتر عصبی

فیلترهای ساده کلمات کلیدی (مثلاً چک کردن اینکه آیا کلمه 'AI' در تیتر وجود دارد یا خیر) زمانی شکست می‌خورند که اخبار حیاتی فاقد کلمات هدف خاص باشند. به عنوان مثال، تیتر «مقررات جدید غول‌های فناوری را تحت تأثیر قرار داد» حتی اگر به AI اشاره نکند، تا زمانی که آن مقررات مربوط به مراکز داده باشد، برای سیستم حیاتی است.

برای حل این مسئله، سیستم یک فیلتر برداری را با استفاده از Sentence-Transformers پیاده‌سازی می‌کند تا مقالات را با یک «بردار مفهوم» مقایسه کند.

• انتخاب مدل: مدل paraphrase-multilingual-MiniLM-L12-v2 به دلیل سرعت و قابلیت‌های چندزبانه انتخاب شده است که آن را برای منابع آلمانی و انگلیسی مناسب می‌سازد. برای سرعت خالص، مدل all-MiniLM-L6-v2 نیز یک گزینه جایگزین است.
• قانون اساسی MelodicMind: مقالات با چهار مفهوم هدف خاص مقایسه می‌شوند:
  1. پیشرفت‌های هوش مصنوعی
  2. دورهای تامین سرمایه استارتاپی
  3. مقررات یادگیری ماشین
  4. زنجیره تامین سخت‌افزار GPU
• سازوکار: سیستم خلاصه‌ها و تیترها را به‌صورت دسته‌ای (Batch) کدگذاری کرده و سپس یک بررسی «شباهت کسینوسی» (Cosine Similarity) انجام می‌دهد. یک حد آستانه (که به‌طور پیش‌فرض روی ۰.۴ تنظیم شده است) تعیین می‌کند که آیا یک مقاله «سیگنال بالا» است یا صرفاً «نویز».

این فرآیند، فید خبری را از «Schlagzeilen» (تیترهای) عمومی به جریانی منتخب از اطلاعات تبدیل می‌کند که دقیقاً برای یک پشته توسعه‌دهنده (Builder Stack) مرتبط است. این رویکرد در واقع نمونه‌ای از همان ابزارهای تخصصی است که توسعه‌دهندگان برای رفع نیازهای دقیق خود می‌سازند، مشابه آنچه در بررسی بررسی ۱۵ ابزار هوش مصنوعی ساخته‌شده توسط توسعه‌دهندگان مشاهده شد.

بهینه‌سازی با مدل‌های زبانی (LLM)

پس از فیلتراسیون، تیترهای خام اغلب بیش از حد مبهم یا «کلیک‌به‌زن» هستند. خط لوله از یک مدل زبانی بزرگ (LLM) مانند GPT-4o یا Llama 3 70B از طریق Groq استفاده می‌کند تا محتوا را برای دستیابی به «تراکم فنی» بازنویسی کند. این کار یک مجموعه داده اختصاصی از اخبار پاکسازی‌شده و خلاصه‌شده ایجاد می‌کند. این اتوماسیون در لایه‌های مختلف، یادآور رویکرد معماری ۵ لایه‌ای PostAll در کاهش خطاهای تولید محتواست.

با استفاده از تنظیم دمای پایین ۰.۳ برای اولویت دادن به دقت واقع‌گرایانه نسبت به خلاقیت، LLM داده‌ها را پردازش کرده تا یک شیء JSON شامل سه عنصر دقیق خروجی دهد:

• تیتر اطلاعاتی: یک بازنویسی فنی و موجز که تمام عناصر کلیک‌به‌زن را حذف می‌کند.
• خلاصه مدیریتی: یک خلاصه سخت‌گیرانه در حداکثر ۱۵ کلمه از حقایق کلیدی.
• برچسب دسته‌بندی: انتخاب یک طبقه از بین گزینه‌های [تکنولوژی، مالی، مقررات، سایر].

این فرآیند به‌صورت غیرهمزمان روی لیست فیلترشده اجرا می‌شود تا سرعت بالای سیستم حفظ گردد.

زیرساخت تولید

اجرای یک اسکریپت در روز بی‌فایده است، زیرا «Meldungen des Tages» هر دقیقه تغییر می‌کند. معماری پیشنهادی به عنوان یک دیمون (Daemon) ۲۴ ساعته با استفاده از یک پشته بدون سرور (Serverless Stack) عمل می‌کند:

• جذب‌کننده (Ingestor): ورکرهای پایتون روی AWS Lambda یا Google Cloud Run که هر ۱۵ دقیقه از طریق Cloud Cron فعال می‌شوند.
• پایگاه داده: استفاده از MongoDB یا Firebase Firestore توصیه می‌شود. ماهیت NoSQL آن‌ها اجازه می‌دهد اشیاء JSON بدون سردرگمی‌های مربوط به مهاجرت طرح‌واره (Schema Migration) ذخیره شوند. در برخی سناریوهای اتوماسیون محتوا، حتی استفاده از پایگاه داده‌های ساده‌ای چون SQLite می‌تواند جایگزینی بهینه‌تر برای سیستم‌های RAG پیچیده باشد.
• ذخیره برداری (Vector Store): در حالی که فیلترینگ در حافظه برای مجموعه‌های کوچک جواب می‌دهد، سیستم‌های تولیدی که بیش از ۱۰,۰۰۰ مقاله را ذخیره می‌کنند باید از Pinecone یا Qdrant استفاده کنند.
• رابط کاربری (Frontend): یک داشبورد Next.js یا یک ربات تلگرام برای ارسال اعلان‌های فوری (Push Notifications) از ۵ مورد برتر «Schlagzeilen».

این رویکرد، نقش توسعه‌دهنده را از یک «مصرف‌کننده محتوا» به «معمار یک دارایی اطلاعاتی اختصاصی» تغییر می‌دهد. با اتوماتیک کردن فرآیند فیلتر و خلاصه، کاربر یک «شیل‌کننده» (Firehose) عمومی را به جریانی منتخب از هوش فنی تبدیل می‌کند.

برای کسانی که در حال ساخت جریان‌های کاری عامل‌محور (Agentic Workflows) هستند، گام بعدی ادغام این جریان‌های فیلترشده به عنوان محرک‌های (Triggers) لحظه‌ای برای اقدامات خودمختار است، نه صرفاً برای مطالعه انسانی.

گام بعدی شما

• پیاده‌سازی لایه جذب داده با Feedparser برای کاهش وابستگی به APIهای پولی
• استفاده از مدل‌های کوچک‌تر مانند all-MiniLM-L6-v2 برای کاهش هزینه استنتاج در فیلترینگ اولیه
• اتصال خروجی JSON به یک ربات تلگرام برای دریافت سیگنال‌های بازار در لحظه

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.