اگر یک مدیر داده هستید که با حجم عظیمی از تحلیلهای لحظهای سروکار دارید، سقف عملکرد سیستمهای فعلی احتمالاً برای شما آشناست. اما حالا ClickHouse با جذب یکی از اثرگذارترین اساتید علوم کامپیوتر جهان، قصد دارد این سقف را جابهجا کند.
اندی پاولو (Andy Pavlo)، که از سال ۲۰۱۳ در دپارتمان علوم کامپیوتر دانشگاه کارنگی ملون تدریس میکرد، پس از بیش از یک دهه حضور در فضای آکادمیک، حالا از کلاس درس به آزمایشگاههای شرکتی نقلمکان میکند تا رهبری ClickHouse Labs را بر عهده بگیرد. این سازمان تحقیقاتی اختصاصی با هدف توسعه و هدایت نسل بعدی سیستمهای مدیریت پایگاهداده (DBMS) تأسیس شده است.
زمینه و بستر همکاری
این تحول در زمانی رخ میدهد که کل صنعت فناوری برای تطبیق ساختارهای ذخیرهسازی سنتی داده با عصر عاملهای هوش مصنوعی (AI Agents) — یعنی دستیارهای هوشمندی که میتوانند بهطور مستقل برنامهریزی کنند و ابزارها را اجرا نمایند — در تکاپو و گاهی دچار مشکل است. این تلاش برای توسعهی عاملهای خودمختار، همراستا با رویکردهای جدیدی است که در پروژههایی نظیر تلاش برای تغییر استانداردهای کنترل سیستمعامل توسط Hive-32B مشاهده میشود. در حالی که بسیاری از شرکتهای بزرگ، بخش تحقیقات را به عنوان یک سیلو یا جزیره ایزوله مدیریت میکنند، پاولو این آزمایشگاه را بهگونهای طراحی کرده است که مستقیماً با تیمهای مهندسی ادغام شود.
او صراحتاً بیان کرده است که این آزمایشگاه قرار نیست سازمانی باشد که صرفاً «ایدهها را از روی دیوار به سمت مهندسان پرت کند» و سپس منتظر اجرای آنها بماند. در عوض، اعضای تیم بهطور نزدیک با مهندسان ClickHouse، مشتریان، همکاران و شرکای صنعتی همکاری خواهند کرد. او برای توصیف این مدل مشارکت، از استعارهی یک «سوپرگروه هیپهاپ» استفاده کرد و بهطور خاص آن را به همکاری موفق «کیلر مایک» (Killer Mike) با «ال-پی» (El-P) تشبیه کرد. هدف نهایی این است که ایدههای نو ابداع و منتشر شوند تا ClickHouse همواره در لبهی تکنولوژی (Bleeding Edge) باقی بماند.
جزئیات و محورهای فنی
طبق اعلامیه رسمی شرکت، این آزمایشگاه بر چندین جبههی فنی حیاتی تمرکز خواهد کرد:
- یکپارچگی با AI: بررسی اینکه DBMSهای مدرنی مثل ClickHouse و PostgreSQL چگونه در اکوسیستم فناوریهای نوظهور AI و عاملمحور (Agentic) جای میگیرند. این محور شامل دو اولویت اصلی است: اول اینکه تعیین شود یک DBMS برای پشتیبانی بهتر از عاملهای هوشمند باید چه ویژگیهایی داشته باشد، و دوم اینکه بررسی شود چگونه خودِ این عاملها میتوانند توسعه، بهبود و اتوماسیون DBMS را مدیریت کنند.
- بهینهسازی زیرساخت: در این بخش، هیچ محدودیتی برای اکتشاف وجود ندارد. تیم بر روی سختافزارهای جدید، الگوریتمهای تازه، ساختارهای دادهای نو محور و استراتژیهای نوین در اجرای دستورات و همچنین روشهای جدید برای ساخت و عملیاتی کردن نرمافزارهای DBMS تمرکز خواهد کرد.
- همافزایی متقاطع: همکاری نزدیک با تیم ClickHouse PostgreSQL برای کمک به تثبیت سرویس مدیریتی (Managed Service) نوپای آن به عنوان پیشرو بازار در زمینه عملکرد و قابلیت اطمینان. اگرچه PostgreSQL و ClickHouse برای نیازهای کاری (Workload) متفاوتی طراحی شدهاند، اما ترکیب این دو، یک بنیاد گسترده برای بررسی مشکلات هر دو نوع پایگاهدادههای تراکنشی (Transactional) و تحلیلی (Analytical) فراهم میکند.
تصمیم پاولو برای پیوستن به این شرکت، حاصل یک شیفتگی دیرینه با این سیستم است. او از ژوئن ۲۰۱۶، یعنی زمانی که ClickHouse برای اولین بار به عنوان یک نرمافزار متنباز معرفی شد، آن را میشناخت. در آن زمان، او در ابتدا تصور میکرد این پروژه یک «نرمافزار خیالی» (Vaporware) است، زیرا ادعاهای آن بیش از حد خوب به نظر میرسید و باورپذیر نبود.
در سال ۲۰۱۶، ClickHouse از اجرای برداری پرسوجوها (Vectorized Query Execution) با استفاده از SIMD پشتیبانی میکرد و با زبان C++ نوشته شده بود. در آن دوران، این ویژگیها تنها در تعداد محدودی از DBMSهای تحلیلی تجاری و بسته (Closed-source) یافت میشد. در مقابل، اکثر سیستمهای تحلیلی متنباز برجسته در سال ۲۰۱۶ بر پایه JVM بودند و تا سالها بعد از آن، به بهینهسازیهای SIMD دست نیافتند. اهمیت این موضوع برای پاولو چنان زیاد بود که او در سال ۲۰۲۰، زمانی که پاندمی باعث آنلاین شدن دورههای آموزشیاش شد، در اولین جلسات از راه دور خود، تیشرت قدیمی ClickHouse را به تن داشت.
میراث پژوهشی و اهداف
شرکت ClickHouse پیشینهای طولانی در شفافیت دارد. از زمان تأسیس شرکت در سال ۲۰۲۱، مهندسان آن مقالات فنی دقیقی برای توضیح پیادهسازیهای DBMS منتشر کردهاند. یکی از برجستهترین این آثار، مقالهی سال ۲۰۲۴ در کنفرانس VLDB است که معماری هستهی سیستم را شرح میدهد؛ مقالهای که پاولو آن را به عنوان مطالعهی ضروری برای دانشجویانش در دانشگاه کارنگی ملون تعیین کرده است.
هدف پاولو این است که از این بنیاد استفاده کند تا لیست طولانی ایدهها و بهینهسازیهای جالبی را که تیم مهندسی پیشتر بررسی کرده بود اما به دلیل کمبود وقت نتوانسته بود بهطور کامل اعتبارسنجی کرده و به مرحله تولید (Production) برساند، پاکسازی و اجرا نماید. او قصد دارد ClickHouse را به همان سطح از تأثیر علمی برساند که سازمانهای پیشگام تحقیقات صنعتی مانند IBM Research و Microsoft Research داشتند. این گروهها ثابت کردند که آزمایشگاههای صنعتی میتوانند بهطور همزمان علوم پایه کامپیوتر را پیش ببرند، بر محصولات تجاری اثر بگذارند و نسلهای متوالی از پژوهشگران را تربیت کنند.
برای کاربر نهایی، این تغییر به معنای آن است که فاصله بین یک مقاله پژوهشی و یک بهروزرسانی در ویژگیهای نرمافزار بهشدت در حال کاهش است. ClickHouse با تقلید از این مدلهای افسانهای، روی این موضوع شرط بسته است که پیشرفتهای بنیادین در علوم کامپیوتر، تنها راه بقا در برابر تقاضاهای شدید دادهایِ عصر عاملهای هوشمند AI است.
اگر شما مدیریت بارهای کاری تحلیلی در مقیاس بالا را بر عهده دارید، منتظر اولین سری از بهینهسازیهای «اعتبارسنجی شده» باشید که از این آزمایشگاه خارج میشوند، زیرا آنها احتمالاً سقف عملکرد پایگاهدادههای تحلیلی متنباز را دوباره تعریف خواهند کرد.
گام بعدی شما
اگر از پایگاهدادههای تحلیلی در مقیاس بالا استفاده میکنید، چشم خود را به اولین بهروزرسانیهای «اعتبارسنجی شده» این آزمایشگاه باز کنید.
بررسی کنید که آیا گردش کارهای فعلی شما با ورود قابلیتهای عاملمحور، نیاز به تغییر در لایهی ذخیرهسازی دارد یا خیر.
مقالات فنی VLDB سال ۲۰۲۴ درباره معماری ClickHouse را بخوانید تا متوجه شوید چرا این سیستم برای دادههای حجیم بهینه است.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است؛ به تحلیل ما دربارهی تراشههای Blackwell و اثر آن بر استنتاج مدلها مراجعه کنید.
گفتگو