اگر با مجموعههای عظیم داده سر و کار دارید، گلوگاه انتقال دادههای شما همین امروز از بین رفت. تصور کنید دادههایی که جابهجاییشان دقایق زمان میبرد، حالا در چند ثانیه منتقل شوند.
در ۱۲ مه ۲۰۲۶، DuckDB پروتکل Quack را معرفی کرد. این فناوری میتواند ۶۰ میلیون ردیف داده را در کمتر از ۵ ثانیه جابهجا کند. این عدد، استانداردهای فعلی پایگاه دادههای سنتی را به کلی میشکند.
تا پیش از این، DuckDB به عنوان یک سیستم «درونپردازشی» (In-process) — شبیه به یک دفترچه یادداشت شخصی که فقط نویسندهاش آن را میبیند و دسترسی دیگران به آن نیست — عمل میکرد. به همین دلیل، دانشمندان داده در محیطهای پایتون عاشق آن بودند چون نیازی به مدیریت سرور نبود. اما این ساختار در پروژههای بزرگ مشکلساز بود؛ مثلاً وقتی چندین فرآیند میخواستند همزمان دادههای یک داشبورد را بهروزرسانی کنند.
همانطور که در تحلیلهای پیشین ما درباره ابزارهای تحلیل داده اشاره کردیم، حذف لایههای اضافی در انتقال داده، کلید بهرهوری است. طبق اعلام duckdb.org، پروتکل Quack این مشکل را با ایجاد یک لایه کلاینت-سرور مستقیم روی HTTP حل کرده است. حالا هر نسخه از DuckDB میتواند همزمان نقش کلاینت و سرور را ایفا کند.
بر اساس مستندات فنی، جزئیات این تحول عبارت است از:
- سریالسازی (Serialization) — شبیه تبدیل یک مدل لگویی سهبعدی به دستورالعملهای متنی برای ارسال پستی و بازسازی دقیق در مقصد — از نوع
application/duckdbو بر پایه اصول WAL است. - عملکرد: در بنچمارکهای AWS m8g.2xlarge، انتقال ۶۰ میلیون ردیف (۷۶ گیگابایت CSV) در ۴.۹۴ ثانیه انجام شد؛ در حالی که PostgreSQL برای همین کار به ۱۵۸.۳۷ ثانیه نیاز داشت.
- سرعت نوشتن: ثبت ۵,۴۳۴ تراکنش در ثانیه با ۸ رشته موازی، که از رکورد ۴,۳۲۰ تراکنش PostgreSQL پیشی گرفت.
- امنیت: اتصال پیشفرض روی پورت ۹۴۹۴ با احراز هویت توکنمحور.
این تغییر، فرضهای بنیادی درباره این ابزار را عوض میکند. DuckDB دیگر فقط یک دستیار کوچک برای تحلیلگران نیست؛ بلکه به قطعهای کلیدی در معماری دادههای مدرن تبدیل شده است. این ابزار حالا سرعت اجرای محلی را با قابلیت اتصال از راه دور ترکیب کرده است.
گام بعدی شما
- اگر از Postgres برای جابهجایی دادههای حجیم استفاده میکنید، پروتکل Quack را در محیط تست بررسی کنید.
- تنظیمات پورت ۹۴۹۴ و احراز هویت توکنی را برای محیطهای توزیعشده پیادهسازی کنید.
- منتظر انتشار نسخه v2.0 در پاییز امسال باشید.
اما داستان ادغام این پروتکل در DuckLake برای تبدیل DuckDB به یک سرور کاتالوگ متمرکز، حتی جذابتر است؛ جزئیات آن را در گزارش بعدی بررسی خواهیم کرد.
گفتگو