اگر مدیر فناوری هستید و میلیاردها رکورد داده در مراکز مختلف دارید، احتمالاً می‌دانید که انتقال آن‌ها به یک ابر عمومی برای اجرای هوش مصنوعی، یک کابوس مالی و قانونی است. کلودرا حالا راهکاری ارائه داده که به‌جای جابه‌جایی داده‌ها، محاسبات هوش مصنوعی را به نزدیکی داده‌ها می‌برد.
به نقل از لئو برونیک (Leo Brunnick)، مدیر محصول جدید کلودرا (Cloudera)، مدل‌های مبتنی بر ابرهای عمومی دیگر برای سازمان‌هایی که با مجموعه‌های عظیم و تحت نظارت از داده‌ها سروکار دارند، کاربردی نیستند. برونیک استدلال می‌کند که اجبار سازمان‌ها به انتقال تمام داده‌ها به یک ابر عمومی واحد، دیگر برای مدیریت مجموعه‌داده‌های عظیم و تنظیم‌شده، عملی نیست.
برونیک بیش از سه دهه تجربه در مقیاس‌بندی سازمان‌های نرم‌افزاری و فناوری سازمانی در بخش‌های مختلف را به این نقش می‌آورد. پیشینه او شامل خدمت به عنوان افسر پیاده‌نظام تفنگداران دریایی ایالات متحده و فعالیت در مشاوره فناوری در شرکت Andersen Consulting است. او پیش از این هشت سال به عنوان مدیر محصول در شرکت مدیریت محتوای سازمانی Vignette فعالیت کرد و پلتفرم رسانه‌ای دیجیتال Patheos را بنیان نهاد و آن را تا حدود ۱۵ میلیون بازدیدکننده ماهانه رشد داد تا در نهایت با موفقیت آن را واگذار کرد. اخیراً نیز شش سال در شرکت Naviga بود و به عنوان مدیر عملیاتی (COO)، رهبری بیش از ۶۰۰ متخصص در بخش‌های تحقیق و توسعه (R&D)، مهندسی، بازاریابی و پشتیبانی مشتریان را بر عهده داشت.
بسیاری از سازمان‌ها سال‌هاست که داده‌های خود را در مراکز داده خصوصی، محیط‌های لبه و چندین ابر مختلف پخش کرده‌اند. انتقال این حجم از داده به یک مرکز هوش مصنوعی، یا بیش از حد گران است، یا به‌دلیل قوانین حاکمیتی (Sovereignty Laws) غیرممکن است. این وضعیت یک تنش بحرانی ایجاد می‌کند: کسب‌وکارها برای رقابت باید هوش مصنوعی را مستقر کنند، اما نمی‌توانند داده‌های مورد نیاز برای تغذیه این مدل‌ها را جابه‌جا کنند. برونیک معتقد است فناوری زمانی بیشترین ارزش را دارد که چیزی پیچیده را برای استفاده آسان‌تر کند؛ در حالی که عصر فعلی هوش مصنوعی، لایه‌ای از پیچیدگی را به کسب‌وکارهایی اضافه کرده است که پیش از این در حال مدیریت محیط‌های حاکمیتی و داده‌های ابری بودند.
برای حل این چالش، کلودرا معماری ترکیبی جدیدی به نام Cloudera Anywhere Cloud را معرفی کرده است. این سامانه مانند یک تابلوی کنترل واحد (Single Control Plane) عمل می‌کند که به شرکت‌ها اجازه می‌دهد خدمات هوش مصنوعی را در ابرهای عمومی، زیرساخت‌های خصوصی و لبه (Edge) مستقر و مدیریت کنند، بدون اینکه نیاز باشد داده‌های خود را تکثیر یا جابه‌جا کنند. هدف این است که سازمان‌ها بتوانند از فناوری‌های جدید بهره‌مند شوند بدون اینکه مجبور باشند در مورد دارایی‌های داده‌ای، مدل‌های حاکمیتی و فرآیندهای عملیاتی که پیش از این ساخته‌اند، بازنگری کنند یا آن‌ها را دور بریزند.
چرخش به سمت زیرساخت‌های هوش مصنوعی ترکیبی
طبق گزارش unite.ai، معماری Anywhere Cloud چهار نقطه ضعف کلیدی را هدف قرار داده است:
- حاکمیت داده‌ها: دولت‌ها و صنایع تحت نظارت اکنون حاکمیت داده را یک الزام معماری می‌بینند، نه فقط یک چک‌باکس برای رعایت قوانین. سازمان‌ها باید دقیقاً بدانند داده کجا ذخیره شده، بارهای کاری هوش مصنوعی کجا در حال اجرا هستند و چه کسی به مالکیت معنوی دسترسی دارد. این اهمیت داده‌های اختصاصی در مقابل مدل‌های عمومی، در تحلیل‌های مربوط به ادغام شرکت‌ها نیز به عنوان عاملی تعیین‌کننده در برتری مدل‌های تخصصی بر مدل‌های زبانی عمومی مورد بحث قرار گرفته است.
- تأخیر (Latency): در محیط‌های رایانش لبه (Edge Computing) — شبیه به قرار دادن مغز کوچک در هر عضو بدن برای واکنش سریع‌تر به‌جای ارسال همه پیام‌ها به مغز مرکزی — میلی‌ثانیه‌ها تعیین‌کننده هستند. در مواردی که تأخیر بر عملکرد تأثیر می‌گذارد، اجرای بارهای کاری در لبه بسیار مناسب‌تر از اجرای آن‌ها در یک ابر دوردست است.
- مدیریت هزینه: انتقال اگزابایت‌ها از داده به ابرهای عمومی، هزینه‌های خروج (Egress) و ذخیره‌سازی غیرقابل تحملی ایجاد می‌کند که از نظر اقتصادی ناپایدار است.
- بار عملیاتی: مدیریت محیط‌های پراکنده — که هر کدام الزامات امنیتی، نظارتی و اقتصادی خاص خود را دارند — فشار شدیدی به تیم‌های فنی وارد می‌کند که این معماری یکپارچه قصد کاهش آن را دارد.
کلودرا در حال حاضر بیش از ۲۵ اگزابایت داده را برای سازمان‌های جهانی مدیریت می‌کند. هدف برونیک حذف ابرهای عمومی نیست، بلکه توزیع بار کاری بر اساس امنیت، مقررات و هزینه است. به باور او، در حالی که برخی برنامه‌های هوش مصنوعی برای ابر عمومی مناسب هستند، بارهای کاری مربوط به داده‌های بسیار حساس یا تحت نظارت باید در مراکز داده خصوصی یا محیط‌های حاکمیتی باقی بمانند.
زمینه: معماری داده‌های مدرن
استراتژی فعلی پلتفرم کلودرا به گونه‌ای طراحی شده است که به سازمان‌ها کمک کند داده‌ها را در هر کجا که قرار دارند مدیریت، نظارت، تحلیل و هوش مصنوعی را بر آن‌ها اعمال کنند. این استراتژی شامل ترکیبی از قابلیت‌های مدیریت داده، تحلیل، یادگیری ماشین، هوش مصنوعی زاینده (Generative AI) و هوش مصنوعی عامل‌محور (Agentic AI) است.
برای پشتیبانی از این هدف، شرکت از یک «لیک‌هوس داده باز» (Open Data Lakehouse) و یک «بافت داده یکپارچه» (Unified Data Fabric) استفاده می‌کند. این ابزارها پردازش داده‌ها در لحظه (Real-time) را ممکن می‌سازند و چارچوب لازم برای توسعه و استقرار مدل‌ها و عامل‌های هوش مصنوعی را فراهم می‌کنند. تأکید اصلی همچنان بر امنیت سازمانی، حریم خصوصی و قابلیت جابه‌جایی بارهای کاری است.
برونیک تأکید می‌کند که برای سازمان‌ها عملی نیست که تمام داده‌های خود را به‌طور ایمن به برنامه‌ها و محیط‌های مختلفی که هوش مصنوعی در آن‌ها مستقر شده، منتقل کنند. آوردن محاسبات هوش مصنوعی به نزدیکی داده‌ها به سازمان‌ها اجازه می‌دهد تا از بخش بیشتری از داده‌های موجود خود استفاده کنند و در عین حال، داده‌ها را در مکانی که باید باشند، حفظ کنند.
جزئیات: پیاده‌سازی مدل ترکیبی
برای دستیابی به این انعطاف‌پذیری، کلودرا بر چندین مکانیسم اصلی تمرکز کرده است:
- صفحه کنترل یکپارچه: یک رابط واحد که بار عملیاتی مدیریت محیط‌های متعدد را کاهش می‌دهد و به تیم‌ها اجازه می‌دهد به‌جای تمرکز بر زیرساخت، بر نتایج تمرکز کنند.
- قابلیت جابه‌جایی بار کاری: توانایی انتقال بارهای کاری بین ابرهای عمومی، مراکز داده خصوصی و لبه بر اساس نیازهای در حال تغییر کسب‌وکار.
- یکپارچگی با ابرهای حاکمیتی: معماری‌ای که به سازمان‌ها اجازه می‌دهد در ابرهای حاکمیتی و سیستم‌های درون‌سازمانی فعالیت کنند و در عین حال، حاکمیت یکسانی را اعمال نمایند.
- هوش مصنوعی داده‌محور: تغییر پارادایم از «بردن داده به سمت AI» به «آوردن محاسبات AI مستقیماً به جایی که داده‌ها حضور دارند».
این رویکرد تضمین می‌کند که سازمان‌ها مجبور نباشند بین چابکی ابر و امنیت زیرساخت‌های خصوصی یکی را انتخاب کنند. با حفظ کنترل بر محیط‌های داده و هوش مصنوعی، شرکت‌های فعال در صنایع تحت نظارت می‌توانند مسئولانه‌تر نوآوری کنند.
شتاب‌دهی بدون بازنویسی کد
یکی از بزرگ‌ترین موانع پذیرش AI، نیاز به بازنویسی خط لوله‌های داده (Data Pipelines) است. تغییر به فناوری جدید ریسک ایجاد می‌کند، نتایج را به تأخیر می‌اندازد و سیستم‌هایی را که در حال حاضر به درستی کار می‌کنند، مختل می‌کند. برای رفع این مشکل، کلودرا با انویدیا (NVIDIA) همکاری کرده تا شتاب‌دهی GPU را به بارهای کاری Apache Spark 4.1 از طریق cuDF اضافه کند.
این یکپارچگی اجازه می‌دهد سازمان‌ها بدون بازنویسی برنامه‌های PySpark یا SQL موجود، تا ۴ برابر بهبود عملکرد داشته باشند. با حذف نیاز به بازنگری در کدها، شرکت‌ها می‌توانند از سرمایه‌گذاری‌های مهندسی قبلی خود محافظت کنند و در عین حال مرحله آماده‌سازی داده‌ها — که اغلب بزرگ‌ترین گلوگاه در تولید هوش مصنوعی است — را سرعت ببخشند. این «شتاب‌دهی بدون کد» به تیم‌ها اجازه می‌دهد عملکرد خط لوله‌های داده‌ای را که از تحلیل‌ها و هوش مصنوعی پشتیبانی می‌کنند، بدون تغییر بنیادین در نحوه عملیات، بهبود بخشند.
ظهور حاکمیت عامل‌محور (Agentic Governance)
با تبدیل چت‌بات‌های ساده به عامل‌های هوشمند (Agents) — شبیه به کارمندانی که نه‌تنها حرف می‌زنند، بلکه می‌توانند به‌طور مستقل کارهای اداری را انجام دهند — حاکمیت سنتی داده‌ها منسوخ شده است. Anywhere Cloud شامل یک کمک‌خلبان عامل‌محور است که درخواست‌های به زبان ساده را به عملیات زیرساختی و جریان‌های کاری داده تبدیل می‌کند. این امر اصطکاک را کاهش داده و قابلیت‌های پیشرفته داده را از طریق خودکارسازی کارهای عملیاتی تکراری، در دسترس تعداد بیشتری از افراد قرار می‌دهد. این رویکرد به سازمان‌ها کمک می‌کند تا فراتر از تحلیل‌های ساده، به سمت اتوماسیون عملیاتی حرکت کنند؛ مشابه آنچه در تحول مدیریت وام‌های اعتباری توسط Hypercore مشاهده شد.
با این حال، این استقلال نیازمند یک چارچوب امنیتی جدید است. برونیک تأکید می‌کند که حاکمیت اکنون باید شامل موارد زیر باشد:
- هویت عامل: ردیابی دقیق اینکه کدام عامل به داده‌های خاصی دسترسی داشت و با آن اطلاعات چه کرد.
- دسترسی صفر-اعتماد (Zero-Trust): اعمال مجوزهای سخت‌گیرانه بر روی آنچه یک عامل می‌تواند درباره آن استدلال کند و اجرا نماید، تا اطمینان حاصل شود که اقدامات با سیاست‌های شرکتی همسو هستند.
- حضور انسان در چرخه: تعریف محرک‌های واضح برای زمان‌هایی که یک اقدام خودکار حتماً نیاز به تأیید دستی دارد، به‌ویژه زمانی که تأثیر احتمالی یک اقدام افزایش می‌یابد.
- مشاهده‌پذیری و تبار (Lineage): حفظ یک رکورد شفاف از استدلال‌ها و اقدامات انجام شده توسط عامل‌ها برای تضمین امنیت.
حاکمیت را نمی‌توان پس از اقدام یک عامل معرفی کرد؛ بلکه باید در محیط تعبیه شود تا حفاظ‌ها همراه با داده‌ها حرکت کنند و صرف‌نظر از اینکه کاربر یک انسان است، یک برنامه یا یک عامل خودکار، اجرا شوند.
استانداردهای باز در برابر انحصار فروشنده
برای جلوگیری از نسل جدیدی از وابستگی به فروشندگان هوش مصنوعی (Vendor Lock-in)، کلودرا بر استانداردهای باز تأکید دوچندان دارد. این پلتفرم ابزارهایی چون Apache Iceberg، Polaris، Spark، Kafka و Trino را یکپارچه کرده است.
با استفاده از کاتالوگ‌های باز و موتورهای متقابل‌العمل، سازمان‌ها می‌توانند مدل‌ها یا ارائه‌دهندگان زیرساخت خود را بدون نیاز به بازسازی کل پشته داده‌های خود تغییر دهند. این انعطاف‌پذیری ضروری است زیرا چشم‌انداز هوش مصنوعی سریع‌تر از آن چیزی تکامل می‌یابد که چرخه‌های خرید شرکتی بتوانند مدیریت کنند. برونیک استدلال می‌کند که سازمان‌ها باید از تصمیمات معماری امروز که مدل‌ها، موتورها یا فناوری‌های آینده آن‌ها را محدود می‌کند، اجتناب کنند.
یک رویکرد باز به سازمان‌ها اجازه می‌دهد قابلیت‌های جدید هوش مصنوعی را پذیرفته و بر روی سرمایه‌گذاری‌های موجود بنا کنند، به‌جای اینکه با تکامل فناوری، مدام داده‌ها را کپی کنند. این موضوع به‌ویژه برای کسانی که در ابرهای عمومی، زیرساخت‌های حاکمیتی و مراکز داده خصوصی فعالیت می‌کنند و نیاز دارند آزادانه تصمیم بگیرند بارهای کاری کجا اجرا شوند، حیاتی است.
واقعیت اقتصادی محاسبات هوش مصنوعی
هوش مصنوعی در حال افزایش هزینه‌های زیرساختی در تمام سطوح است. پژوهش‌های کلودرا نشان می‌دهد که ۸۴٪ از پاسخ‌دهندگان شاهد افزایش هزینه‌های زیرساختی خود به‌دلیل بارهای کاری AI بوده‌اند.
پردازش داده‌های شتاب‌یافته با GPU دیگر فقط برای آموزش مدل‌های بزرگ نیست. این قابلیت در حال تبدیل شدن به بخشی استاندارد از پشته داده‌هاست تا زمان اجرای محاسبات کاهش یابد و هزینه کلی آماده‌سازی مجموعه‌داده‌های عظیم برای استنتاج (Inference) پایین بیاید. پردازش سریع‌تر تنها به معنای اتمام سریع‌تر یک شغل Spark نیست؛ بلکه به تیم‌های داده اجازه می‌دهد سریع‌تر تکرار (Iterate) کنند و هزینه‌های کلی زیرساخت را کاهش دهند. در این مسیر، بازتعریف بهره‌وری ضروری است؛ همان‌طور که مدیرعامل ProHance اشاره می‌کند، در عصر هوش مصنوعی باید خروجی‌ها و نتایج اندازه‌گیری شوند، نه صرفاً ساعات کاری یا زمان پردازش.
این تغییر به این معناست که برندگان عصر هوش مصنوعی کسانی خواهند بود که بتوانند زیرساخت خود را با نوع بار کاری تطبیق دهند: اجرای داده‌های حساس به‌صورت خصوصی و آزمایش‌های چابک در ابر — همگی تحت یک لایه مدیریت یکپارچه. با آوردن محاسبات هوش مصنوعی به نزدیکی داده‌ها، به‌جای انتقال تمام داده‌های سازمانی به سمت AI، سازمان‌ها می‌توانند امنیت و حریم خصوصی را حفظ کرده و در عین حال از حجم عظیم داده‌هایی که در محیط‌های مختلف جمع‌آوری کرده‌اند، بهره ببرند.
گام بعدی شما
- ارزیابی مجدد هزینه‌های خروج داده (Egress Fees) در ابرهای عمومی برای بارهای کاری AI.
- بررسی امکان استقرار مدل‌های استنتاجی در لبه (Edge) برای کاهش تأخیر در پاسخ‌دهی.
- مطالعه مستندات Apache Iceberg برای ایجاد یک لایه داده مستقل از ارائه‌دهنده ابر.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو