Red Hat OpenShift で Cloudera を使用して AI 向けに機密データを解放

多くの組織が、機密データの取り扱いに関する厳格な規制基準を維持しながら、データから価値を創出するという課題に直面しています。このような組織にとって、効率性、セキュリティ、スケーラビリティを維持しながら大規模で複雑なデータセットを処理できるようにすることが、ソリューションの導入における最優先事項となっています。Red Hat と Cloudera は連携することにより、組織がデータのライフサイクル全体を管理し、データをより迅速に機能させ、価値実現までの時間を短縮するのに役立つソリューションが提供しています。Red Hat OpenShift で Cloudera Private Cloud を使用すると、データを集約して可視化し、セキュリティを重点したハイブリッドなオープンソース環境で実用的な知見を引き出すことができます。この記事では、Red Hat OpenShift 上で実行される Cloudera ワークロードを使用して、これらの機能を AI 戦略に活用する方法について説明します。  

Red Hat OpenShift への Cloudera の導入

Red Hat OpenShift は業界をリードする  Kubernetes ベースのハイブリッドクラウド・アプリケーション・プラットフォームであり、包括的なツールとサービスのセットを組み合わせて、アプリケーション・ワークロードの開発から提供、管理まで、アプリケーションのライフサイクル全体を効率化します。このソリューションは、組み込みのセキュリティ機能を、専用のサポートや信頼できるソフトウェアのサプライチェーン、および運用基盤としての Red Hat Enterprise Linux に組み入れたものです。組み込まれた監視機能、オンデマンド環境、ポリシーの一元管理などの各種機能を備えた OpenShift は、世界中のお客様からワークロードの実行基盤として信頼されています。 

OpenShift 上で実行される Cloudera Platform は、ハイブリッド・データ・プラットフォーム上で分析、トランザクション、および機械学習 (ML) の強力なワークロードを提供します。Cloudera on-premises は、従来型のエラスティック分析とスケーラブルなオブジェクトストレージを選択できるため、従来のモノリシックなクラスタ・デプロイメントを、強力で効率的なプラットフォームへとモダナイズします。エンドユーザーは機密データを利用できるようになる一方、AI の力を活用してビジネスにおけるイノベーションを促進できます。このプラットフォームは、以下の 3 つのマイクロサービスによって支えられています。

1. Cloudera Data Warehouse (CDW)
2. Cloudera Data Engineering (CDE)
3. Cloudera AI

Cloudera AI を使用すると、開発者はセキュリティを重点したスケーラブルな環境で AI を開発し、デプロイし、管理することができます。さらに、開発者はこれらのモデルを活用して、さまざまなビジネスニーズに対応する AI エージェントや AI アプリケーションを開発できます。 

Red Hat OpenShift における Cloudera AI のパワー

Cloudera AI は、データサイエンスのチームがデータのライフサイクル全体で連携できるようにするためのツールを提供します。セキュリティを重視した信頼できるデータパイプライン、スケーラブルなコンピュートリソースその他のツールへのアクセスを提供します。Cloudera AI は Red Hat OpenShift 上でプラットフォームを実行することで、強力な Kubernetes コンテナオーケストレーションを利用して、リソースを効率的に管理し、ワークロードを動的にスケーリングします。エンタープライズグレードのセキュリティとコンプライアンス機能を備えた AI モデルの構築に役立ちます。

OpenShift 上で Cloudera AI を実行することで、データサイエンティスト、ML エンジニア、DevOps エンジニア、AI 開発者は、機密データを保護しながら共有ワークスペースを利用して連携することができます。

Red Hat OpenShift で Cloudera AI を使用するメリット

Cloudera は 25 エクサバイトのデータを管理し、最大手のグローバル企業 10 社中 9 社で利用されています。Cloudera は、大規模なデータフットプリントを有する顧客向けに 10 年以上にわたってソリューションを開発してきた経験を活かし、顧客のニーズに応じてスケーリングできる生成 AI (gen AI) ソリューションを提供するという独自の強みを持っています。お客様は Cloudera AI を組織のデータと統合して使用し、ビジネス上の意思決定に影響を与え、有益な成果を生み出すことができます。

機密データに対するエンタープライズグレードのセキュリティとコンプライアンス機能

企業の機密データを使用する AI モデルをデプロイする場合、セキュリティが最優先事項となります。OpenShift 上の Cloudera は、次のようなセキュリティ機能を提供します。

• セキュリティ重視のコンテナ化ワークロード：Kubernetes の namespace は、クラスター内のリソースをスコープするメカニズムを提供します。namespace は、名前付きリソースに一意のスコープを指定することで、基本的な名前の競合を回避し、信頼できるユーザーに管理権限を委任し、コミュニティリソースの消費を制限します。Cloudera AI は、Red Hat OpenShift のコンテナ内で AI および ML ワークロードを実行することで、各ワークロードが独立した namespace に分離されるようにし、Kubernetes 以外の標準的なデプロイメントモデルで発生する可能性のあるデータ侵害や脆弱性のリスクを低減します。Red Hat OpenShift の各種のセキュリティ機能についての詳細をご覧ください。
• ガバナンスとコンプライアンス：Cloudera は、データリネージュの追跡、アクセスの監査、GDPR や HIPAA などの規制への準拠を支援する組み込み機能を提供します。Cloudera の Shared Data Experience (SDX) の一部である Apache Ranger は、安全な Cloudera データレイクハウス内のデータに対する詳細のアクセス制御を提供します。また、Apache Atlas (前述の SDX のコンポーネントの 1 つ) は、セキュリティチームがデータ使用量を追跡し、アクセスやメタデータを管理するための監査機能を提供します。これらのコンポーネントにより、データがどのようにアクセスされ、利用されているかを顧客が把握できるようになります。この点は、機密データセットのコンプライアンスや規制当局への報告に不可欠です。Red Hat OpenShift において、Red Hat はセキュリティおよびコンプライアンスの各種の認定レベルを維持しています。Cloudera と、コ��プライアンスにおける Red Hat の機能を組み合わせることで、セキュリティとコンプライアンスを重視し、データの安全性を維持するプラットフォームが利用可能になります。

効率的なリソース管理とスケーラビリティ

AI モデルの構築とデプロイには、膨大な計算リソースが必要です。需要は、AI プロジェクトのステージやタイプによって変動します。Red Hat OpenShift 上で実行される Cloudera AI は、追加の設定をせずに必要な柔軟性を提供することができ、ワークロードのピーク時にはリソースをスケールアップし、リソースが不要になった場合にはスケールダウンすることができます。 

Cloudera AI は、Kubernetes ベースのインフラストラクチャと Red Hat OpenShift を使用して、次のような大規模な AI タスクを処理できるようにします。

• ディープラーニングモデルのトレーニング：Cloudera AI は、異種 GPU サポートを備えた Red Hat OpenShift がサポートする膨大な数の GPU を使用することで、複雑な ML モデルを効率的にトレーニングできます。
• 大規模な推論の実行: トレーニングを経た AI モデルは本番環境にデプロイできます。本番環境では、継続的なデータストリームが、リアルタイムの推論を可能にし、需要の増加に応じて自動的にスケーリングできるように設定されています。
• AI エージェントとアプリケーション:  Cloudera AI は、話型チャットボット、バーチャルアシスタント、ドキュメントの要約、自律型意思決定システムなど、AI 主導のエージェントやアプリケーションのデプロイとスケーリングを容易にします。

Cloudera Quota Management を使用すると、管理者は Cloudera AI ワークベンチ内で異なるチームやプロジェクトごとにリソースをどのように割り当てるかを制御できます。特定のプロジェクトとワークスペースに対して CPU、メモリー、GPU の使用量のクォータを設定することで、管理者はリソースを効率的に使用し、単一のチームまたはプロジェクトによるリソースの独占を防ぎます。これらの機能は、優先度の高い SLA に基づくワークロードを優先順位付けし、必要なリソースを受け取ってビジネスのリスクを軽減するために不可欠です。

Cloudera AI は Cloudera Quota Management を利用し、以下を使用してリソースの効率を向上させます。

• リソースの割り当てを制御： クォータ管理により、管理者は各ユーザーまたはプロジェクトに対するリソース制限を定義できます。この固有の属性はプロビジョニングを制御して、一貫性を維持し、SLA への影響を減らし、リソースの競合を防ぎます。
• 動的なスケーラビリティ：Red Hat OpenShift 上の Cloudera Platform は Kubernetes ベースのアーキテクチャを使用し、リアルタイムのアプリケーション要求に自動的に応じてワークロードを拡張します。たとえば、CPU、GPU、メモリーなどのリソースをモデルのトレーニング中に動的に増やして、パフォーマンスを向上させることができます。また、チューニングやこれらのリソースのテスト時など、リソースをあまり消費しないフェーズでは、リソースを縮小して、効率を維持しながらコストを削減できます。Cloudera Quota Management は、管理者が事前定義したリソース制限内でのみスケーリングを行うことで、コストを最適化し、使い過ぎを防止します。
• GPU の効率的な使用：処理負荷の高い AI タスクの場合、 Cloudera AI の管理者は GPU を割り当てることがで、必要に応じて特定のワークスペースの処理を高速化できます。Cloudera Data Platform の OpenShift との連携には、 Kubernetes の機能強化が含まれており、ユーザーは GPU リソースをより簡単に設定して使用でき、ワークロードを高速化できます。

コラボレーションと運用効率

AI モデルの開発には、異なるスキルセットを持つさまざまなチームが協力し合うアプローチが必要です。データサイエンティスト、ML エンジニア、IT 運用、DevOps エンジニア、ビジネスステークホルダーなど、多様なバックグラウンドを持つ人々からなるチームです。Red Hat OpenShift 上の Cloudera AI は、誰もがコラボレーションしてイノベーションを促進できる統合環境を提供することで、これらのチームの連携を促進します。主なコラボレーション機能は次のとおりです。

• 共有ワークスペース： 複数のチームメンバーが共有環境で作業できるため、データセット、プロジェクトのアーティファクト、コード、モデルを簡単に共有できます。
• バージョン管理：Cloudera AI は Git、Bitbucket その他のバージョン管理機能と統合して、チームが変更を追跡し、さまざまなブランチを使用して開発できるようにします。
• MLOps の自動化：モデルの開発からチューニング、デプロイメント、永続的な監視まで、運用フロー全体を自動化できます。これにより、AI モデルをラボから本番環境に移行するために必要な内部の開発投資を削減できます。

まとめ：信頼できるデータで AI イノベーションを推進する

OpenShift 上の Cloudera の一部として提供される Cloudera AI データサービスは、ユーザーが CDP で安全に管理された機密データにアクセスし、AI モデルをトレーニングし、チューニングできるようにすることで、企業に AI イノベーションを促進する強力なソリューションを提供します。 Cloudera AI の機能と Red Hat OpenShift の堅牢でスケーラブルなコンテナ管理インフラストラクチャを組み合わせることで、組織はセキュリティを重視しながら AI モデルを効率的に構築し、トレーニングし、デプロイすることができます。

ビジネスを変革するために AI を導入する組織にとって、 Cloudera AI と Red Hat OpenShift の組み合わせは、機密データを扱い、AI を活用した知見を大規模に提供するためのセキュリティ重視のプラットフォームを提供しています。金融、医療、またはその他の規制やコンプライアンスに関する要件に対応する必要のあるデータ集約型の業界のいずれのお客様も、Red Hat OpenShift 上で Cloudera AI を使用することにより、機密データの扱いに注意を払いつつ、顧客が生成 AI の可能性を最大限に引き出だせるよう支援することができます。