L'exploitation des données sensibles pour l'IA avec Cloudera sur Red Hat OpenShift

De nombreuses entreprises rencontrent des difficultés à créer de la valeur à partir des données tout en respectant des normes réglementaires strictes en matière de traitement des données sensibles. Pour ces entreprises, la gestion d'ensembles de données complexes et volumineux, tout en maintenant l'efficacité, la sécurité et l'évolutivité, devient primordiale pour leur déploiement. La collaboration entre Red Hat et Cloudera offre aux clients une solution qui aide les entreprises à gérer le cycle de vie complet des données, en les rendant opérationnelles plus rapidement et en réduisant le délai de rentabilisation. Avec Cloudera Private Cloud on Red Hat OpenShift, les entreprises obtiennent des données agrégées et visualisées qui peuvent les aider à extraire des informations exploitables dans un environnement open source hybride et sécurisé. Dans cet article, vous découvrirez comment tirer parti de ces capacités pour votre stratégie d'IA, en utilisant les charges de travail Cloudera exécutées sur Red Hat OpenShift.  

Présentation de Cloudera sur Red Hat OpenShift

Red Hat OpenShift est une plateforme d'applications de cloud hybride basée sur Kubernetes reconnue dans le secteur, qui combine un ensemble complet d'outils et de services pour rationaliser le cycle de vie des applications, du développement à la distribution en passant par la gestion des charges de travail des applications. Cette solution associe des fonctions de sécurité intégrées à un service d'assistance spécialisé, une chaîne d'approvisionnement des logiciels fiable et Red Hat Enterprise Linux comme fondation d'exploitation. Grâce à ses fonctionnalités variées, telles que la surveillance intégrée, les environnements à la demande et la gestion centralisée des politiques, les clients du monde entier font confiance à OpenShift pour exécuter leurs charges de travail. 

L'exécution de la solution Cloudera Platform sur OpenShift permet de déployer de puissantes charges de travail analytiques, transactionnelles et de machine learning (ML) sur une plateforme de données hybride. Avec un choix d'analyses traditionnelles et élastiques ainsi qu'un stockage en mode objet évolutif, Cloudera sur site modernise les déploiements de clusters monolithiques traditionnels dans une plateforme performante et efficace. Cette solution permet à l'utilisateur final d'accéder à des données sensibles tout en libérant le potentiel de l'IA pour stimuler l'innovation dans son entreprise. Cette plateforme repose sur trois microservices :

1. Cloudera Data Warehouse (CDW)
2. Cloudera Data Engineering (CDE)
3. Cloudera AI

La solution Cloudera AI permet aux développeurs de concevoir, déployer et gérer l'IA dans un environnement sécurisé et évolutif. Les développeurs peuvent ensuite utiliser ces modèles pour créer des agents et des applications d'IA afin de répondre à divers besoins métier. 

La puissance de Cloudera AI sur Red Hat OpenShift

La solution Cloudera AI fournit les outils permettant aux équipes de data scientists de collaborer sur l'ensemble du cycle de vie des données. Elle offre l'accès à des pipelines de données fiables et sécurisés, à des ressources de calcul évolutives et à d'autres outils. En exécutant la plateforme sur Red Hat OpenShift, Cloudera AI tire parti de la puissante technologie d'orchestration de conteneurs Kubernetes pour gérer efficacement les ressources et faire évoluer les charges de travail de manière dynamique. Cela permet aux entreprises de créer des modèles d'IA dotés de fonctions de sécurité et de conformité de niveau entreprise.

En exécutant Cloudera AI sur OpenShift, les spécialistes des données, les ingénieurs ML, les ingénieurs DevOps et les développeurs d'IA peuvent collaborer en utilisant un espace de travail partagé tout en protégeant les données sensibles.

Avantages de Cloudera AI sur Red Hat OpenShift

Cloudera gère 25 exaoctets de données et est utilisée par 9 entreprises sur 10 parmi les plus grandes au monde. Forte de plus de 10 ans d'expérience dans le développement de solutions pour les clients gérant de vastes volumes de données, Cloudera est particulièrement bien positionnée pour offrir une solution d'IA générative (gen AI) qui s'adapte aux besoins de sa clientèle. Les clients peuvent utiliser la technologie Cloudera AI, intégrée aux données de leur organisation, pour influencer leurs décisions métier et générer des résultats positifs.

Fonctionnalités de sécurité et de conformité de niveau entreprise pour les données sensibles

La sécurité est primordiale lors du déploiement de modèles d'IA qui utilisent des données sensibles d'entreprise. Cloudera sur OpenShift fournit les fonctions de sécurité suivantes :

• Charges de travail conteneurisées sécurisées : Les espaces de noms Kubernetes fournissent un mécanisme pour définir la portée des ressources dans un cluster. Ces espaces de noms offrent une portée unique pour les ressources nommées afin d'éviter les collisions de noms de base, de déléguer l'autorité de gestion aux utilisateurs de confiance et de limiter la consommation de ressources par la communauté. En exécutant les charges de travail d'IA et de ML dans des conteneurs sur Red Hat OpenShift, Cloudera AI aide à garantir que chaque charge de travail est isolée dans des espaces de noms indépendants, ce qui réduit le risque de fuites de données et de vulnérabilités qui pourraient survenir dans un modèle de déploiement standard non basé sur Kubernetes. En savoir plus sur les différentes fonctions de sécurité dans Red Hat OpenShift.
• Gouvernance et conformité : Cloudera intègre des fonctions pour le suivi du lignage des données, l'audit des accès et la mise en conformité avec les réglementations en vigueur, telles que le RGPD et HIPAA. Apache Ranger, qui fait partie de l'offre Shared Data Experience (SDX) de Cloudera, offre un contrôle d'accès affiné aux données stockées dans un data lake sécurisé de Cloudera. Apache Atlas (également un composant du SDX mentionné ci-dessus) permet aux équipes de sécurité de réaliser des audits afin de suivre l'utilisation et l'accès aux données, ainsi que la gestion des métadonnées. Ces composants offrent aux clients une visibilité sur la manière dont les données sont accessibles et utilisées, ce qui est essentiel pour assurer la conformité et générer des rapports réglementaires pour les ensembles de données sensibles. Dans Red Hat OpenShift, Red Hat maintient différents niveaux de certification en matière de sécurité et de conformité. En association avec les capacités de Cloudera et Red Hat en matière de conformité, la plateforme est axée sur la sécurité et la conformité afin de garantir la protection des données.

Gestion efficace des ressources et évolutivité

La création et le déploiement de modèles d'IA nécessitent des ressources de calcul considérables. La demande fluctue en fonction de l'étape et du type du projet d'IA. La technologie Cloudera AI exécutée sur Red Hat OpenShift offre par défaut la flexibilité nécessaire pour faire évoluer les ressources pendant les pics d'activité et les réduire lorsque les ressources ne sont plus nécessaires. 

En combinant une infrastructure basée sur Kubernetes avec Red Hat OpenShift, Cloudera AI permet aux clients de gérer des tâches d'IA à grande échelle, notamment :

• Entraînement des modèles d'apprentissage profond : Cloudera AI peut entraîner efficacement des modèles ML complexes en utilisant la vaste gamme de GPU pris en charge par Red Hat OpenShift, avec une prise en charge hétérogène des GPU.
• Exécution de l'inférence à grande échelle : Une fois entraînés, les modèles d'IA peuvent être déployés dans des environnements de production. Un flux continu de données y est généralement configuré pour permettre l'inférence en temps réel et la mise à l'échelle automatique en fonction de la demande.
• Agents et applications d'IA :  La solution Cloudera AI facilite le déploiement et la mise à l'échelle d'agents et d'applications basés sur l'IA, notamment les chatbots interactifs, les assistants virtuels, les systèmes de synthèse des documents et les systèmes de prise de décision autonomes.

Cloudera Quota Management donne aux administrateurs le pouvoir de contrôler la manière dont les ressources sont allouées au sein de l'atelier de travail Cloudera AI par les différentes équipes et projets. En fixant des quotas d'utilisation du processeur, de la mémoire et des GPU pour des projets et espaces de travail spécifiques, les administrateurs utilisent les ressources de manière efficace et empêchent la monopolisation des ressources par une seule équipe ou un seul projet. Ces capacités sont essentielles pour hiérarchiser les charges de travail prioritaires basées sur les contrats de niveau de service (SLA), et ainsi garantir l'allocation des ressources nécessaires pour réduire les risques métier.

Cloudera AI tire parti de Cloudera Quota Management pour améliorer l'efficacité des ressources au moyen de :

• Allocation des ressources contrôlée : La gestion des quotas permet aux administrateurs de définir des limites de ressources pour chaque utilisateur ou projet. Cet attribut unique contrôle le provisionnement afin de maintenir la cohérence, de réduire les impacts sur les SLA et d'éviter la contention des ressources.
• Évolutivité dynamique : La solution Cloudera Platform sur Red Hat OpenShift utilise une architecture basée sur Kubernetes pour faire évoluer automatiquement les charges de travail en réponse aux demandes en temps réel des applications. Par exemple, les ressources telles que les processeurs, les GPU et la mémoire peuvent être augmentées de manière dynamique lors de l'entraînement du modèle pour améliorer les performances. Ensuite, lors des phases moins gourmandes en ressources, comme le réglage ou le test, ces ressources peuvent être réduites pour maintenir l'efficacité tout en diminuant les coûts. Cloudera Quota Management garantit que la mise à l'échelle s'effectue uniquement dans les limites de ressources prédéfinies de l'administrateur, ce qui optimise les coûts et empêche les utilisations excessives.
• Utilisation efficace des GPU : pour les tâches d'IA intensives en calcul, Cloudera AI  Les administrateurs peuvent attribuer des GPU pour accélérer le traitement des espaces de travail spécifiques lorsque cela s'avère nécessaire. Cloudera Data Platform fonctionnant avec OpenShift, qui inclut des améliorations de Kubernetes afin que les utilisateurs puissent plus facilement configurer et utiliser les ressources GPU pour accélérer les charges de travail. 

Collaboration et efficacité opérationnelle

Le développement de modèles d'IA nécessite une approche collaborative entre diverses équipes aux compétences variées. Ces équipes sont composées de spécialistes des données, d'ingénieurs ML, d'experts en opérations IT, d'ingénieurs DevOps et de parties prenantes métier. Cloudera AI sur Red Hat OpenShift contribue à unir ces équipes en offrant un environnement centralisé où chacun peut collaborer et stimuler l'innovation. Les principales fonctions de collaboration incluent :

• Espaces de travail partagés : plusieurs membres de l’équipe peuvent travailler dans un environnement partagé, ce qui leur permet de partager facilement des ensembles de données, des artefacts de projet, du code et des modèles.
• Contrôle de version : Cloudera AI s'intègre à Git, Bitbucket et à d'autres systèmes de contrôle de version pour permettre aux équipes de suivre les modifications et d'utiliser différentes branches pour le développement.
• Automatisation MLOps : les clients peuvent automatiser l'ensemble du flux d'exploitation, du développement à l'optimisation des modèles, en passant par le déploiement et la surveillance continue. L'effort de développement interne nécessaire pour migrer les modèles d'IA d'un laboratoire à un environnement de production est ainsi réduit.

Conclusion : favoriser l'innovation dans le domaine de l'IA avec des données fiables

Le service de données Cloudera AI, proposé dans le cadre de Cloudera sur OpenShift, offre aux entreprises une solution puissante pour stimuler l'innovation en IA. Il permet aux utilisateurs d'accéder à des données sensibles gérées de manière sécurisée dans CDP afin d'entraîner et de paramétrer leurs modèles d'IA. La combinaison des Les capacités de Cloudera AI grâce à l'infrastructure de gestion des conteneurs robuste et évolutive de Red Hat OpenShift permet aux entreprises de créer, d'entraîner et de déployer des modèles d'IA efficacement et de manière sécurisée.

Alors que les entreprises adoptent l'IA pour transformer leurs activités, la combinaison de Cloudera AI et Red Hat OpenShift  offre une plateforme centrée sur la sécurité pour le traitement des données sensibles et la distribution d'informations basées sur l'IA à grande échelle. Que le client travaille dans le secteur de la finance, de la santé ou dans tout autre secteur traitant de gros volumes de données et qui a des besoins en matière de réglementation et de conformité, Cloudera AI sur Red Hat OpenShift traite  les données sensibles avec soin, tout en permettant aux clients de libérer le plein potentiel de la gen AI.