Erschließen Sie sensible Daten für KI mit Cloudera auf Red Hat OpenShift

Viele Unternehmen stehen vor Herausforderungen, wenn es darum geht, aus Daten einen Mehrwert zu erzielen und gleichzeitig strenge gesetzliche Standards für den Umgang mit sensiblen Daten einzuhalten. Für diese Unternehmen ist die Handhabung großer, komplexer Datensätze bei gleichzeitiger Aufrechterhaltung der Effizienz, Sicherheit und Skalierbarkeit eine wichtige Voraussetzung für ihr Deployment. Die Zusammenarbeit zwischen Red Hat und Cloudera bietet Kunden eine Lösung, mit der Unternehmen den gesamten Daten-Lifecycle verwalten, Daten schneller nutzen und die Zeit bis zur Wertschöpfung verkürzen können. Mit Cloudera Private Cloud auf Red Hat OpenShift erhalten Unternehmen aggregierte und visualisierte Daten, mit denen sie umsetzbare Erkenntnisse in einer sicherheitsorientierten, hybriden Open Source-Umgebung ableiten können. In diesem Artikel erfahren Sie, wie Sie diese Funktionen für Ihre KI-Strategie nutzen können, indem Sie Cloudera-Workloads verwenden, die auf Red Hat OpenShift ausgeführt werden.  

Einführung in Cloudera auf Red Hat OpenShift

Red Hat OpenShift ist die branchenführende Hybrid Cloud Anwendungsplattform auf Basis von Kubernetes und kombiniert umfassende Tools und Services zur Optimierung des gesamten Anwendungs-Lifecycles zusammengefasst wird – von der Entwicklung über die Bereitstellung bis hin zum Management der Anwendungs-Workloads. Es kombiniert integrierte Sicherheitsfunktionen mit dediziertem Support, einer vertrauenswürdigen Softwarelieferkette und Red Hat Enterprise Linux als Betriebsbasis. Dank verschiedener Funktionen wie integrierter Überwachung, On-Demand-Umgebungen und zentralisiertem Richtlinienmanagement vertrauen Kunden weltweit auf OpenShift, um ihre Workloads auszuführen. 

Die auf OpenShift ausgeführte Cloudera-Plattform bietet leistungsstarke analytische, transaktionale und ML-Workloads (Machine Learning) in einer hybriden Datenplattform. Mit einer Auswahl an traditionellen und elastischen Analysen und skalierbarem Objekt-Storage modernisiert Cloudera On-Premise traditionelle monolithische Cluster-Deployments in einer leistungsstarken und effizienten Plattform. Endbenutzende können auf sensible Daten zugreifen und gleichzeitig die Leistungsfähigkeit von KI nutzen, um die Innovation in ihrem Unternehmen zu fördern. Diese Plattform wird von drei Microservices unterstützt:

1. Cloudera Data Warehouse (CDW)
2. Cloudera Data Engineering (CDE)
3. Cloudera AI

Mit Cloudera AI können Entwicklungsteams KI in einer sicherheitsorientierten, skalierbaren Umgebung entwickeln, bereitstellen und verwalten. Entwicklungsteams können diese Modelle dann nutzen, um KI-Agenten und KI-Anwendungen zu entwickeln, um verschiedene geschäftliche Anforderungen zu erfüllen. 

Die Leistungsfähigkeit von Cloudera AI auf Red Hat OpenShift

Cloudera AI bietet die Tools, mit denen Data-Science-Teams während des gesamten Daten-Lifecycle zusammenarbeiten können. Es bietet Zugriff auf sicherheitsorientierte, vertrauenswürdige Daten-Pipelines, skalierbare Compute-Ressourcen sowie verschiedene weitere Tools. Durch die Ausführung der Plattform auf Red Hat OpenShift nutzt Cloudera AI die Vorteile der leistungsstarken Kubernetes-Container-Orchestrierung und ermöglicht eine effiziente Verwaltung von Ressourcen und eine dynamische Skalierung von Workloads. Dies hilft Unternehmen bei der Entwicklung von KI-Modellen mit unternehmensgerechten Sicherheits- und Compliance-Funktionen.

Durch das Ausführen von Cloudera AI auf OpenShift können Data Scientists, ML- und DevOps-Ingenieure sowie KI-Entwicklungsteams zusammenarbeiten, indem sie einen gemeinsamen Arbeitsbereich nutzen und gleichzeitig sensible Daten schützen.

Vorteile von Cloudera AI auf Red Hat OpenShift

Cloudera managt 25 Exabyte Daten und wird von 9 von 10 großen globalen Unternehmen verwendet. Mit mehr als einem Jahrzehnt Erfahrung in der Entwicklung von Lösungen für Kunden mit großen Daten-Footprints ist Cloudera hervorragend positioniert, um generative KI-Lösungen anzubieten, die sich an die Anforderungen der Kunden anpassen lassen. Kunden können Cloudera AI integriert mit den Daten ihres Unternehmens nutzen, um ihre Geschäftsentscheidungen zu beeinflussen und erfolgreiche Ergebnisse zu erzielen.

Unternehmensgerechte Sicherheits- und Compliance-Funktionen für sensible Daten

Sicherheit hat oberste Priorität beim Deployment von KI-Modellen, die sensible Unternehmensdaten verwenden. Cloudera auf OpenShift bietet die folgenden Sicherheitsfunktionen:

• Sicherheitsorientierte, containerisierte Workloads: Die Namespaces in Kubernetes bieten einen Mechanismus, um Ressourcen in einem Cluster festzulegen. Namespaces bieten einen eindeutigen Geltungsbereich für benannte Ressourcen, um grundlegende Namenskollisionen zu vermeiden, die Verwaltungsberechtigung an vertrauenswürdige Benutzer zu delegieren und den Verbrauch der Community-Ressourcen zu begrenzen. Durch die Ausführung von KI- und ML-Workloads in Containern auf Red Hat OpenShift trägt Cloudera AI dazu bei, dass jede Workload in unabhängigen Namespaces isoliert wird. Dadurch wird das Risiko von Datenpannen und Schwachstellen reduziert, die in einem standardmäßigen Nicht-Kubernetes-Deployment-Modell auftreten könnten. Erfahren Sie mehr über die verschiedenen Sicherheitsfunktionen in Red Hat OpenShift.
• Governance und Compliance: Cloudera bietet integrierte Funktionen zum Nachverfolgen der Datenherkunft, zum Überprüfen des Zugriffs und zum Einhalten von Vorschriften wie GDPR, HIPAA und mehr. Apache Ranger, als Teil des Shared Data Experience (SDX) von Cloudera, bietet eine detaillierte Zugriffskontrolle für Daten in einem sicheren Cloudera Data Lake House. Apache Atlas (ebenfalls eine Komponente des oben erwähnten SDX) ermöglicht Sicherheitsteams die Nachverfolgung von Datennutzung, Zugriff und Metadatenmanagement. Diese Komponenten verschaffen dem Kunden Einblick in Datenzugriff und -nutzung, was für die Compliance und behördliche Berichterstellung in Bezug auf sensible Datensätze unerlässlich ist. In Red Hat OpenShift managt Red Hat verschiedene Sicherheits- und Compliance-Zertifizierungen. Zusammen mit den Kompetenzen von Cloudera und Red Hat im Bereich Compliance legt die Plattform den Fokus auf Sicherheit und Compliance und sorgt so für mehr Sicherheit bei den Daten.

Effizientes Ressourcenmanagement und Skalierbarkeit

Das Entwickeln und Bereitstellen von KI-Modellen erfordert erhebliche Rechenressourcen. Der Bedarf schwankt je nach Phase und Art des KI-Projekts. Cloudera AI, das auf Red Hat OpenShift ausgeführt wird, bietet die notwendige Flexibilität, um Ressourcen während der Spitzen-Workloads sofort hochzuskalieren und herunterzuskalieren, wenn Ressourcen nicht mehr benötigt werden. 

Durch eine Kubernetes-basierte Infrastruktur mit Red Hat OpenShift ermöglicht Cloudera AI den Kunden die Bewältigung umfangreicher KI-Aufgaben, wie etwa:

• Training von Deep Learning-Modellen: Cloudera AI kann komplexe ML-Modelle effizient trainieren, indem es die große Bandbreite an GPUs nutzt, die von Red Hat OpenShift mit heterogener GPU-Unterstützung bietet.
• Inferenz in großem Umfang ausführen:: Nach dem Training können KI-Modelle in Produktivumgebungen bereitgestellt werden. Dort konfiguriert man in der Regel einen kontinuierlichen Daten-Stream, der Echtzeit-Inferenz ermöglicht und seine Größe bei steigender Nachfrage automatisch skaliert.
• KI-Agenten und -Anwendungen:  Cloudera AI erleichtert die Bereitstellung und Skalierung von KI-gesteuerten Agenten und Anwendungen, einschließlich interaktiver Chatbots, virtueller Assistenten, Dokumentzusammenfassung und autonomen Entscheidungssystemen.

Mit Cloudera Quota Management können Administratoren kontrollieren, wie Ressourcen innerhalb der Cloudera AI Workbench von verschiedenen Teams und Projekten zugewiesen werden. Durch das Festlegen von Kontingenten für die CPU-, Arbeitsspeicher- und GPU-Auslastung für bestimmte Projekte und Workspaces können sie Ressourcen effizient nutzen und eine monopolisierte Ressourcennutzung durch ein einzelnes Team oder Projekt verhindern. Diese Funktionen sind entscheidend für die Priorisierung von SLA-gesteuerten Workloads mit hoher Priorität, um die erforderlichen Ressourcen zu erhalten und so das Risiko für das Unternehmen zu mindern.

Cloudera AI nutzt die Vorteile von Cloudera Quota Management für mehr Ressourceneffizienz durch:

• Kontrollierte Ressourcenzuweisung: Mit Quota Management können Administratoren Ressourcengrenzen für jeden Benutzer oder jedes Projekt definieren. Dieses besondere Attribut steuert die Provisionierung, um Konsistenz zu wahren, SLA-Auswirkungen zu reduzieren und Ressourcenkonflikte zu vermeiden.
• Dynamische Skalierbarkeit:: Die Cloudera-Plattform auf Red Hat OpenShift verwendet eine Kubernetes-basierte Architektur, um Workloads als Reaktion auf Anwendungsanforderungen in Echtzeit automatisch zu skalieren. Beispielsweise können Ressourcen wie CPUs, GPUs und Speicher während des Modelltrainings dynamisch erhöht werden, um die Performance zu verbessern. In Phasen, die weniger ressourcenintensiv sind, wie dem Tunen oder Testen dieser Ressourcen, können die Ressourcen dann zurückskaliert werden, um die Effizienz beizubehalten und die Kosten zu senken. Cloudera Quota Management stellt sicher, dass die Skalierung nur innerhalb der vordefinierten Ressourcengrenzen des Administrators erfolgt, um die Kosten zu optimieren und eine Überbeanspruchung zu vermeiden.
• Effizienter Einsatz von GPUs: Für rechenintensive KI-Aufgaben können Administrationsteams von Cloudera AI GPUs zuweisen, um die Verarbeitung für bestimmte Workspaces bei Bedarf zu beschleunigen. Cloudera Data Platform arbeitet mit OpenShift zusammen, das Verbesserungen an Kubernetes enthält. Damit können Nutzende GPU-Ressourcen einfacher konfigurieren und nutzen, um Workloads zu beschleunigen. 

Zusammenarbeit und operative Effizienz

Die Entwicklung von KI-Modellen erfordert einen kollaborativen Ansatz zwischen verschiedenen Teams mit unterschiedlichen Kompetenzen. Diese Teams bringen vielfältige Hintergründe mit, darunter Data Scientists, ML-Ingenieuren, IT-Operations-, DevOps-Ingenieuren und Business-Stakeholdern. Cloudera AI auf Red Hat OpenShift hilft, diese Teams zu vereinen, indem es eine einheitliche Umgebung bereitstellt, in der alle zusammenarbeiten und Innovationen fördern können. Zu den wichtigsten Funktionen für die Zusammenarbeit gehören:

• Geteilte Workspaces: Mehrere Teammitglieder können in einer gemeinsamen Umgebung arbeiten und Datensätze, Projektartefakte, Code und Modelle einfach teilen.
• Versionskontrolle:: Cloudera AI lässt sich in Git, Bitbucket und andere Versionskontrollen integrieren, damit Teams Änderungen nachverfolgen und verschiedene Branches für die Entwicklung verwenden können.
• MLOps-Automatisierung: Kunden können den gesamten Betriebsablauf von der Modellentwicklung über das Tuning und Deployment bis hin zur persistenten Überwachung automatisieren. Dies reduziert den internen Entwicklungsaufwand, der für die Migration von KI-Modellen von einer Lab- in eine Produktivumgebung erforderlich ist.

Fazit: Förderung von KI-Innovationen mit vertrauenswürdigen Daten

Der Datenservice Cloudera AI, der im Rahmen von Cloudera auf OpenShift angeboten wird, bietet Unternehmen eine leistungsstarke Lösung zur Steigerung der KI-Innovation, indem Nutzenden auf sicher verwaltete, sensible Daten in CDP zugreifen können, um KI-Modelle zu trainieren und zu optimieren. Durch die Kombination der Funktionen von Cloudera AI mit der robusten, skalierbaren Infrastruktur für Container-Management von Red Hat OpenShift können Unternehmen KI-Modelle effizient und mit einem Fokus auf Sicherheit entwickeln, trainieren und bereitstellen.

Unternehmen führen KI ein, um ihr Geschäft zu transformieren. Die Kombination aus Cloudera AI und Red Hat OpenShift bietet eine sicherheitsorientierte Plattform für den Umgang mit sensiblen Daten und die Bereitstellung von KI-gestützten Insights in großem Umfang. Cloudera AI auf Red Hat OpenShift verarbeitet sensible Daten sorgfältig und ermöglicht es Kunden, das volle Potenzial generativer KI zu nutzen, unabhängig davon, ob sie im Finanzwesen, im Gesundheitswesen oder in einer anderen datenintensiven Branche mit regulatorischen und Compliance-Anforderungen tätig sind.