-
Produkte & Dokumentation Red Hat AI
Eine Plattform für Produkte und Services zum Entwickeln und Bereitstellen von KI in der Hybrid Cloud
Red Hat AI Inference Server
Optimieren Sie die Modellperformance mit vLLM für schnelle und kosteneffiziente Inferenz in großem Umfang.
Red Hat Enterprise Linux AI
Entwickeln, testen und nutzen Sie generative KI-Modelle zur Unterstützung von Unternehmensanwendungen.
Red Hat OpenShift AI
Entwickeln und implementieren Sie KI-gestützte Anwendungen und Modelle in großem Umfang in hybriden Umgebungen.
-
Lernen Grundlagen
-
KI-Partner
Red Hat OpenShift AI
Red Hat® OpenShift® AI ist eine Plattform zum Lifecycle-Management prädiktiver und generativer KI-Modelle (gen KI) in großem Umfang in Hybrid Cloud-Umgebungen.
Was ist Red Hat OpenShift AI?
OpenShift AI basiert auf Open Source-Technologien und bietet zuverlässige, operativ konsistente Funktionen, mit denen Teams experimentieren sowie Modelle und innovative Anwendungen bereitstellen können.
Mit OpenShift AI können Sie Daten erfassen und vorbereiten, Modelltraining und Fine Tuning durchführen, Modelle bereitstellen und überwachen sowie auf Hardwarebeschleuniger zugreifen. Durch das offene Partnernetzwerk für Hardware und Software verfügt OpenShift AI über die Flexibilität, die Sie für Ihre speziellen Use Cases benötigen.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
KI-gestützte Anwendungen schneller produzieren
Hier sind die bewährten Features von Red Hat OpenShift AI und Red Hat OpenShift auf einer unternehmensgerechten KI-Anwendungsplattform vereint, die Teams zusammenbringt. Data Scientists, Engineers und Anwendungsentwicklungsteams können in einem Medium zusammenarbeiten, das Konsistenz, Sicherheit und Skalierbarkeit fördert.
Das aktuelle Release von OpenShift AI enthält eine kuratierte Sammlung optimierter, produktionsbereiter und für Red Hat OpenShift AI validierter Modelle von Drittanbietern. Der Zugriff auf diesen Katalog für Modelle von Drittanbietern gibt Ihrem Team mehr Kontrolle über Zugänglichkeit und Transparenz der Modelle, um Sicherheits- und Richtlinienanforderungen zu erfüllen.
Darüber hinaus hilft OpenShift AI beim Kostenmanagement für die Inferenzen mit verteilten Services durch ein optimiertes vLLM-Framework. Zur weiteren Reduzierung der operativen Komplexität bietet sie fortschrittliche Tools zum Automatisieren von Deployments und Self Service-Zugriff auf Modelle, Tools und Ressourcen.
Features und Vorteile
Weniger Zeitaufwand für das KI-Infrastrukturmanagement
Geben Sie Ihren Teams einen On-Demand-Zugang zu Ressourcen, damit sie ihre Umgebungen für Training und Bereitstellung von Modellen je nach Bedarf selbst verwalten und skalieren können. Reduzieren Sie außerdem die operative Komplexität durch das Verwalten von KI-Beschleunigern (GPUs) und Workload-Ressourcen in einer skalierbaren, geclusterten Umgebung.
Getestete und unterstützte KI/ML-Tools
Red Hat testet, integriert und unterstützt bekannte KI/ML-Tools und die Modellbereitstellung, damit Sie das nicht tun müssen. OpenShift AI profitiert von mehreren Jahren Erfahrung mit unserem Community-Projekt „Open Data Hub“ und mit Open Source-Projekten wie Kubeflow.
Dank unserer Erfahrung und dem Fachwissen im Bereich Open Source können wir eine Basis für generative KI bereitstellen, so dass unsere Kunden mehr Auswahl und Vertrauen in ihre generativen KI-Strategien gewinnen.
Flexibilität in der gesamten Hybrid Cloud
Red Hat OpenShift AI ist wahlweise als selbst gemanagte Software oder als vollständig gemanagter Cloud Service zusätzlich zu OpenShift verfügbar. Die Lösung bietet eine sichere und flexible Plattform, bei der Sie selbst entscheiden können, wo Sie Ihre Modelle entwickeln und bereitstellen möchten: On-Premise, in der Public Cloud oder sogar am Netzwerkrand.
Einsatz von Best Practices
Red Hat Services bietet Fachwissen, Training und Support, um Ihnen bei der Bewältigung der Herausforderungen von KI zu helfen – unabhängig davon, in welcher Phase der Einführung Sie sich befinden.
Ganz gleich, ob Sie den Prototyp einer KI-Lösung entwickeln, die Bereitstellung Ihrer KI-Plattformoptimieren oder Ihre MLOps-Strategienvorantreiben möchten – Red Hat Consulting bietet Ihnen Support und Mentoring.
Optimierung mit vLLM für schnelle und kosteneffiziente Inferenz in großem Umfang
Red Hat AI Inference Server ist Teil von Red Hat AI Platform. Er ist als Standalone-Produkt erhältlich und außerdem in Red Hat Enterprise Linux® AI und Red Hat OpenShift® AI enthalten.
Partnerschaften
Holen Sie mehr aus der Red Hat OpenShift AI Plattform heraus, indem Sie sie um weitere integrierte Services und Produkte erweitern.
NVIDIA und Red Hat bieten Kunden eine skalierbare Plattform, die eine Vielzahl von KI-Use Cases mit unvergleichlicher Flexibilität beschleunigt.
Intel® und Red Hat unterstützen Organisationen dabei, die Einführung der KI zu beschleunigen und ihre KI/ML-Modelle schnell zu operationalisieren.
IBM und Red Hat bieten Open Source-Innovationen zur Beschleunigung der KI-Entwicklung, unter anderem durch IBM watsonx.aiTM, einem unternehmensgerechten KI-Studio für KI-Entwicklungsteams.
Starburst Enterprise und Red Hat unterstützen verbesserte und zeitgerechtere Erkenntnisse durch schnelle Datenanalysen auf mehreren verschiedenen und verteilten Datenplattformen.
Skalierbare Kubernetes-Infrastruktur für KI-Plattformen
Erfahren Sie, wie Sie MLOPs-Grundsätze und -Praktiken (Machine Learning) bei der Entwicklung KI-gestützter Anwendungen einsetzen können.
Zusammenarbeit über Model Workbenches
Stellen Sie Ihren Data Scientists vorgefertigte oder benutzerdefinierte Cluster Images zur Verfügung, damit sie mit ihrer bevorzugten IDE, wie etwa JupyterLab, an Modellen arbeiten können. Red Hat OpenShift AI verfolgt Änderungen an Jupyter, TensorFlow, PyTorch und anderen Open Source-KI-Technologien.
Skalierung der Modellbereitstellung mit Red Hat OpenShift AI
Modelle können mit einer optimierten Version von vLLM (oder anderen Modellservern Ihrer Wahl) für die Integration in KI-gestützte Anwendungen vor Ort, in der Public Cloud oder am Netzwerkrand bereitgestellt werden. Diese Modelle können basierend auf Änderungen am Quell-Notebook neu erstellt, bereitgestellt und überwacht werden.
Verzerrungen und Abweichungen können die Integrität Ihrer Modelle beeinträchtigen und die Skalierbarkeit erschweren. Um Fairness, Sicherheit und Skalierbarkeit zu gewährleisten, können Fachleute für Datenverarbeitung mit OpenShift AI den Abgleich zwischen Modellausgaben und Trainingsdaten überwachen.
Tools zur Erkennung von Abweichungen können kontrollieren, ob die für die Modellinferenz verwendeten Live-Daten von den ursprünglichen Trainingsdaten abweichen. Außerdem schützen die enthaltenen KI-Richtlinien Ihre Modellein- und -ausgaben vor schädlichen Daten, wie beleidigenden und anstößigen Äußerungen, persönlichen Daten oder Daten, die domainspezifischen Einschränkungen unterliegen.
Lösungs-Pattern
KI-Anwendungen mit Red Hat und NVIDIA AI Enterprise
Entwickeln einer RAG-Anwendung
Red Hat OpenShift AI ist eine Plattform für das Entwickeln von Data Science-Projekten und Bereitstellen von KI-gestützten Anwendungen. Sie können sämtliche für die Unterstützung von Retrieval-Augmented Generation (RAG), einer Methode zum Abrufen von KI-Antworten aus Ihren eigenen Referenzdokumenten, erforderlichen Tools integrieren. Wenn Sie OpenShift AI mit NVIDIA AI Enterprise kombinieren, können Sie mit Large Language Models (LLMs) experimentieren und so das optimale Modell für Ihre Anwendung finden.
Erstellen einer Pipeline für Dokumente
Damit Sie RAG nutzen können, müssen Sie Ihre Dokumente zunächst in eine Vektordatenbank aufnehmen. In unserer Beispielanwendung integrieren wir eine Anzahl von Produktdokumenten in eine Redis-Datenbank. Da sich diese Dokumente häufig ändern, können wir für diesen Prozess eine Pipeline erstellen, die wir regelmäßig ausführen, damit wir immer die aktuellsten Versionen der Dokumente zur Verfügung haben
Durchsuchen des LLM-Katalogs
Mit NVIDIA AI Enterprise können Sie auf einen Katalog verschiedener LLMs zugreifen. So können Sie verschiedene Möglichkeiten ausprobieren und das Modell auswählen, das die optimalen Ergebnisse erzielt. Die Modelle werden im NVIDIA API-Katalog gehostet. Sobald Sie ein API-Token eingerichtet haben, können Sie ein Modell mit der NVIDIA NIM Model Serving-Plattform direkt über OpenShift AI bereitstellen.
Auswählen des richtigen Modells
Beim Testen verschiedener LLMs können Ihre Nutzerinnen und Nutzer die einzelnen generierten Antworten bewerten. Sie können ein Grafana Monitoring Dashboard einrichten, um die Bewertungen sowie die Latenz- und Antwortzeiten der einzelnen Modelle zu vergleichen. Anhand dieser Daten können Sie dann das optimale LLM für den Produktionseinsatz auswählen.
Red Hat OpenShift AI testen
Entwicklungs-Sandbox
Für Entwicklungsteams und Data Scientists, die KI-fähige Anwendungen in einer vorkonfigurierten und flexiblen Umgebung entwickeln und damit experimentieren wollen.
60-tägige Testversion
Ihr Unternehmen will die Möglichkeiten von OpenShift AI umfassend testen? Nutzen Sie unsere 60-tägige Testversion. Sie benötigen dazu einen Red Hat OpenShift Cluster.
