Sblocca i dati sensibili per l'IA con Cloudera su Red Hat OpenShift

Molte organizzazioni si trovano ad affrontare difficoltà nel creare valore dai dati, dovendo rispettare rigorosi standard normativi per la gestione dei dati sensibili. Per queste organizzazioni diventa fondamentale gestire set di dati ampi e complessi, garantendo al contempo efficienza, sicurezza e scalabilità nel loro deployment. La collaborazione tra Red Hat e Cloudera offre ai clienti una soluzione che aiuta le organizzazioni a gestire l'intero ciclo di vita dei dati, rendendo i dati operativi più rapidamente e riducendo il time to value. Con Cloudera Private Cloud su Red Hat OpenShift, le organizzazioni ottengono dati aggregati e visualizzati che possono aiutarli a ottenere informazioni strategiche in un ambiente open source ibrido e incentrato sulla sicurezza. In questo articolo scoprirai come sfruttare queste funzionalità per la tua strategia di IA, utilizzando i carichi di lavoro Cloudera eseguiti su Red Hat OpenShift.  

Introduzione a Cloudera su Red Hat OpenShift

Red Hat OpenShift è la piattaforma applicativa hybrid cloud leader del settore basata su Kubernetes. Combina un set completo di strumenti e servizi per semplificare l'intero ciclo di vita delle applicazioni, dallo sviluppo alla distribuzione fino alla gestione dei carichi di lavoro delle applicazioni. Offre funzionalità di sicurezza integrate con supporto dedicato, una catena di distribuzione del software affidabile e Red Hat Enterprise Linux come base operativa. Con diverse funzionalità, come il monitoraggio integrato, gli ambienti on demand e la gestione centralizzata delle policy, i clienti di tutto il mondo si affidano a OpenShift per l'esecuzione dei propri carichi di lavoro. 

Cloudera Platform in esecuzione su OpenShift offre efficienti carichi di lavoro analitici, transazionali e di machine learning (ML) in una piattaforma dati ibrida. Con una scelta di analisi tradizionali e adattabili e uno storage degli oggetti scalabile, Cloudera on-premise modernizza i tradizionali deployment monolitici dei cluster in una piattaforma efficiente. Consente all'utente finale di accedere ai dati sensibili, sfruttando al contempo le potenzialità dell'IA per incrementare l'innovazione nella propria azienda. Tre microservizi sono alla base di questa piattaforma:

1. Cloudera Data Warehouse (CDW)
2. Cloudera Data Engineering (CDE)
3. Cloudera AI

Cloudera AI consente agli sviluppatori di sviluppare, distribuire e gestire l'IA in un ambiente scalabile e orientato alla sicurezza. Gli sviluppatori possono quindi utilizzare questi modelli per sviluppare agenti e applicazioni di intelligenza artificiale per soddisfare le diverse esigenze aziendali. 

I punti di forza di Cloudera AI su Red Hat OpenShift

Cloudera AI fornisce gli strumenti ai team di data science per collaborare durante l'intero ciclo di vita dei dati. Offre accesso a pipeline di dati affidabili incentrate sulla sicurezza, risorse di elaborazione scalabili e alcuni altri strumenti. Eseguendo la piattaforma su Red Hat OpenShift, Cloudera AI sfrutta la potente orchestrazione dei container Kubernetes per gestire le risorse in modo efficiente, consentendo la scalabilità dei carichi di lavoro in modo dinamico. Questo aiuta le organizzazioni a creare modelli di IA con funzionalità di sicurezza e conformità di livello enterprise.

L'esecuzione di Cloudera AI su OpenShift consente a data scientist, ingegneri ML, ingegneri DevOps e sviluppatori AI di collaborare utilizzando uno spazio di lavoro condiviso e proteggendo i dati sensibili.

I vantaggi di Cloudera AI su Red Hat OpenShift

Cloudera gestisce 25 exabyte di dati ed è utilizzato da 9 aziende su 10 tra le più grandi del mondo. Con oltre un decennio di esperienza nello sviluppo di soluzioni per i clienti con grandi volumi di dati, Cloudera è in grado di offrire una soluzione di IA generativa (IA di generazione) scalabile in base alle esigenze dei clienti. I clienti possono utilizzare l'IA di Cloudera integrata con i dati dell'organizzazione per incidere sulle decisioni aziendali e ottenere risultati positivi.

Funzionalità di sicurezza e conformità di livello enterprise per i dati sensibili

La sicurezza è fondamentale quando si distribuiscono modelli di IA che utilizzano dati aziendali sensibili. Cloudera on OpenShift offre le seguenti funzionalità di sicurezza:

• Carichi di lavoro containerizzati incentrati sulla sicurezza: gli spazi dei nomi in Kubernetes forniscono un meccanismo per definire l'ambito delle risorse in un cluster. Gli spazi dei nomi forniscono un ambito unico per le risorse denominate per evitare conflitti di denominazione di base, delegare l'autorità di gestione a utenti attendibili e limitare l'utilizzo delle risorse della community. Eseguendo i carichi di lavoro di IA e ML all'interno dei container su Red Hat OpenShift, Cloudera AI aiuta a garantire che ogni carico di lavoro sia isolato in spazi dei nomi indipendenti, riducendo il rischio di violazioni dei dati e vulnerabilità che potrebbero verificarsi in un modello di deployment standard non Kubernetes. Scopri di più sulle varie funzionalità di sicurezza di Red Hat OpenShift.
• Governance e conformità: Cloudera offre funzionalità integrate per monitorare la derivazione dei dati, controllare l'accesso e rispettare normative come GDPR, HIPAA e altre ancora. Apache Ranger, nell'ambito di Shared Data Experience (SDX) di Cloudera, offre un controllo granulare dell'accesso ai dati in un data lake house di Cloudera sicuro, mentre Apache Atlas (anch'esso un componente dell'SDX menzionato in precedenza) offre funzionalità di auditing per consentire ai team della sicurezza di monitorare l'utilizzo dei dati, l'accesso e la gestione dei metadati. Questi componenti offrono ai clienti visibilità sulle modalità di accesso e utilizzo dei dati, un aspetto essenziale per la conformità e la creazione di report normativi per i set di dati sensibili. In Red Hat OpenShift, Red Hat mantiene diversi livelli di certificazione di sicurezza e conformità. Insieme alle capacità di Cloudera e Red Hat nel campo della conformità, la piattaforma si concentra sulla sicurezza e sulla conformità per garantire la sicurezza dei dati.

Gestione efficiente delle risorse e scalabilità

La creazione e il deployment di modelli di IA richiede risorse di calcolo significative. La domanda varia in base alla fase e al tipo di progetto di IA. L'IA di Cloudera eseguita su Red Hat OpenShift offre la flessibilità necessaria per aumentare le risorse durante i picchi di lavoro e ridurle quando le risorse non sono più necessarie. 

Utilizzando l'infrastruttura basata su Kubernetes con Red Hat OpenShift, Cloudera AI consente ai clienti di gestire attività di IA su larga scala, come:

• Formazione di modelli di deep learning: Cloudera AI può addestrare in modo efficiente modelli di ML complessi utilizzando la vasta gamma di GPU supportate da Red Hat OpenShift con supporto per GPU eterogenee.
• Esecuzione dell'inferenza su larga scala: una volta addestrati, i modelli di IA possono essere distribuiti negli ambienti di produzione, dove un flusso di dati continuo è configurato per consentire l'inferenza in tempo reale e la scalabilità automatica delle dimensioni all'aumentare della domanda.
• Agenti e applicazioni di IA:  Cloudera AI facilita il deployment e la scalabilità di agenti e applicazioni basati sull'IA, inclusi chatbot interattivi, assistenti virtuali, sintesi dei documenti e sistemi decisionali autonomi.

Cloudera Quota Management offre agli amministratori la possibilità di controllare il modo in cui le risorse vengono allocate all'interno del workbench di Cloudera AI da parte di diversi team e progetti. Impostando le quote per l'utilizzo di CPU, memoria e GPU per progetti e spazi di lavoro specifici, gli amministratori utilizzano le risorse in modo efficiente ed evitano il monopolio delle risorse da parte di un singolo team o progetto. Queste funzionalità sono essenziali per dare priorità ai carichi di lavoro basati su SLA ad alta priorità e ricevere le risorse necessarie al fine di ridurre i rischi per l'azienda.

Cloudera AI si avvale di Cloudera Quota Management per migliorare l'efficienza delle risorse utilizzando:

• Allocazione controllata delle risorse: la gestione delle quote consente agli amministratori di definire i limiti delle risorse per ciascun utente o progetto. Questa caratteristica distintiva controlla il provisioning per mantenere la coerenza, ridurre l'impatto sugli SLA e prevenire la contesa delle risorse.
• Scalabilità dinamica: Cloudera Platform su Red Hat OpenShift utilizza un'architettura basata su Kubernetes per scalare i carichi di lavoro in modo automatico in risposta alle richieste applicative in tempo reale. Ad esempio, le risorse come CPU, GPU e memoria possono essere incrementate in modo dinamico durante l'addestramento del modello per migliorare le prestazioni. Quindi, durante le fasi che richiedono meno risorse, come l'ottimizzazione o il test di queste risorse, è possibile ridimensionare le risorse per mantenere l'efficienza e ridurre i costi. Cloudera Quota Management assicura che la scalabilità avvenga solo entro i limiti di risorse predefiniti dell'amministratore, ottimizzando i costi e prevenendo l'uso eccessivo.
• Utilizzo efficiente delle GPU: per le attività di IA ad alta intensità di elaborazione, Cloudera AI  gli amministratori possono assegnare GPU per accelerare l'elaborazione per aree di lavoro specifiche, ove necessario. Cloudera Data Platform in collaborazione con OpenShift, che include miglioramenti a Kubernetes che consentono agli utenti di configurare e utilizzare più facilmente le risorse GPU per accelerare i carichi di lavoro. 

Collaborazione ed efficienza operativa

Lo sviluppo di modelli di IA richiede un approccio collaborativo tra vari team con competenze diverse, tra cui data scientist, ingegneri ML, operazioni IT, ingegneri DevOps e stakeholder aziendali. Cloudera AI su Red Hat OpenShift aiuta a unire questi team fornendo un ambiente unificato in cui tutti possono collaborare e promuovere l'innovazione. Le principali funzionalità collaborative includono:

• Spazi di lavoro condivisi: più membri del team possono lavorare in un ambiente condiviso, consentendo loro di condividere facilmente set di dati, artefatti di progetto, codice e modelli.
• Controllo della versione: Cloudera AI si integra con Git, Bitbucket e altri controlli di versione per consentire ai team di tenere traccia delle modifiche e utilizzare diversi rami per lo sviluppo.
• Automazione MLOps: i clienti possono automatizzare l'intero flusso operativo, dallo sviluppo del modello all'ottimizzazione, al deployment e al monitoraggio continuo. In questo modo si riduce l'investimento interno per lo sviluppo necessario per eseguire la migrazione dei modelli di IA da un laboratorio a un ambiente di produzione.

Conclusione: promuovere l'innovazione dell'IA con dati affidabili

Il servizio dati Cloudera AI, offerto all'interno di Cloudera su OpenShift, offre alle aziende una soluzione efficace per promuovere l'innovazione dell'IA, consentendo agli utenti di accedere a dati sensibili gestiti in modo sicuro in CDP per addestrare e ottimizzare i modelli di IA. Unendo le funzionalità di Cloudera AI all'infrastruttura di gestione dei container solida e scalabile di Red Hat OpenShift le organizzazioni possono creare, addestrare e distribuire modelli di IA in modo efficiente, con particolare attenzione alla sicurezza.

Adottando l'IA nell'ottica di trasformare la propria azienda, la combinazione di Cloudera AI e Red Hat OpenShift  offre una piattaforma incentrata sulla sicurezza per la gestione dei dati sensibili e la distribuzione di insight basati sull'IA scalabile. Indipendentemente dal settore di appartenenza e dalle esigenze di utilizzo dei dati o di conformità, le aziende possono sfruttare Cloudera AI su Red Hat OpenShift per gestire dati sensibili in modo sicuro e trarre tutti i vantaggi dell'IA generativa.