Libere dados confidenciais para IA com Cloudera no Red Hat OpenShift

Muitas organizações enfrentam desafios para agregar valor a partir dos dados e, ao mesmo tempo, manter padrões regulatórios rígidos para lidar com dados confidenciais. Para essas organizações, lidar com conjuntos de dados grandes e complexos e, ao mesmo tempo, manter a eficiência, a segurança e a escalabilidade é fundamental para a implantação. A colaboração entre a Red Hat e a Cloudera oferece aos clientes uma solução que ajuda as organizações a gerenciar todo o ciclo de vida dos dados, colocando-os para trabalhar mais rápido e reduzindo o time to value. Com a plataforma Cloudera Private Cloud no Red Hat OpenShift, as organizações recebem dados agregados e visualizados que podem ajudá-las a obter insights acionáveis em um ambiente open source híbrido e com foco na segurança. Neste artigo, você verá como aproveitar esses recursos na sua estratégia de IA, usando cargas de trabalho da Cloudera executadas no Red Hat OpenShift.  

Introdução à Cloudera no Red Hat OpenShift

O Red Hat OpenShift é a plataforma de aplicações de nuvem híbrida com tecnologia Kubernetes líder do setor, e combina um conjunto abrangente de ferramentas e serviços para otimizar todo o ciclo de vida da aplicação, do desenvolvimento à entrega e ao gerenciamento das cargas de trabalho da aplicação. Ele combina recursos de segurança integrados com suporte dedicado, uma cadeia de suprimentos de software confiável e o Red Hat Enterprise Linux como a base operacional. Com vários recursos, como monitoramento integrado, ambientes sob demanda e gerenciamento centralizado de políticas, clientes do mundo todo confiam no OpenShift para executar suas cargas de trabalho. 

A plataforma Cloudera executada no OpenShift oferece cargas de trabalho analíticas, transacionais e de Machine Learning (ML) avançadas em uma plataforma de dados híbrida. Com opções de análise tradicional e flexível e armazenamento de objetos escalável, a Cloudera on-premises moderniza as implantações de cluster monolíticas tradicionais em uma plataforma poderosa e eficiente. Ele permite que o usuário final acesse dados confidenciais e descubra o poder da inteligência artificial (IA) para aumentar a inovação nos negócios. Três microsserviços capacitam essa plataforma:

1. Cloudera Data Warehouse (CDW)
2. Cloudera Data Engineering (CDE)
3. Cloudera AI

A plataforma Cloudera AI permite que os devs desenvolvam, implantem e gerenciem a IA em um ambiente escalável e com foco na segurança. Os desenvolvedores podem usar esses modelos para desenvolver agentes de IA e aplicações de IA para atender a várias necessidades empresariais. 

O poder da plataforma Cloudera AI no Red Hat OpenShift

A Cloudera AI oferece as ferramentas para as equipes de ciência de dados colaborarem em todo o ciclo de vida dos dados. Ele oferece acesso a pipelines de dados confiáveis com foco na segurança, recursos de computação escaláveis e algumas outras ferramentas. Ao executar a plataforma no Red Hat OpenShift, a Cloudera AI aproveita a poderosa orquestração de containers do Kubernetes para gerenciar recursos com eficiência e escalar cargas de trabalho dinamicamente. Isso ajuda as organizações a criar modelos de IA com recursos de segurança e conformidade de nível empresarial.

Executar a Cloudera AI no OpenShift permite que cientistas de dados, engenheiros de ML, engenheiros de DevOps e desenvolvedores de IA colaborem usando um espaço de trabalho compartilhado enquanto protegem dados confidenciais.

Benefícios da pltaforma Cloudera AI no Red Hat OpenShift

A Cloudera gerencia 25 exabytes de dados sendo usada por 9 em cada 10 das principais empresas globais. Com mais de uma década de experiência no desenvolvimento de soluções para clientes com grandes volumes de dados, a Cloudera está posicionada de maneira única para oferecer uma solução de IA generativa (gen AI) que pode ser escalada conforme as necessidades do cliente. Os clientes podem usar a Cloudera AI integrada aos dados da organização para impactar as decisões de negócios e gerar resultados bem-sucedidos.

Recursos de segurança e conformidade de nível empresarial para dados confidenciais

A segurança é fundamental ao implantar modelos de IA que usam dados confidenciais da empresa. a Cloudera no OpenShift oferece os seguintes recursos de segurança:

• Cargas de trabalho em containers com foco na segurança: os namespaces no Kubernetes fornecem um mecanismo para os recursos de escopo em um cluster. Os namespaces fornecem um escopo exclusivo para recursos nomeados para evitar conflitos de nomenclatura básicos, delegar autoridade de gerenciamento a usuários confiáveis e limitar o consumo de recursos da comunidade. Ao executar cargas de trabalho de IA e ML em containers no Red Hat OpenShift, a Cloudera AI ajuda a garantir que cada carga de trabalho seja isolada em namespaces independentes, reduzindo o risco de violações de dados e vulnerabilidades que poderiam surgir em um modelo de implantação padrão que não seja o Kubernetes. Saiba mais sobre As vários funcionalidades de segurança no Red Hat OpenShift.
• Governança e conformidade: a Cloudera oferece recursos integrados para rastrear a linhagem de dados, auditar o acesso e estar em conformidade com regulamentações como GDPR, HIPAA e muito mais. O Apache Ranger, como parte da experiência de dados compartilhados (SDX) da Cloudera, oferece controle de acesso refinado aos dados em um data lakehouse seguro da Cloudera. JÁ o Apache Atlas (também um componente do SDX mencionado acima) oferece recursos de auditoria para as equipes de segurança rastrearem o uso de dados, o acesso e o gerenciamento de metadados. Esses componentes oferecem aos clientes visibilidade sobre como os dados são acessados e utilizados, o que é essencial para a conformidade e a geração de relatórios regulatórios para conjuntos de dados confidenciais. No Red Hat OpenShift, a Red Hat mantém vários níveis de certificação de segurança e conformidade. Em conjunto com os recursos da Cloudera e da Red Hat na área de conformidade, a plataforma se concentra na segurança e conformidade para manter a segurança dos dados.

Gerenciamento eficiente de recursos e escalabilidade

Criar e implantar modelos de IA exige recursos computacionais significativos. A demanda varia conforme o estágio e o tipo do projeto de IA. A Cloudera AI executada no Red Hat OpenShift oferece a flexibilidade necessária e pronta para uso para escalar verticalmente os recursos durante picos de carga de trabalho e reduzi-los quando os recursos não são mais necessários. 

Usando uma infraestrutura baseada em Kubernetes com o Red Hat OpenShift, a Cloudera AI permite que os clientes lidem com tarefas de IA em larga escala, como:

• Treinamento de modelos de deep learning: a Cloudera AI pode treinar com eficiência modelos de ML complexos usando a vasta gama de GPUs compatíveis com o Red Hat OpenShift com suporte heterogêneo de GPU.
• Execução de inferência em escala: após treinados, os modelos de IA podem ser implantados em ambientes de produção, em que um fluxo de dados contínuo é normalmente configurado para permitir inferência em tempo real e escalar de tamanho automaticamente conforme a demanda aumenta.
• Agentes e aplicações de IA: a plataforma Cloudera AI facilita a implantação e a escala de agentes e aplicações orientados por IA, incluindo chatbots interativos, assistentes virtuais, resumo de documentos e sistemas autônomos de tomada de decisão.

Cloudera Quota Management oferece aos administradores o poder de controlar como os recursos são alocados no ambiente de trabalho de IA da Cloudera por diferentes equipes e projetos. Ao definir cotas de uso de CPU, memória e GPU para projetos e espaços de trabalho específicos, os administradores utilizam recursos com eficiência e evitam a monopolização de recursos por uma única equipe ou projeto. Esses recursos são essenciais para priorizar cargas de trabalho orientadas por SLA de alta prioridade e receber os recursos necessários para reduzir os riscos para os negócios.

Cloudera AI aproveita o recurso Cloudera Quota Management para aumentar a eficiência de recursos usando:

• Alocação controlada de recursos: o gerenciamento de cotas permite que os administradores definam limites de recursos para cada usuário ou projeto. Esse atributo exclusivo controla o provisionamento para manter a consistência, reduzir os impactos do SLA e evitar a contenção de recursos.
• Escalabilidade dinâmica: a plataforma Cloudera no Red Hat OpenShift usa uma arquitetura baseada em Kubernetes para escalar cargas de trabalho automaticamente em resposta a demandas de aplicações em tempo real. Por exemplo, recursos como CPUs, GPUs e memória podem ser aumentados dinamicamente durante o treinamento do modelo para otimizar o desempenho. Durante as fases de menor uso intensivo de recursos, como o ajuste ou teste desses recursos, os recursos podem ser reduzidos para manter a eficiência e reduzir os custos. Cloudera Quota Management garante que o dimensionamento ocorra somente nos limites de recursos predefinidos do administrador, otimizando os custos e evitando o uso excessivo.
• Uso eficiente de GPUs: para tarefas de IA com uso intensivo de computação, Cloudera AI que os administradores podem atribuir GPUs para acelerar o processamento de espaços de trabalho específicos, quando necessário. Cloudera Data Platform trabalhando com o OpenShift, que inclui melhorias no Kubernetes para os usuários poderem configurar e usar recursos de GPU com mais facilidade para acelerar cargas de trabalho. 

Colaboração e eficiência operacional

O desenvolvimento de modelos de IA exige uma abordagem colaborativa entre várias equipes com diferentes conjuntos de habilidades. Uma experiência diversificada que vem de cientistas de dados, engenheiros de ML, operações de TI, engenheiros de DevOps e stakeholders de negócios. A Cloudera AI no Red Hat OpenShift ajuda a unir essas equipes, oferecendo um ambiente unificado onde todos podem colaborar e impulsionar a inovação. Os principais recursos colaborativos incluem:

• Espaços de trabalho compartilhados: vários membros da equipe podem trabalhar em um ambiente compartilhado, permitindo que eles compartilhem facilmente conjuntos de dados, artefatos de projetos, códigos e modelos.
• Controle de versão: a Cloudera AI se integra ao Git, Bitbucket e outros controles de versão para permitir que as equipes rastreiem as alterações e usem diferentes branches para o desenvolvimento.
• Automação de MLOps: os clientes podem automatizar todo o fluxo de operações, do desenvolvimento de modelos ao ajuste, implantação e monitoramento persistente. Isso reduz o esforço de investimento em desenvolvimento interno necessário para migrar modelos de IA de um laboratório para um ambiente de produção.

Conclusão: impulsionando a inovação em IA com dados confiáveis

O serviço de dados da Cloudera AI oferecido como parte da Cloudera no OpenShift oferece às empresas uma solução poderosa para aumentar a inovação da IA, permitindo que os usuários acessem dados confidenciais gerenciados com segurança no CDP para treinar e ajustar modelos de IA. Combinando os recursos da Cloudera AI com a infraestrutura de gerenciamento de containers robusta e escalável do Red Hat OpenShift permite que as organizações criem, treinem e implantem modelos de IA com eficiência e foco na segurança.

À medida que as organizações adotam a IA para transformar os negócios, a combinação de Cloudera AI e O Red Hat OpenShift oferece uma plataforma com foco na segurança para lidar com dados confidenciais e fornecer insights baseados em IA em escala. Não importa se o cliente é do setor financeiro, de saúde ou qualquer outro setor com uso intensivo de dados e necessidades regulatórias e de conformidade, Cloudera AI no Red Hat OpenShift lida com dados confidenciais com cuidado e, ao mesmo tempo, capacita os clientes a aproveitar todo o potencial da gen AI.