Red Hat OpenShift 기반 Cloudera로 AI를 위한 민감한 데이터 활용

많은 조직이 민감한 데이터를 처리하기 위해 설정된 엄격한 규제 표준을 유지하면서 데이터에서 가치를 창출하는 데 어려움을 겪습니다. 이러한 조직에 있어 대규모의 복잡한 데이터 세트를 처리하면서 효율성, 보안, 확장성을 유지하는 것은 배포의 핵심 요소입니다. Red Hat과 Cloudera는 협업하여 고객에게 조직의 전체 데이터 라이프사이클 관리를 돕는 솔루션을 제공함으로써 데이터를 더 빠르게 활용하고 가치 창출 시간을 단축할 수 있도록 지원합니다. Cloudera Private Cloud를 Red Hat OpenShift에 구축하면 조직은 보안 중심의 하이브리드 오픈소스 환경에서 실행 가능한 인사이트를 도출하는 데 도움이 되는 집계되고 시각화된 데이터를 얻을 수 있습니다. 이 문서에서는 Red Hat OpenShift에서 실행되는 Cloudera 워크로드를 사용하여 AI 전략을 위해 이러한 기능을 활용하는 방법을 설명합니다.  

Red Hat OpenShift 기반 Cloudera 소개

Red Hat OpenShift는 업계 선도적인 하이브리드 클라우드 애플리케이션 플랫폼으로, 쿠버네티스를 기반으로 하며, 개발부터 배포, 애플리케이션 워크로드 관리에 이르는 전체 애플리케이션 라이프사이클을 간소화하는 종합적인 툴과 서비스를 제공합니다. 또한 빌트인 보안 기능과 전용 지원, 신뢰할 수 있는 소프트웨어 공급망을 갖추고 있습니다. Red Hat Enterprise Linux는 운영 기반을 제공합니다. 빌트인 모니터링, 온디맨드 환경, 중앙 집중식 정책 관리와 같은 다양한 기능을 갖춘 OpenShift는 전 세계 고객이 워크로드를 실행하는 데 신뢰하는 솔루션입니다. 

OpenShift에서 실행되는 Cloudera Platform은 하이브리드 데이터 플랫폼에서 강력한 분석, 트랜잭션 및 머신 러닝(ML) 워크로드를 제공합니다. Cloudera 온프레미스는 기존 분석과 탄력적 분석 및 확장 가능한 오브젝트 스토리지를 선택하여 활용할 수 있어, 강력하고 효율적인 플랫폼에서 기존의 모놀리식 클러스터 배포를 현대화합니다. 이 플랫폼은 최종 사용자가 민감한 데이터에 액세스하는 동시에 AI의 힘을 활용하여 비즈니스 혁신을 강화할 수 있도록 지원합니다. 이 플랫폼을 구동하는 세 가지 마이크로서비스는 다음과 같습니다.

1. Cloudera 데이터 웨어하우스(CDW)
2. Cloudera 데이터 엔지니어링(CDE)
3. Cloudera AI

Cloudera AI를 통해 개발자는 보안 중심의 확장 가능한 환경에서 AI를 개발, 배포, 관리할 수 있습니다. 그런 다음 개발자는 이러한 모델을 활용하여 AI 에이전트와 AI 애플리케이션을 개발하여 다양한 비즈니스 요구 사항을 해결할 수 있습니다. 

Red Hat OpenShift 기반 Cloudera AI의 강력한 성능

Cloudera AI는 데이터 사이언스 팀이 전체 데이터 라이프사이클에서 협업할 수 있는 툴을 제공합니다. Cloudera AI는 보안 중심의 신뢰할 수 있는 데이터 파이프라인, 확장 가능한 컴퓨팅 리소스 및 기타 여러 툴에 대한 액세스를 제공합니다. Red Hat OpenShift에서 플랫폼을 실행하는 Cloudera AI는 강력한 쿠버네티스 컨테이너 오케스트레이션을 활용하여 리소스를 효율적으로 관리하고 워크로드를 동적으로 확장합니다. 이를 통해 조직은 엔터프라이즈급 보안 및 컴플라이언스 기능을 갖춘 AI 모델을 구축할 수 있습니다.

OpenShift에서 Cloudera AI를 실행하면 데이터 과학자, ML 엔지니어, DevOps 엔지니어, AI 개발자가 민감한 데이터를 보호하는 동시에 공유 작업 공간을 활용하여 협업할 수 있습니다.

Red Hat OpenShift 기반 Cloudera AI의 장점

Cloudera 관리 25엑사바이트의 데이터 Cloudera는 10대 글로벌 기업 중 9곳에서 사용됩니다. 10년 넘게 대규모 데이터 풋프린트를 보유한 고객을 위한 솔루션을 개발한 경험을 보유한 Cloudera는 고객 요구 사항에 따라 확장되는 생성형 AI(gen AI) 솔루션을 제공할 수 있는 독보적인 입지를 확보하고 있습니다. 고객은 조직의 데이터와 통합된 Cloudera AI를 사용하여 비즈니스 의사 결정에 영향을 미치고 성공적인 결과를 도출할 수 있습니다.

민감한 데이터를 위한 엔터프라이즈급 보안 및 컴플라이언스 기능

민감한 회사 데이터를 사용하는 AI 모델을 배포할 때는 보안이 가장 중요합니다. OpenShift 기반 Cloudera는 다음과 같은 보안 기능을 제공합니다.

• 보안 중심의 컨테이너화된 워크로드: 쿠버네티스의 네임스페이스는 클러스터의 리소스 범위를 지정하는 메커니즘을 제공합니다. 네임스페이스는 명명된 리소스에 고유한 범위를 제공하여 기본 명명 충돌을 방지하고, 신뢰할 수 있는 사용자에게 관리 권한을 위임하며, 커뮤니티 리소스 사용을 제한합니다. Cloudera AI는 Red Hat OpenShift의 컨테이너 내에서 AI 및 ML 워크로드를 실행하여 각 워크로드가 독립적인 네임스페이스에 격리되도록 함으로써 쿠버네티스가 아닌 표준 배포 모델에서 발생할 수 있는 데이터 침해 및 취약점의 위험을 줄여줍니다. 다양한 Red Hat OpenShift의 보안 기능을 살펴보세요.
• 거버넌스 및 컴플라이언스: Cloudera는 데이터 계보 추적, 액세스 감사, GDPR, HIPAA 등의 규정 준수를 위한 빌트인 기능을 제공합니다. Cloudera의 Shared Data Experience(SDX)에 포함된 Apache Ranger는 보안 Cloudera 데이터 레이크 하우스의 데이터에 대한 세분화된 액세스 제어를 제공하며, Apache Atlas(위에서 언급한 SDX의 구성 요소)는 보안 팀이 데이터 사용량, 액세스 및 메타데이터 관리를 추적할 수 있는 감사 기능을 제공합니다. 이러한 구성 요소는 민감한 데이터 세트에 대한 컴플라이언스 및 규제 보고에 필수적인 데이터 액세스 및 활용 방식에 대한 가시성을 고객에게 제공합니다. Red Hat OpenShift에서 Red Hat은 다양한 보안 및 컴플라이언스 인증 수준을 유지하고 있습니다. 이 플랫폼은 컴플라이언스 분야에서 Cloudera 및 Red Hat의 역량과 함께 데이터의 안전을 유지하는 데 도움이 되는 보안 및 컴플라이언스에 중점을 둡니다.

효율적인 리소스 관리 및 확장성

AI 모델을 구축하고 배포하려면 상당한 컴퓨팅 리소스가 필요합니다. 수요는 AI 프로젝트의 단계와 유형에 따라 변동합니다. Red Hat OpenShift에서 실행되는 Cloudera AI는 워크로드가 피크일 때 리소스를 스케일 업하고 리소스가 더 이상 필요하지 않을 때 스케일 다운하는 데 필요한 유연성을 즉시 제공합니다. 

Cloudera AI는 Red Hat OpenShift와 함께 쿠버네티스 기반 인프라를 사용하여 다음과 같은 대규모 AI 태스크를 처리할 수 있습니다.

• 딥러닝 모델 학습: Cloudera AI는 이기종 GPU 지원과 함께 Red Hat OpenShift에서 지원하는 방대한 GPU를 사용하여 복잡한 ML 모델을 효율적으로 훈련할 수 있습니다.
• 규모에 따른 추론 실행: 훈련을 마치면 AI 모델을 프로덕션 환경에 배포할 수 있습니다. 프로덕션 환경에서는 일반적으로 실시간 추론을 지원하고 수요 증가에 따라 자동으로 크기를 확장하도록 지속적인 데이터 스트림을 구성합니다.
• AI 에이전트 및 애플리케이션:  Cloudera AI는 대화형 챗봇, 가상 비서, 문서 요약, 자율적인 의사 결정 시스템 등 AI 기반 에이전트와 애플리케이션의 배포와 확장을 지원합니다.

Cloudera Quota Management는 관리자가 다양한 팀과 프로젝트에서 Cloudera AI 워크벤치 내에서 리소스를 할당하는 방법을 제어할 수 있도록 지원합니다. 관리자는 특정 프로젝트 및 작업 영역의 CPU, 메모리, GPU 사용량에 대한 할당량을 설정하여 리소스를 효율적으로 활용하고 단일 팀 또는 프로젝트의 리소스 독점을 방지할 수 있습니다. 이러한 기능은 우선순위가 높은 SLA 기반 워크로드가 필요한 리소스를 받을 수 있도록 우선순위를 지정하여 비즈니스 위험을 줄이는 데 필수적입니다.

Cloudera AI는 Cloudera 할당량 관리를 활용하여 다음과 같은 방식으로 자원 효율성을 향상시킵니다:

• 제어된 리소스 할당: 할당량 관리를 통해 관리자는 각 사용자 또는 프로젝트에 대한 리소스 제한을 정의할 수 있습니다. 이 고유한 속성은 프로비저닝을 제어하여 일관성을 유지하고, SLA에 미치는 영향을 줄이며, 리소스 경합을 방지합니다.
• 동적 확장성: Red Hat OpenShift 기반 Cloudera Platform은 쿠버네티스 기반 아키텍처를 사용하여 실시간 애플리케이션 수요에 따라 워크로드를 자동으로 확장합니다. 예를 들어, CPU, GPU, 메모리와 같은 리소스는 성능을 향상시키기 위해 모델 훈련 중에 동적으로 증가할 수 있습니다. 그런 다음 이러한 리소스를 튜닝하거나 테스트하는 등 리소스 사용량이 적은 단계에서는 리소스를 축소하여 효율성을 유지하면서 비용을 절감할 수 있습니다. Cloudera 할당량 관리 는 관리자가 사전 정의한 리소스 제한 내에서만 확장이 이루어지도록 보장하여 비용을 최적화하고 과다 사용을 방지합니다.
• GPU의 효율적인 사용: 컴퓨팅 집약적인 AI 작업의 경우, Cloudera AI 관리자는 필요한 특정 작업 공간에 GPU를 할당하여 처리 속도를 가속할 수 있습니다. Cloudera Data Platform은 OpenShift와 연동되어 작동하며, 쿠버네티스에 대한 개선 사항을 포함하여 사용자가 GPU 리소스를 보다 쉽게 구성하고 사용하여 워크로드를 가속화할 수 있도록 지원합니다. 

협업 및 운영 효율성

AI 모델을 개발하려면 다양한 기술을 보유한 여러 팀 간의 협업 방식이 필요합니다. 데이터 과학자, ML 엔지니어, IT 운영, DevOps 엔지니어, 비즈니스 이해관계자 등 다양한 배경을 가진 전문가들이 참여합니다. Red Hat OpenShift 기반 Cloudera AI는 모두가 협업하고 혁신을 촉진할 수 있는 통합 환경을 제공하여 이러한 팀을 통합하는 데 도움이 됩니다. 주요 협업 기능은 다음과 같습니다.

• 공유 작업 영역: 여러 팀원이 공유 환경에서 작업할 수 있으므로 데이터 세트, 프로젝트 아티팩트, 코드 및 모델을 쉽게 공유할 수 있습니다.
• 버전 제어: Cloudera AI는 Git, Bitbucket 및 기타 버전 제어와 통합되므로 팀이 변경 사항을 추적하고 다양한 개발 분기를 사용할 수 있습니다.
• MLOps 자동화: 고객은 모델 개발에서 튜닝, 배포, 지속적인 모니터링에 이르는 전체 운영 흐름을 자동화할 수 있습니다. 이를 통해 AI 모델을 랩에서 프로덕션 환경으로 마이그레이션하는 데 필요한 내부 개발 투자 노력을 줄일 수 있습니다.

결론: 신뢰할 수 있는 데이터로 AI 혁신 추진

OpenShift 기반 Cloudera의 일부로 제공되는 Cloudera AI 데이터 서비스는 사용자가 CDP에서 안전하게 관리되는 민감한 데이터에 액세스하여 AI 모델을 훈련하고 튜닝할 수 있도록 함으로써 AI 혁신을 강화할 수 있는 강력한 솔루션을 ��업에 제공합니다. Cloudera AI의 기능과 Red Hat OpenShift의 견고하고 확장 가능한 컨테이너 관리 인프라를 결합함으로써, 조직은 보안에 중점을 두고 AI 모델을 효율적으로 구축, 학습 및 배포할 수 있습니다.

조직이 비즈니스 혁신을 위해 AI를 도입함에 따라 Cloudera AI와 Red Hat OpenShift 의 조합은 민감한 데이터를 처리하고 규모에 따라 AI 기반 인사이트를 제공하는 보안 중심 플랫폼을 제공합니다. 금융, 의료 또는 기타 규제 및 준수 요구가 있는 데이터 집약적 산업 분야에 관계없이, Red Hat OpenShift 기반 Cloudera AI는 민감한 데이터를 안전하게 처리하면서 고객이 생성형 AI의 잠재력을 최대한 활용할 수 있도록 지원합니다