Red Hat AI
비즈니스 환경에 맞는 AI 구축
조직이 보유한 리소스와 인사이트를 활용하고 조직에 필요한 자유를 확보하여 AI 가치를 실현하세요.
Red Hat® AI는 최초 실험에서 완전한 프로덕션에 이르기까지 비즈니스에 가장 적합한 AI 솔루션을 구축하고 실행할 수 있도록 설계되었습니다.
기업을 위한 유연한 AI
하이브리드 클라우드 전반에서 일관성을 유지하려면 데이터가 상주하는 위치에서 배포할 수 있는 플랫폼이 필요합니다.
Red Hat AI는 클라우드, 온프레미스, 엣지에서 생성형 AI 기능과 예측 AI 기능을 모두 제어할 수 있는 권한을 제공합니다.
Red Hat AI를 사용하면 기업이 선택한 모델과 가속기를 통해 빠르고 확장 가능한 추론을 제공하는 동시에 유연성을 유지할 수 있습니다.
Red Hat AI의 포함 사항은 다음과 같습니다.
Red Hat® AI Inference Server는 하이브리드 클라우드 환경에서 모델 추론을 최적화하여 더 빠르고 비용 효율적인 모델 배포를 지원합니다.
vLLM 기반의 Red Hat AI Inference Server에는 검증되고 최적화된 Hugging Face 기반 타사 모델에 대한 액세스 권한과 더불어 LLM 압축기 툴이 포함되어 있습니다.
Red Hat Enterprise Linux® AI는 엔터프라이즈 애플리케이션을 구동하는 대규모 언어 모델의 추론 및 학습을 위한 플랫폼입니다.
이 플랫폼에는 모델 커스터마이징을 위한 InstructLab 툴링과 통합 하드웨어 가속기가 포함되어 있습니다.
Red Hat AI Inference Server 포함
Red Hat OpenShift® AI는 Red Hat OpenShift의 기능을 토대로 생성형 AI 모델과 예측 AI 모델의 라이프사이클을 규모에 맞게 관리하기 위한 플랫폼을 제공합니다.
통합된 MLOps 및 LLMOps 기능을 통해 하이브리드 클라우드 환경 전반에서 AI 애플리케이션의 분산 학습, 튜닝, 추론, 모니터링을 제공하는 전체 라이프사이클 관리를 제공합니다.
Red Hat AI Inference Server 포함
+ Red Hat Enterprise Linux AI 포함
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
InstructLab으로 LLM을 로컬에서 커스터마이징
Red Hat의 InstructLab은 머신 러닝 경험이 적은 개발자도 IBM의 Granite 모델을 쉽게 실험할 수 있도록 지원하는 커뮤니티 기반 프로젝트입니다.
원하는 AI 모델을 실험하거나 로컬 하드웨어에서 파운데이션 모델을 미세 조정하려는 경우 이 플랫폼으로 시작하면 좋습니다.
이를 통해 AI를 기업에 도입하기 전에 AI 모델을 실험하는 데 따른 비용 및 리소스 장벽을 없앨 수 있습니다.
AI 파트너가 많을수록 발전의 기회는 많아집니다.
고객이 AI를 더욱 다양하게 활용할 수 있도록 전문가와 기술을 함께 제공합니다. 다양한 기술 파트너들이 Red Hat과 협력하여 솔루션의 상호 운용성을 인증하고 있습니다.
솔루션 패턴
Red Hat과 NVIDIA AI Enterprise를 활용한 AI 애플리케이션
RAG 애플리케이션 생성
Red Hat OpenShift AI는 데이터 사이언스 프로젝트를 빌드하고 AI 기능을 탑재한 애플리케이션을 제공하기 위한 플랫폼입니다. 자체 참조 문서에서 AI 답변을 얻는 방법인 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 지원하는 데 필요한 모든 도구를 통합할 수 있습니다. OpenShift AI를 NVIDIA AI Enterprise와 연결하면 대규모 언어 모델(Large Language Model, LLM)을 실험하여 애플리케이션에 대한 최적의 모델을 찾을 수 있습니다.
문서 파이프라인 구축
RAG를 활용하려면 먼저 문서를 벡터 데이터베이스에 수집해야 합니다. 예시 애플리케이션에서는 제품 문서 세트를 Redis 데이터베이스에 임베드합니다. 이러한 문서는 자주 변경되기 때문에, 이 프로세스에 대한 파이프라인을 구축하여 주기적으로 실행하면 항상 최신 버전의 문서를 확보할 수 있습니다.
LLM 카탈로그 살펴보기
NVIDIA AI Enterprise에서 다양한 LLM 카탈로그에 액세스하여 여러 가지 옵션을 사용해 보고 그중에서 최상의 결과를 제공하는 모델을 선택할 수 있습니다. 모델은 NVIDIA API 카탈로그에 호스팅됩니다. API 토큰을 설정한 후에는 OpenShift AI에서 바로 NVIDIA NIM 모델 서빙 플랫폼을 사용하여 모델을 배포할 수 있습니다.
적합한 모델 선택
다양한 LLM을 테스트하면서 사용자는 생성된 각 응답을 평가할 수 있습니다. Grafana 모니터링 대시보드를 설정하면 각 모델의 평점, 대기 시간, 응답 시간을 비교할 수 있습니다. 그런 다음 해당 데이터를 기반으로 프로덕션에서 사용하기에 가장 적합한 LLM을 선택할 수 있습니다.
Red Hat AI 실제 활용 사례
성장을 가속화하고 시장 출시 시간을 단축한 Ortec Finance
위험 및 수익 관리를 위한 글로벌 기술 및 솔루션 제공업체인 오르텍 파이낸스(Ortec Finance)는 Microsoft Azure Red Hat OpenShift에서 ML 모델을 제공���고 Red Hat AI를 도입하고 있습니다.
한 차원 높은 클라우드 컴퓨팅을 제공하는 Phoenix Systems
피닉스 시스템즈(Phoenix Systems)는 Red Hat과 협업하여 고객에게 다양한 옵션, 투명성, AI 혁신을 제공하고 있습니다.
데이터 사이언티스트의 역량을 강화한 Denizbank
데니즈뱅크(DenizBank)는 고객 대출과 사기 가능성을 파악할 수 있는 AI 모델을 개발하고 있습니다. 소속 데이터 사이언티스트들은 Red Hat AI를 사용하여 데이터에 대한 새로운 수준의 자율성을 확보했습니다.
신뢰할 수 있는 기반 위에 구축
하이브리드 클라우드 인프라, 애플리케이션 서비스, 클라우드 네이티브 애플리케이션 개발, 자동화 솔루션으로 구성된 Red Hat의 폭넓은 포트폴리오를 신뢰하는 전 세계 기업을 위해 어떤 인프라에서도 IT 서비스를 빠르고 비용 효율적으로 제공합니다.
