借助红帽 OpenShift 上的 Cloudera，为 AI 解锁敏感数据

许多企业都面临着这样的挑战：既要从数据中创造价值，又要遵守处理敏感数据所制定的严格监管标准。对于这些企业而言，在处理大型复杂数据集的同时，保持效率、安全性与可扩展性对于部署至关重要。红帽与 Cloudera 之间的合作，为客户提供了一种解决方案，可以帮助企业管理完整的数据生命周期，从而更快地发挥数据的作用并缩短实现价值所需的时间。借助红帽 OpenShift 上的 Cloudera 私有云，企业可以获得汇总和可视化的数据，从而帮助他们在注重安全的混合开源环境中获得可操作的见解。在本文中，您将了解如何利用在红帽 OpenShift 上运行 Cloudera 工作负载，将这些功能用于您的 AI 策略。  

红帽 OpenShift 上的 Cloudera 介绍

红帽 OpenShift 是业界领先的混合云应用平台，由 Kubernetes 提供支持，它提供了一整套工具和服务，可以简化从开发到交付再到应用工作负载管理的整个应用生命周期。它将内置的安全功能与专门的支持、值得信赖的软件供应链以及红帽企业 Linux 作为运行基础，OpenShift 凭借内置监控、按需环境和集中式策略管理等各种功能，深受全球客户的信赖，可用于运行其工作负载。 

在 OpenShift 上运行的 Cloudera 平台可在混合数据平台中提供强大的分析、事务和机器学习 (ML) 工作负载。通过选择传统和弹性分析以及可扩展的对象存储，Cloudera 本地部署在强大而高效的平台上对传统的单体式集群部署进行了现代化改造。它使最终用户能够访问敏感数据，同时释放 AI 的力量，以促进业务创新。以下三个微服务为该平台提供支持：

1. Cloudera 数据仓库 (CDW)
2. Cloudera 数据工程 (CDE)
3. Cloudera AI

Cloudera AI 允许开发人员在注重安全且可扩展的环境中开发、部署和管理 AI。然后，开发人员可以利用这些模型来开发 AI 代理和 AI 应用，以满足各种业务需求。 

红帽 OpenShift 上 Cloudera AI 的强大功能

Cloudera AI 为数据科学团队提供了在整个数据生命周期内开展协作的工具。它提供对注重安全的可信数据管道、可扩展计算资源和其他工具的访问。通过在红帽 OpenShift 上运行该平台，Cloudera AI 可以利用强大的 Kubernetes 容器编排来高效地管理资源并动态地扩展工作负载。这有助于组织构建具备企业级安全防护和合规能力的 AI 模型。

通过在 OpenShift 上运行 Cloudera AI，数据科学家、ML 工程师、DevOps 工程师和 AI 开发人员可以利用共享工作区开展协作，同时保护敏感数据。

红帽 OpenShift 上 Cloudera AI 的优势

Cloudera 管理着 25 EB 的数据而且全球十家最大的公司中有九家都在使用 Cloudera。凭借十多年为拥有大量数据的客户开发解决方案的经验，Cloudera 在提供可根据客户需求扩展的生成式 AI (gen AI) 解决方案方面具有得天独厚的优势。客户可以使用与企业数据相集成的 Cloudera AI 来影响业务决策并取得成功。

针对敏感数据的企业级安全防护和合规能力

在部署使用敏感公司数据的 AI 模型时，安全性至关重要。OpenShift 上的 Cloudera 提供以下安全功能：

• 安全至上的容器化工作负载：Kubernetes 中的命名空间提供了一种机制来确定集群中资源的范围。命名空间为命名资源提供唯一的范围，以避免基本的命名冲突，将管理权限委派给受信任的用户，并限制社区资源消耗。通过在红帽 OpenShift 上的容器中运行 AI 和 ML 工作负载，Cloudera AI 有助于确保每个工作负载都隔离在独立的命名空间中，从而降低标准非 Kubernetes 部署模型中可能出现的数据泄露和漏洞风险。了解关于红帽 OpenShift 中的各种安全功能的更多信息。
• 监管与合规：Cloudera 提供了多种内置功能，可用于跟踪数据沿袭、审核访问权限以及遵守 GDPR、HIPAA 等法规。作为 Cloudera 共享数据体验 (SDX) 的一部分，Apache Ranger 为安全的 Cloudera 数据湖仓中的数据提供细粒度访问控制；而 Apache Atlas（也是上述 SDX 中的一个组件）则为安全团队提供审计功能，以跟踪数据使用情况、访问权限和元数据管理。这些组件使客户能够清楚地了解数据的访问和使用情况，这对于敏感数据集的合规性和监管报告至关重要。在红帽 OpenShift 中，红帽维护各种安全性和合规性认证级别。该平台结合了 Cloudera 和红帽在合规领域的能力，专注于安全防护和合规，以帮助维护数据的安全。

高效的资源管理和可扩展性

构建和部署 AI 模型需要大量的计算资源。需求会根据 AI 项目的阶段和类型而变化。红帽 OpenShift 上的 Cloudera AI 提供了开箱即用所需的灵活性，可以在工作负载高峰期间扩展资源，并在不再需要资源时缩减资源。 

通过将基于 Kubernetes 的基础架构与红帽 OpenShift 搭配使用，Cloudera AI 使客户能够处理大规模 AI 任务，例如：

• 训练深度学习模型：Cloudera AI 可以使用红帽 OpenShift 支持的大量 GPU 和异构 GPU 来高效地训练复杂的 ML 模型。
• 大规模运行推理：经过训练后，可以将 AI 模型部署到生产环境中，在生产环境中通常会配置连续数据流以实现实时推理，并随着需求的增加自动扩展规模。
• AI 代理和应用：  Cloudera AI 有助于部署和扩展 AI 驱动的代理和应用，包括交互式聊天机器人、虚拟助理、文档摘要和自主决策系统。

Cloudera 配额管理使管理员能够控制不同团队和项目在 Cloudera AI 工作台中如何分配资源。通过为特定项目和工作区设置 CPU、内存和 GPU 使用配额，管理员可以高效地利用资源，并防止单个团队或项目垄断资源。这些功能对于确定 SLA 驱动的高优先级工作负载的优先级至关重要，以便获得必要的资源来帮助降低业务风险。

Cloudera AI 利用 Cloudera 配额管理通过以下方式提高资源效率：

• 受控资源分配：配额管理使管理员能够为每个用户或项目定义资源限制。此独特属性控制调配，以保持一致性、减少 SLA 影响并防止资源争用。
• 动态可扩展性：红帽 OpenShift 上的 Cloudera 平台使用基于 Kubernetes 的架构来扩展工作负载，以自动响应实时应用需求。例如，可以在模型训练期间动态增加 CPU、GPU 和内存等资源，以增强性能。然后，在资源不太密集的阶段（如调优或测试这些资源）期间，可以缩减资源，从而在降低成本的同时保持效率。 Cloudera 配额管理确保仅在管理员预定义的资源限制内进行扩展，从而优化成本并防止过度使用。
• 高效利用 GPU：对于计算密集型 AI 任务， Cloudera AI 管理员可以分配 GPU 以在需要时加快特定工作区的处理速度。Cloudera 数据平台与 OpenShift 协同工作，包括对 Kubernetes 的增强，以便用户可以更轻松地配置和使用 GPU 资源来加速工作负载。 

协作和运维效率

开发 AI 模型需要具有不同技能组合的不同团队进行协作。这些团队拥有来自数据科学家、ML 工程师、IT 运维、DevOps 工程师和业务利益相关者的多元化背景。红帽 OpenShift 上的 Cloudera AI 通过提供一个统一的环境来帮助这些团队团结起来，让每个人都可以协作并推动创新。主要协作功能包括：

• 共享工作区：多个团队成员可以在共享环境中工作，从而轻松地共享数据集、项目工件、代码和模型。
• 版本控制：Cloudera AI 与 Git、Bitbucket 和其他版本控制系统集成，使团队能够跟踪更改并使用不同的分支进行开发。
• MLOps 自动化：客户可以实现从模型开发到调优、部署和持续监控的整个运维流程的自动化。这减少了将 AI 模型从实验室迁移到生产环境所需的内部开发投资。

结论：利用可信数据推动 AI 创新

Cloudera AI 数据服务是 OpenShift 上 Cloudera 的一部分，它允许用户访问 CDP 中安全管理的敏感数据来训练和调优 AI 模型，从而为企业提供强大的解决方案来促进 AI 创新。将 Cloudera AI 的功能与红帽 OpenShift 可靠、可扩展的容器管理基础架构相结合，使企业能够高效地构建、训练和部署 AI 模型，同时注重安全性。

随着企业采用 AI 来实现业务转型， Cloudera AI 和红帽 OpenShift 的组合提供了一个注重安全的平台，用于处理敏感数据并大规模地提供 AI 驱动的智能分析。无论客户是在金融、医疗保健还是任何其他具有监管和合规需求的数据密集型行业， 红帽 OpenShift 上的 Cloudera AI 谨慎地处理敏感数据，同时帮助客户释放生成式 AI 的全部潜力。