在 Kubeflow 上使用昇思 MindSpore 的实用指南

by Canonical on 21 March 2023

Gartner 在 2022 年发布的关于重要技术趋势的报告中表示，AI 工程将在不久的将来担纲重任。AI 工程主要由三种核心技术构成：DataOps、MLOps 和 DevOps。其主要目的是开发能够快速、持续提供商业价值的 AI 模型，如支持跨职能协作、自动化、数据分析以及机器学习的模型。AI 工程能够缩短开发和应用部署流程。

什么是 Kubeflow？

Charmed Kubeflow 是一个端对端的 MLOps 生产级平台，可将数据科学工作流中的步骤转译为 Kubernetes 作业。它是 Kubeflow 上游项目的一个官方发行版本。数据科学家和机器学习工程师可以利用它从简单、便携、可扩展的 ML 部署中获益匪浅。从使用 Notebooks 开展实验，到使用 Kubeflow Pipelines 进行训练或使用 Katib 进行调参，其功能覆盖范围极其广泛。

深入了解什么是 Kubeflow

什么是昇思 MindSpore？

华为开源自研 AI 框架 MindSpore 是为深度学习、训练和推理而搭建的，适用于边缘、移动和云场景。它实现了基于源码变换的自动微分。这是一种从函数编程框架演变而来的技术，支持自动控制流。

深入了解 Mindspore

为什么要集成 Kubeflow 和 Mindspore？

Charmed Kubeflow 是一个 MLOps 平台，由各种开源组件构成。Jupyter Notebooks 是本地工具之一。与 AI 框架集成使数据科学家和机器学习工程师能够受益于先进的训练功能和成本模型拆分策略。它结合了数据并行、模型并行和以及混合并行。另外，由于得益于自动微分、自动并行和优化计算，它不仅具备在流水线、深度图和设备层面的执行效率，还具有开发友好性。 

综上所述，Charmed Kubeflow 和 MindSpore 之间的集成突显了 MLOps 生态系统的日益增长，而 Canonical 正致力于搭建该生态系统。尤其是在处理数据过程中，切换各种工具，实属是一大挑战。因此，Charmed Kubeflow 旨在通过创建可本地访问各种 AI/ML 工具的环境，来解决该问题。

访问 Charmed Kubeflow

如果您尚未部署 Charmed Kubeflow，请按照快速入门指南中的说明进行部署。温馨提醒您，您需要运行 Ubuntu 20.04 或更高版本，并确保至少 32 GB 的内存空间和 50 GB 的磁盘空间。在应用部署过程中，将

• 安装 MicroK8s
• 安装 Juju
• 部署 Charmed Kubeflow

Charmd Kubeflow 部署完成后，所有 Kubeflow 组件将处于激活状态，请按照以下指示操作。

juju refresh jupyter-ui --channel=latest/edge 

该步骤将 jupyter-ui 升级至最新版本，因此它包含了 MindSpore 的 Notebook 图像。

配置 Charmed Kubeflow

Kubeflow 安装完成后，需要进行简单的配置以便访问它。首次配置请访问该地址：

juju config dex-auth public-url=http://10.64.140.43.nip.io

juju config oidc-gatekeeper public-url=http://10.64.140.43.nip.io

然后配置访问用户名和密码：

juju config dex-auth static-username=admin

juju config dex-auth static-password=ucantseeme

接下来，在浏览器中输入 http://10.64.140.43.nip.io，并输入刚才设置的用户密码。可看见完整的 Kubeflow 控制面板。

运行支持 MindSpore 的 Notebook

为了在 Charmed Kubeflow 中访问 MindSpore，则需使用本地支持的 Notebook。从 Charmed Kubeflow 控制面板的 Notebook 选项卡上，选择创建 Notebook，输入 Notebook 名称 MindSpore，为图像选择 jupyterlab，使用列表中的 mindspore/jupyter-mindspore，分配合适的 CPU 和内容资源，点击创建。

在 Notebook 界面，可看见创建即将完成的提示。

点击连接，即可以新的浏览器标签页打开 Notebook。点击此处即可使用 MindSpore 官方网站上的现有 Notebook，并通过 Notebook 页面上传手写数字识别 Notebook。

点击执行，即可发现 Notebook 会直接运行，而无需额外安装 MindSpore 和 Vision 套件。

启动首个项目

只要在 Charmed Kubeflow 的 Notebook 中本地启用 MindSpore 图像，便可开始启动 AI/ML 项目。尽管 MindSpore 旨在支持广泛的使用情景，但计算机视觉可能会是一个有趣的示例。

深入了解 Charmed Kubeflow 和 MindSpore

1. 在 Charmed Kubeflow 上运行 MindSpore 集成指南（中文版） 
2. MindSpore 和 Charmed Kubeflow 集成教程
3. MLOps 的边缘零售：购物篮分析
4. 使用 MLOps 平台进行超参数优化
5. Canonical 的 AI 服务