MLOps极致细节：4. MLFlow Projects 案例介绍（Gitee代码链接）

已于 2022-03-06 16:22:53 修改
阅读量1.7k 收藏 3
点赞数 2
分类专栏： mlops machine learning deep learning 文章标签： 深度学习 devops 机器学习
于 2022-03-06 16:05:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyctimes/article/details/123311876
版权

MLOps极致细节：4. MLFlow Projects 案例介绍（Gitee代码链接）

MLFlow Projects允许我们将代码及其依赖项打包为一个可以在其他平台上以可复制（reproducible）和可重用（reusable）的方式运行的项目。每个项目都包括自己的代码和一个MLproject文件，该文件定义了它的依赖项（例如Python环境），以及可以在项目中运行哪些命令以及它们采用的参数。

在这个案例中，我们基于MLFlow的官方GitHub文档，具体说明MLflow Projects如何被使用，以及结果。首先，我们先简单地过一遍概念，然后介绍如何把这个代码跑起来。关于此代码的详细解释，请参见我的博客：MLOps极致细节：5. MLFlow Projects 案例代码解读。

  • 平台：Win10。
  • IDE：Visual Studio Code
  • 需要预装：Anaconda3。

文章目录

1 MLProject Yaml文件

根本上，MLFlow Projects的作用就是让其他数据科学家更方便地运行MLFlow项目。在原本的MLFlow项目的基础上，我们需要增加一个MLProject的yaml文件，在项目的根目录下。

一个MLProject的例子如下：

name: My Project
conda_env: my_env.yaml
# Can have a docker_env instead of a conda_env, e.g.
# docker_env:
#    image:  mlflow-docker-example
entry_points:
  main:
    parameters:
      data_file: path
      regularization: {type: float, default: 0.1}
    command: "python train.py -r {regularization} {data_file}"
  validate:
    parameters:
      data_file: path
    command: "python validate.py {data_file}"

MLProject里面包含了如下几个参数/属性：

  • name: 项目名称
  • Entry Points：可以在项目中运行的命令，以及有关其参数的信息。大多数项目至少包含一个entry point，您希望其他用户调用它。有些项目还可以包含多个entry points：例如，我们可能有一个包含多个特征化算法的Git repo。你也可以以.py或.sh文件作为entry points。在MLproject文件中列出entry points的同时，我们还可以为它们指定参数，包括数据类型和默认值。
  • Environment：应用于执行项目entry point的软件环境。这包括项目代码所需的所有库依赖项。目前MLFlow支持Conda environments和Docker containers。

    • Conda environments：在MLProject文件中需要添加conda_env参数的定义，比如：conda_env: conda.yaml。即，引用在<MLFLOW_PROJECT_DIRECTORY>/conda.yaml路径下的conda yaml文件。关于conda.yaml的写法，参见Anaconda 官网。一个conda.yaml的例子：

      name: tutorial
channels:
- conda-forge
dependencies:
- python=3.7
- pip
- pip:
    - scikit-learn==0.23.2
    - mlflow>=1.0
    - pandas

    • Docker container environments：和conda环境类似的，在MLProject文件中需要添加docker_env参数的定义。MLFlow支持如下几种定义的方式：

      • Image without a registry path（还是直接用英文比较合适）。由于未指定registry path，Docker会在运行MLflow项目的系统上搜索此image。如果找不到这个image，Docker会尝试从DockerHub中pull。一个例子：
      docker_env:
image: mlflow-docker-example-environment
      • Mounting volumes and specifying environment variables。volumes的作用是将本地的一个路径mount到docker镜像里面的一个路径。environment可以从host的环境变量中复制，也可以指定为Docker镜像环境的新变量。环境字段应该是一个列表（list）。此列表中的元素可以是两个字符串的列表（用于定义新变量）或单个字符串（用于从host复制变量）。一个例子：
      docker_env:
image: mlflow-docker-example-environment
volumes: ["/local/path:/container/mount/path"]
environment: [["NEW_ENV_VAR", "new_var_value"], "VAR_TO_COPY_FROM_HOST_ENVIRONMENT"]
      • Image in a remote registry。当MLflow项目运行时，Docker会尝试从指定的registry path中提取镜像。一个例子：
      docker_env:
    image: 012345678910.dkr.ecr.us-west-2.amazonaws.com/mlflow-docker-example-environment:7.0

2 运行代码

这个案例中，我们将使用scikit-learn来训练一个简单的线性回归模型，然后打包这个模型使之可重复使用。代码基于MLFlow官网改写。

这里，我们引用wine quality数据集。在此数据集中，我们基于一些特征，如"fixed acidity",“volatile acidity”,"citric acid"等等，来对wine的"quality"进行预测。

预测的模型我们选择sklearn.linear_model.ElasticNet，详细的说明参见官网。

2.1 运行代码之前

在运行起代码之前，我们还是需要在我们的主机（host machine）新建虚拟环境（比如conda create -n [your vm name] python=3.8），然后进入虚拟环境（conda activate [your vm name]），安装好MLFlow（pip3 install mlflow -i https://pypi.tuna.tsinghua.edu.cn/simple）。当然，我们也可以不用虚拟环境，而是直接在主机环境中进行MLFlow以及其他依赖的的安装，但我个人依然强烈建议不要随意在主环境中进行操作。

有下面几种方式运行起这个案例的代码：

  1. 我们把此案例相关代码克隆到本地：git clone https://gitee.com/yichaoyyds/mlflow-ex-project-basic.git。然后进入mlflow-ex-project-basic文件夹，在terminal中运行py文件，比如python main.py；
  2. 我们把此案例相关代码克隆到本地：git clone https://gitee.com/yichaoyyds/mlflow-ex-project-basic.git。然后再按照下面章节的步骤运行mlrun指令（在terminal中）；
  3. 不用把代码克隆到本地。mlflow也支持直接跑git上的代码。下面章节会做具体描述。

一个建议：在通过MLFlow Projects的方式运行代码前，如果我们对mlflow不了解，我们还是先按照比较原始的方式先把代码跑起来，比如python main.py。这也是为什么我们依旧在代码中包含了requirements.py的原因。和之前的案例一样，我们先进入之前创建的虚拟环境，然后激活，比如：conda activate mlFlowEx（mlFlowEx是我们之前创建的虚拟环境）。然后，我们在虚拟环境中下载好相关依赖：pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple。和之前一样，这个案例我们选用的IDE依然是VSCode。

文档结构：

- conda.yaml            # MLFlow Projects 所需要的conda的yaml文件
- MLproject             # MLFlow Projects 所需要的MLproject文件
- requirements.txt      # 我们测试代码的时候用到，包含了测试代码需要的依赖库
- main.py               # 展示了如何使用tensorflow2/keras进行模型的训练
- READ.md               # readme文件
- config.txt            # 我们测试代码的时候用到，设置参数的时候方便一些
- wine-quality.csv      # 训练数据集，其实不需要，我们直接从网上下载下来

2.2 第一种运行方式

  1. 在我们的主机（host machine），新建并进入虚拟环境，安装好requirements.txt里面的依赖；

  2. 在VSCode，terminal中，选择你想克隆代码的本地路径；

  3. 克隆代码：git clone https://gitee.com/yichaoyyds/mlflow-ex-project-basic.git。此时，如果你在terminal输入ls，应该可以看到mlflow-ex-project-basic文件夹；

  4. cd mlflow-ex-project-basic进入文件夹；

  5. python .\main.py。你应该能看到类似

    Mode: loop
Test Elasticnet model with different alpha and l1_ratio values.
Test - alpha: 0.0, l1_ratio: 0.0. Result: RMSE: 0.68, MAE: 0.54, R2: 0.35
Test - alpha: 0.0, l1_ratio: 0.2. Result: RMSE: 0.68, MAE: 0.54, R2: 0.35
Test - alpha: 0.0, l1_ratio: 0.4. Result: RMSE: 0.68, MAE: 0.54, R2: 0.35
...
Test - alpha: 0.8, l1_ratio: 0.8. Result: RMSE: 0.83, MAE: 0.68, R2: 0.03
Best Elasticnet model (alpha=0.800000, l1_ratio=0.800000):
Best model - alpha: 0.8, l1_ratio: 0.8. Result: RMSE: 0.8323634286332126, MAE: 0.6841525289534505, R2: 0.026507009052647468

    并且你也会发现，在mlflow-ex-project-basic文件夹下面多了一个mlruns文件夹。

  6. 运行成功。注意，每次运行的时候需要改一下config.txt文件里面的experimentid值，因为我们每次不能创建相同id的experiment。

2.3 第二种运行方式

  1. 在我们的主机（host machine），新建并进入虚拟环境；

  2. 在VSCode，terminal中，选择你想克隆代码的本地路径；

  3. 克隆代码：git clone https://gitee.com/yichaoyyds/mlflow-ex-project-basic.git。此时，如果你在terminal输入ls，应该可以看到mlflow-ex-project-basic文件夹；

  4. 注意，我们这里没有进入mlflow-ex-project-basic文件夹。运行：

    mlflow run mlflow-ex-project-basic

  5. 如果你是第一次运行，那么系统会给你新建一个虚拟机，然后系统进入这个虚拟机平台，安装好依赖，再运行main.py文件。运行完后，你会发现在当前目录下，会新生成mlruns文件夹。以下为terminal代码运行后的一部分日志，详细的日志以及代码的解释请参见我的博客：。

    2022/03/06 15:20:38 INFO mlflow.projects.utils: === Created directory C:\XXX\Temp\tmp4t1upjb_ for downloading remote URIs passed to arguments of type 'path' ===    
2022/03/06 15:20:38 INFO mlflow.projects.backend.local: === Running command 'conda activate mlflow-5cbba1deec6e564616d0ebee88bd7d510b35ef53 && python main.py 0.5 0.1 loop mlflowProjectExample20' in run with ID '42a6a0faa2f1486c973fecb851193f56' ===
Mode: loop
Test Elasticnet model with different alpha and l1_ratio values.
Test - alpha: 0.0, l1_ratio: 0.0. Result: RMSE: 0.64, MAE: 0.51, R2: 0.36
Test - alpha: 0.0, l1_ratio: 0.2. Result: RMSE: 0.64, MAE: 0.51, R2: 0.36
...
Test - alpha: 0.8, l1_ratio: 0.8. Result: RMSE: 0.8, MAE: 0.66, R2: 0.01
Best Elasticnet model (alpha=0.800000, l1_ratio=0.800000):
Best model - alpha: 0.8, l1_ratio: 0.8. Result: RMSE: 0.7980985615795877, MAE: 0.661761764937828, R2: 0.010305314500945628
2022/03/06 15:21:57 INFO mlflow.projects: === Run (ID '42a6a0faa2f1486c973fecb851193f56') succeeded ===

  6. 运行成功。注意，每次运行的时候需要改一下config.txt文件里面的experimentid值，因为我们每次不能创建相同id的experiment。

2.4 第三种运行方式

这种方式最为简洁，直接调git的URI链接，连下载都免了。

  1. 在我们的主机（host machine），新建并进入虚拟环境；

  2. 在我们自己选择的某个本地路径下

    mlflow run https://gitee.com/yichaoyyds/mlflow-ex-project-basic.git

  3. 你会发现在当前目录下，会新生成mlruns文件夹。其实第二种和第三种是一样的，只是第二种方式，我们手动克隆了一下，而第三种方式，mlflow帮我们克隆了一下，保存到了系统的temp路径下。我们来看一下运行后的（部分）日志，就一目了然了：

2022/03/06 15:37:12 INFO mlflow.projects.utils: === Fetching project from https://gitee.com/yichaoyyds/mlflow-ex-project-basic.git into C:\XXX\Temp\tmp2my_ysex === 
2022/03/06 15:37:16 INFO mlflow.projects.utils: === Created directory C:\XXX\Temp\tmp9c6kybzr for downloading remote URIs passed to arguments of type 'path' ===    
2022/03/06 15:37:16 INFO mlflow.projects.backend.local: === Running command 'conda activate mlflow-5cbba1deec6e564616d0ebee88bd7d510b35ef53 && python main.py 0.5 0.1 loop mlflowProjectExample1' in run with ID '4cd58e551b114c60b416b41225580b17' ===
Mode: loop
Test Elasticnet model with different alpha and l1_ratio values.
Test - alpha: 0.0, l1_ratio: 0.0. Result: RMSE: 0.68, MAE: 0.52, R2: 0.27
Test - alpha: 0.0, l1_ratio: 0.2. Result: RMSE: 0.68, MAE: 0.52, R2: 0.27
...
Test - alpha: 0.8, l1_ratio: 0.8. Result: RMSE: 0.79, MAE: 0.64, R2: 0.03
Best Elasticnet model (alpha=0.800000, l1_ratio=0.800000):
 Best model - alpha: 0.8, l1_ratio: 0.8. Result: RMSE: 0.7866516565074876, MAE: 0.6435140676671445, R2: 0.03154140821475915
2022/03/06 15:38:29 INFO mlflow.projects: === Run (ID '4cd58e551b114c60b416b41225580b17') succeeded ===
破浪会有时
关注
专栏目录
UE4 Android打包类似报错解决：cmd.exe failed with args
m0_51386934的博客
10-07 5075
后者：打开系统环境变量，在系统变量里找到 JAVA_HOME ，编辑修改成UE4选择的JDK版本；找到Path，双击打开，找到 C:\Program Files (x86)\Common Files\Oracle\Java\javapath 这一行，复制地址，在文件夹中打开，将其中的3个JAVA文件删除。该问题是UE4选择的JDK版本和系统环境变量的JDK版本不一致导致的，要么修改UE4选择的JDK版本，要么修改系统环境变量。UE4.27.2 ，Android Studio4.0，Window系统。
spark集成es遇到Guava jar包冲突问题:java.lang.NoSuchMethodError
内沐的博客
06-07 8811
错误信息： Caused by: java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecutor()Ljava/util/concurrent/Executor; at org.elasticsearch.threadpool.ThreadPool.&amp;lt;clinit...
mlflow-examples:基本MLflow示例
05-12
MLflow示例 MLflow示例-基本和高级。 例子 Python示例 世界您好-没有培训或评分。 -Scikit学习模型-训练和评分。 规范示例显示了多种训练和评分方法。 用于记录ONNX模型，自动记录和保存模型签名的选项。 在本地或针对Databricks集群进行培训。 针对本地Web服务器或Docker容器实时评分。 使用mlflow.load_model或Spark UDF对批次进行评分 -Spark ML模型-训练和评分。 也是ONNX。 Keras / Tensorflow-训练和得分。 ONNX也可以工作。 使用TensorFlow 2.x的Keras 葡萄酒质量数据集 -MNIST数据集 具有TensorFlow 1.x的旧版 -XGBoost（sklearn包装器）模型-训练和评分。 -Catboost（使用sklearn）模型-训练和评分
mlflow project
chenghouxian7338的博客
07-24 635
MLflow项目 MLflow项目是一种以可重用和可重复的方式打包数据科学代码的格式，主要基于约定。此外，Projects组件包括用于运行项目的API和命令行工具，可以将项目链接到工作流中。 目录 概观 ...
MLFlow安装使用
最新发布
全栈开发的博客
08-10 962
2.2 查看视图 执行后： 执行中： 运行详情： 运行详情： 查看生成的模型： 下载模型，放入工程同级目录： 运行结果： 至此，入门结束！
MLflow Projects 模块解析
Mophistoliu的博客
06-02 895
通过Tracking模块，我们已经能够对参数进行管理。接下来我们通过Projects模块来实现可复用的代码以及为后续生产部署做准备。 从文档可以看到Projects模块的定义：这是一种基于约定俗成的规则来对代码进行管理的格式。 提供了api和命令工具来串接项目到一个工作流程中。 接下来，我们来探索这个约定俗成的规则以及如何复现其他项目的代码。 MLflow Projects 格式管理 以mlflo...
MLOps极致细节：19. MLFlow 与 Pytorch 的使用案例1：mlflow.pytorch MNIST识别
破浪会有时的博客
05-06 1948
本案例解释了如何在Pytorch中使用MLFlow，在MNIST中的两个案例。 - 解释`mlflow.pytorch`的具体使用方式； - 解释`pl.LightningModule`与`pl.LightningDataModule`的具体使用方式； - 解释`mlflow run`以及`mlflow ui`的具体使用方式； - 通过MNIST的两个案例解释如何在pyTorch中使用mlFlow，以及结果。
MLOps极致细节：9. MLFlow 超参数调参案例综述（附代码）
破浪会有时的博客
03-14 635
在这个博客中，我们将详细提供一系列案例，基于mlflow和keras的深度学习框架对`winequality-white`数据进行quanlity预测的端到端流程，以及通过随机选择和Hyperopt优化进行调整超参数。相关代码参见：https://gitee.com/yichaoyyds/mlflow-ex-hyperparametertunning。
升级mybatis遇到的坑（NoSuchMethodException: org.apache.ibatis.executor.statement.StatementHandler.prepare）
路漫漫，等风来
08-30 7957
今天要把项目中公司的框架版本升级到最新版，框架里mybatis版本升级到3.4.0.mod:1.5.5 允许命令：mvn dependency:tree | grep mybatis [2018-08-30 14:58:19][1535612299917_Eg2a] [ERROR] [http-nio-10095-exec-5] [com.souche.optimus.core.contr...
UE4打包安卓项目遇到UATHelper: Packaging (Android (ETC1)): ERROR: cmd.exe failed with args的解决方案
热门推荐
qq_25580197的博客
12-13 1万+
我假设你已经安装了UE4自带的安卓环境CodeWorksforAndroid-1R6u1并不会在此演示 详细请看https://docs.unrealengine.com/latest/INT/Platforms/Android/GettingStarted/1/index.html 在打包几个小时后出现“UATHelper: Packaging (Android (ETC1)): ER
maven命令行创建web项目报错：java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils...
wuxun1997的专栏
11-21 8680
　　早上新建一个web项目，没想到一敲命令创建就失败了，真是出师不利。各种折腾无果，当然我也可以用eclipse直接创建的，就是想搞清楚状况。刚刚才发现问题原因，这个结果我也是醉了，太坑爹了。 　　问题现象： E:\workspace>mvn archetype:generate -DarchetypeCatalog=internal -DgroupId=com.wulf.memcac...
mlflow：机器学习生命周期的开源平台
02-03
mlflow：机器学习生命周期的开源平台
Python-MLflow用于机器学习生命周期的开源平台
08-11
MLflow - 用于机器学习生命周期的开源平台
MLOps极致细节：5. MLFlow Projects 案例代码解读
破浪会有时的博客
03-09 564
MLFlow Projects允许我们将代码及其依赖项打包为一个可以在其他平台上以可复制（reproducible）和可重用（reusable）的方式运行的项目。每个项目都包括自己的代码和一个MLproject文件，该文件定义了它的依赖项（例如Python环境），以及可以在项目中运行哪些命令以及它们采用的参数。 上一章节中，我们对MLflow Projects的概念以及结果进行了描述（参见博客：MLOps极致细节：4. MLFlow Projects 案例介绍）。这里我们将对[代码]进行详细解读。
mlflow_在生产中设置MLflow
weixin_26752765的博客
09-04 636
This is the first article in my MLflow tutorial series: 这是我的MLflow教程系列的第一篇文章: Setup MLflow in Production (you are here!) 在生产环境中设置MLflow (您在这里！) MLflow: Basic logging functions MLflow:基本日志记录功能 MLflow ...
MLOps极致细节：2. MLFlow Tracking 案例介绍（Gitee代码链接）
破浪会有时的博客
03-06 778
MLflow Tracking是一个API以及包含UI界面，能够允许我们记录代码中的log matrics和artifacts文件，查看运行历史记录，并且进行一些结果的数据可视化。 在这个案例中，我们会具体说明MLflow Tracking如何被使用，以及结果。
MLflow
zhixingheyi_tian的博客
02-22 503
Introduction MLflow is an open source platform to manage the ML lifecycle, including experimentation, reproducibility, deployment, and a central model registry. Components MLflow Tracking: Record and query experiments: code, data, config, and results MLfl
mlflow
real_ilin的博客
04-20 280
main.py # -*- encoding: utf-8 -*- import torch from torch import nn import mlflow import mlflow.pytorch x = torch.tensor([[1.0], [2.0], [3.0]]) y = torch.tensor([[2.0], [4.0], [6.0]]) class Model(n...
MLFLOW
caoli4608的博客
10-14 178
MLFLOW的整体介绍
Unable to find Gradle tasks to build: [:]. Build mode: REBUILD. Tests: None.
05-13
2. 在 Android Studio 中，打开 Gradle Projects 窗口，然后尝试刷新 Gradle 项目。 3. 如果您使用的是多模块项目，请检查每个模块的 build.gradle 文件以确保它们都正确配置。 4. 如果您的项目中使用了某些插件，...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

破浪会有时

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值