![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mlops
文章平均质量分 92
破浪会有时
乘风破浪会有时,直挂云帆济沧海
展开
-
MLOps极致细节:21. MLFlow Pytorch 的使用案例3:MobileNetV2 图像分类案例
- 解释`mlflow.pytorch`的具体使用方式;- 解释`pl.LightningModule`与`pl.LightningDataModule`的具体使用方式;- 解释`mlflow run`以及`mlflow ui`的具体使用方式;- 解释如何使用 MobileNetV2 进行迁移学习;- 通过 LEGO Minifigures 的案例解释如何在pyTorch中使用mlFlow,以及结果。原创 2022-05-09 09:03:30 · 1440 阅读 · 0 评论 -
MLOps极致细节:20. MLFlow Pytorch 的使用案例2:数据分类超参数自动优化
本案例解释了如何在Pytorch中使用MLFlow,在 IRIS 的数据分类超参数自动优化案例。- 解释`mlflow.pytorch`的具体使用方式;- 解释`pl.LightningModule`与`pl.LightningDataModule`的具体使用方式;- 解释`mlflow run`以及`mlflow ui`的具体使用方式。解释如何使用`parent run`和`child run`;- 通过 IRIS FLOWER 的数据分类超参数自动优化案例解释在pyTorch中使用mlFlow。原创 2022-05-07 15:18:05 · 496 阅读 · 0 评论 -
MLOps极致细节:19. MLFlow 与 Pytorch 的使用案例1:mlflow.pytorch MNIST识别
本案例解释了如何在Pytorch中使用MLFlow,在MNIST中的两个案例。- 解释`mlflow.pytorch`的具体使用方式;- 解释`pl.LightningModule`与`pl.LightningDataModule`的具体使用方式;- 解释`mlflow run`以及`mlflow ui`的具体使用方式;- 通过MNIST的两个案例解释如何在pyTorch中使用mlFlow,以及结果。原创 2022-05-06 17:32:19 · 1929 阅读 · 1 评论 -
Conda 的 yml 文件 Conda/PIP 国内镜像源的添加
- Conda 的 yml 文件作用- yml 文件中 Conda 国内镜像源的添加- yml 文件中 PIP 国内镜像源的添加- Conda YML 中直接导入pip的requrirements.txt文件- Conda YML 中包含 wheel原创 2022-05-05 22:30:06 · 8516 阅读 · 1 评论 -
Azure ML 机器学习: pandas格式文件,多文件上传至Azure Datastore,并且注册至Azure Datasets
解释(1)如何将pandas格式文件上传至Azure Datastore,并且注册至Azure Datasets中;(2)如何将一个文件夹下所有文件,或者特定的几个文件上传至Azure Datastore,并且注册至Azure Datasets中。原创 2022-04-05 16:00:00 · 301 阅读 · 0 评论 -
Azure ML 机器学习: 将`.jsonl`格式文件以及对应的图像数据上传至Azure Datastore,并且注册至Azure Datasets
解释如何将`.jsonl`格式文件以及对应的图像数据上传至Azure Datastore,并且注册至Azure Datasets中(注:此场景主要发生在通过 Azure AutoML 训练/部署图像分类,物体识别任务时,需将训练图像集对应的标签文件转化为`.jsonl`文件后,再将图像以及标签数据上传并注册,用以模型运行与验证使用)。原创 2022-04-04 12:30:00 · 575 阅读 · 0 评论 -
Azure ML 机器学习: Compute Instance, Computer Cluster, Inference Cluster的创建以及获取
解释如何在 Azure ML Python SDK 以及 Azure Portal 上创建与获取Compute Instance, Computer Cluster, Inference Cluster。原创 2022-04-03 17:30:02 · 3634 阅读 · 0 评论 -
Azure ML 机器学习: 创建 Workspace 以及获得 Workspace 的多种方法
记录三种创建Azure Machine Learning Workspace的方法:Azure Portal, Azure Python SDK,Azure CLI,以及获得当前workspace的两个方法。原创 2022-04-03 16:14:27 · 2139 阅读 · 0 评论 -
MLOps极致细节:18. Azure ML Pipeline(机器学习管道),Azure Container Instances (ACI)部署模型
通过Azure Container Instances (ACI) 进行模型部署原创 2022-03-25 16:36:25 · 1972 阅读 · 0 评论 -
MLFlow sklearn Model Register的两种写法
介绍MLFlow Model Register的两种写法:- mlflow.sklearn.log_model- mlflow.register_model原创 2022-03-25 15:36:40 · 2171 阅读 · 0 评论 -
MLOps极致细节:17. Azure ML Pipeline(机器学习管道),模型训练,打包和注册
介绍Azure ML Pipeline的使用,并且结合MLFlow一起跟踪ML模型。此章节将通过一个案例详细介绍如何训练,测试,打包和注册模型。MLFlow是一个很好的MLOps管理的开源软件。这里我们可以使用MLFlow的Tracking模块记录和跟踪训练运行指标和模型项目,而不管试验环境是位于本地计算机、远程计算目标、虚拟机还是 Azure Databricks 群集上,并最终将其存储在 Azure 机器学习工作区中。原创 2022-03-22 08:00:00 · 660 阅读 · 0 评论 -
MLOps极致细节:16. Azure ML Pipeline(机器学习管道),Azure Compute Instance搭建与使用
我们将介绍Azure ML Pipeline的使用,并且结合MLFlow一起跟踪ML模型。这篇博客我们将着重介绍如何在本地环境或者新建Azure Compute Instance平台,把代码跑起来。MLFlow是一个很好的MLOps管理的开源软件。这里我们可以使用MLFlow的Tracking模块记录和跟踪训练运行指标和模型项目,而不管试验环境是位于本地计算机、远程计算目标、虚拟机还是 Azure Databricks 群集上,并最终将其存储在 Azure 机器学习工作区中。原创 2022-03-21 05:00:00 · 659 阅读 · 0 评论 -
MLOps极致细节:15. Azure ML数据集的上传(Azure Workspace DataStore Upload)与注册(Azure Dataset Register)
这一章节中,我们将基于上一章节预处理完的数据,将其上传至Azure Storage,并且将其注册到Azure ML Workspace。我们将学习Azure Workspace的用法,Azure Dataset Register的用法,等等。原创 2022-03-19 10:00:00 · 393 阅读 · 0 评论 -
MLOps极致细节:14. Azure ML案例:数据集预处理
这一章节我们将介绍我们在Azure ML案例中所使用的数据集,并且对其进行一些预处理,包括填补空缺,编码,添加特征等。原创 2022-03-18 14:00:00 · 1077 阅读 · 0 评论 -
MLOps极致细节:13. Azure Azure ML案例:环境设置
从本章节开始,我们将详细介绍如何通过Azure ML以及mlflow实现机器学习的可复制部署与应用。首先我们需要申请一个Azure免费账号(如果没有的话),创建资源组,Azure机器学习工作区,以及DevOps的相关配置。原创 2022-03-17 15:56:55 · 1850 阅读 · 2 评论 -
MLOps极致细节:12. MLFlow 超参数调参案例: hyperopt优化调参(附代码)
本章节将详细解释如何通过hyperopt优化搜索,基于MLFlow以及keras的端到端深度学习流程。相关主要代码参见`search_hyperopt.py`文件。关于整个系列案例如何运行,请参见博客:MLOps极致细节:9. MLFlow 超参数调参案例综述(附代码)。代码参见 https://gitee.com/yichaoyyds/mlflow-ex-hyperparametertunning。原创 2022-03-16 15:00:00 · 662 阅读 · 0 评论 -
MLOps极致细节:11. MLFlow 超参数调参案例: 随机搜索调参(附代码)
本章节将详细解释如何通过随机搜索,基于MLFlow以及keras的端到端深度学习流程。相关主要代码参见`search_random.py`文件。关于整个系列案例如何运行,请参见博客:[MLOps极致细节:9. MLFlow 超参数调参案例综述(附代码)](https://blog.csdn.net/zyctimes/article/details/123422640)。代码参见[此Gitee链接](https://gitee.com/yichaoyyds/mlflow-ex-hyperparameter)原创 2022-03-15 17:00:00 · 895 阅读 · 0 评论 -
MLOps极致细节:10. MLFlow 超参数调参案例: 基于keras的端到端深度学习流程(附代码)
本章节将详细解释如何基于MLFlow以及keras的端到端深度学习流程。相关主要代码参见`train.py`文件。关于整个系列案例如何运行,请参见博客:[MLOps极致细节:9. MLFlow 超参数调参案例综述(附代码)](https://blog.csdn.net/zyctimes/article/details/123422640)。相关代码参见[此Gitee链接](https://gitee.com/yichaoyyds/mlflow-ex-hyperparametertunning)。原创 2022-03-15 14:00:00 · 716 阅读 · 0 评论 -
MLOps极致细节:9. MLFlow 超参数调参案例综述(附代码)
在这个博客中,我们将详细提供一系列案例,基于mlflow和keras的深度学习框架对`winequality-white`数据进行quanlity预测的端到端流程,以及通过随机选择和Hyperopt优化进行调整超参数。相关代码参见:https://gitee.com/yichaoyyds/mlflow-ex-hyperparametertunning。原创 2022-03-14 15:00:00 · 633 阅读 · 3 评论 -
MLOps极致细节:8. MLFlow REST API 实例(附代码)
在这个博客中,我们将介绍MLFlow REST API的代码,以及一些函数的使用,包括新建mlflow run,新建experiment,从experiment id/name中获得相关experiment信息,设置Tag/param/metric信息,设置log batch信息等等。MLFlow REST API的详细介绍参见博客MLOps极致细节:7. MLFlow REST API 功能介绍及应用。原创 2022-03-13 11:00:00 · 689 阅读 · 0 评论 -
MLOps极致细节:7. MLFlow REST API 功能介绍及应用
在这个博客中,我们将详细介绍MLFlow REST API概念以及代码,包括新建mlflow run,获取指定run相关的信息,新建experiment,罗列所有experiment信息,从experiment id/name中获得相关experiment信息,设置Tag/param/metric信息,设置log batch信息。原创 2022-03-12 06:00:00 · 746 阅读 · 0 评论 -
MLOps极致细节:6. MLFlow docker案例,Windows平台运行(附代码)
在这个博客中,我们将基于mlflow的官方案例来解读如何使用docker环境运行mlflow代码。我们使用的平台是Win10,但在运行过程中,我们发现在Win10平台上操作会出现bug,由于目前手头上正巧没有Linux主机,所以只能继续使用Win10平台,并在本文中详细解释bug的原因(`docker: Error response from daemon: invalid mode`)以及如何更正。原创 2022-03-12 20:00:00 · 852 阅读 · 0 评论 -
MLOps极致细节:5. MLFlow Projects 案例代码解读
MLFlow Projects允许我们将代码及其依赖项打包为一个可以在其他平台上以可复制(reproducible)和可重用(reusable)的方式运行的项目。每个项目都包括自己的代码和一个MLproject文件,该文件定义了它的依赖项(例如Python环境),以及可以在项目中运行哪些命令以及它们采用的参数。上一章节中,我们对MLflow Projects的概念以及结果进行了描述(参见博客:MLOps极致细节:4. MLFlow Projects 案例介绍)。这里我们将对[代码]进行详细解读。原创 2022-03-09 18:00:00 · 561 阅读 · 10 评论 -
MLOps极致细节:4. MLFlow Projects 案例介绍(Gitee代码链接)
MLFlow Projects允许我们将代码及其依赖项打包为一个可以在其他平台上以可复制(reproducible)和可重用(reusable)的方式运行的项目。每个项目都包括自己的代码和一个MLproject文件,该文件定义了它的依赖项(例如Python环境),以及可以在项目中运行哪些命令以及它们采用的参数。在这个案例中,我们基于MLFlow的官方GitHub文档,具体说明MLflow Projects如何被使用,以及结果。原创 2022-03-06 16:05:53 · 1698 阅读 · 3 评论 -
MLOps极致细节:3. MLFlow Tracking 案例代码解读
MLflow Tracking是一个API以及包含UI界面,能够允许我们记录代码中的log matrics和artifacts文件,查看运行历史记录,并且进行一些结果的数据可视化。上一章节中,我们对MLflow Tracking的概念进行了描述,参见博客:MLOps极致细节:2. MLFlow Tracking 介绍。这里我们将对代码进行详细解读。原创 2022-03-08 18:00:00 · 646 阅读 · 0 评论 -
MLOps极致细节:2. MLFlow Tracking 案例介绍(Gitee代码链接)
MLflow Tracking是一个API以及包含UI界面,能够允许我们记录代码中的log matrics和artifacts文件,查看运行历史记录,并且进行一些结果的数据可视化。在这个案例中,我们会具体说明MLflow Tracking如何被使用,以及结果。原创 2022-03-06 14:15:07 · 773 阅读 · 0 评论 -
MLOps极致细节:1. MLFlow介绍
这个博客,我们将非常简单地介绍一个比较实用的MLOps开源工具:MLFlow。在接下来的一系列博客中,我们将逐渐列举一些实例,和大家一起一步步通过MLFlow来学习MLOps是如何让机器学习/深度学习流程化的。原创 2022-03-07 18:00:00 · 1901 阅读 · 0 评论 -
MLOps极致细节:0. 背景介绍
此博客主要介绍什么是MLOps,为什么用MLOps,以及MLOps与DevOps,破布,敏捷等产品开发流程的区别。原创 2022-03-06 11:50:45 · 1192 阅读 · 0 评论