管理你的ML model(By Neptune)使用例子:sklearn、LightGBM,Xgboost
文章的代码在这里:https://colab.research.google.com/drive/1kA61_Ev0Pvwhu_7_1TD9fEeLRgoURa0J?usp=sharing
目录:
1、什么是Neptune
2、基于sklearn中的基本模型、LightGBM、XGboost展示
3、总结
什么是Neptune?
你是否还在为:模型可视化、模型performance可视化、学习曲线生成、不同模型比较等等,一系列繁杂的操作而烦恼?选择Neptune,这些问题都会迎刃而解
昨天,我在研究如何使用LightGBM的时候,在Google的搜索结果中,发现了Neptune,给我打开了一个新世界的大门。
有过机器学习项目实战经验的同学们都知道,对于模型performance的检验和可视化是一个无比重要,但又繁杂的工作。尤其是这个模型是基于Cross Validation或者像LightGBM,Xgboost一样的集成模型时候。
可是如果你在你的代码中加入Neptune后,你会发现,这些问题它都帮你解决了,并且这一过程是十分方便。这就是Neptune的魅力!
Neptune的网址:https://neptune.ai/
基于sklearn中的基本模型、LightGBM、XGboost展示
注意:
1、下列模型都不涉及超参数寻优。超参数寻优的话,sklearn的GridSearchCV不支持,但支持scikit-optimize
2、数据集基于Kaggle中的Titanic数据集
3、运行环境选择的是Google的“colab notebook";你也可以在本地运行
4、x_train:训练集自变量;y_train:训练集因变量(目标变量);x_test:测试集自变量;y_test:测试集因变量(目标变量)
sklearn中的SVM
参考官方文档:https://docs.neptune.ai/integrations-and-supported-tools/model-training/sklearn
根据笔者在官方文档中查看到的资料,发现:现在暂且不支持sklearn中的超参数调参的function,例如GridSearchCV();但是,经过尝试发现,GridSearchCV()也是可以用的,只是保存的performance等信息,与单一学习器(模型)相同,并没有任何优势。证明:如果想运用Neputne监控超参数调参的话,sklearn中的函数还不支持,建议使用scikit-optimize
1、安装Neptune
! pip install graphviz==0.10.1 neptune-client
pip install neptune-sklearn
2、 激活 Neptune
1、运行代码后,下方会出现一个网址,点击网址即可查看你的model
2、在Neptune中的相关目录等级为:
Account
|——>Project
|——>model
3、查看自己的API参考官方文档:https://docs.neptune.ai/getting-started/installation#authentication-neptune-api-token
import neptune.new as neptune
run = neptune.init(
project="xiaohu2200/pratice",#我在Neptune注册的账号叫做xiaohu2200,并且我创建了一个project叫做pratice
api_token="eyJhcGlfYWRkcmVzcyI6Imh0dHBzOi8vYXBwLm5lcHR1bmUuYWkiLCJhcGlfdXJsIjoiaHR0cHM6Ly9hcHAubmVwdHVuZS5haSIsImFwaV9rZXkiOiJiM2RlZmNiNy0yNGMxLTRjNDAtOTBmZC04NWY3Y2MxMGZmZDYifQ==",#你可以在Neptune的个人账户界面查到自己的API
name="svm_titanic",
tags=["SVM", "notebook"],#自己添加的tag
)
3、运行SVM
记住ÿ