2018年12月_舒克与贝克

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 [机器学习]AutoML---谷歌开源AdaNet：基于TensorFlow的AutoML框架

谷歌开源了基于 TensorFlow 的轻量级框架 AdaNet，该框架可以使用少量专家干预来自动学习高质量模型。据介绍，AdaNet 在谷歌近期的强化学习和基于进化的 AutoML 的基础上构建，快速灵活同时能够提供学习保证（learning guarantee）。重要的是，AdaNet 提供通用框架，不仅能用于学习神经网络架构，还能学习集成架构以获取更好的模型。相关论文： AdaNet: ...

2018-12-18 14:34:18 1023

原创 [机器学习]AutoML --- AutoKeras

前言 Keras 是一个用 Python 编写的高级神经网络 API，能够在 TensorFlow、CNTK 或 Theano 之上运行。它的意义在于可以实现快速实验。而能够以最小的延迟把想法变成结果是顺利进行研究的关键。 AutoKeras是一个开源的，基于 Keras 的新型 AutoML 库。AutoKeras 是一个用于自动化机器学习...

2018-12-17 17:00:09 2887

原创 [机器学习]AutoML --- NNI (Microsoft)

NNI (Neurol Network Intelligence) 是微软开源的自动机器学习工具。与当前的各种自动机器学习服务或工具相比，有非常独特的价值。本文先介绍一下 NNI 的特点，然后再后续的安装、使用章节详细介绍如何上手。支持私有部署。云服务中的自动机器学习直接提供了自动机器学习的服务，不仅包含了自动机器学习的功能，也包含了算力。如果团队或个人已经有了很强的算力资源，就需要支...

2018-12-17 16:47:15 2345 1

原创 [机器学习]AutoML --- TOPT

TPOT介绍　　　自动化机器学习（AML）是一种流水线（也称管线），它能够让你自动执行机器学习（ML）问题中的重复步骤，从而节省时间，让你专注于使你的专业知识发挥更高价值。最重要的是，它不仅是一些模糊的想法，而且还有一些基于标准python ML包建立的应用包，如scikit-learn。　　在这种情况下，任何熟悉机器学习的人都可能会回想起网格搜索（grid search）这个...

2018-12-17 14:50:10 4107 1

原创使用Hadoop Streaming 完成MapReduce(Python代码)

一 Map和Reduce 首先看下MR的工作原理 MapReduce的好处是它可以把在内存中不能完成的事转变成可以在硬盘上高效完成。Map-‐Reduce 对于集群的好处：1，在多节点上冗余地存储数据，以保证数据的持续性和一直可取性2，将计算移向数据端，以最大程度减少数据移动3，简单的程序模型隐藏所有的复杂度Map，Reduce一般的流程：Map阶段：a，逐...

2018-12-14 11:25:32 2748

转载周志华团队和蚂蚁金服合作：用分布式深度森林算法检测套现欺诈

翻译 | 林椿眄出品 | AI科技大本营（公众号ID：rgznai100）【AI科技大本营导读】互联网公司每天都面临着处理大规模机器学习应用程序的问题，因此我们需要一个可以处理这种超大规模的日常任务的分布式系统。最近，以集成树为构建模块的深度森林（Deep Forest）算法被提出，并在各个领域取得了极具竞争力的效果。然而，这种算法的性能还未在超大规模的任务中得到测试。近日，基于蚂...

2018-12-13 16:42:52 915

原创 [机器学习]模型评估指标：ROC/AUC，KS，GINI，Lift/Gain, PSI 总结

目录背景介绍一ROC曲线和AUC值二 KS曲线三 GINI系数四 Lift , Gain五模型稳定度指标PSI参考另一篇：[机器学习] 性能评估指标（精确率、召回率、ROC、AUC)背景介绍在模型建立之后，必须对模型的效果进行评估，因为数据挖掘是一个探索的过程，评估-优化是一个永恒的过程。在分类模型评估中，最常用的两种评估标准就是KS值和GIN...

2018-12-06 16:22:35 32386 2

原创 [机器学习]gcForest算法理解

一、相关理论本篇博文主要介绍南京大学周志华教授在2017年提出的一种深度森林结构——gcForest（多粒度级联森林）。近年来，深度神经网络在图像和声音处理领域取得了很大的进展。关于深度神经网络，我们可以把它简单的理解为多层非线性函数的堆叠，当我们人工很难或者不想去寻找两个目标之间的非线性映射关系，我们就多堆叠几层，让机器自己去学习它们之间的关系，这就是深度学习最初的想法。既然神经网络可以堆叠...

2018-12-04 11:07:45 3375 2

原创 [机器学习] gcForest 官方代码详解

1.介绍gcForest v1.1.1是gcForest的一个官方托管在GitHub上的版本，是由Ji Feng(Deep Forest的paper的作者之一)维护和开发，该版本支持Python3.5,且有类似于Scikit-Learn的API接口风格，在该项目中提供了一些调用例子，目前支持的基分类器有RandomForestClassifier,XGBClassifer,ExtraTrees...

2018-12-03 17:30:25 8130 22

distributed-deep-learning-with-horovod.pdf

distributed-deep-learning-with-horovod Horovod是基于Ring-AllReduce方法的深度分布式学习插件，以支持多种流行架构包括TensorFlow、Keras、PyTorch等。这样平台开发者只需要为Horovod进行配置，而不是对每个架构有不同的配置方法。

2020-06-29