数据科学最常用流程CRISP-DM,终于有人讲明白了

CRISP-DM是一种广泛采用的数据科学流程,旨在独立于软件、供应商和特定技术。它包括业务理解、数据理解、数据准备、建模、评估和部署六个阶段。在项目中,数据科学家与业务部门合作定义问题,处理数据质量,使用机器学习算法创建模型,并不断迭代以优化结果。数据准备阶段尤其重要,通常占据项目大部分时间。模型经过评估和部署后,需要定期检查以确保持续符合业务需求。
摘要由CSDN通过智能技术生成

导读:什么是CRISP-DM?有什么用?本文带你搞明白。

作者:约翰·凯莱赫(John D. Kelleher)、布伦丹·蒂尔尼(Brendan Tierney)

译者:张世武、黄元勋 

来源:大数据DT(ID:bigdatadt)

为了帮助人们勇攀数据科学金字塔,很多人或公司提出了他们认为的最佳的数据科学处理流程。最常用的流程为“跨行业标准数据挖掘流程”(Cross Industry Standard Process for Data Mining ,CRISP-DM)。

事实上,多年来,CRISP-DM一直稳居各种行业调查第一名。CRISP-DM的主要优势,也是它被广泛使用的原因,其关键在于它被设计成独立于任何软件、供应商或数据分析技术。

CRISP-DM最初是由一个由领先的数据科学供应商、终端用户、咨询公司和研究人员组成的联盟开发的。CRISP-DM项目最初由欧盟委员会(European Commission)在ESPRIT项目中提供了部分资助,该流程在1999年的一次研讨会上被首次提出。从那时起,许多人尝试更新这个流程,但是最初的版本目前仍然广为使用。

多年来,CRISP-DM有一个专门的网站,但近年来这个网站已经废弃,有时你可能会被IBM重定向到SPSS网站,IBM也是该项目的最初资助者之一。最初,联盟发布了一个详细的(76页)但可读性很高的指南,可以在线免费获取该文档(参考Chapman等1999),其中的几页对该流程的结构和主要任务进行了摘要。

CRISP-DM生命周期包括六个阶段:

  • 业务理解(business understanding)

  • 数据理解(data understanding)

  • 数据准备(data preparation)

  • 建模(modeling)

  • 评估(evaluation)

  • 部署(deployment)

如图2-3所示。

▲图2-3 CRISP-DM生命周期

数据是所有数据科学活动的核心,这就是CRISP-DM图以数据为中心的原因。阶段之间的箭头表示该流程的典型方向。这个过程是半结构化的,这意味着数据科学家并不总是以线性方式顺序经过这六个阶段。根据特定阶段的结果,数据科学家可以回到前面的某个阶段,重新执行当前阶段的活动,或

  • 4
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值