大数据(Big Data)又称为巨量资料,指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”概念最早由维克托·迈尔·舍恩伯格和肯尼斯·库克耶在编写《大数据时代》中提出,指不用随机分析法(抽样调查)的捷径,而是采用所有数据进行分析处理。大数据有4V特点,即Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。希望大家认真阅读本篇文章哦~
![6个轻松用好大数据的绝密秘籍_数据_系统_数据库_课课家教育](https://i-blog.csdnimg.cn/blog_migrate/cac66a2ca1561fd3d8a8eda5025f0f5e.jpeg)
大数据概念定义:
大数据对于“大数据”(Big data)研究机构Gartner给出了定义,“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。《著云台》的分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
秘诀一:目标要明确:
就算一个公司拥有再多的数据,也不能代表它就一定会获得商业上的成功。只有真正懂得如何利用大数据,了解到公司利用大数据可以达到什么目标,公司最终才有可能真正成功。在公司在发展过程中往往也会面临诸多选择,也只有目标设定明确了,才能够缩小选择范围聚焦精力去发展。企业应时刻保持头脑清醒,朝着自己定好的目标前进,才有助于公司进行持续长久的良好运作。
不过,Luzzi也表示,有时候,利用太复杂先进的数据分析工具往往也会带来很多问题,不过如果我们能够通过分析大量的数据来得到最终的结果,那就不用怀疑了,你就干吧,至少方向肯定是对的。
秘诀二:要区分清楚“森林”和“树”:
现在,企业可以做到一些他们以往没有能力做到的事。对于很多公司来说,可供分析的数据更多,可以用来分析数据的工具和方法也比以前更先进方便。公司已经完全有能力去分析和处理他们收集到的大量数据,这对于企业来说或许是件好事,然而,有时候这些数据也会过于分散。
Globys公司的Olly Down表示说,现在,很多公司都倾向于收集精度较高的数据,因为获得的数据越精确,就越有利于分析受众群体,也更有利于公司进行相关战略和产品的调整。不过,公司往往需要花费大量的时间去处理大量的数据,结果却有可能不尽如人意,所以,在进行数据分析处理时,有时候没有必要执着于某一棵“树”长成什么样子,而应该注重这片“森林”,要懂得舍小取大。
秘诀三:做好团队的协调
在大数据的世界里,最有价值和作用的数据往往十分稀少。要想找到真正有价值的数据,就如同大海捞针一样困难。所以,为了找到这些有价值的数据,企业内部应齐心协力通力合作,要经常保持有效的沟通和协作。
例如,为了能更好地利用数据来分析公司的实际运营情况,数据专家们应该了解公司决策者为公司制定的战略目标。反过来也一样,公司决策者也应该知道,公司的数据团队得出的分析结果,最终能给公司带来什么收益。
Luzzi 表示,以大数据作为工具,他可以建立模型来帮助公司做出商业决策。由于公司决策者对公司整体运行情况及所处商业环境更加了解,当决策者看到分析结果时,肯定能看到一些他看不到的地方。但同时,决策者们也不会知道他是用什么方法得出这些数据和结果的。
Olly Downs也说,公司的数据团队和各部门以及管理层应保持良好的沟通交流,这样公司才能良好高效的运行,有效的协调配合需要通过有效的沟通交流来实现。有一个商业智能团队为预测公司的客户流失率建立了一个模型,由于大家缺少有效的沟通,操作团队认为这个模型“很有趣”,但是公司却认为这个模型没有任何意义。
“如果你的公司雇佣了一个数据研究小组,他们宣称自己建立了一个有效的模型,可是公司别的相关部门却认为这个模型没有效果,原因便在于二者之间缺乏沟通。”Downs表示。
秘诀四:用机器代替人工:
机器学习指计算机模拟或实现人类的学习行为,以获取新的知识或技能,从而对自身功能进行改进。机器学习相比人工学习,速度更快,学习规模也更大,一个公司能通过机器学习较快地发现新的问题。
比如,为了研究特定消费者的消费行为模式,企业可以研究用什么样的方式对单个消费者进行研究分析,依据不同的消费者选择不同的模型,进而对消费者行为进行追踪研究。公司认为,在单个消费者身上所需的分析时间是10分钟,按照这个速度,公司共有260万消费者需要调查追踪,需要416000个分析员,每天工作10小时,每天观察单个消费者8次,才能得出结果。显然,如果真通过人工分析,那就需要花费太多的时间和精力了。
所以,Downs认为,企业如果有大量的数据需要进行分析处理,最好的办法就是让机器代替人工来做,机器学习的速度很快,能在短时间内同时分析大量的数据,这样一来,所需的分析时间就会大大缩短。与人工分析相比,成本也会大大降低。
秘诀五:要谨慎对待数据
有时,企业是没有能力去获取数据的,也就没法用数据去解决问题。就算公司获得了一些数据,他们往往也不清楚这些数据最终能否解决他们的问题。
在这一点上,维亚康姆集团的Luzzi的建议是,一个数据是否有效,是否能帮助公司解决问题,最好询问数据小组的意见。
Dunnhumby公司会对消费者数据进行统计和分析,这样一来公司便可以了解到哪些数据是有用的,以及这些数据有多大价值。如果公司能收集到有价值的数据,公司实际经营中遇到的相关问题就能得到有效解决。知名市场顾问公司Dunnhumby的 CEO Andy Hill表示,企业不仅应该了解收集到的数据到底能解决哪些问题,更应该知道,哪些问题还不能通过这些数据得到解决。如果还有一些问题解决不了,公司便需要继续收集其他维度的数据来补充。
有时候,重要的数据可能会被忽略。比如,当Downs为他的前东家搭建交通情况模型时,大家普遍认为天气是预测交通状况的最重要因素。后来研究结果却显示,最影响那个地区交通状况的是当地学校的放学时间。当学生们放学时,堵车情况尤为严重。
Downs说,从一开始的假设来看,我们并没有预见到会得出这样的结论,所以,应谨慎认真对待数据,数据会真实客观地告诉你想要的答案。有时,数据能告诉你的会让你大吃一惊。
秘诀六:要避免得出错误的结论:
由于人为主观因素和不相关数据的干扰,有时候得出的结论往往是错误的。
“不要让不相干的数据影响到整个结果,有相当一部分的数据并不重要,这些不相关的‘树’往往并不能代表整个‘森林’。”Luzzi说,“如果使用了错误的数据,得出的结论往往也是错的。”
数据选择上的错误会影响人们解决问题的过程,也会影响人们如何看待这些数据和结果。错误的数据选择可能影响到公司做出相关决策。
Dunnhumby 公司的CEO Andy Hill表示:“为了消除数据上的误差,你需要准确找到特定的目标人群,这些人的行为往往可以准确地回答你需要解决的问题。”