![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据分析
文章平均质量分 87
zhangbijun1230
这个作者很懒,什么都没留下…
展开
-
大数据最核心的关键技术:32个算法
奥地利符号计算研究所(Research Institute for Symbolic Computation,简称RISC)的Christoph Koutschan博士在自己的页面上发布了一篇文章,提到他做了一个调查,参与者大多数是计算机科学家,他请这些科学家投票选出最重要的算法,以下是这次调查的结果,按照英文名称字母顺序排序。1、A* 搜索算法——图形搜索算法,从给定起点到给定终点计算出路径。其...转载 2018-03-08 21:41:28 · 1061 阅读 · 0 评论 -
Keepalived工作原理
Keepalived工作原理 Keepalived软件起初是专为LVS负载均衡软件设计的,用来管理并监控LVS集群系统中各个服务节点的状态,后来又加入了可以实现高可用的VRRP功能。因此,Keepalived除了能够管理LVS软件外,还可以作为其他服务(例如:Nginx、Haproxy、MySQL等)的高可用解决方案软件。 Keepalived采用是模块化设计,不同模块实现不同的功能; ...转载 2018-06-30 09:30:04 · 1051 阅读 · 0 评论 -
上亿级的大数据量,如何高性能实现展示分析?
上亿级的大数据量,如何高性能实现展示分析?日常一提数据分析和可视化,就想到这个工具操作要多简单易用,图表要多美多炫,然而总是忽略背后的数据支撑。excel 几十万行数据就卡死崩,谈何数据透视表、可视化?近千万行的数据,订单提交数据库,sql sever处理要5分多钟,如果频繁入库/取数的话.....要知道,为了支撑起业务人员的数据分析,以及日常不考虑计算逻辑和技术难度,IT人员也是要花费很大的心血...转载 2018-06-26 20:00:28 · 16777 阅读 · 0 评论 -
大数据公司挖掘数据价值的49个典型案例
大数据公司挖掘数据价值的49个典型案例对于企业来说,100条理论确实不如一个成功的标杆有实践意义,本文的主旨就是寻找“正在做”大数据的49个样本。本文力图从企业运营和管理的角度,梳理出发掘大数据价值的一般规律:一是以数据驱动的决策,主要通过提高预测概率,来提高决策成功率;二是以数据驱动的流程,主要是形成营销闭环战略,提高销售漏斗的转化率;三是以数据驱动...转载 2018-07-12 16:00:40 · 5293 阅读 · 0 评论 -
Hadoop原理之——HDFS原理
Hadoop原理之——HDFS原理 Hadoop 3个核心组件:分布式文件系统:Hdfs——实现将文件分布式存储在很多的服务器上(hdfs是一个基于Linux本地文件系统上的文件系统)分布式运算编程框架:Mapreduce——实现在很多机器上分布式并行运算分布式资源调度平台:Yarn——帮用户调度大量的mapreduce程序,并合理分配运算资源HDFS的设计特点是:1、...转载 2018-08-03 20:40:22 · 355 阅读 · 0 评论 -
Redis集群的原理和搭建
Redis集群的原理和搭建 前言Redis 是我们目前大规模使用的缓存中间件,由于它强大高效而又便捷的功能,得到了广泛的使用。单节点的Redis已经就达到了很高的性能,为了提高可用性我们可以使用Redis集群。本文参考了Rdis的官方文档和使用Redis官方提供的Redis Cluster工具搭建Rdis集群。 注意 :Redis的版本要在3.0以上,截止今天,Redis的版本...转载 2018-07-31 11:40:47 · 353 阅读 · 0 评论 -
学习hadoop需要具备基础知识
学习hadoop需要具备基础知识 首先整体上了解Hadoop,包括hadoop是什么,能够做什么,使用场景等,不需要考虑细节问题。在有了整体上的了解后,就开始准备系统地学习hadoop。建议:勿一味学习理论知识,要注意理论与实践相结合。在实际操作中查缺补漏,提高针对性、目的性。总的来说,学习hadoop需要具备:linux 1、熟练操作linux常用命令以及网络配置; 2、...转载 2018-08-01 20:11:48 · 2914 阅读 · 0 评论 -
Hadoop原理之——HDFS原理
Hadoop原理之——HDFS原理 Hadoop 3个核心组件:分布式文件系统:Hdfs——实现将文件分布式存储在很多的服务器上(hdfs是一个基于Linux本地文件系统上的文件系统)分布式运算编程框架:Mapreduce——实现在很多机器上分布式并行运算分布式资源调度平台:Yarn——帮用户调度大量的mapreduce程序,并合理分配运算资源HDFS的设计特点是:1、...转载 2018-08-02 19:11:31 · 336 阅读 · 0 评论 -
大数据技术深度实践
大数据技术深度实践 内容简介随着技术迭代的不断加速,大数据极大改变了行业领域对信息流动的限制。本期我们聚焦2017年领域内热门技术与应用实践,带领大家深度解析大数据技术难点和发展趋势。厉兵秣马今点将,群雄逐鹿正当时。本书内容Heron:Twitter 的新一代流处理引擎原理篇文 /吕能,吴惠君,符茂松本文介绍了流计算的背景和重要概念,并详细分析了 Twitter 目前...转载 2018-08-02 19:13:13 · 545 阅读 · 0 评论 -
大数据(2)---Hadoop由哪几部分组成?
Hadoop由哪几部分组成?Hadoop是一个能够对大量数据进行分布式处理的软件框架,以一种可靠、高效、可伸缩的方式进行数据处理,其有许多元素构成,以下是其组成元素:1.Hadoop Common:Hadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。2.HDFS:分布式文件系统,提供高吞吐量的应用程序数据访问,对外部客户机而言,HDFS 就像一个传统的分...转载 2018-05-21 07:25:22 · 1224 阅读 · 0 评论 -
大数据(3)---分布式文件系统HDFS 介绍
分布式文件系统HDFS 介绍来自https://www.cnblogs.com/liango/p/7136448.html 1、三个部分: 客户端、nameserver(可理解为主控和文件索引,类似Linux的inode)、datanode(存放实际数据) 2、如何写数据过程 3、读取数据过程 4、读数据和容错 5、容错和副本布局策略 ...转载 2018-05-21 07:25:32 · 527 阅读 · 0 评论 -
大数据(1)---大数据全系技术概览
大数据全系技术概览什么是大数据?大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volu...转载 2018-05-21 07:25:13 · 1235 阅读 · 0 评论 -
一张图看懂hadoop
转载 2018-03-04 22:55:23 · 599 阅读 · 0 评论 -
数据分析实战:数据分析的5大关键环节
大数据及移动互联网时代,每一个使用移动终端的人无时无刻不在生产数据,而作为互联网服务提供的产品来说,也在持续不断的积累数据。数据如同人工智能一样,往往能表现出更为客观、理性的一面,数据可以让人更加直观、清晰的认识世界,数据也可以指导人更加理智的做出决策。数据驱动的时代,无论你的工作内容是什么,掌握一定的数据分析能力,可以帮助你更好的认识这个世界,更好的提升工作效率。数据分析流程主要分为五个关键环节...转载 2018-03-13 08:59:46 · 1224 阅读 · 0 评论 -
hadoop---(1)hadoop核心知识点总结
hadoop核心知识点总结1、 安装hadoop需要配置的hadoop中的配置文件有哪些?hadoop-env.shyarn-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlslaves2、 Hadoop的核心模块和相应的进程HDFS:namenode,datanode,secondarynamenode,namenode...转载 2018-03-19 20:29:50 · 682 阅读 · 0 评论 -
Hadoop---(2)HDFS 介绍
HDFS:Hadoop Distributed File SystemHDFS概述HDFS 优点:高容错性数据自动保存多个副本(不同的副本放在不同的节点上)副本丢失后,自动恢复适合批处理移动计算而非数据数据位置暴露给计算框架适合大数据处理GB、TB、甚至PB级数据百万规模以上的文件数量10K+节点规模流式文件访问一次性写入,多次读取(只能一次写入,不能修改已有文件,只能追加)保证数据一致性(多个副...转载 2018-03-19 20:37:46 · 498 阅读 · 0 评论 -
大数据---数据分析师的完整流程与知识结构体系
作为数据分析师,无论最初的职业定位方向是技术还是业务,最终发到一定阶段后都会承担数据管理的角色。因此,一个具有较高层次的数据分析师需要具备完整的知识结构。01数据采集了解数据采集的意义在于真正了解数据的原始面貌,包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控制数据生产和采集过程,避免由于违反数据采集规则导致的数据问题;同时,对数据采集逻辑的认识增加了数据分...转载 2018-03-20 17:11:49 · 2627 阅读 · 0 评论 -
大数据---(3)金融数据架构
金融机构将数据分为第一数据平面和第二数据平面,第一数据平面主要基于原有的金融IT平台,以交易为中心,支撑传统的金融数据处理与分析业务。第二数据平面则是以大数据平台为核心的信件数据平面,除妖处理金融数据分析业务,实现注入社交情绪指数、或有金融资产、金融脉络关系、在线征信、精准推荐、在线历史明细等业务。第一和第二平面的数据实时共享与交互,实现相互间业务支撑。该架构除了实现基于Hadoop的基础大数据分...转载 2018-03-22 08:30:28 · 1138 阅读 · 0 评论 -
大数据 ---(4)大数据驱动的金融业务创新(用户画像-数据架构-标签建模)
参考转载 2018-03-22 08:33:30 · 2264 阅读 · 0 评论 -
大数据(1)---全球100款大数据工具汇总(前50款)
全球100款大数据工具汇总(前50款)大数据01 Talend Open Studio是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次,其开源软件提供了数据整合功能。其用户包括美国国际集团(AIG)、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。02 D...转载 2018-04-16 08:42:35 · 589 阅读 · 0 评论 -
Linux的铜墙铁壁:防火墙之iptables
Linux的铜墙铁壁:防火墙之iptables 【来源】所谓防火墙,实质上是指由软硬件组合成的一个在内外网之间构造的一种保护屏障,它是一种隔离技术。因此从物理上区分,可以分为软件和硬件防火墙,从逻辑上区分,可以分为主机和网络防火墙,而我们现在要讲到的iptables,是属于防火墙中的软件防火墙的范畴,但它只是一个命令行工具或者说是一种客户端代理,并不是真正的防火墙...转载 2019-01-30 08:45:21 · 313 阅读 · 0 评论