zym1117-CSDN博客

转载微服务系列一：微服务体系之网关

微服务系列一：微服务体系之网关天文科学百家号02-1610:382017年微服务在国内火的一塌糊涂，无论是BAT企业还是初创型公司，无不在践行着微服务，就好像如果系统不是采用微服务架构就不是搞开发一样，那么到底什么样的公司和系统适合实施微服务架构，微服务架构的整体体系是什么，如何实施微服务架构，本文作为微服务系列的第一篇文章，把在项目中的一些使用的一些心得和坑整理成文分享出来。一、微服务适合的场景...

2018-06-11 21:46:30 2222

转载转载--D3.js

前言近期略有点诸事不顺，趁略有闲余之时，玩起D3.js。之前实际项目中主要是用各种chart如hightchart、echarts等，这些图形库玩起来貌都是完美的，一切皆可配置，但几年前接触了D3之后，觉得前面那chart类库局限的地方在于，基本不可定制；而D3呢，你说了算，你想画出什么样的图，你说了算，自由度很大，当时就有点膜拜和仰慕，小打小闹的玩了几下，没有沉下心来专心去玩，当...

2018-03-21 16:20:09 881

转载转载见出处-clementine软件里面dome的演示实验的分析和说明

clementine软件里面dome的演示实验的分析和说明原创 2016年08月05日 19:56:17标签：数据挖掘 /机器学习 /clementine2277说明：软件里面的帮助---》应用程序实例，按照这里面的顺序来的。我毛华望QQ849886241。技术博客http://blog.csdn.net/my_share 1，准备分析数据（数据审核）按照应用程序实例文本的指示，打开telco_d...

2018-03-20 21:41:24 1092

转载数据标准化---数据分析之前必要步骤

方法一：规范化方法也叫离差标准化，是对原始数据的线性变换，使结果映射到[0,1]区间。方法二：正规化方法这种方法基于原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。将A的原始值x使用z-score标准化到x’。z-score标准化方法适用于属性A的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。spss默认的标准化方法就是z-score标准化...

2018-03-18 10:33:00 13132

转载最小二乘法

1、假设一对关系是某线性关系，且实际测量数据与该理想关系的偏差是高斯分布。那么一个n个测量值的集合，取n-1个拟合成线性关系，用该关系预测另一个，最小二乘法可以保证：预测值和真实值的差的绝对值的期望最小。2、最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最...

2018-03-18 10:13:00 248

转载梯度下降法-转发

梯度下降（Gradient Descent）小结　　　　在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求...

2018-03-18 09:58:05 175

转载【卷积神经网络-进化史】从LeNet到AlexNet

版权声明：如需转载，请附上本文链接。作者主页：http://blog.csdn.net/cyh_24 http://blog.csdn.net/cyh24/article/details/51440344目录(?)[+]【卷积神经网络-进化史】从LeNet到AlexNet本博客是【卷积神经网络-进化史】的第一部分《从LeNet到AlexNet》如需转载，请附上本文链接：http://blog.cs...

2018-03-12 21:37:02 223

转载从感知机到深度神经网络，带你入坑深度学习

从感知机到深度神经网络，带你入坑深度学习原创 2018年01月16日 06:50:391956机器学习工程师 Adi Chris 最近学习完吴恩达在 Coursera 上的最新课程后，决定写篇博客来记录下自己对这一领域的理解。他建议通过这种方式可以有效地深入理解一个学习主题。除此之外，也希望这篇博客可以帮助到那些有意入坑的朋友。言归正传。在我正式介绍深度学习是什么东西之前，我想先引入一个简单的例子...

2018-03-12 20:54:44 427

转载 spark的RDD五大特点

RDD的5大特点 1）有一个分片列表，就是能被切分，和Hadoop一样，能够切分的数据才能并行计算。　　一组分片（partition），即数据集的基本组成单位，对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。每个分配的存储是由BlockMan...

2018-03-12 20:36:36 20762 1

转载 Spark性能优化：资源调优篇

Spark性能优化：资源调优篇转载 2016年06月11日 18:04:4432670 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，...

2018-03-11 07:48:56 146

转载 spark介绍

posts - 179, comments - 29, trackbacks - 0, articles - 0 我的标签AI(47)R(24)architecture(14)other(13)HBase(11)EV(11)Elasticsearch(8)Hive(7)HDP(6)DW(6)更多随笔分类AI(45)algorithm(6)architecture(13)Doc(2)Durid(4)...

2018-03-09 10:16:10 359

转载 journalnode文件

前言最近在排查公司Hadoop集群性能问题时,发现Hadoop集群整体处理速度非常缓慢,平时只需要跑几十分钟的任务时间一下子上张到了个把小时,起初怀疑是网络原因,后来证明的确是有一部分这块的原因,但是过了没几天,问题又重现了,这次就比较难定位问题了,后来分析hdfs请求日志和Ganglia的各项监控指标,发现namenode的挤压请求数持续比较大,说明namenode处理速度异常,然后进而分析出是...

2018-03-06 07:56:57 6296 1

转载 Hbase ReginoServer

HRegionServer是HBase中最主要的组件，负责table数据的实际读写，管理Region。在分布式集群中，HRegionServer一般跟DataNode在同一个节点上，目的是实现数据的本地性，提高读写效率。1 RegionServer中的组件1.1 WAL:Write Ahead Log1.1.1 主要特点为一个文件0.94之前叫做HLog，存储在/hbase/.logs/目录中0....

2018-02-28 20:03:38 202

转载 hadoop默认端口

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.a...

2018-02-27 22:35:52 451

转载 hadoop简介

1 hadoop1.0时期架构2 hadoop2.0时期架构3 hdfs架构【Active Namenode】：主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息；配置副本策略；处理客户端读写请求【Secondary NameNode】：NameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode；当 Active NameNode 出...

2018-02-27 22:33:12 355

zym1117的博客