- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Nginx实现接口分发
需求背景：当前服务器上部署了多个服务，由于某些服务计算量逐渐增大，导致该服务器负荷过大，需要将某些比较耗资源的服务迁移到其他服务器上，且不能改变原先接口的调用方式，实现切换对下游用户无感知。实现思路：在当前服务器上搭建Nginx服务，监听被访问的接口，并将该接口分发到其他服务器上，实现访问和计算分离，将具体的计算任务迁移到高性能机器上。监听多个端口服务，并依据一定的规则转发到...
2019-07-23 22:51:46
1303
原创 spark认知理解（二）任务执行流程
spark运行模式主要有三种：spark standalone（自带）、YARN-Client模式和YARN-Cluster模式。各种运行模式虽然在启动方式、运行位置、调度策略上各有不同，但目标和整体运行逻辑都是一致的。下面以spark standalone模式为例，以个人的理解，阐述下spark任务的执行流程。spark-standalone采用zookeeper集群保证master...
2019-07-02 23:00:36
213
原创 spark认知理解（一）RDD与DAG
目录1. spark介绍2. RDD理解2.1 RDD概念2.2 Partition分片2.3 Partitioner3. 宽窄依赖4. stage划分4. spark与DAG注脚1. spark介绍spark是基于内存计算的大数据并行计算框架。特性：DAG执行引擎，可分布式，基于内存计算。2. RDD理解RDD：是弹性分布式数据集（Re...
2019-07-02 00:32:04
1673
原创 有向无环图DAG-理解及应用
目录1、概念：2、理解：2.1 判断是否为DAG2.2 出度与入度2.3 拓扑排序3、应用：1、概念：有向无环图（DAG）：在有向图中，如果存在从一个顶点出发，经过若干条边无法回到该点，则称该图为有向无环图。2、理解：2.1 判断是否为DAG关键：判断有向图中是否存在有向环。1）进行拓扑排序，如果能完成排序，则无环，否则有环；2）深度...
2019-06-30 23:48:51
3813
原创 核函数理解
映射：将低维空间映射到高维空间中进行问题求解；核函数：高维空间中有解（线性可分），在低维空间中进行计算；在计算的时候，它可以让x和z不用通过H()映射到高维空间再计算内积，而是直接在低维空间里计算了。核函数的作用到底是什么？--享受高维空间视野，在低维空间进行操作（内积）。在这个例子中，核函数在低维计算的结果完全等价于原问题：两个变量高维映射后的内积。这么一来，就避开了直接在高维空间中进行计算。...
2018-05-30 00:05:29
497
原创 python实现关联规则分析Apriori算法
代码写了好久了，今天搬上来。 Apriori算法介绍： Apriori其实是为了降低搜索空间以及提高搜索速度而设计的一种算法，本文采用python实现，彻底理解“频繁项集的所有非空子集一定是频繁的”这句话，并实现连接步、剪枝步、规则生成、提升度计算等。 本节代码参考了《机器学习实战》第十一章中的代码，也参考了R语言的arules包，该包没有实现一对多的规则，因此，在以上
2017-09-16 00:27:19
4196
1
原创 Python爬取天气预报数据，并存入到本地EXCEL中
采用python爬取“天气网”指定时间段及地区的天气预报数据，并将爬取到的数据按顺序写入到本地EXCEL文件中。
2017-08-23 00:49:35
13214
12
原创 python3编码问题（网络流数据写入到本地出错问题）
目录目录1python3两种编码类型2图解py3一切编码问题3实例网络爬取数据写入到txt问题就到这里1、python3两种编码类型记住：在python3中只有两种字符格式，**str类型和bytes类型**。str类型：即常见的str字符，py3中默认所有的字符串都为Unicode编码格式；bytes类型：即字节字符，除过unicode格式的字符串外，其他都为bytes类型。>>>a
2017-08-18 23:50:47
452
原创 Numpy学习小结
目录目录1数据合并及类型转换2数组运算3线性代数运算4注意区别脚注1、数据合并及类型转换# 数据合并拼接np.hstack([arr1, arr2]) # 横向合并，必须保证两数组行数相等等价于：np.column_stack([arr1,arr2])np.vstack([arr1, arr2]) # 纵向拼接，必须保证两数组列数相等等价于：np.row_stack([arr1,
2017-08-09 23:57:03
367
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人