![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
SeanC52111
这个作者很懒,什么都没留下…
展开
-
Vector Random Variable
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-USnGUSOf-1571128781248)(https://upload-images.jianshu.io/upload_images/4186036-1c89be4bce5eb424.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]...原创 2019-10-15 16:39:54 · 266 阅读 · 0 评论 -
Nonparametric Methods
by Ce原创 2019-10-14 20:30:44 · 394 阅读 · 0 评论 -
Probability Review
原创 2019-10-14 01:11:10 · 183 阅读 · 0 评论 -
Python numpy review
ArraysThe shape of an array is a tuple of integers giving the size of the array along each dimension.import numpy as npa = np.array([1,2,3]) # a rank 1 arrayprint(type(a))<class 'numpy.ndarra...原创 2019-10-05 17:21:55 · 286 阅读 · 0 评论 -
A Secure and Dynamic Multi-Keyword Ranked Search Scheme over Encrypted Cloud Data (1)
系统框架数据拥有者DO构建加密索引树,将加密文档和索引外包给云服务。云存储服务根据数据使用者Data User发来的数据搜索token和已经存好的加密索引树进行搜索,返回top K个排序结果。排序的计量方法根据TF-IDF公式计算相似度。Term Frequency: the number of times a given term appears within a documentI...翻译 2019-05-12 14:14:08 · 710 阅读 · 0 评论 -
内存计算-SPARK
by 清华大学为什么并行计算?计算量大 单进程算得不够快,多CPU算内存需求大 单机内存不够大内存随机访问比硬盘随机访问快100,000倍I/O 量大 单个硬盘读写太慢,多个硬盘读写并行计算的挑战编程困难 并行性识别与表达,难写同步语句,难写对性能调优难,难写快 (并行计算目标就是提升性能,性能调优难) -负载平衡 局部性 (高速缓存cache,使用cache可以快10倍转载 2017-10-23 00:53:34 · 610 阅读 · 0 评论 -
Hadoop 简明教程
目的 这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。 先决条件 请先确认Hadoop被正确安装、配置和正常运行中。更多信息见: • Hadoop快速入门对初次使用者。 • Hadoop集群搭建对大规模分布式集群。 概述 Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的转载 2017-10-09 00:23:12 · 410 阅读 · 0 评论 -
Map Reduce处理框架
复习:GFS里几个重要的观点 - 数据存储于成千上百的服务器中,大数据块减少元数据开销 - 使用商用硬件->失败是很正常的(失败是不可避免的,所以买便宜的硬件) - 没有复杂的一致性模型(单写者,数据只能添加,避免互相等待)数据并行化(DLP) 若干硬盘上的大量数据,可以被并行化的操作(比如搜索文档) Embarassingly Parallel 例子 词频统计 dog dog is转载 2017-10-08 23:57:55 · 363 阅读 · 0 评论 -
Single Service kNN Authentication
In the most paper[1], kNN authentication is partitioned into two parts: - use the traditional incremental kNN find algorithm ( best first search) to find the kth point (data). - use a circle with t原创 2017-09-11 10:50:36 · 243 阅读 · 0 评论 -
Top-K in MapReduce Haddop Framework
top 10的算法:我们只需要维护一个10个大小的数组,初始化放入10Query,按照每个Query的统计次数由大到小排序,然后遍历这300万条记录,每读一条记录list后进行从大到小排序。如果list长度为11,则pop()默认删除最后一个元素。 不难分析出,这样的算法的时间复杂度是N*K, 其中K是指top多少。#!/usr/bin/python"""Your mapper functio原创 2017-09-09 19:54:41 · 255 阅读 · 0 评论 -
PCA方法及其应用
主成分分析(Principal Component Analysis, PCA)是最常用的一种降维方法,通常用于高维数据集的探索和可视化,还可以用作数据压缩和预处理等。 PCA可以把具有相关性的高维变量合成为线性无关的低维变量,称为主成分。主成分能够尽可能保留原始数据的信息。主成分分析相关术语: 方差、协方差、协方差矩阵、特征向量和特征值 原理:矩阵的主成分就是其协方差对应 特征向量,按照的特转载 2017-09-16 12:54:08 · 783 阅读 · 0 评论 -
大数据的基础架构:云计算
By 清华大学交叉信息研究院 大数据对于系统架构的需求显示的需求 ——海量计算和存储 ——快速计算隐式的需求 ——数据的快速传输 ——灵活性 ——低成本Volume Velocity Variety Value如何实现这些需求?云计算的核心设计理念并行化规模经济虚拟化(抽象)大数据系统的软硬件架构并行化并行化理念存在于计算机的方方面面 - 并行请求:分配给多个计算机 -转载 2017-09-16 12:48:54 · 1973 阅读 · 0 评论