大数据学习
文章平均质量分 82
zhuangxingzan
这个作者很懒,什么都没留下…
展开
-
大数据的开源工具
8个指标:AvgDeep 平均访问深度,深度值越高越好海量数据存储问题 Hadoop.HDFS,S3亚马逊 海量数据收集加工(清洗) flume+log4j 分析平台: 离线分析平台 Hadoop.MapReduce(基于破网络破机器,基于文件) 实时分析平台 Spark(内存,机器学习,吞吐量大)/Storm(流,速度最快) 从看似无用的海量数据中提炼出...原创 2019-11-04 10:08:01 · 165 阅读 · 0 评论 -
一个Dockerfile的范例说明
Dockerfile:FROM index.alauda.cn/tutum/centos:6.5#install jdk1.7ADD jdk-7u51-linux-x64.tar.gz /usr/local/srcENV JAVA_HOME=/usr/local/src/jdk1.7.0_51ENV PATH=$JAVA_HOME/bin:$PATHENV CLASSPAT...原创 2019-10-28 17:46:52 · 211 阅读 · 0 评论 -
JSOUP实现网页爬取实现范例
JSOUP介绍JSOUP介绍概念说明:JSOUP是java操作Html的工具包,操作类似于jQuery(#id, element, .class)入门案例获取静态数据页面分析入门案例/*** 1.爬取静态页面数据 获取页面标题* 2.定位目标网站的页面* 3.定位页面的元素内容...原创 2019-10-24 17:28:07 · 461 阅读 · 0 评论 -
Durid数据库链接工具使用的一个范例
Durid数据库链接工具Durid介绍Druid 是目前比较流行的高性能的,分布式列存储的OLAP框架(具体来说是MOLAP)。它有如下几个特点:一. 亚秒级查询 druid提供了快速的聚合能力以及亚秒级的OLAP查询能力,多租户的设计,是面向用户分析应用的理想方式。二.实时数据注入 druid支持流数据的注入,并提供了数据的事件驱动,保证在实时和离线...原创 2019-10-24 17:18:43 · 204 阅读 · 0 评论 -
企业级大数据全文快速检索范例(solr IK分词器 jsoup爬虫技术)
全文检索全文种类检索的示意图正向查询说明:将全部的数据进行检索.需要的数据一个一个的对比.知道查找成功.缺点:这样的检索速度会很慢特点:需要一个一个的循环遍历.直到找到数据倒排索引说明:索引的出现,可以大大提高检索的效率.先查询商品的索引关键字.之后将商品信息直接返回.这种方式叫做倒排索引Lucene介绍...原创 2019-10-23 15:02:17 · 538 阅读 · 0 评论 -
RabbitMQ Spring配置实现范例
RabbitMQ项目搭建RabbitMQ引入工作过程说明:早期:通过tb-order直接将订单信息写入数据库中.现在:首先将order信息写入RabbitMQ消息队列中.再由消费者jt-rabbitMQ负责将Order信息存入数据库.实现了数据入库的异步操作.构建生产者引入配置文件说明:修改rabbitMQ的IP地址,关闭Linux系统的防...原创 2019-10-23 10:34:15 · 188 阅读 · 0 评论 -
RabbitMQ的搭建和简单使用
业务需求传统设计的需求说明:如果遇到双11这样的节日,对于数据库的写库的能力是一个非常大的考验.如果面临12万/秒 传统的Mysql肯定不能应对.矛盾点:用户的写入的操作必须现在完成,不能等待.否则必须报连接超时了.解决方法:采用队列的机制,将用户的写库请求发往队列中.mysql处理从队列中获取数据并且执行.说明:当引入了消息队列的机...原创 2019-10-22 14:32:00 · 1379 阅读 · 0 评论 -
ZooKeeper集群搭建
作用:动态的关联注册信息要求:至少搭建3台1.克隆虚拟机:2.固定IP地址:3.配置JDK环境1.编辑文件.go 命令执行文件中的命令,跳转到执行目录下2.由于/etc/profile中的java代码已经配置完成,只需要按照指定的文件目录解压jdk即可解压jdk文件:3.查看jd...原创 2019-10-22 11:05:54 · 157 阅读 · 0 评论 -
通过Mybatis实现关联查询的一个mapper范例
<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"><!--保留一个空的映射文件 ,满足mybatis的要求 -...原创 2019-10-22 09:53:32 · 647 阅读 · 0 评论 -
[转载]Nginx负载均衡的详细配置及使用案例详解.
文章目录一、什么是负载均衡 二、 负载均衡策略 1、轮询(默认) 2、权重 weight 3、ip_hash( IP绑定) 4、fair(第三方插件) 5、url_hash(第三方插件) 三、参数说明 四、配置实例: 五、Keepalived配置一、什么是负载均衡当一台服务器的单位时间内的访问量越大时,服务器压力就越大,大到超过自身承受能力时,服...转载 2019-06-10 11:51:41 · 1359 阅读 · 0 评论 -
mysql数据库学习06-SQL语句分类
SQL分类:DDL:定义语言建库、建表和修改表等操作DML:数据操作语言数据的增删改的操作.insert into 插入数据操作:例子1:mysql特有的一次插入多行语法(非标准语法)insert into tb1 (name, gander) values('zhang1','M'), ('zh...原创 2018-12-06 15:37:34 · 105 阅读 · 0 评论 -
mysql数据库学习07-1对多,1对1,多对多关系的说明
1、一对一:主键同时作为外键2、一对多:加外键 3、多对多:多对多情况下,需要建立一个中间表。原创 2018-12-06 15:53:31 · 456 阅读 · 0 评论 -
mysql数据库学习08-select语句的使用
1、where子句:= 等于<>不等>=大于等于<=小于等于between 小值 and 大值 闭区间范围in(1,2,3) 在枚举范围内的is not null 非空nullis null 为空nulllike: 可加% 通配符模糊查询。要特别注意liunx的通配多个字符是*,而mysql是%;下划线“_”表...原创 2018-12-06 19:31:45 · 117 阅读 · 0 评论 -
mysql数据库学习09-函数
1、字符串处理函数:char_length('a中'); -- 返回字符长度length('a中'); -- 返回字节长度concat('abc',' ','def'); --返回括号内字符链接后的字符,返回:abc defconcat_ws(';', 'aedfad','sdfadfd','sfadfs'); -- 第一个参数为后面字符串链接时的分隔符i...原创 2018-12-07 16:33:33 · 121 阅读 · 0 评论 -
mysql数据库学习笔记10-事务、视图、索引
事务============================================ *) 事务是数据操作的最小单元 *) 多个数据增删改操作,完成的一项业务处理 *) 如果事务事务成功,其中每一项操作都生效 如果事务事务失败,其中每一项操作都失败 *) 数据库数据操作,以事务为一个最小操作单元, 不应该以一个sql语句...原创 2018-12-10 14:22:04 · 144 阅读 · 0 评论 -
JAVA学习03-JAVA开发环境的搭建(windows)
1)下载并安装JDK(java开发工具包)1.1安装:可以直接到oracle官方网站下载jdk安装包。安装过程过于简单,描述略~~补充说明: Java程序是运行在JVM上的,而要运行一个程序,需要安装jre,说明JRE中包含了JVMJDK,JRE,JVM三者的关系:JDK包含JRE,JRE包含了JVM2.配置环境变量(windows中):计算机右键->属性->高...原创 2018-12-11 17:37:39 · 113 阅读 · 0 评论 -
[转载]Tomcat配置虚拟主机的两种方式
1.基于主机名的虚拟主机配置 在随意盘符下建立一个目录作为虚拟地址的目录。例如:F:\virtualhost1,在其下建立 test1.html,写入内容例如:test 在tomcat/conf/service.xml中 加入如下配置一段<Host> 配置<Host>...... </Host> 这里的Host配置,是配置文件原本就有的,下...转载 2019-02-13 10:51:36 · 455 阅读 · 0 评论 -
数据库的高可用HA
一、问题数据库如果想实现高可用的性能.需要解决以下的问题:多个数据库如何实现数据同步. 用户如何选择链接哪个数据库 如果数据库宕机,如何实现高可用 如果数据库宕机,宕机后的数据如何实现数据同步二、解决思路:说明:经过架构的优化,让服务器将来不会直接连接真实的数据库.而是链接代理数据库.在代理数据库中进行相应的配置,实现读和写的分离.进一步提高数据库的性能.三、解决...原创 2019-06-13 13:51:52 · 2204 阅读 · 0 评论 -
MySQL学习笔记01-安装和常用设置
1、安装MariaDB全部删除MySQL/MariaDBMySQL 已经不再包含在 CentOS 7 的源中,而改用了 MariaDB;使用rpm -qa | grep mariadb搜索 MariaDB 现有的包:如果存在,使用rpm -e --nodeps mariadb-*全部删除:使用rpm -qa | grep mariadb搜索 MariaDB 现有的包:如果存...转载 2018-12-03 14:23:19 · 91 阅读 · 0 评论