大数据的开源工具 8个指标：AvgDeep 平均访问深度，深度值越高越好海量数据存储问题 Hadoop.HDFS,S3亚马逊 海量数据收集加工（清洗） flume+log4j 分析平台： 离线分析平台 Hadoop.MapReduce（基于破网络破机器，基于文件） 实时分析平台 Spark（内存，机器学习，吞吐量大）/Storm（流，速度最快） 从看似无用的海量数据中提炼出...
一个Dockerfile的范例说明 Dockerfile：FROM index.alauda.cn/tutum/centos:6.5#install jdk1.7ADD jdk-7u51-linux-x64.tar.gz /usr/local/srcENV JAVA_HOME=/usr/local/src/jdk1.7.0_51ENV PATH=$JAVA_HOME/bin:$PATHENV CLASSPAT...
Docker常见错误解决方式 1、docker创建新容器时，可能发生如下错误这个错误有时出现有时不出现解决办法：pkill dockeriptables -t nat -Fsystemctl restart docker
JSOUP实现网页爬取实现范例 JSOUP介绍JSOUP介绍概念说明:JSOUP是java操作Html的工具包,操作类似于jQuery(#id, element, .class)入门案例获取静态数据页面分析入门案例/*** 1.爬取静态页面数据 获取页面标题* 2.定位目标网站的页面* 3.定位页面的元素内容...
Durid数据库链接工具使用的一个范例 Durid数据库链接工具Durid介绍Druid 是目前比较流行的高性能的，分布式列存储的OLAP框架(具体来说是MOLAP)。它有如下几个特点：一. 亚秒级查询 druid提供了快速的聚合能力以及亚秒级的OLAP查询能力，多租户的设计，是面向用户分析应用的理想方式。二.实时数据注入 druid支持流数据的注入，并提供了数据的事件驱动，保证在实时和离线...
企业级大数据全文快速检索范例（solr IK分词器 jsoup爬虫技术） 全文检索全文种类检索的示意图正向查询说明:将全部的数据进行检索.需要的数据一个一个的对比.知道查找成功.缺点:这样的检索速度会很慢特点:需要一个一个的循环遍历.直到找到数据倒排索引说明:索引的出现,可以大大提高检索的效率.先查询商品的索引关键字.之后将商品信息直接返回.这种方式叫做倒排索引Lucene介绍...
RabbitMQ Spring配置实现范例 RabbitMQ项目搭建RabbitMQ引入工作过程说明:早期:通过tb-order直接将订单信息写入数据库中.现在:首先将order信息写入RabbitMQ消息队列中.再由消费者jt-rabbitMQ负责将Order信息存入数据库.实现了数据入库的异步操作.构建生产者引入配置文件说明:修改rabbitMQ的IP地址,关闭Linux系统的防...
RabbitMQ的搭建和简单使用 业务需求传统设计的需求说明:如果遇到双11这样的节日,对于数据库的写库的能力是一个非常大的考验.如果面临12万/秒 传统的Mysql肯定不能应对.矛盾点:用户的写入的操作必须现在完成,不能等待.否则必须报连接超时了.解决方法:采用队列的机制,将用户的写库请求发往队列中.mysql处理从队列中获取数据并且执行.说明:当引入了消息队列的机...
ZooKeeper集群搭建 作用:动态的关联注册信息要求:至少搭建3台1.克隆虚拟机:2.固定IP地址:3.配置JDK环境1.编辑文件.go 命令执行文件中的命令,跳转到执行目录下2.由于/etc/profile中的java代码已经配置完成,只需要按照指定的文件目录解压jdk即可解压jdk文件:3.查看jd...
通过Mybatis实现关联查询的一个mapper范例 <?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"><!--保留一个空的映射文件 ,满足mybatis的要求 -...
JSONP的一个简单使用范例 数据分析说明:根据页面的分析商品分类信息最外层使用List集合进行包裹,名称为DataList[0][1][2] 一级菜单中的使用u:url n:name i:List[二级菜单]{u:xx,n:xx,i:xx} 二级菜单中使用u:url n:name i:List[三级菜单]{u:xx,n:xx,i:xx} 三级菜单 List<String>...
【转】前端解决跨域问题的8种方案（最新最全） 1.同源策略如下：URL 说明 是否允许通信 http://www.a.com/a.js http://www.a.com/b.js 同一域名下 允许 http://www.a.com/lab/a.js http://www.a.com/script/b.js 同一域名下不同文件夹 允许 http://www.a.com:8000/a...
Mycat配置读写分离：server.xml和shema.xml配置参数含义说明 schema.xml:<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="jtdb" checkSQLschema="false" sqlMaxLi...
[转]Mysql基于Amoeba_读写分离搭架 一、Amoeba简介Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求，Amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。需要结合使用MySQL的 Replic...
【转载】修改CentOS默认yum源为国内镜像 国内主要开源的开源镜像站点应该是网易和阿里云了。修改为163yum源-mirrors.163.com1、首先备份系统自带yum源配置文件/etc/yum.repos.d/CentOS-Base.repo[root@localhost~]#mv/etc/yum.repos.d/CentOS-Base.repo/etc/yum.repos.d/CentOS-Base.repo.ba...
数据库的高可用HA 一、问题数据库如果想实现高可用的性能.需要解决以下的问题：多个数据库如何实现数据同步. 用户如何选择链接哪个数据库 如果数据库宕机,如何实现高可用 如果数据库宕机,宕机后的数据如何实现数据同步二、解决思路：说明:经过架构的优化,让服务器将来不会直接连接真实的数据库.而是链接代理数据库.在代理数据库中进行相应的配置,实现读和写的分离.进一步提高数据库的性能.三、解决...
CentOS-7-x86_64下Tomcat7的安装及配置 一、安装前准备安装Tomcat需要提供JDK支持：下载JDK安装包： jdk-7u51-linux-x64.tar.gz（自行下载）解压安装包（解压包假设放在/usr/local目录，解压后放在/usr/local/java目录）：tar -zxvf /usr/local/jdk-7u51-linux-x64.tar.gz -C /usr/local/java设置（全局）环境...
关注
