数据
文章平均质量分 92
常生果
爱好编程,喜欢创造!
展开
-
创业公司中运营人员的典型一天是怎么度过的?
产品不同、产品阶段不同、运营团队的配置不同,运营岗位的差异会导致大家日常的工作会不一样;这里说一下通行的日常工作是什么。作者章鱼怕黑,个人微信(zyulaoshi),连续创业者。一、信息积累无论做何种运营,信息的积累一定要够。在移动互联网时间,所谓的碎片时间在当下已经不太碎片,我们玩朋友圈、游戏的时间动辄就是半个小时以上,发一条朋友圈然后在等待点赞或者是等待评论中渡过。《娱乐至死》中奥威尔转载 2016-01-18 09:18:14 · 1504 阅读 · 0 评论 -
ZooKeeper配置
最近针对ZK一些比较疑惑的问题,再看了一下相关代码,列举如下。这里只列官方文档中没有的,或者不清晰的。以zookeeper-3.3.3为基准。以下用ZK表示ZooKeeper。一个ZooKeeper对象,代表一个ZK Client。应用通过ZooKeeper对象中的读写API与ZK集群进行交互。一个简单的创建一条数据的例子,只需如下两行代码:ZooKeeper zk = new Zoo转载 2016-02-17 15:18:25 · 1515 阅读 · 1 评论 -
ZooKeeper实现分布式队列Queue
ZooKeeper实现分布式队列Queue让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务。现在硬件越来越便宜,一台非品牌服务器,2颗24核CPU,配48G内存,2T的硬盘,已经降到2万块人民币以下了。这种配置如果简单地放几个web应用,显然是奢侈的浪费。就算是用来实现单节点的hadoop,对计转载 2016-02-17 15:22:59 · 1254 阅读 · 0 评论 -
流式大数据处理的三种框架:Storm,Spark和Samza
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍,然后尝试快速、高度概述其异同。Apache Storm在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(master node)分发代码,将任务分配给工作节点(worker node)执行。一个拓转载 2016-02-17 15:32:06 · 1496 阅读 · 0 评论 -
Windows安装运行Kafka
简介本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookeeper。 Apache Kafka是一个快速可扩展的消息队列,能够应对繁重的读写负载,即IO相关工作。更多信息请参见http://kafka.apache.org。由于Zookeeper能提供可靠的分布式协调服务,Apache Kafka需要运行一转载 2016-02-18 10:05:48 · 3344 阅读 · 0 评论 -
Kafka入门经典教程
1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic、发送消息、消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有哪两个条件?6.producer是否直接将数据发送到broker的leader(主节点)?7.Kafa consumer是否可以消费指定分区消息?8.Kafka消息是采用Pull模式转载 2016-02-18 10:19:02 · 1894 阅读 · 0 评论 -
最详细的Log4j使用教程
日志是应用软件中不可缺少的部分,Apache的开源项目log4j是一个功能强大的日志组件,提供方便的日志记录。在apache网站:jakarta.apache.org/log4j 可以免费下载到Log4j最新版本的软件包。一、入门实例1.新建一个JAva工程,导入包log4j-1.2.17.jar,整个工程最终目录如下2、src同级创建并设置log4j.proper转载 2016-02-22 17:55:36 · 405 阅读 · 0 评论 -
微软CEO 纳德拉将赌注押在人工智能上
新闻《Microsoft 2016年Build大会:纳德拉将赌注押在人工智能上》:在此次大会上,纳德拉的主题演讲以Cortana和人工智能为中心展开。他介绍了微软的Bot框架(Microsoft Bot Framework)和新的认知服务(Cognitive Services)等最新进展《谷歌董事长施密特:人工智能不会威胁到人类》:谷歌母公司Alphabet 董事长埃里克·施密转载 2016-04-06 17:08:36 · 566 阅读 · 0 评论 -
kafka相关配置问题
# message encoderserializer.class=kafka.serializer.StringEncoder决定了 你的Producer 的声明如果kafka.serializer.StringEncoder则: inner = new Producer(config);如果是kafka.serializer.DefaultEn原创 2016-03-14 18:54:36 · 491 阅读 · 0 评论 -
ElasticSearch 简单入门
IntroductionElasticSearch is an open-source and distributed search engine which is very much scalable and supports a good amount of enterprise Search use cases. It's built on top of Lucene (just l转载 2016-03-14 19:59:57 · 418 阅读 · 0 评论 -
elasticsearch集群管理工具head插件
elasticsearch-head是一个elasticsearch的集群管理工具,它是完全由html5编写的独立网页程序,你可以通过插件把它集成到es。或直接下载源码,在本地打开index.html运行它。该工具的git地址是: https://github.com/Aconex/elasticsearch-head插件安装方法:1.elasticsearch/bin转载 2016-03-14 20:01:25 · 512 阅读 · 0 评论 -
Elasticsearch与Solr 选型
搜索引擎选择: Elasticsearch与Solr搜索引擎选型调研文档Elasticsearch简介*Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索,结构化搜索以及分析,当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™转载 2016-03-15 10:40:03 · 366 阅读 · 0 评论 -
elasticsearch集群监控工具bigdesk
bigdesk是elasticsearch的一个集群监控工具,可以通过它来查看es集群的各种状态,如:cpu、内存使用情况,索引数据、搜索情况,http连接数等。项目git地址: https://github.com/lukas-vlcek/bigdesk。和head一样,它也是个独立的网页程序,使用方式和head一样。插件安装运行:方法1:1.bin/plugin -in转载 2016-03-15 16:09:05 · 513 阅读 · 0 评论 -
Windows安装和使用zookeeper
来获取,Zookeeper 的安装非常简单,下面将从单机模式和集群模式两个方面介绍 Zookeeper 的Windows安装和配置.首先需要安装JdK,从Oracle的Java网站下载,安装很简单,就不再详述。单机模式单机安装非常简单,只要获取到 Zookeeper 的压缩包并解压到某个目录如:C:\zookeeper-3.4.5\下,Zookeeper 的启动脚本在 bi转载 2016-02-17 15:08:11 · 1912 阅读 · 0 评论 -
Postgres查询结果集的获取方法及其优缺点
PG jdbc的查询结果集获取方式1 简单全部结果集查询默认情况下,pgjdbc是一次获取全部查询结果的,并且结果集的类型和并发性分别为ResultSet.TYPE_FORWARD_ONLY和ResultSet.CONCUR_READ_ONLY。也就是pgjdbc默认会一次获取全部查询结果,只能从前往后取,是只读的。 stmt = conn.createStatemen转载 2016-03-03 16:26:44 · 1949 阅读 · 0 评论 -
大数据- Hive
构建在Hadoop之上的数据仓库,数据计算使用MR,数据存储使用HDFS 因为数据计算使用mapreduce,因此通常用于进行离线数据处理Hive 定义了一种类 SQL 查询语言——HQL 类似SQL,但不完全相同可认为是一个HQL-->MR的语言翻译器。简单,容易上手有了Hive,还需要自己写MR程序吗?转载 2016-01-19 09:10:16 · 1418 阅读 · 0 评论 -
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂,不要紧糊涂的不止你一个,如某个菜鸟的帖子的疑问,when to use Hbase and when to use Hive?....请教了^_^没关系这里我帮大家理清每个技术的原理和思路。Pig一种操作hadoop的轻量级脚本语言,最初又雅虎公司推出,转载 2016-01-19 11:20:15 · 1378 阅读 · 0 评论 -
人工智能和机器学习领域开源项目
英文:Quora译文:CSDN CODE链接:http://code.csdn.net/news/2822818GraphLabGraphLab是一种新的面向机器学习的并行框架。GraphLab提供了一个完整的平台,让机构可以使用可扩展的机器学习系统建立大数据以分析产品,该公司客户包括Zillow、Adobe、Zynga、Pandor转载 2016-01-20 08:34:39 · 1634 阅读 · 0 评论 -
美团大众点评合并:背后技术力量的对比回顾
美团网和大众点评网在10月8日中午联合发布声明,宣布达成战略合作,两者将共同成立一家新公司。两者也在InfoQ及其组织的大会上进行过多次分享,我们将对美团和大众点评使用的技术进行回顾,来看看这两家电商巨头的技术实力。美团和大众点评都是国内O2O领域的主要参与者。除了团购外,美团还有自营的外卖、电影、酒店预订等业务。大众点评网最开始主要为用户提供各种生活信息服务,基于这些信息开发转载 2016-01-20 08:42:52 · 1314 阅读 · 0 评论 -
JDO 的架构作一个简单的介绍
JDO快速入门Java数据对象(Java Data Objects,JDO)是一个应用程序接口(API),它是Java程序员能够间接地访问数据库,也就是说,不需使用直接的结构化查询语言(SQL)语句。JDO是作为Java数据库连接(JDBC)的一个补充来介绍的,而JDBC是一个支持使用SOL语句对流行的数据库程序进行访问的接口。有了 JDO,程序员就可以使用类来定义数据对象,然后支原创 2016-01-05 10:35:20 · 969 阅读 · 0 评论 -
JPA——基础
1.JPA简介:Java持久化规范,是从EJB2.x以前的实体Bean(Entity bean)分离出来的,EJB3以后不再有实体bean,而是将实体bean放到JPA中实现。JPA是sun提出的一个对象持久化规范,各JavaEE应用服务器自主选择具体实现,JPA的设计者是Hibernate框架的作者,因此Hibernate作为Jboss服务器中JPA的默认实现,Oracle的Weblogic转载 2016-01-05 11:47:26 · 499 阅读 · 0 评论 -
JPA概要
1 JPA概述JPA(Java Persistence API,Java持久化API),定义了对象-关系映射(ORM)以及实体对象持久化的标准接口。JPA是JSR-220(EJB3.0)规范的一部分,在JSR-220中规定实体对象(EntityBean)由JPA进行支持。所以JPA不局限于EJB3.0,而是作为POJO持久化的标准规范,可以脱离容器独立运行,开发和测试更加方便。转载 2016-01-05 11:49:33 · 418 阅读 · 0 评论 -
JPA——高级
1.JPA的实体生命周期:JPA的实体有以下4中生命周期状态:(1).New:瞬时对象,尚未有id,还未和Persistence Context建立关联的对象。(2).Managed:持久化受管对象,有id值,已经和Persistence Context建立了关联的对象。(3).Datached:游离态离线对象,有id值,但没有和Persistence Context建立关联的对象转载 2016-01-05 11:54:19 · 574 阅读 · 0 评论 -
Spring Data JPA
从一个简单的 JPA 示例开始本文主要讲述 Spring Data JPA,但是为了不至于给 JPA 和 Spring 的初学者造成较大的学习曲线,我们首先从 JPA 开始,简单介绍一个 JPA 示例;接着重构该示例,并引入 Spring 框架,这两部分不会涉及过多的篇幅,如果希望能够深入学习 Spring 和 JPA,可以根据本文最后提供的参考资料进一步学习。自 JPA 伴随 J转载 2016-01-05 11:58:22 · 390 阅读 · 0 评论 -
spring mvc 的jpa JpaRepository数据层 访问方式汇总
AppleFramework在数据访问控制层采用了Spring Data作为这一层的解决方案,下面就对Spring Data相关知识作一个较为详细的描述。 1.Spring Data所解决的问题 Spring Data :提供了一整套数据访问层(DAO)的解决方案,致力于减少数据访问层(DAO)的开发量。它使用一个叫作Repository的接口类为基础,它被定义为访问底层数据模型的超级接口原创 2016-01-05 16:10:07 · 899 阅读 · 0 评论 -
JAVA常用加密算法
一、双向加密 (一)、对称加密 采用单钥密码系统的加密方法,同一个密钥可以同时用作信息的加密和解密,这种加密方法称为对称加密,也称为单密钥加密。 需要对加密和解密使用相同密钥的加密算法。由于其速度,对称性加密通常在消息发送方需要加密大量数据时使用。对称性加密也称为密钥加密。 所谓对称,就是采用这种加密方法的双方使用方式用同样的密钥进行加密和解密。密钥是控制加密及解密过程的指令。转载 2016-01-11 14:19:26 · 2210 阅读 · 2 评论 -
公交IC卡工作原理
如果有电源提供,实现公交刷卡功能的电路是容易实现;但公交卡本身没有能量来源,若能工作需要外部提供-刷卡机。如果有一个电路能够给IC卡提供工作电压,那实现公交刷卡功能的电路就解决了。实现方式:LC谐振电路。LC谐振电路特点:输入信号频率等于该电路谐振电路谐振频率时,LC并联谐振电路发生谐振,此时谐振电路的阻抗达到最大,并且为纯阻性。LC电路主要用来构成吸收电路(选频电路),将某一频率转载 2016-01-29 15:27:51 · 2060 阅读 · 0 评论 -
elasticsearch插件大全
Elasticsearch扩展性非常好,有很多官方和第三方开发的插件,下面以分词、同步、数据传输、脚本支持、站点、其它这几个类别进行划分。分词插件Combo Analysis Plugin (作者 Olivier Favre, Yakaz)简介:组合分词器,可以把多个分词器的结果组合在一起。Smart Chinese Analysis Plugin (作者 elasti转载 2016-03-15 16:30:27 · 565 阅读 · 0 评论