茅庐

Engineering is trade-off.

排序:
默认
按更新时间
按访问量

Elasticsearch最佳实践之使用场景

本文围绕Elasticsearch的核心特征:搜索与分析,探讨其常见的业务场景:ELK日志系统、数据聚合分析、业务内搜索,以及集群建设的选择。

2018-10-08 20:31:30

阅读数:4389

评论数:1

创业公司做数据分析(六)数据仓库的建设

本文重点探讨了数据处理层中数据仓库的建设,旨在构建一个适于分析的数据存储系统。文章探讨了数据仓库建设中的两个重要环节:数据建模与ETL过程,根据实践谈了谈维度建模的方法,以及ETL中的增量更新机制与基于Airflow的任务流管理系统。

2017-02-02 19:36:58

阅读数:10192

评论数:6

创业公司做数据分析(五)微信分享追踪系统

本文重点探讨数据采集层中的微信分享追踪系统。用户在微信中对Web H5网页进行浏览、分享,便会形成两种数据:操作行为数据和用户之间的传播关系数据,微信分享追踪系统便是对这类数据进行采集、存储,本文主要总结我们在微信分享追踪上的技术思考和方案演进。

2017-01-12 21:13:27

阅读数:8582

评论数:2

创业公司做数据分析(四)ELK日志系统

本文将重点探讨数据采集层中的ELK日志系统,结合自身实践来介绍如何使用ELK系统、使用中的问题以及如何解决。ELK是一套开源的集中式日志数据管理的解决方案,由Elasticsearch、Logstash和Kibana三个系统组成。

2017-01-07 00:54:07

阅读数:9668

评论数:3

创业公司做数据分析(三)用户行为数据采集系统

本文将重点探讨数据采集层中的用户行为数据采集系统,分析了为什么要建设用户行为数据采集系统、采什么、前端怎么采、后端怎么存。

2016-12-27 17:12:46

阅读数:12560

评论数:5

创业公司做数据分析(二)运营数据系统

本文探讨数据应用层中的运营数据系统,因为运营数据几乎是所有互联网创业公司开始做数据的起点,也是早期数据服务的主要对象。本文将着重回顾下我们做了哪些工作、遇到过哪些问题、如何解决并实现了相应的功能。

2016-12-07 22:39:07

阅读数:7405

评论数:2

创业公司做数据分析(一)开篇

        了解“认知心理学”的朋友应该知道:人类对事物的认知,总是由浅入深。然而,每个人思考的深度千差万别,关键在于思考的方式。通过提问三部曲:WHAT->HOW->WHY,可以帮助我们一步步地从事物的表象深入到事物的本质。比如学习一个新的技术框...

2016-12-01 23:14:06

阅读数:6271

评论数:0

谈一谈Elasticsearch的集群部署

Elasticsearch是一个分布式的搜索引擎和数据分析引擎。本文重点谈一谈Elasticsearch的集群节点相关问题,搞清楚这些是进行Elasticsearch集群部署和拓扑结构设计的前提。

2018-09-30 16:17:39

阅读数:13713

评论数:0

打造私人搜书系统之系统设计

作者利用业余时间打造了一个自己的搜书系统,基本的思路是:从各个小说网站爬取相关的书籍信息,通过一个手机客户端来阅读小说。本文将从系统设计的角度,来谈谈设计的思路和踩过的坑。

2017-08-26 19:11:11

阅读数:3273

评论数:1

Kafka下的生产消费者模式与订阅发布模式

生产消费者模式与订阅发布模式是使用消息中间件时常用的两种模式,用于功能解耦和分布式系统间的消息通信。本文在总结了Kafka基本概念的基础上,以“数据接入”和“事件分发”这两个场景为例,来探讨Kafka作为消息系统的应用方法(High Level)。

2017-01-21 17:27:26

阅读数:20378

评论数:3

Elasticsearch使用总结

本文着重对Elasticsearch在应用层面上的使用进行总结,主要包括基本概念、数据插入、数据查询、聚合分析。

2016-12-25 20:51:33

阅读数:6324

评论数:0

RabbitMQ下的生产消费者模式与订阅发布模式

生产消费者模式与订阅发布模式是使用消息中间件时常用的两种模式,用于功能解耦和分布式系统间的消息通信。本文在总结了RabbitMQ核心概念的基础上,以“数据接入”和“事件分发”两个场景来探讨如何实现生产消费者模式和订阅发布模式。

2016-12-11 16:58:34

阅读数:12983

评论数:6

基于pandas.merge解决异源数据融合的问题

本文首先提出一个数据分析中经常遇到的异源数据融合的问题,然后介绍了解决该问题的pandas.merge的方法。

2016-11-15 17:58:08

阅读数:3115

评论数:0

循环查询数据的性能问题及优化

本文过三个实例来阐述循环查询对性能的影响和优化的方法,涉及常用的三种数据存储:MySQL,MongoDB和Redis,更重要的是想借此传达一个观点:编程,应该设计先于写代码。

2016-11-13 22:36:19

阅读数:5138

评论数:0

Django下测试与调试REST API的方法

本文针对功能模块和整体请求的调试与测试工作,提出了四种方法,后面两种是对前面两种的缺陷的补充。

2016-10-31 22:23:33

阅读数:3908

评论数:0

Python下访问MYSQL的方法总结

本文主要是总结了python下访问mysql的方法,介绍了mysqldb的使用方法,如何使用DBUtils来做连接池访问,已及两个warning问题:Incorrect string value 和 Truncated incorrect DOUBLE value。

2016-10-15 22:52:17

阅读数:6097

评论数:0

浅谈微信公众号营销背后的技术

本文试图分析在开发者模式下,微信公众号营销背后的几个常用技术方案,包括二维码关注、账号绑定、海报数据追踪,同时总结了一些微信开发的基本规则。

2016-09-26 00:01:27

阅读数:3597

评论数:1

MFC总结之CListCtrl用法及技巧(二)

续第一篇:MFC总结之CListCtrl用法及技巧(一) http://blog.csdn.net/zwgdft/article/details/7560592         本篇重点介绍:禁止拖动表头、让第一列居中显示、设置行高与字体、虚拟列表技术、点击表头时进行归类、向上与向下移动...

2012-05-19 08:56:01

阅读数:9436

评论数:5

MFC总结之CListCtrl用法及技巧(一)

本文根据本人在项目中的应用,来谈谈CListCtrl的部分用法及技巧。当初学习时,查了很多资料,零零碎碎的作了些记录,现在主要是来做个总结,方便以后查阅。主要包括以下十三点内容:基本操作、获取选中行的行号、复选框操作、动态设置选中行的字体颜色、设置选中行的背景颜色、禁止拖动表头、让第一列居中显示、...

2012-05-15 11:14:00

阅读数:33382

评论数:6

修改SMDK6410的调试串口为普通串口(wince系统)

环境: 飞凌OK6410A开发板, Windows CE6.0系统          最近在做GPRS通信,可是手头上的GPRS模块(Q2403A)是五线串口的(RXD、TXD、GND、RCS、CTS),老板又不愿买新的模块。所以考虑将调试串口COM1改为普通串口来用(飞凌开发板上也就这1个5线...

2012-05-04 16:21:42

阅读数:3469

评论数:2

提示
确定要删除当前文章?
取消 删除