关注
分享
云和数据.张晨光
《Java编程讲义》作者,华为认证讲师，微软MVP，ORACLE认证专家称号，，主要研究方向为JAVAEE、人工智能、AI/VR、算法 、机器视觉，曾经服务过中国铝业、中国烟草等央企,欢迎合作！
展开
-
教材系统
教材管理系统需求说明书引言教材管理仓库在正常运营中面对大量教材书籍、教材信息以及订购信息，学生信息、发放书等信息。现有的人工记录方法既效率低又错误过多，大大影响了教材仓库的正常管理工作。因此需要对教材资源、学生信息、订购信息、发放书等进行管理，及时了解各个环节中信息的变更，有利用管理效率的提高任务概述教材管理系统主要也就是由教材信息、订购信息、学生信息、发放书信息等这几部分组成。...原创 2020-04-17 00:09:05 · 1393 阅读 · 1 评论 -
在HBase的shell命令行界面输入错误项按“退格键“删除，却怎么也删除不了：
在 Xshell 中 使用 hbase shell 进入后 无法删除 问题：在hbase shell下，误输入的指令不能使用backspace和delete删除，使用过的人都知道，这是有多坑，有多苦恼！经过不懈努力，发现绝招：进入到XShell 文件 --> 属性 --> 终端 --> 键盘在 DELETE键序列 和 BACKSPACE键序列 ...原创 2019-06-18 22:42:21 · 1914 阅读 · 1 评论 -
Hbase出现ERROR: Can‘t get master address from ZooKeeper； znode data == null解决办法
问题描述如下：hbase(main):001:0> listTABLE ...原创 2019-06-18 22:32:26 · 8504 阅读 · 0 评论 -
Hive | 加载数据后，出现字段显示为 NULL的问题
进到HIVE命令下，命令格式：在root目录下创建的user.txt文件，格式如下：将创建好的文件加载到新创建的tb_user表中：成功界面：进一步查询：为什么呢?如果按照上面的格式写，会成功的。注意网上格式：规定了数据格式> row format delimited> fields terminated by ' ' //...原创 2019-06-10 17:11:22 · 4645 阅读 · 1 评论 -
ZooKeeper命令、命令行工具及简单操作
常用命令ZooKeeper 支持某些特定的四字命令字母与其的交互。它们大多是查询命令，用来获取 ZooKeeper 服务的当前状态及相关信息。用户在客户端可以通过 telnet 或 nc 向 ZooKeeper 提交相应的命令。 ZooKeeper 常用四字命令见下表 1 所示：表 1 ： ZooKeeper 四字命令 ZooKeeper 四字命令 ...原创 2019-05-31 11:17:43 · 611 阅读 · 0 评论 -
zookeeper节点类型详解
znode创建类型(CreateMode),有以下四种：PERSISTENT 持久化节点PERSISTENT_SEQUENTIAL 顺序自动编号持久化节点，这种节点会根据当前已存在的节点数自动加 1EPHEMERAL 临时节点， 客户端session超时这类节点就会被自动删除EPHEMERAL_SEQUENTIA...原创 2019-05-31 11:16:25 · 4153 阅读 · 0 评论 -
安装zookeeper时候，可以查看进程启动，但是状态显示报错：Error contacting service. It is probably not running
安装zookeeper-3.3.2的时候，启动正常没报错，但zkServer.sh status查看状态的时候却出现错误，如下：JMX enabled by defaultUsing config: /hadoop/zookeeper/bin/../conf/zoo.cfgError contacting service. It is probably not running.jps查...原创 2019-05-31 11:14:04 · 821 阅读 · 0 评论 -
zookeeper
相信大家对 ZooKeeper 应该不算陌生，但是你真的了解 ZooKeeper 是什么吗？如果别人/面试官让你讲讲 ZooKeeper 是什么，你能回答到哪个地步呢？ 我本人曾经使用过 ZooKeeper 作为 Dubbo 的注册中心，另外在搭建 Solr 集群的时候，我使用到了 ZooKeeper 作为 Solr 集群的管理工具。前几天，总结项目经验的时候，我...原创 2019-05-31 09:58:15 · 436 阅读 · 0 评论 -
解决 Unable to load native-hadoop library for your platform方法之一
安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable原因：Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。1、首先找到对应自己hadoop版本...原创 2019-05-25 15:58:49 · 2892 阅读 · 0 评论 -
不就是个短信登录API嘛，有这么复杂吗？
上联：这个需求很简单，下联：怎么实现我不管，横批：今晚上线。经ThoughtWorks洞见（ID：TW-Insights）公众号授权转载暴力破解早上开完站会，小李领了张新卡，要对登录功能做升级改造，在原来只支持用户名密码登录模式的基础上，新增手机号和短信验证码登录。业务分析师薇薇早就准备好了故事卡，并且也考虑到这个功能的特殊性，除了平常的业务性验收标准外，还专门添加了一些和...原创 2019-05-22 15:21:20 · 509 阅读 · 1 评论 -
超详细的Elasticsearch高性能优化实践
这篇将从 ES 的 API 应用测试，性能优化，开发使用等方面展开，深入学习 ES。ES 性能调优ES 的默认配置，是综合了数据可靠性、写入速度、搜索实时性等因素。实际使用时，我们需要根据公司要求，进行偏向性的优化。写优化假设我们的应用场景要求是，每秒 300 万的写入速度，每条 500 字节左右。针对这种对于搜索性能要求不高，但是对写入要求较高的场景，我们需要尽可能的选择...原创 2019-05-22 15:18:50 · 929 阅读 · 0 评论 -
图像识别没你想的那么难！看完这篇你也能成专家
本地生活场景中包含大量极富挑战的计算机视觉任务，如菜单识别，招牌识别，菜品识别，商品识别，行人检测与室内视觉导航等。这些计算机视觉任务对应的核心技术可以归纳为三类：物体识别，文本识别与三维重建。2018 年 11 月 30 日-12 月 1 日，由 51CTO 主办的 WOT 全球人工智能技术峰会在北京粤财 JW 万豪酒店隆重举行。本次峰会以人工智能为主题，阿里巴巴本地生活研究院人...原创 2019-05-22 15:17:08 · 6477 阅读 · 12 评论 -
美国公司连续加班36个小时，只为给华为“多发货”
如果美国政府一意孤行，那美国失去的不仅仅是华为，还是中国市场，是未来的十年。天下网商记者 倪轶容在硅谷一家科技公司工作的华人张维（化名），入职以来第一次遭遇了“三班倒”。他所在的这家公司，是华为的供应商。然而，5月15日，美国商务部将华为列入“实体清单”，对其实施“出口管制”措施，一下打乱了张维所在公司的生产节奏。当天晚上，该公司就成了“加班重灾区”。几天来，甚至有员工36个小时不...原创 2019-05-22 15:23:56 · 678 阅读 · 0 评论 -
天天淘宝，你却不知道个性化推荐技术...
在这个时代背景下，信息爆炸与长尾问题普遍发生，而解决方案之一是个性化推荐技术，那具体什么是个性化推荐，怎么去实现这一过程呢？这篇读者朋友需要做到的是读完以后，对个性化推荐技术有一个全局宏观的认识，对于细节不用过多地苛求。个性化的具象表现：以购物 App(淘宝)为例在日常生活中，你在打开淘宝购物时，可能会遇到以下若干情形： 和好友同时打开 App 后发现，为什么两个人首页各个...原创 2019-05-22 15:15:59 · 932 阅读 · 0 评论 -
阿里专家：工程师快速成长的10个简单技巧
阿里有句非常经典的土话，“今天的最好表现，是明天的最低要求。”如何挖掘潜能、发现更好的自己？今天，阿里巴巴高级无线开发专家江建明（聪安）将认知升级的方法总结出来，帮助你获得快速成长的秘诀（本文内容稍长但值得细细阅读哦）。如何阅读本文？找一个固定不被打扰时间仔细阅读。 在碎片化的时间中，每次读完一段内容。最重要的是每次做到只字不差的阅读，然后停下，带着批判性思维从本文中提取出你觉...原创 2019-05-22 15:15:18 · 923 阅读 · 0 评论 -
中概股最快IPO：瑞幸咖啡成立两年后上市，市值47亿美元
成立一年半，瑞幸咖啡要上市了。在刷新拼多多、趣头条IPO的速度后，它如此急于上市最终的目的无非是两种：一是套现、走人，二是继续烧钱、圈地。一个靠“烧钱”催熟的实体经济，想借助互联网思维上市，在没有实现盈利以前，故事讲得再好听也只是天方夜谭。试想一杯咖啡亏钱卖，即使销量达到可观的程度，最终还是亏损，而且是巨亏，所以这也是星巴克没有打价格战的原因。而瑞幸咖啡所谓的互联网战略，即使拥有了大量...原创 2019-05-18 11:40:07 · 927 阅读 · 0 评论 -
3台廉价机器每秒写入2百万！Kafka为什么那么快？
Kafka 的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka 的特性之一就是高吞吐率。即使是普通的服务器，Kafka 也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得 Kafka 在日志处理等海量数据场景广泛应用。针对 Kafka 的基准测试可以参考 Apache Kafka 基准测试（）《...原创 2019-05-14 23:32:07 · 579 阅读 · 0 评论 -
Netty原理架构解析
本文基于 Netty 4.1 展开介绍相关理论模型，使用场景，基本组件、整体架构，知其然且知其所以然，希望给大家在实际开发实践、学习开源项目方面提供参考。Netty 是一个异步事件驱动的网络应用程序框架，用于快速开发可维护的高性能协议服务器和客户端。JDK 原生 NIO 程序的问题JDK 原生也有一套网络应用程序 API，但是存在一系列问题，主要如下：NIO 的类库和 API ...原创 2019-05-04 08:12:14 · 474 阅读 · 0 评论 -
Redis 5.0新功能介绍
Redis5.0版是Redis产品的重大版本发布，我们先看一下它的最新特点：新的流数据类型(Stream data type) https://redis.io/topics/streams-intro 新的 Redis 模块 API：定时器、集群和字典 API(Timers, Cluster and Dictionary APIs) RDB 增加 LFU 和 LRU 信息 集群管理器从...原创 2019-05-04 08:05:10 · 415 阅读 · 0 评论 -
有哪些事，是你做了领导后才明白的？
1决策者永远比执行者累，要负的责任和要做的事的大小的影响都是完全不同的概念。2公司失败了，永远是老板的责任，老板不会说公司失败了是因为招了一堆垃圾员工，因为招什么人的责任也是老板自己来背。这个原则向下同样适用于任何管理职位。3从来不会因为某个技术问题发愁，让人累的都是人…...4很多时候明明已经对全部人交代了，但很多人还是要单独确认，同样的话总是要翻来覆去的...原创 2019-05-14 23:33:17 · 584 阅读 · 0 评论 -
我尽力了，为啥还是Bug不断？
99.999999999% 做技术的都会被问到或者被吐槽到：“你的程序怎么又出 Bug 了！”反正，我作为程序员的内心世界是：如同一万只草泥马飞奔而过，难以压抑内心的激动，每次都差点忍不住想说“你写篇几百字的作文还有错别字呢，我码个几万行的代码还不允许出错了？“可能同样是做技术的你此时在不断点头，哈哈。但是这么讲毕竟也缓解不了矛盾，我们还是得摆事实讲道理不是？啥都不怕，就怕程序...原创 2019-05-14 23:31:29 · 546 阅读 · 0 评论 -
今天，我把阿里巴巴科学家叔叔问倒了
一大早，爸爸急匆匆出门了，不过他今天还带上了我。我歪着头问他：老爸，我们去哪里呀？爸爸转头给我一个大大的笑容：走，今天让你做回小小科学家。原来，今天是第15个“阿里日”，所有在阿里工作的叔叔阿姨都可以带着亲属到上班的地方参观，而且据说还有很多有趣的体验活动呢。走进阿里巴巴的西溪园区，我脑子里只有一个字：大！大！大！穿过拥挤的人群，来到小小科学家“根据地”附近，只见前...转载 2019-05-14 23:30:39 · 436 阅读 · 0 评论 -
我是技术总监，你干嘛总问我技术细节？
每个周末的午后，把儿子送进 EF 读书，随后找个环境幽静的咖啡馆坐一会，这便是我一周中最放松的时光。在咖啡厅的气氛和环境这两点上，我似乎有强迫症，比如装修主色调的运用，地上装饰是否比较体验文化气息，营造了一场视觉盛宴，尤其在比较细微的地方我会非常关注。简单说，必须能让我一进门就迅速有耳目一新的感觉，要不然我就会转头离开。因为我觉得只有在这样的环境中，闲暇时能够更加放松和享受，写出的...转载 2019-05-14 23:29:57 · 694 阅读 · 0 评论 -
从服装供应链看产业互联网的机会
中国服装产业在过去30年经历了高速增长-库存积压-存货出清-重新增长的几个周期，现今，产业各环节迎来新的机会与挑战。文：源码资本服装行业存在三大痛点：1.用户追求穿着个性化与供应链端规模化生产、反应慢、制造成本高的矛盾2.用户追求高性价比的服装与服装品牌加价率高的矛盾3.产品更新换代周期短与库存问题严重的矛盾源码相信服装供应链存在两个趋势：1.服装供应链从长生产周期的订...转载 2019-05-04 08:15:32 · 698 阅读 · 1 评论 -
阿里云：面向5G时代的物联网无线连接服务
在4月24日落幕的2019中国联通合作伙伴大会“5G+物联网（IoT）论坛”上，阿里云高级运营专家李茁出席圆桌对话，分享了5G时代物联网如何更好地推动行业完成生产、管理和商业模式的创新，阿里云又会以何种策略完成生态圈的共创和共赢。“让5G更懂互联网”这是李茁对于这个时代物联网的展望。他表示：正是得益于5G更低时延、大带宽的网络，才使得自动驾驶、智能穿戴行业将迅速发展，物联网设备量与数据量也...原创 2019-05-04 08:07:01 · 826 阅读 · 0 评论 -
走近科学，探究阿里闲鱼团队通过数据提升Flutter体验的真相
背景闲鱼客户端的flutter页面已经服务上亿级用户，这个时候Flutter页面的用户体验尤其重要，完善Flutter性能稳定性监控体系，可以及早发现线上性能问题，也可以作为用户体验提升的衡量标准。那么Flutter的性能到底如何？是否像官方宣传的那么丝滑？Native的性能指标是否可以用来检测Flutter页面？下面给大家分享我们在实践中总结出来的Flutter的性能稳定性监控方案。...转载 2019-05-04 08:06:01 · 798 阅读 · 0 评论 -
序列的相似性
序列的相似性可以是定量的数值，也可以是定性的描述。相似度是一个数值，反映两条序列的相似程度。关于两条序列之间的关系，有许多名词，如相同、相似、同源、同功、直向同源、共生同源等。在进行序列比较时经常使用“同源”（homology）和“相似”（similarity）这两个概念，这是两个经常容易被混淆的不同概念。两条序列同源是指它们具有共同的祖先。在这个意义上，无所谓同源的程度，两条序列要么同源，要么不...原创 2019-05-04 08:02:20 · 9033 阅读 · 2 评论 -
海量数据,海明距离高效检索(smlar)
（1）什么是海明距离两个码字的对应比特取值不同的比特数称为这两个码字的海明距离。在一个有效编码集中,任意两个码字的海明距离的最小值称为该编码集的海明距离。举例如下：10101和00110从第一位开始依次有第一位、第四、第五位不同，则海明距离为3。（2）海明距离的几何意义n位的码字可以用n维空间的超立方体的一个顶点来表示。两个码字之间的海明距离就是超立方体两个顶点之间的一条边，而且是这两个顶点之...原创 2019-05-04 08:00:35 · 1872 阅读 · 0 评论 -
客户体验引爆点
客户体验不仅仅是服务行业的品牌承诺消费者是如何选择一家公司的？虽然广告和公共信息确实产生了一些影响，但客户体验更为重要。调查显示，个人体验（50%），以及朋友、家人和同龄人的意见（20%）对购物决策的影响最大。相比之下，只有16%的消费者将品牌声誉作为选择根据，12%的消费者会受到网络广告或传统媒体的影响。客户体验决定了公司的成败现在的客户很快就会对公司的负面体验进行处罚，并对积极的体...原创 2019-05-03 08:30:14 · 632 阅读 · 0 评论 -
什么推动当今品牌的忠诚度
Morning Consult发布了新报告“什么推动当今品牌的忠诚度”。只有1/5的美国成年人忠实于特定品牌，并购买大部分商品；1/3的消费者即使喜欢某个品牌也会尝试不同的产品。研究发现，某些消费者似乎比其他人更具品牌忠诚度。例如，富裕人群（年收入至少10万美元）中有29%忠诚于特定品牌，而整体受访者则为19%。富裕人群最倾向于将“高质量”与他们忠诚的品牌联系起来，94%这么认为，相比之下...原创 2019-05-03 08:29:20 · 636 阅读 · 0 评论 -
Facebook：15年来最重要的转型，F8大会掀开打造私密社交网络的新篇章
私密空间跟公共空间同样重要跟现实生活中一样，在数字生活中，人们也同时需要网络公众空间和网络私密空间。网络公众空间就如同线下的公共广场，人们可以自由地与广场上的任何一个人交流，做生意，发生任何事情。而网络私密空间就如同客厅，这里你只会跟最亲密的朋友，家人进行分享。过去15年以来，Facebook主要以打造Facebook，instagram这样的网络公共空间为主。公共空间的魅力在于我们可...原创 2019-05-03 08:28:04 · 868 阅读 · 0 评论 -
像《王者荣耀》一样红过
电子游戏的历史，如果以1970年代开始出现为起点，到如今也就40多年历史，这比起电视的历史是微不足道的，就更别提电影了。电子游戏自出现以来，也一直被主流媒体不接受，很多人都称为电子海洛因，每每谈起人们都避之不及，好似他就是那个被封禁的诅咒，接触的人会丧去心智。国内游戏被搬上主流平台，是最近几年的事情，虽然我们的WCG 中国区冠军早在2001已经拿到，并在2003 年国家体育总局就把电...转载 2019-04-28 00:21:56 · 2026 阅读 · 5 评论 -
从王者荣耀聊聊游戏的帧同步
这是王者荣耀技术分析系列第二篇，有兴趣请持续关注我的blog和公众号。1、像《王者荣耀》一样红过2、从《王者荣耀》来聊聊游戏的帧同步3、游戏服务器的架构演进农药自从上线以来，依靠着强大的产品力以及腾讯的运营能力，在游戏市场上表现可谓是风生水起，根据第三方的调研数据显示，《王者荣耀》渗透率达到22.3%，用户规模达到2.01亿人，每日的日活跃用户（DAU）均值为5412.8...转载 2019-04-28 00:17:53 · 1114 阅读 · 0 评论 -
Netcraft ：2019年4月全球Web服务器排名 nginx首度登顶
Netcraft发布了2019 年 4 月 Web 服务器调查报告，排名前三的是 nginx、Apache 和 Microsoft Server。这是 nginx 首度登上第一宝座，其原因来自于微软和 Apache 市场份额的减少。四月份比三月的统计少掉了一些网站，而这些网站大部分来自于微软和 Apache，这两家供应商的的市场份额分别下降了 1.01 和 0.87 个百分点。Netcra...原创 2019-04-27 02:34:12 · 1657 阅读 · 0 评论 -
火山小视频&尼尔森：2019新线消费市场人群洞察报告（附下载）
该报告由火山委托尼尔森，针对国内城市发展新背景下的营销现状，进行了深度数据分析和大量人群调研，从四大维度定义出全新的营销抓手——新线城市概念。《新线报告》中提出，“经济发展趋势良好向上，居民消费水平高速提升的城市，被称为新的消费前线城市”，其中，经济发展趋势、市场体量、居民消费增长、互联网发展水平称为衡量新线城市的四项维度，从剩余财富累积到便利的消费环境，既有利于培养同好群体，也为消费市场带来...转载 2019-04-27 02:31:02 · 1839 阅读 · 0 评论 -
揭秘：高盛交易员赚取10亿美元利润的神秘“利器”终于公开了
华尔街知名投行高盛集团（Goldman Sachs）一直是全球交易最赚钱的机构之一。其中，多年以来，高盛交易员凭借一款“神秘”的交易利器，每年为公司赚取10亿美元利润，且能够避免数十亿美元的亏损。这款神秘的赚钱“利器”到底是什么？高盛终于决定将之公布于众，它就是自营交易引擎“SecDB”。事实上，SecDB就是一个数据库平台。高盛决定将在开发者合作网站GitHub上发布一些代码。高盛分享的...原创 2019-04-27 02:22:11 · 1014 阅读 · 0 评论 -
为什么技术最牛的码农当不了首席工程师？
金三银四招聘季，公司的管理者都在思考：在现在的市场环境下，到底应该为自己的公司注入怎样的新鲜血液来维持发展。工程师们同样也在思考如何获得更多成长和晋升的途径。Eduards Sizovs 是 DevHub 的创始人，立志于为软件工程师群体提供专业的职业咨询服务，同时也是一位欧洲知名的技术布道师。今天 Eduards Sizovs 基于行业经历，介绍现在工程师市场中稀缺的 “T” 型人才...原创 2019-04-27 02:10:35 · 563 阅读 · 0 评论 -
重新定义“人货场”：淘宝情景计算探索实践
过去二十年，由于互联网的发展，零售由线下往线上迁移。近些年，伴随着智能手机的普及，越来越多的线上零售在移动终端上完成。随着这些移动设备计算力和存储力的日益强大，智能手机也正在成为强大的计算平台，为复杂的端上情景计算提供了可能。情景计算是利用大数据和机器学习算法在移动设备上主动感知用户状态及用户所处的环境，预测用户意图，对新零售中“人货场”等商业要素提供新的可能。与传统云上计算不同的...原创 2019-04-23 23:10:38 · 1148 阅读 · 0 评论 -
系统分析之100亿级日志系统是怎么设计出来的?
日志是记录系统中各种问题信息的关键，也是一种常见的海量数据。日志平台为集团所有业务系统提供日志采集、消费、分析、存储、索引和查询的一站式日志服务。主要为了解决日志分散不方便查看、日志搜索操作复杂且效率低、业务异常无法及时发现等等问题。随着有赞业务的发展与增长，每天都会产生百亿级别的日志量（据统计，平均每秒产生 50 万条日志，峰值每秒可达 80 万条）。日志平台也随着业务的不断发展...原创 2019-04-23 23:09:47 · 938 阅读 · 0 评论 -
程序员在网吧写代码被暴打一顿！
近期在网上看到一个新闻，程序员在网吧写代码被人暴打一顿！事情是这样子的，那位程序员家里电脑坏了，又有一个很急的项目要赶，就在小区楼下的网吧去写代码！由于时间很急，项目有很大，程序员的思路必须非常清晰，不能被打断。而在另一旁两个小伙正在双排撸啊撸。大声喊，“我拿红”“他们在大龙”“快来，快来中路团一波”，程序员思路屡屡被打断，就提醒了那两位小伙子，但是人家不听啊...转载 2019-03-14 15:16:16 · 775 阅读 · 0 评论