自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(62)

原创 Apache Phoenix系列 | 真 · 从入门到精通

By 大数据技术与架构文章简介:Phoenix是一个开源的HBASE SQL层。它不仅可以使用标准的JDBC API替代HBASE client API创建表,插入和查询HBASE,也支持二级索引、事物以及多种SQL层优化。此系列文章将会从Phoenix的语法和功能特性、相关工具、实践经验以及应用案例多方面从浅入深的阐述。希望对Phoenix入门、在做架构设计和技术选型的同学能有一些帮助。...

2019-09-26 00:50:13 123

原创 MyCat数据库的基础配置及使用

一、为什么需要分布式数据据库随着计算机和信息技术的迅猛发展,行业应用系统的规模迅速扩大,行业应用所产生的数据量呈爆炸式增长,动辄达到数百TB甚至数百PB的规模,已远远超出传统计算技术和信息系统的处理能力,集中式数据库面对大规模数据处理逐渐表现出其局限性。因此,人们希望寻找一种能快速处理数据和及时响应用户访问的方法,也希望对数据进行集中分析、管理和维护。这已经成为迫切需求。分布式数据库是在集...

2019-09-26 00:48:04 69

原创 【技术分享】机器学习之回归原理详述(一)

导语:本文用了从数学层面和代码层面,再结合一些通俗易懂的例子,详细地描述了回归主要涉及的原理和知识,希望对于机器学习的初学者或者有兴趣研究模型具体实现的同学带来一点帮助。接上篇文章我们知道了,机器学习中重要的一步是数据的分析处理。其简单的流程图如下:上篇文章中我们了解了数据的预处理方式,今天我们聊聊,已经有了多维特征的数据,怎么得出我们想要的结论。这部分的内容无疑是机器学习的核...

2019-09-26 00:43:07 80

原创 清华新版计算机学科推荐学术会议和期刊列表发布

最近,清华大学计算机学位评定分委员会针对其负责的计算机科学与技术、软件工程、网络空间安全三个一级学科(简称“相关学科”),制定了“研究生学位创新成果要求”,同时分委员会还发布了最新版《清华大学计算机学科推荐学术会议和期刊列表》。这份“规定”一经公布,就引起了清华计算机系内师生的疯狂吐槽,可谓有人欢喜有人忧。早在今年四月,清华大学就对外公布了《清华大学关于完善学术评价制度的若干意见》...

2019-09-26 00:41:08 341

原创 【技术分享】机器学习之回归原理详述(一)

上篇文章中我们了解了数据的预处理方式,今天我们聊聊,已经有了多维特征的数据,怎么得出我们想要的结论。这部分的内容无疑是机器学习的核心,这里我们会涉及怎么建模,建模后怎么求解模型等一系列问题。方法论 说这些问题之前,我们先聊聊建模时候的一些方法论。和工作一样,一些方法论的建立能很大程度上提高我们的效率。在我们建模计算中,合理地假设总是必要的。合理性: 假设是在常理上...

2019-09-26 00:38:02 75

原创 周杰伦600万新专销量背后:“白嫖”的一百种姿态

1.一边是唾手可得的“白嫖”资源,一边是需要重塑的消费习惯,心中天平早已有了倾斜的方向。2.其实国内的偶像经济,比如蔡徐坤等流量明星,也是照搬的韩国造星模式,但从各方面来说都还差一口气。3. 只有当大众都对盗版说“NO”时,“白嫖党”们的一百种姿态,才有可能少见。《说好不哭》一出,周杰伦没哭,大家哭了。上线不到20个小时,销量突破600万张,因为一时涌入太多用户,甚至导致了QQ音乐的瘫...

2019-09-17 22:59:39 64

原创 周杰伦有多火,新歌成QQ音乐史上销量最高

从昨天11点到现在,没有微博的周杰伦一直牢牢占据着微博热搜的第一位。他的新歌《说好不哭》一发布,立刻刷屏了微博和朋友圈。周杰伦有多火?也许这几个数据可以让你有一定的直观感受:2010年时,周杰伦全球歌曲下载量排名第三,仅次于迈克尔杰克逊和Lady Gaga;到了2018年,一首《晴天》依旧能在网易云收获200万条评论,而现在的热歌榜榜首《芒种》的评论数还不到其1/10。腾讯音乐娱乐集团...

2019-09-17 22:55:53 103

原创 程序员经典英文名字

不管是在互联网行业,就算是在其它行业都有很大可能需要为自己起一个英文名字,而取名字的时候常常让我们很为难,应该怎样为自己取一个好的英文名呢,最近笔者看到了一篇外国人为他们的孩子取名字的文章,可供参考!男性:aaron(希伯来)启发的意思,aaron被描绘为不高但英俊的男人,诚实刻苦具有责任感,是个有效率个性沉静的领导者。 abel(希伯来)"呼吸"的意思,为abelard的简写,大部份的人认为ab...

2018-05-19 04:20:01 9009 1

原创 程序员为自己的职业生涯规划很重要

程序员是一个高风险职业,很多人对自己的职业生涯没有清晰的概念,以至于最后落得不得不转行的尴尬局面,这个转行一般有两个原因,一个是技术跟不上,一个是身体吃不消。今天正好有时间,结合自身的职业生涯规划,来分享一下个人心得,希望有人可以从中借鉴,找到自己的方向1.选择比努力更重要选择有两个方向,第一是选择企业,第二是选择技术方向,这里针对不同人群,建议参考两点,1).对于职场新人,不要过多的考虑钱的因素...

2018-05-19 04:15:59 4587

原创 揭秘:程序员与性生活

作者:四川熊猫仔在朋友圈看到了有人分享了知乎这个问题就去搜来了原文「优秀的女生是没有性生活的」看,觉得好有意思,链接我就不贴了,大家可以自己搜来看。结合着这个套路仿写了一个「优秀的程序员是没有性生活的」致敬原文。全文都是我虚构的,欢迎吐槽(我也是闲得蛋疼)​前几天我面试一个程序员,连续问了几个算法问题都没答得上来,问到了项目经历,细节问题百发百丢,一问三不知。眼前的这个程序员似乎陷入了窘态,眼神四...

2018-05-19 04:12:04 1073 1

原创 程序员如何向女朋友介绍自己的工作?

今天一个关于阿里巴巴向女朋友介绍工作的视频火了,女人对我们的工作理解的更是五花八门。在不少女人眼里:程序员是修电脑的建筑设计师等于 “包工头”心理咨询是算命的来看看阿里巴巴的工程师的女朋友是如何理解工作的吧?不知道你是如何跟自己的女朋友介绍自己的工作的呢?据说,99% 的上班族都在逃避这个问题:如何向女朋友介绍工作?...

2018-05-19 04:08:19 1356

原创 程序猿和设计师面试时的经典对白

最近一组程序员&HR的表情包在网上火了来来来,让我们一起感受下程序员怎么和HR斗智斗勇最后,一起来说说,你面试的时候经历过那些趣事~~

2018-05-19 04:02:01 631

原创 面试时如何更好的展现自我?

有的人,可以口若悬河、妙语连珠讲3分钟,有的人,可能磕磕巴巴,讲了30秒,前者一定能胜过后者,然则未必,今天就来聊一聊,面试的经典问题——自我介绍。为什么要做自我介绍通常说来,大大小小的面试,尤其是针对基础岗位,都会被问到这个问题,甚至有些面试技术还有些生硬的面试官,屁股还没坐稳,就把这个问题抛给应聘人员了,那么作为求职者,要首先明白,面试官为什么要让你做自我介绍?简单说来,包括以下几个原因:1....

2018-05-19 03:58:36 176

原创 雷军不一样的精彩人生!

雷军,1969 年 2 月 16 日出生于湖北省仙桃市;1991 年,毕业于武汉大学计算机系;1992 年,加入金山公司;1994 年,出任北京金山总经理;1998 年,任重组后的金山总经理。几个月前,雷军、王江民、鲍岳桥三人去西安参加一个会议,会场打出的条幅是“软件业巨 子汇聚西安”。当有记者采访雷军的时候,雷军说:“我算不上巨子,旁边两位才算得上巨 子。虽然,我内心不承认我程序比他们写得差距有...

2018-05-19 03:55:13 2379

原创 揭露业内人士不会诉诸于口的真相

真相#1“你所不知道的是,很多我们每天都使用的关键软件(如 Mac OS X 和 Facebook),作为一个整体虽然可以正常工作,但是实际上它们的背后充斥了各种的弊端和缺陷。这就像是你兴致勃勃地拆开了一架全新的 747 飞机,但是却发现燃料线是由衣架固定的,起落架是用胶带粘贴的。” ——Ben Cherry这其实是非常有意思的一件事:网页和程序外观精美、运行流畅,但是却很有可能只是完美在前端上(...

2018-05-16 23:07:27 191 2

原创 教你如何摆脱“普通程序员”标签

很多开发人员日常工作中接到需求直接动手开发,在开发过程中一边开发一边设计,特别是刚入职的程序员,大多数更是只注重功能的实现,接到需求后往往只是在脑中勾画一个大概的实现方案,随即直接动手开发;这种现象是多方面因素导致的,首先可能由于时间紧迫,不能整体把控,只能做一步看一步,在加上可能需求很小,稍作改动,功能就可以实现,完全没必要花时间去做设计。但是这样做却会导致很严重的后果,最直接的就是很多人为了实...

2018-05-16 22:57:21 252 1

原创 分析时间序列相关算法

首先,从时间的角度可以把一个序列基本分为3类:1.纯随机序列(白噪声序列),这时候可以停止分析,因为就像预测下一次硬币哪一面朝上一样毫无规律。2.平稳非白噪声序列,它们的均值和方差是常数,对于这类序列,有成熟的模型来拟合这个序列在未来的发展状况,如AR,MA,ARMA等(具体模型算法及实现在后面)3.非平稳序列,一般做法是把他们转化为平稳的序列,在按照平稳序列的算法进行拟合。如果经过差分后平稳,则...

2018-04-08 00:13:50 1492 18

原创 网约车进入新战国时代 火药味再升级?

继美团打车、高德顺风车后,携程专车也于今日入局。今日,携程宣布旗下的携程专车获得天津市交通委代交通部交通运输部颁发的《网络预约出租汽车线上服务能力认定》,也就是俗称的“网约车牌照”。这就意味着,携程专车具有了网络预约出租车线上服务能力,可在全国范围通用。▌在网约车合法化的今天  滴滴们还好吗?所谓衣食住行,随着人们生活水平的不断提高,“行“越来越被人们所重视。网约车的出现,其低廉的价格以及舒适的出...

2018-04-08 00:07:34 611 20

原创 网易与腾讯从来都不曾“恩爱”

两个月前,就在笔者论述腾讯网易互授音乐版权“达到各自独家音乐作品数量的99%以上”时,曾向读者抛出了一个问题投票“如果在线音乐平台都相互授权,你会保留哪款App呢?”来自5000多位的读者投票结果显示,那是火辣辣的亮眼睛。可以看到,在市场中五款同类音乐App中,网易云音乐在用户的呼声中最高,“冲着评论区”、“UI人性化”、“有Linux平台的客户端”、“用户体验”、“情怀”……这都成为绝大多数用户...

2018-04-07 23:59:02 556 17

原创 IT 人真会被当做「弱势群体」而受到「欺负」

你会发现这个故事不像是虚构的IT 人真会被当做「弱势群体」而受到「欺负」如何改变,才能让那些人闭嘴?1当比尔接到 HR 副总裁的电话那刻起,倒霉的日子算是来了。之所以这样说,并不是比尔犯了大错,公司打算开除他,实际上恰恰相反,他被 CEO 史蒂夫直接任命为 IT 运维副总裁。升职这件事也许在别人眼中是个好事,但比尔却不这么认为......前 CIO 和 前 IT 运维副总裁突然离职,明显是被一些不...

2018-04-07 23:46:33 599 15

原创 月薪7万可以落户北京

自前不久,“月薪7万可以落户北京”的消息公布以来,和薪资相关的话题热度就一直居高不下。笔者注意到,这个话题大家讨论热烈的原因,并非想唏嘘「月入五万的西二旗人教你如何活得像月薪五千」,也不是想八卦有「xx万人在北京假装生活」……而是因为它戳中了像我一样薪资不高、工作压力还大的人的痛点。痛点源自我们已然产生了在大城市生活越来越艰难的心理。这种心理的产生,说实话,并非是我们个人的问题,而是在日常生活中,...

2018-04-07 23:39:14 1097 20

原创 谷歌利用AI生物医疗视网膜眼底图像测心脏病

对于谷歌的研究人员来说,眼睛是一个人健康与否的标志。目前,这个科技巨头公司正在通过分析人类的视网膜照片,通过深度学习,对人的血压、年龄以及吸烟情况进行预测。其初步结果显示,机器可以通过这些信息预测心脏病的发生,从而做出有效的预防措施。 这项研究依赖于卷积神经网络,这是一种深度学习算法,它改变了生物学家对图像的分析。科学家们正借助于这种方法来寻找基因组中的突变,并预测单个细胞的布局变化。谷歌的方法在...

2018-02-22 00:33:39 1431 20

原创 最新机器学习入门八大基础概念

1 自然语言处理自然语言处理对于许多机器学习方法来说是一个常用的概念,它使得计算机理解并使用人所读或所写的语言来执行操作成为了可能。自然语言处理最重要的最有用的实例:① 文本分类和排序这项任务的目标是对一个文本进行预测标签(类别)或对列表中相关联的文本进行排序。它能够用于过滤垃圾邮件(预测一封电子邮件是否是垃圾邮件),或进行文本内容分类(从网络上筛选出那些与你的竞争者相关的文章)。② 情感分析句子...

2018-02-22 00:27:19 1140 21

原创 Focal Loss 函数用于密集对象检测

为了达到这个目的,我们把训练阶段的类别不平衡性视为一阶目标检测系统精度的瓶颈,并提出了了解决这个瓶颈的全新的损失函数。在此基础上,我们设计了一个名为RetinaNet的一阶目标检测模型。Focal Loss2.1 Cross entropy  二分类问题中loss的定义如下:  上式中代表样本属于1的概率。y代表标签。为了表示方便,我们定义如下:  CE loss 如下图中的蓝色曲线所示,这个lo...

2018-02-22 00:22:33 2992 20

原创 Python 实现多层前向神经网络

一层中加权求和,根据非线性方程进行转化输出;理论上,如果有足够多的隐藏层和足够大的训练集,可以模拟出任何方程;二、设计神经网络结构使用神经网络之前,必须要确定神经网络的层数,以及每层单元的个数;为了加速学习过程,特征向量在传入输入层前,通常需要标准化到0和1之间;离散型变量可以被编码成每一个输入单元对应一个特征值可能赋的值比如:特征值A可能去三个值(a0,a1,a2),那么可以使用3个输入单元来代...

2018-02-22 00:19:30 1476 20

原创 Python库是最受欢迎的机器学习

过去两年来,我们一直通过发表博文的方式做这件事,指出当年 Python 社区中出现的一些最佳工作。现在,2017 年即将结束,又到了总结的时刻。但是这次开源库的评选限定在了机器学习的范围内。也许非机器学习库的大牛认为我们有偏见,恳请你们原谅。很希望读者在评论中对本文做出反馈,帮助我们查缺补遗未收录的顶级软件。因此,放轻松,让我们开始吧!1. Pipenv2017 年排名第一的 python 库非 ...

2018-02-22 00:15:35 656 18

原创 实现3D扫描的大规模「场景完成」和「语义分割」

向大家介绍一下ScanComplete,它是一种全新的数据驱动方法,用于将场景的不完整3D扫描作为输入,然后预测一个完整的3D模型以及每个体素语义标签。我们方法的主要贡献在于,它能够处理具有不同空间范围的大场景,并且随着场景大小的增加,所管理的数据大小也呈立方级增长。为此,我们设计了完全卷积生成式3D CNN模型,其过滤内核相对于整体场景大小来说具有不变性。该模型可以在场景子卷(scene sub...

2018-02-22 00:11:02 2178 19

原创 图像人脸进行检测、识别和跟踪

最近整理了CV方向的一些产品基础知识,我上一篇文章《看AI产品经理如何介绍“计算机视觉”(基于实战经验和案例)》算是这个系列的第一篇;本文是本系列下的第二篇,主要针对人脸识别进行梳理。后续还会有多目标跟踪、OCR等方向的内容。希望大家能从这个系列收获到更多的CV干货:)人脸识别(Face Recognition):对图像中的人脸进行检测、识别和跟踪。1技术流程详解技术流程:1、人脸采集人脸采集主要...

2018-02-22 00:07:12 13100 21

原创 最新二阶验证性因子分析

前面介绍斜交验证性因子分析的时候,草堂君帮助过大家进行“名字记忆”,斜交代表相关,正交代表不相关。斜交验证性因子分析适用与潜在变量之间相关的情况,如下图所示,左图是直交模型,三个潜在变量(内容评价,功能评价和用户感知价值)之间的协方差(相关系数)为0;右图为斜交模型,三个潜在变量之间存在不为0的协方差。上面两个模型都是一阶的验证性因子分析模型,如果潜在变量之间存在相关性,且相关性比较高(大于0.6...

2018-02-22 00:03:45 6792 20

原创 Python实现微信公众号爬虫进行数据分析

网络爬虫是一个非常注重实践性而且实用性很强的编程技能,它不是程序员的专属技能,任何具有一定编程基础的人都可以学习爬虫,写爬虫分析股票走势,上链家爬房源分析房价趋势,爬知乎、爬豆瓣、爬新浪微博、爬影评,等等马云说:数据是新一轮技术革命最重要的生产资料。人工智能时代,对数据的依赖越来越重要,数据主要的来源就是通过爬虫获取,通过爬取获取数据可以进行市场调研和数据分析,作为机器学习和数据挖掘的原始数据。爬...

2018-02-21 23:59:45 1602 22

原创 MIT 与 Facebook 用于动作分类和定位的大规模视频数据集的标注方法

图像分类和目标检测领域近年来取得了重大的平行进展。可以认为,这些进展归功于数据集的质量提高和数量增长,进而逐步成功地应用到了更复杂的学习模型中。在图像分类中,我们有从 Caltech101(2004,只有 9146 个样本)到 ImageNet(2011,包含 120 万个样本)这样的数据集。在目标检测中,尽管收集边界框信息所需的额外人类标注成本提高了,但也出现了训练集规模逐渐扩展的相似趋势。Pa...

2018-02-21 23:54:01 1573 21

原创 如何用Python来实现线性回归呢?

由于机器学习库scikit-learn的广泛流行,常用的方法是从该库中调用linear_model来拟合数据。虽然这可以提供机器学习的其他流水线特征(例如:数据归一化,模型系数正则化,将线性模型传递到另一个下游模型)的其他优点,但是当一个数据分析师需要快速而简便地确定回归系数(和一些基本相关统计量)时,这通常不是最快速简便的方法。下面,我将介绍一些更快更简洁的方法,但是它们所提供信息量和建模的灵活...

2018-02-21 23:49:09 1304 21

原创 为何终端场景会催生专用芯片?

终端的场景为什么一定要用终端芯片,而不能通过一个捕捉器做网络传输送到云端、送到服务器端,用服务器的CPU、或GPU、或TPU去处理,然后再返回数据呢? 是因为你的网络无论多快,中间都有几百毫秒的时间差,而终端芯片未来都需要做到当机立断、直接分析。 比如一个机器人,它看到你之后,需要迅速分析出你有什么特点,并跟你对话。这个过程中,如果机器人只有接收器,需要传送到云端再回来,无论网络多快,都会有时间差...

2018-02-21 22:24:18 645 19

原创 AI领域真正最稀缺的人才是“庖丁解牛”

图片来源:Wired这里,就不卖关子了。AI领域最最最最最稀缺的人才应该为人工智能架构师。有过4次技术创业经历,如今做AI投资的星瀚资本创始合伙人杨歌如是说。在杨歌的身上,传奇的经历多得是。清华学霸,技术男,四次技术创业经历,创建青年精英商业联合会,投身PE,创办星瀚资本,圈内最懂AI技术的投资人之一......然而,最打动我的,并非这些光鲜的字眼,而是他身上强大的势能,他眼里的平静和坚定,以及他...

2018-02-21 22:21:49 650 19

原创 最新AdaBoost算法原理与理解

一、基本概念元算法(meta-algorithm,又称为集成方法(ensemblemethod)):是对其他一些算法进行组合的一种方式(当下最流行的元算法是AdaBoost算法),使用集成方法时会有多种形式,可以是不同的算法的集成,也可以是同一种算法在不同设置下的集成,还可以是数据集不同部分分给不同分类器之后的集成。自举汇聚法(bootstrap aggregating),也称为bagging方法...

2018-02-21 22:18:30 894 21

原创 最优间隔分布学习的优越性

聚类是机器学习、数据挖掘和模式识别中的一个重要研究领域,其目标是分类相似的数据点。它催生出了包括信息检索、计算机视觉、生物信息学等在内的大量新研究,并且不同的聚类算法已被提出超过十年(Jain and Dubes 1988; Xu and Wunsch 2005; Jain 2010)。最近有一种称为最大间隔聚类(MMC/maximum margin clustering)的方法,它基于支持向量机...

2018-02-21 22:15:37 646 18

原创 AI已经成为NVIDIA的主要增长引擎

通过开发了一套并行编程API、库和相关的软件开发工具CUDA(Compute Unified Device Architecture)支持GPU平台的应用程序开发,包括OpenCL开放的标准框架、各种处理器架构加速和OpenACC(高级语言的标准编译器指令)。NVIDIA还在全球建立了超过20个GPU中心,数百个学术机构的GPU研究和教育中心的全球网络,提高通用GPU编程软件工具开发的速度,通过与...

2018-02-21 22:11:52 535 18

原创 可以预测女朋友什么时候会生气的人工智能

现在,人工智能预测已经积累了若干成功的案例,能够分析视频流和识别数以千计的主题,使用人工智能技术深入分析内容。在用人工智能预测“女朋友什么时候生气”问题上,涉及到基础、技术、应用几个方面。基础层  对于预测情绪,涉及海量数据,呼唤与人工智能相匹配的云计算新型架构,数据的存储、调取方面实现毫秒传输,不然一切都会显得没有意义;为此,我们首先需要采集你女朋友生气和高兴的数据:基本维度、内在因素、外在因素...

2018-02-21 22:09:07 576 18

原创 微信小游戏跳一跳Auto-Jump算法详解

在获取到屏幕截图之后,就是个简单的视觉问题。我们需要找的就是小人的位置和下一次需要跳的台面的中心。如图所示,绿色的点代表小人当前的位置,红点代表目标位置。 多尺度搜索 Multiscale Search这个问题可以有非常多的方法去解,为了糙快猛地刷上榜,我一开始用的方式是多尺度搜索。我随便找了一张图,把小人抠出来,就像下面这样。 另外,我注意到小人在屏幕的不同位置,大小略有不同,所以我设计了多尺度...

2018-02-21 21:46:45 630 22

原创 程序员该不该有职业资格证?

最近广州又有公务员考试了。据说考上了公务员,就有了稳定的收入并且可以有充足的时间干自己的事情,且不担心被解雇,那我心中就有点想法了怎么在IT界混迹2年多却还没发现程序员们有这类金饭碗?作为IT从业者,我们似乎总是处在动荡之中,如果你正在一家公司用一门冷门的编程语言写代码,可能会担心以后跳槽的时候找不到类似的工作。当行业内的不同领域火起来的时候,你可能会担心自己是不是错过了什么,害怕被这个时代淘汰。...

2018-02-05 03:20:30 3996 33

空空如也

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除