机器学习算法
文章平均质量分 65
主要整理python常用的算法库和机器学习案例
清平乐的技术博客
学如逆水行舟,不进则退。
展开
-
Apollo模块和技术要点
apollo是百度的自动驾驶开源框架,根据自动驾驶的功能划分为不同的模块,下面会根据目录结构和功能模块分别介绍和学习 apollo模块。目录结构cyber 消息中间件,替换ros作为消息层docker 容器相关docs 文档相关modules 自动驾驶模块,主要的定位,预测,感知,规划都在这里calibration 校准,主要用于传感器坐标的校准,用于感知模块做传感器融合canbus 通讯总线,工业领域的标准总线,鉴于工业界的保守,我估计后面会有新的总线来取代common co转载 2022-05-07 10:42:39 · 598 阅读 · 0 评论 -
无人驾驶技术架构—百度Apollo介绍
今天我们以百度Apollo为例,讲讲无人驾驶的技术架构。通过本文的学习,希望大家可以初步建立起了对百度Apollo的架构的认知。一、Apollo架构先来看一张百度Apollo技术框架图:可以看到该架构分为四层,其中除了Cloud Service Platform部分是运行在云端的,其他的都是车端的系统。Open Software Platform自动驾驶系统最为重要的软件层。这一层包含了最底层的RTOS(Real Time Operation System)和第二层的运行软件所需的框架环境(Ru原创 2022-05-07 10:32:01 · 9337 阅读 · 1 评论 -
一分钟了解自动驾驶中的AGV
什么是AGVAGV: Automated Guided Vehicle 自动导引运输车,无人驾驶搬运车AGV可通过激光导航、磁点导航线导以及SLAM/二维码等自动导引装置,按照设定的导引路径行驶,是具有安全保护以及各种移载功能的搬运设备。AGV成为中国搬运设备市场热销品在“中国制造2025”、智慧物流、工业4.0等概念和政策的推动下,工业机器人应用场景在中国获得不断拓展。2020年中国的AGV销量相较2019年同比增长26%。自动化搬运不仅意味着优化人工AGV可与企业生产及仓储系统对接、可连原创 2022-05-07 09:33:59 · 727 阅读 · 0 评论 -
自动驾驶项目分享会(5.06会议纪要)
一、自动驾驶研发必要性大背景:智慧交通、新基建经济:颠覆传统汽车产业链,推动产业升级方向:智能网联汽车二、规划和商业模式1.技术规划:(1)卫星定位技术卫星定位差分定位、千寻位置网络公司、惯性导航技术(IMU)、SLAM定位技术SLAM是“Simultaneous Localization and Mapping”的缩写,译为“同时定位与地图构建”。SLAM技术分为两类:如果传感器是激光雷达,则称为激光SLAM;如果传感器为相机(摄像头),则称为视觉SLAM。(2)感知技术原创 2022-05-07 09:25:27 · 221 阅读 · 0 评论 -
AI开源工具框架【2020年6月】
要说近两年来,开源项目里发展最活跃、成长最快的当属 AI 相关的。有 182 万 AI 应用开发者正在密切关注和使用开源框架,其中,老牌且应用广泛的 OpenCV 领先,新兴 TensorFlow 炙手可热。同时,包括百度 PaddlePaddle、腾讯 NCNN、旷视等的国产开源框架已经有了越来越多的开发者使用。...原创 2020-07-21 16:25:53 · 396 阅读 · 1 评论 -
算法训练网站推荐
1. leetcodehttp://leetcode.com/2. careeruphttp://www.careercup.com/ http://hawstein.com/posts/ctci-solutions-contents.html3. glassdoorhttp://www.glassdoor.com/index.htm4. topcoderhttp...原创 2018-08-08 17:38:16 · 5653 阅读 · 0 评论 -
机器学习算法之_GBDT和随机森林的区别
对于GBDT的概念和相关知识博主在上一篇中已做论述《机器学习算法之_GBDT》什么是随机森林随机森林顾名思义,是用随机的方式建立一个森林,森林里面有很多的决策树组成,随机森林的每一棵决策树之间是没有关联的。在得到森林之后,当有一个新的输入样本进入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个样本应该属于哪一类(对于分类算法),然后看看哪一类被选择最多,就预测这个样本为那一类。在建...原创 2020-01-17 10:53:49 · 875 阅读 · 0 评论 -
机器学习算法之_GBDT
一、GDBC简介GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。GBDT 直观理解:每一轮预测和实际值有残差,下一轮根据残差再进行预测,最后将所有预测相加,就是结果。GBDT用来做回归预测,调整后也可以用于分类(设定阈值,大于阈值为正例,反之为负例),可以发现多种有区分性的特征以及特征组合。GBDT是把所有树的结论累加起来做最终结论的,GBD...原创 2020-01-17 10:48:06 · 793 阅读 · 0 评论 -
机器学习案例之_金融反欺诈预测
项目本项目通过利用信用卡的历史交易数据,进行机器学习,构建信用卡反欺诈预测模型,提前发现客户信用卡被盗刷的事件。项目背景数据集包含由欧洲持卡人于2013年9月使用信用卡进行交的数据。此数据集显示两天内发生的交易,其中284,807笔交易中有492笔被盗刷。数据集非常不平衡, 积极的类(被盗刷)占所有交易的0.172%。它只包含作为PCA转换结果的数字输入变量。不幸的是,由于保密问题,我们无...原创 2020-01-16 18:01:14 · 4137 阅读 · 9 评论 -
机器学习之_TensorFlow
TensorFlow 是一个用于数值计算的Python 库, 可以描述一幅数据计算的数据流图(data flow graph)。TensorFlow 最初由Google大脑小组(隶属于Google机器智能研究机构)的研究员和工程师们开发出来,用于机器学习和深度神经网络方面的研究,但这个系统的通用性使其也可广泛用于其他计算领域。详情可参考TensorFlow中文社区会话 (Session):T...原创 2020-01-16 11:43:02 · 265 阅读 · 0 评论 -
机器学习算法之_支持向量机(SVM)
【关键词:支持向量,最大几何间隔,拉格朗日乘子法】SVM主要针对小样本数据进行学习、分类和预测(有时也叫回归)的一种方法,能解决神经网络不能解决的过学习问题,而且有很好的泛化能力。一、原理:支持向量机,其含义是通过支持向量运算的分类器。其中“机”的意思是机器,可以理解为分类器。 那么什么是支持向量呢?在求解的过程中,会发现只根据部分数据就可以确定分类器,这些数据称为支持向量。 见下图,在一个...原创 2020-01-16 11:18:01 · 684 阅读 · 0 评论 -
机器学习算法之_K-均值聚类(K-means)
【关键词】K个种子,均值一、原理聚类的概念:一种无监督的学习,事先不知道类别,自动将相似的对象归到同一个簇中。K-Means算法是一种聚类分析(cluster analysis)的算法,其主要是来计算数据聚集的算法,主要通过不断地取离种子点最近均值的算法。K-Means算法主要解决的问题如下图所示。我们可以看到,在图的左边有一些点,我们用肉眼可以看出来有四个点群,但是我们怎么通过计算机程序找...原创 2020-01-15 10:30:56 · 405 阅读 · 0 评论 -
机器学习算法之_决策树(DecisionTree)
【DecisionTree】【关键词】树,信息增益一、原理1.20个问题的游戏游戏的规则很简单:参与游戏的一方在脑海里想某个事物,其他参与者向他提问题,只允许提20个问题,问题的答案也只能用对或错回答。问问题的人通过推断分解,逐步缩小待猜测事物的范围。决策树的工作原理与20个问题类似,用户输人一系列数据 ,然后给出游戏的答案。我们经常使用决策树处理分类问题。近来的调查表明决策树也是最...原创 2020-01-15 10:17:25 · 743 阅读 · 0 评论 -
机器学习算法之_朴素贝叶斯(Bayes)
【关键词】朴素:独立性假设贝叶斯公式一、基本概念1.原理朴素贝叶斯算法是一个典型的统计学习方法,主要理论基础就是一个贝叶斯公式,贝叶斯公式的基本定义如下:这个公式虽然看上去简单,但它却能总结历史,预知未来:公式的右边是总结历史公式的左边是预知未来如果把Y看成类别,X看成特征,P(Yk|X)就是在已知特征X的情况下求Yk类别的概率,而对P(Yk|X)的计算又全部转化到类别Yk的特...原创 2020-01-14 17:05:12 · 459 阅读 · 0 评论 -
机器学习算法之_逻辑斯蒂回归(Logistics)
逻辑斯蒂回归虽然名字叫回归,但是其实分类, 而且这个分类很强大(以后工作是必须要用的(分类问题))【关键词】Logistics函数,最大似然估计,梯度下降法一.原理利用Logistics回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。这里的“回归” 一词源于最佳拟合,表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数,使用的是最优化算法。接下来介绍...原创 2020-01-14 16:21:52 · 2117 阅读 · 0 评论 -
机器学习算法之_梯度下降法(Gradient Descent)
在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。一. 梯度在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x,y), 分别对x,y求偏导数,求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad...原创 2020-01-14 14:15:49 · 575 阅读 · 0 评论 -
机器学习算法之_线性回归(LinearRegression)
一、普通线性回归关键词;最小二乘法,线性1.原理线性回归就是在求方程,线性方程:y = kx + b分类的目标变量是标称型数据,而回归将会对连续型的数据做出预测。应当怎样从一大堆数据里求出回归方程呢?假定输人数据存放在矩阵X中,而回归系数存放在向量W中。那么对于给定的数据X1, 预测结果将会通过Y=X*W给出。现在的问题是,手里有一些X和对应的Y,怎样才能找到W呢?一个常用的方法就...原创 2020-01-14 11:35:11 · 1262 阅读 · 0 评论 -
机器学习算法之_K-近邻(K Nearest Neighbour)
一.原理K-近邻算法采用测量不同特征值之间的距离方法进行分类。存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据 与所属分类的对应关系。输人没有标签的新数据后,将新数据的每个特征与样本集中数据对应的 特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们 只选择样本数据集中前K个最相似的数据,这就是K-近邻算法中K的出...原创 2020-01-14 11:07:38 · 510 阅读 · 0 评论 -
机器学习算法之_几个名词约定
一、几个约定x,y是原始的数据集。X_train,y_train 是原始数据集划分出来作为训练模型的,fit模型的时候用。X_test,y_test 这部分的数据不参与模型的训练,而是用于评价训练出来的模型好坏,score评分的时候用。test_size=0.2 测试集的划分比例。如果为浮点型,则在0.0-1.0之间,代表测试集的比例;如果为整数型,则为测试集样本的绝对数量;...原创 2020-01-14 10:58:17 · 343 阅读 · 0 评论 -
机器学习算法几种常见步骤(附项目案例)
一、一般使用机器学习算法遵循的步骤摘自《机器学习实战》,感觉思路比较清晰1.收集数据。可以使用很多种方法收集样本数据,例如制作网络爬虫从网站上爬取数据,从RSS反馈或者API中得到信息,设备发送过来的实测数据(风速,血糖等)。2.准备输入数据。得到数据之后,还必须确保数据格式符合要求,使用标准数据格式后可以融合算法和数据源,方便匹配操作。此外还需要为机器学习准备特定的数据格式,如某些算...原创 2019-12-02 17:53:31 · 8193 阅读 · 1 评论 -
简述回归分析法
“回归分析”是解析“注目变量”和“因于变量”并明确两者关系的统计方法。此时,我们把因子变量称为“说明变量”,把注目变量称为“目标变量址(被说明变量)”。清楚了回归分析的目的后,下面我们以回归分析预测法的步骤来说明什么是回归分析法:1.根据预测目标,确定自变量和因变量明确预测的具体目标,也就确定了因变量。如预测具体目标是下一年度的销售量,那么销售量Y就是因变量。通过市场调查和查阅资料,寻找与预测...原创 2019-06-11 17:08:30 · 3038 阅读 · 0 评论 -
深度学习机器?王兴用美团完美诠释!
知名连续创业者王兴应该是当下互联网圈对上市最有执念的人。9月20日上午9点30分,伴随着倒计时,身穿黑色西服套装、蓝色领带的王兴和美团点评的骑手代表一起敲响了港交所那面著名的大铜锣。两个多月前,小米上市的那天,这面30万从山西定制的大号铜锣被小米创始人雷军第一次公开敲响。为了这一天,王兴走了14年。2010年,王兴创办了美团。2015年美团实现与大众点评合并,新的公司美团点评今日正式登陆港...转载 2018-09-20 19:35:22 · 721 阅读 · 0 评论 -
达沃斯最新发布:中国AI50强榜
简介:这50强公司中收录了14家估值达到了独角兽估值级别的初创企业,即估值为10亿美元或以上。在过去的一天多的会期中,2018夏季达沃斯现场对于人工智能(AI)的讨论从未停止。9月19日下午,达沃斯现场发布了中国AI 50榜单及相关研究。这50强公司中收录了14家估值都超过了10亿美元或以上的初创公司。这14家企业的总估值高达402亿美元。中金投X创始人Nina Xiang在发布会上表示,...转载 2018-09-20 14:29:06 · 607 阅读 · 0 评论 -
微软全球副总裁专访:AI产品首先要有原则 然后探寻商业落地
随着大数据、云计算以及深度学习等技术的出现,全球范围内人工智能的建设如火如荼。中美两国在发展AI的路径与思路上有何区别?又将有哪些方面的合作与共赢?如今人工智能在各行业都展现了广阔的发展前景,微软在进行战略布局时是如何权衡与取舍的呢?微软基于情感设计框架,发明了机器人“第六代微软小冰”,小冰未来该如何进一步发展,离商业化还有多远?又将会给哪些行业带来颠覆性的改变?微软全球执行副总裁沈向洋博士针对诸...转载 2018-09-19 19:26:21 · 362 阅读 · 0 评论 -
人工智能大会:AI助力金融业,数字化向智能化转型
简介:AI在金融行业的应用越来越丰富。随着数字金融、普惠金融时代到来,AI在金融行业的应用也越来越丰富。金融行业正处在数字化向智能化转型过程中,中国银行业协会数据显示,2017年行业平均离柜业务率达到87.58%。在2018世界人工智能大会·智能金融主题论坛上,中国互联网金融协会会长李东荣表示,人工智能在金融领域的应用和发展要遵循几个原则,一是坚持服务实体经济,二是切实加强风险防控,三是有效...转载 2018-09-19 19:10:27 · 727 阅读 · 0 评论 -
人工智能大会:应用驱动的AI更容易打通市场
简介:由于拥有更多的数据、工程师红利和政府与资本支持,中国未来有能力比美国更快速发展人工智能。9月18日,中金公司在其承办的“2018世界人工智能大会·投融资主题论坛”上发布报告称,中国和美国在人工智能(AI)领域优势明显,而人工智能对中国经济的帮助更为显著。由于拥有更多的数据、工程师红利和政府与资本支持,中国未来有能力比美国更快速发展人工智能。根据麦肯锡全球研究所的测算,人工智能可在未来十年...转载 2018-09-19 10:06:46 · 467 阅读 · 0 评论 -
任重道远--AI将在降低落地门槛后迎来爆发
第四范式:AI将在降低落地门槛后迎来爆发AlphaGo的出现让人工智能又迎来一波热潮。但与此前侧重AI技术相比,这两年投资人、AI企业都越来越多地关注AI应用和落地情况。若想推动AI的普及,降低企业应用门槛是重中之重。在世界人工智能大会期间,人工智能技术与服务商第四范式创始人兼CEO戴文渊在接受第一财经等记者采访时指出,能够引领AI发展的顶级人才,全球尚不足千人,AI的应用门槛需要降低到普通开...转载 2018-09-19 09:54:00 · 310 阅读 · 0 评论 -
机器学习综述与“Hello World”
概述友情提示: 1. 对于本文中数据集,训练集,特征点,空间等基础概念,请参考周志华老师的《机器学习》第一章的内容 2. Python的语法并不难理解,有编码基础的可以直接看懂,如果不懂,请参考廖雪峰老师的个人博客中Python的教学内容 http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3...转载 2018-09-11 20:04:33 · 750 阅读 · 0 评论 -
VMware:二十而冠,不负韶华!
今年7月,VMware首席执行官Pat Gelsinger成功登顶了世界七大高峰之一的乞力马扎罗山,期间的巨大挑战可想而知。但越困难越危险,也就越迷人,因为登顶的魅力,也是挑战自我、超越自我的过程。这似乎也正是VMware这家成立于1998年的美国硅谷公司,在过去二十年成长过程中的一种真实“写照”,从服务器虚拟化,到软件定义数据中心,再到“云中管家”,VMware始终站在市场转型的前沿,并不断...转载 2018-08-30 10:34:35 · 1007 阅读 · 0 评论 -
莫把机器学习称作AI---2018AI开发者盛会!
今年年初,由 Michael I.Jordan 、Jeff Dean、李飞飞、LeCun 等多位人工智能领域的大牛发起的系统机器学习会议 SysML 在斯坦福开幕。会上,机器学习宗师级大牛 Michael I.Jordan 就《系统与机器学习的前景与挑战》进行了主旨演讲。因为和 NBA 球星迈克尔·乔丹名字相近,他有着一个有趣的称号:“The Michael Jordan of Machine ...转载 2018-10-29 11:16:08 · 314 阅读 · 0 评论 -
认识华人姑娘李飞飞——谷歌首席AI科学家
谷歌云首席科学家竟是一位华人姑娘!从不懂英语的清洁工到世界十大顶级科学家她凭什么带领谷歌AI重返中国?曾有人在知乎上问过这么一个问题“谷歌做过的哪些事让你厌恶?”我带着满心的好奇点进去想看看谷歌做了哪些坏事结果点赞最高的回答居然是:退出中国大陆市场是的从2010年3月23日3时3分谷歌搜索离开中国到现在已经将近8年很多人每天都在想念谷歌每天都在盼着谷歌回来人们甚至...转载 2018-11-05 10:51:32 · 3663 阅读 · 0 评论 -
各个排序算法的时间复杂度和稳定性
一、插入排序每次将一个待排序的数据,跟前面已经有序的序列的数字一一比较找到自己合适的位置,插入到序列中,直到全部数据插入完成。二、希尔排序先将整个待排元素序列分割成若干个子序列(由相隔某个“增量”的元素组成的)分别进行直接插入排序,然后依次缩减增量再进行排序,待整个序列中的元素基本有序(增量足够小)时,再对全体元素进行一次直接插入排序。由于希尔排序是对相隔若干距离的数据进行直接插入排序,因...原创 2018-12-17 18:12:21 · 2347 阅读 · 0 评论 -
人工智能究竟能否实现?
本文讨论人工智能是否可以实现这个哲学问题作者 | 李理,环信人工智能研发中心vp,十多年自然语言处理和人工智能研发经验。主持研发过多款智能硬件的问答和对话系统,负责环信中文语义分析开放平台和环信智能机器人的设计与研发。目录作者观点摘要证明存在?任务分类情绪(Emotions)和情感(Feelings)美和艺术意识(Consciousness)自我意识自由意志(free will...转载 2019-04-05 18:17:11 · 3901 阅读 · 0 评论 -
机器学习之---文本分析(jieba分词和词云绘制)
一、定义:文本挖掘:从大量文本数据中抽取出有价值的知识,并且利用这些知识重新组织信息的过程。二、语料库(Corpus)语料库是我们要分析的所有文档的集合。import osimport os.path filePaths = [] #定义一个数组变量#再用OS.walk的方法传入目录#文件所在的文件目录,命名为root#root下的所有子目录,命名为dirs#root下的...原创 2018-12-18 10:19:55 · 2562 阅读 · 0 评论 -
中国人工智能领域企业分类(附未来企业排行)
人工智能企业可以在应用层、技术层、基础上进行区分。在应用层的中国人工智能公司按照领域划分包括:机器人:Geek+、 Rokid、图灵机器人、优必选。自动驾驶:百度、天瞳威视、地平线机器人、驭势科技。无人机:大疆、亿航、Hover Camera、零度智控。语音助手:百度、出门问问。商业智能:永洪科技、Data KM。消费者服务:AiKF。产业应用:碳云智能、Maxent、今日头条、学...原创 2018-12-11 17:15:44 · 10326 阅读 · 3 评论 -
人工智能、机器学习、深度学习、数据挖掘、数据分析区分
在开始学习python大数据之前,先要搞清楚人工智能、机器学习、深度学习、数据挖掘、数据分析都是什么意思。人工智能大家族包含着丰富的内容,分清楚了每一项都是做什么的,才能选对路线。一、人工智能AI人工智能分为强人工智能和弱人工智能。强人工智能是通过计算机来构造复杂的、拥有与人类智慧同样本质特性的机器,它有着我们所有的感知(甚至比人更多),我们所有的理性,可以像我们一样思考,也就是电影里面的...原创 2018-12-11 17:09:10 · 1089 阅读 · 0 评论 -
机器学习面试题整理(带答案详解,持续更新中。。。)
1.什么是机器学习机器学习是为了应对系统程序设计,属于计算机科学类的学科,它能根据经验进行自动学习和提高。例如:一个由程序操纵的机器人,它能根据从传感器搜集到的数据,完成一系列的任务和工作。它能根据数据自动地学习应用程序。2.机器学习和数据挖掘的区别机器学习是指在没有明确的程序指令的情况下,给予计算机学习能力,使它能自主的学习、设计和扩展相关算法。数据挖掘则是一种从非结构化数据里面提取知识或...原创 2018-12-15 16:02:53 · 1679 阅读 · 0 评论 -
机器学习十大算法
机器学习算法分为三类:有监督学习、无监督学习、增强学习。有监督学习需要标识数据(用于训练,即有正例又有负例),无监督学习不需要标识数据,增强学习介于两者之间(有部分标识数据)。下面我将向大家具体介绍机器学习中10大算法(只介绍有监督、无监督两类,暂不介绍增强学习)。一、有监督学习算法一:决策树决策树是一种树形结构,为人们提供决策依据,决策树可以用来回答yes和no问题,它通过树形结构将各种情...原创 2018-12-14 18:27:02 · 525 阅读 · 0 评论 -
机器学习算法之_主成分分析(PCA)
一,引言降维是对数据高维度特征的一种预处理方法。降维是将高维度的数据保留下最重要的一些特征,去除噪声和不重要的特征,从而实现提升数据处理速度的目的。在实际的生产和应用中,降维在一定的信息损失范围内,可以为我们节省大量的时间和成本。降维也成为了应用非常广泛的数据预处理方法。降维具有如下一些优点:(1)使得数据集更易使用(2)降低算法的计算开销(3)去除噪声(4)使得结果容易理解PCA(...原创 2018-12-19 17:38:03 · 498 阅读 · 0 评论 -
简述机器学习
1.1 引言机器学习(machine learning)的定义:它致力于研究如何通过计算的手段,利用经验来改善系统自身的性能。在计算机系统中,“经验”通常以“数据”的形式存在。ML研究的主要内容:在计算机上、从数据中产生“模型model”的算法。即是:如何通过数据集产生模型?因此机器学习本质上,研究的是算法;而这种算法的作用是,从数据集中产生模型;而模型的作用是,当面对新的数据时,模型...转载 2018-08-28 19:57:41 · 818 阅读 · 0 评论