自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

做一个快乐学习者

Do you want to live in destruction or destroy in existence.

  • 博客(15)
  • 资源 (63)
  • 问答 (1)
  • 收藏
  • 关注

转载 16、什么是拟牛顿法(Quasi-Newton Methods)?

拟牛顿法是求解非线性优化问题最有效的方法之一,于20世纪50年代由美国Argonne国家实验室的物理学家W.C.Davidon所提出来。Davidon设计的这种算法在当时看来是非线性优化领域最具创造性的发明之一。不久R. Fletcher和M. J. D. Powell证实了这种新的算法远比其他方法快速和可靠,使得非线性优化这门学科在一夜之间突飞猛进。拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷,它使用正定矩阵来近似Hessian矩阵的逆,从而简化了运算的复杂度。拟牛

2020-06-27 14:01:37 9241

转载 15、说说你知道的核函数

通常人们会从一些常用的核函数中选择(根据问题和数据的不同,选择不同的参数,实际上就是得到了不同的核函数),例如:多项式核显然刚才我们举的例子是这里多项式核的一个特例(R = 1,d = 2)。虽然比较麻烦,而且没有必要,不过这个核所对应的映射实际上是可以写出来的,该空间的维度是其中是原始空间的维度。高斯核这个核就是最开始提到过的会将原始空间映射为无穷维空间的那个家伙。不过,如果选得很大的话,高次特征上的权重实际上衰减得非常快,所以实际上(数值上近似一下)相当于一个低维的子空间;

2020-06-25 14:00:21 376

转载 14、熵、联合熵、条件熵、相对熵、互信息的定义

熵:如果一个随机变量X的可能取值为X = {x1, x2,…, xk},其概率分布为P(X = xi) = pi(i = 1,2, ..., n),则随机变量X的熵定义为:把最前面的负号放到最后,便成了:上面两个熵的公式,无论用哪个都行,而且两者等价,一个意思(这两个公式在下文中都会用到)。 联合熵:两个随机变量X,Y的联合分布,可以形成联合熵Joint Entropy,用H(X,Y)表示。 条件熵:在随机变量X发生的前提下,随机变量Y发生所新带来的熵定义为Y的条件熵,用H(...

2020-06-24 15:51:41 1238

转载 13、牛顿法和梯度下降法有什么不同?

牛顿法(Newton's method)牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f (x)的泰勒级数的前面几项来寻找方程f (x) = 0的根。牛顿法最大的特点就在于它的收敛速度很快。具体步骤:首先,选择一个接近函数 f (x)零点的 x0,计算相应的 f (x0) 和切线斜率f ' (x0)(这里f ' 表示函数 f 的导数)。然后我们计算穿过点(x0,f(x0))并且斜率为f '(x0)的直线和x轴的交点的x坐标,也就是求如下方程的解:我们将新求得的点的 x..

2020-06-23 13:35:49 1813

转载 12、说说梯度下降法

1 什么是梯度下降法经常在机器学习中的优化问题中看到一个算法,即梯度下降法,那到底什么是梯度下降法呢?维基百科给出的定义是梯度下降法(Gradient descent)是一个一阶最优化算法,通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索,则会接近函数的局部极大值点;这个过程则被称为梯度上升法。额,问题又来了,什么是梯度?为了避免各种复杂的说辞,咱们可以这样简单理解

2020-06-21 15:23:32 447

转载 11、什么是熵

从名字上来看,熵给人一种很玄乎,不知道是啥的感觉。其实,熵的定义很简单,即用来表示随机变量的不确定性。之所以给人玄乎的感觉,大概是因为为何要取这样的名字,以及怎么用。 熵的概念最早起源于物理学,用于度量一个热力学系统的无序程度。在信息论里面,熵是对不确定性的测量。熵的引入 事实上,熵的英文原文为entropy,最初由德国物理学家鲁道夫·克劳修斯提出,其表达式为:它表示一个系统在不受外部干扰时,其内部最稳定的状态。后来一中国学者翻译entropy时,考虑到entropy是能量Q跟温度T...

2020-06-20 17:31:14 1527

转载 10、LR和SVM的联系与区别

LR和SVM都可以处理分类问题,且一般都用于处理线性二分类问题(在改进的情况下可以处理多分类问题)区别:1、LR是参数模型,svm是非参数模型,linear和rbf则是针对数据线性可分和不可分的区别;2、从目标函数来看,区别在于逻辑回归采用的是logistical loss,SVM采用的是hinge loss,这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重。3、SVM的处理方法是只考虑support vectors,也就是和分类最相关的少数点,去学习.

2020-06-18 13:05:57 324

转载 9、overfitting怎么解决

overfitting就是过拟合, 其直观的表现如下图所示,随着训练过程的进行,模型复杂度增加,在training data上的error渐渐减小,但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集, 对训练集外的数据却不work, 这称之为泛化(generalization)性能不好。泛化性能是训练的效果评价中的首要目标,没有良好的泛化,就等于南辕北辙, 一切都是无用功。过拟合是泛化的反面,好比乡下快活的刘姥姥进了大观园会各种不适应,但受过良好教育的林黛玉进贾府就不会大.

2020-06-18 12:55:21 249

转载 8、简单介绍下LR

虽然逻辑斯蒂回归姓回归,不过其实它的真实身份是二分类器。先弄清楚一个概念:线性分类器。给定一些数据点,它们分别属于两个不同的类,现在要找到一个线性分类器把这些数据分成两类。如果用x表示数据点,用y表示类别(y可以取1或者-1,分别代表两个不同的类),一个线性分类器的学习目标便是要在n维的数据空间中找到一个超平面(hyper plane),这个超平面的方程可以表示为( wT中的T代表转置):可能有读者对类别取1或-1有疑问,事实上,这个1或-1的分类标准起源于logistic回归。Logi

2020-06-18 12:51:51 1126

转载 7、逻辑斯特回归为什么要对特征进行离散化。

① 非线性!非线性!非线性!逻辑回归属于广义线性模型,表达能力受限;单变量离散化为N个后,每个变量有单独的权重,相当于为模型引入了非线性,能够提升模型表达能力,加大拟合; 离散特征的增加和减少都很容易,易于模型的快速迭代;② 速度快!速度快!速度快!稀疏向量内积乘法运算速度快,计算结果方便存储,容易扩展;③ 鲁棒性!鲁棒性!鲁棒性!离散化后的特征对异常数据有很强的鲁棒性:比如一个特征是年龄>30是1,否则0。如果特征没有离散化,一个异常数据“年龄300岁”会给模型造成很大的干扰;...

2020-06-17 14:04:04 466

转载 6、请简要说说一个完整机器学习项目的流程

1 抽象成数学问题明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情,胡乱尝试时间成本是非常高的。这里的抽象成数学问题,指的我们明确我们可以获得什么样的数据,目标是一个分类还是回归或者是聚类的问题,如果都不是的话,如果划归为其中的某类问题。2 获取数据数据决定了机器学习结果的上限,而算法只是尽可能逼近这个上限。数据要有代表性,否则必然会过拟合。而且对于分类问题,数据偏斜不能过于严重,不同类别的数据数量不要有数个数量级的差距。而且还要对数据的量级有一个评估,多少.

2020-06-17 13:24:58 295

转载 5、数据归一化(或者标准化,注意归一化和标准化不同)的原因

要强调:能不归一化最好不归一化,之所以进行数据归一化是因为各维度的量纲不相同。而且需要看情况进行归一化。有些模型在各维度进行了不均匀的伸缩后,最优解与原来不等价(如SVM)需要归一化。有些模型伸缩有与原来等价,如:LR则不用归一化,但是实际中往往通过迭代求解模型参数,如果目标函数太扁(想象一下很扁的高斯模型)迭代算法会发生不收敛的情况,所以最好进行数据归一化。...

2020-06-17 13:21:39 1102

转载 4、在k-means或kNN,我们常用欧氏距离来计算最近的邻居之间的距离,有时也用曼哈顿距离,请对比下这两种距离的差别

欧氏距离,最常见的两点之间或多点之间的距离表示法,又称之为欧几里得度量,它定义于欧几里得空间中,如点 x = (x1,...,xn) 和 y = (y1,...,yn) 之间的距离为:欧氏距离虽然很有用,但也有明显的缺点。它将样本的不同属性(即各指标或各变量量纲)之间的差别等同看待,这一点有时不能满足实际要求。例如,在教育研究中,经常遇到对人的分析和判别,个体的不同属性对于区分个体有着不同的重要性。因此,欧氏距离适用于向量各分量的度量标准统一的情况。曼哈顿距离,我们可以定义曼哈顿距离的正式意义为

2020-06-16 11:00:01 2528

转载 3、树形结构为什么不需要归一化?

因为数值缩放不影响分裂点位置,对树模型的结构不造成影响。按照特征值进行排序的,排序的顺序不变,那么所属的分支以及分裂点就不会有不同。而且,树模型是不能进行梯度下降的,因为构建树模型(回归树)寻找最优点时是通过寻找最优分裂点完成的,因此树模型是阶跃的,阶跃点是不可导的,并且求导没意义,也就不需要归一化。既然树形结构(如决策树、RF)不需要归一化,那为何非树形结构比如Adaboost、SVM、LR、Knn、KMeans之类则需要归一化呢?对于线性模型,特征值差别很大时,比如说LR,我有两个特征,一个是

2020-06-16 10:55:07 1290

转载 2、哪些机器学习算法不需要做归一化处理?

在实际应用中,通过梯度下降法求解的模型一般都是需要归一化的,比如线性回归、logistic回归、KNN、SVM、神经网络等模型。但树形模型不需要归一化,因为它们不关心变量的值,而是关心变量的分布和变量之间的条件概率,如决策树、随机森林(Random Forest)。其他如管博士所说,我归一化和标准化主要是为了使计算更方便 比如两个变量的量纲不同 可能一个的数值远大于另一个那么他们同时作为变量的时候 可能会造成数值计算的问题,比如说求矩阵的逆可能很不精确 或者梯度下降法的收敛比较困难,还有如果需要计.

2020-06-16 10:47:13 5947

C++ 人工智能 模仿美图秀秀智能人脸识别.zip

C++ 人工智能 模仿美图秀秀智能人脸识别

2021-08-18

Win10禁止更新.zip

能够开启或者关闭Windows的自动更新,一个小工具搞定

2021-08-18

YDArk 模仿pchunter 更加强大 签名版.zip

直接启动就能运行,类似pchunter,但是更加强大

2021-08-18

PatchGuard禁用程序.zip

PatchGuard会导致系统蓝屏,但是执行这个程序后,系统的PatchGuard将会被禁用!

2021-08-18

VC++ Email电子邮件收发客户端.rar

C++实现收发邮件,可用于QQ邮箱 163邮箱 Google邮箱

2021-08-18

VC 贪吃蛇游戏源代码.rar

用C++实现的一个贪吃蛇小项目,代码很有意思

2021-08-18

Mysee 网络视频直播流媒体播放系统.rar

使用C++实现 类似于直播程序的那种效果了

2021-08-18

C++ 点对点视频聊天程序源码.rar

P2P视频聊条小程序,使用C++实现,能够局域网内视频聊天

2021-08-18

类似Windows优化大师的VC++系统修改工具.rar

C++禁用无用的一些功能达到优化系统的目的

2021-08-18

一款C++开源代码编辑器Notepad源代码.rar

使用C++开发,想要开发编辑器功能的朋友可以参考一下

2021-08-18

Spoofer_new.exe

专门用于EasyAntiCheat机器码系统的欺骗器,可以清楚跟踪文件后修改序列号,使用后可以再次玩游戏

2021-08-18

darknet-window.zip

darknet源文件在window进行编译,不需要进行Cygwin的安装,官方github下载地址https://github.com/pjreddie/darknet

2020-03-19

Caffe的编译准备资源文件

微软版本的Caffe编译需要的文件,VS2013的下载速度太慢了而准备的。

2019-11-08

OpenCV完成编译版本下载地址.txt

完全编译OpenCV+opencv_contrib+TBB+CUDA+Cudnn+Eigen,X64位的DEBUG和RELEASE版本,总大小2G多

2019-10-22

d3d9_hook.zip

目前大部分游戏通过Direct3D实现3D效果,通过挂钩相应函数,可以实现3D透视,屏幕挂字效果。而透视,屏蔽特定效果,设置透明在很多游戏(特别是FPS)中发挥着巨大的作用!

2019-08-13

Opcode.zip

Opcode机器码的对应解析位图,有助于更好的去解析Opcode机器码。

2019-06-23

PE文件导入表解析(C++)

C++实现PE文件的导出表的解析操作,希望对大家有所帮助。

2019-05-01

易语言实现D3D透视

连续8集易语言的D3D透视视频讲解,帮助你从零开始写出属于自己的一个D3D透视程序。

2019-04-30

python核心编程第三版中文版PDF

本书描述了Python程序的基本构件:类型、操作符、语句、函数、模块、类以及异常,介绍了更多高级主题,包括复杂的实例。 本书适合Python初学者,以及已经入门但想继续学习和提高自身Python技巧的程序员。 Python是一种功能十分强大的面向对象编程语言,可以用于编写独立程序、快速脚本和复杂应用的原型。作为一种开源软件,Python可以自由获取,而且非常易学易用。本书是Python语言的经典入门读本,由两名顶尖的Python技术专家兼培训专家联手撰写,涵盖了该语言的所有核心内容。所有练习的解答都可在书后找到。 本书描述了Python程序的基本构件:类型、操作符、语句、函数、模块、类以及异常和介绍了更多高级主题,包括复杂的实例。无论是用于编写简单的脚本,还是复杂的科学计算、Web、数据库、图形和动画程序,Python都证明它的强大。 本书是经典的Python [1] 指导书,在第一版的基础上进行了全面升级。全书分为两个部分:第1部分占据了大约三分之二的篇幅,阐释这门语言的“核心”内容,包括基本的概念和语句、语法和风格、Python对象、数字类型、序列类型、映射和集合类型、条件和循环、文件和输入/输出、错误和异常、函数和函数式编程、模块、面向对象编程、执行环境等内容:第2部分则提供了各种高级主题来展示可以使用Python做些什么,包括正则表达式、网络编程、网络客户端编程、多线程编程、图形用户界面编程、Web编程、数据库编程、扩展Python 和一些其他材料。

2019-04-07

VM虚拟机程序加壳

1、代码虚拟化 MapoEngine 的核心功能,目前市面上最强的壳都是以代码虚拟化为核心,没有代码虚拟化功能的壳目前基本已经退出市场了 2、代码混淆 包括花指令生成和指令拆分两个部分,通过把原始指令拆分成功能相等的多条指令并生成大量的花指令穿插在其中,使得攻击者迷失在垃圾代码的海洋中 3、代码乱序 打乱指令的正常顺序,使用大量的跳转指令来连接各条指令,执行时指令会上窜下跳,起头让攻击者头晕目眩的效果 外壳保护: 外壳保护为辅助功能,包括: 1、反调试 反调试为壳的基本功能,为老一代保护壳的主要战场,目前虽然已经不是主流战场,但还是一个必要的功能 2、反虚拟机(Vmware) 反虚拟机,防止软件在vmware等虚拟机上运行 3、导入表保护 导入表保护,老一代保护壳的主要战场,但直到现在仍然是非常重要的一个保护点,目前的壳基本上都能做到全程序保护,运行时不还原原始导入表,能大大增强壳的强度 4、反API断点,反API挂勾 通过自加载系统DLL来防止攻击者对API下断点,防止对API进行Hook,强壳的必要功能 5、代码压缩 通过对代码进行压缩来缩小程序体积,必要功能

2019-03-15

C++ 打造自己的按键精灵 1G视频教程.zip

C++ 打造自己的按键精灵 1G视频教程

2021-08-18

C++ 动态获取验证码 1G视频教程.zip

C++ 动态获取验证码 1G视频教程

2021-08-18

C++ IMGUI界面库介绍 1G视频教程.zip

C++ IMGUI界面库介绍 1G视频教程

2021-08-18

C++ 搭建社工系统 1G视频教程.zip

C++ 搭建社工系统 1G视频教程

2021-08-18

C++ 2小时制作Web服务器 1G视频教程.zip

C++ 2小时制作Web服务器 1G视频教程

2021-08-18

C++ 网站文件嗅探之文件下载 1G视频教程.zip

C++ 网站文件嗅探之文件下载 1G视频教程

2021-08-18

C++ 俄罗斯方块实现 1G视频教程.zip

C++ 俄罗斯方块实现 1G视频教程

2021-08-18

C++ SEH HOOK拦截任意API 1G视频教程.zip

C++ SEH HOOK拦截任意API 1G视频教程

2021-08-18

C++ 虚拟机引擎保护原理及实现 1G视频教程.zip

C++ 虚拟机引擎保护原理及实现 1G视频教程

2021-08-18

C++欢乐打地鼠实现 1G视频教程.zip

C++欢乐打地鼠实现 1G视频教程

2021-08-18

C++逆向屠龙刀入手式 - Ollydbg使用入门 1G视频教程.zip

C++逆向屠龙刀入手式 - Ollydbg使用入门 1G视频教程

2021-08-18

C++SMC代码变形 1G视频教程.zip

C++ SMC代码变形 1G视频教程

2021-08-18

C++开心消消乐 1G视频教程.zip

C++开心消消乐 1G视频教程

2021-08-18

腾讯经典游戏《天天飞车》资源素材.zip

腾讯经典游戏《天天飞车》资源素材

2021-08-18

腾讯游戏《天天来塔防》资源素材.zip

腾讯游戏《天天来塔防》资源素材

2021-08-18

英雄联盟UI界面和技能图标.zip

英雄联盟UI界面和技能图标

2021-08-18

游戏角色八方向动作连帧素材.zip

游戏角色八方向动作连帧素材 3D游戏必备

2021-08-18

C++ 视频处理 2G9章视频教程 FFmpeg音视频核心技术精讲与实战.zip

C++ 视频处理 2G9章视频教程 FFmpeg音视频核心技术精讲与实战

2021-08-18

C++ 视频处理 5G视频教程 FFmpeg音视频高级开发实战.zip

C++ 视频处理 5G视频教程 FFmpeg音视频高级开发实战

2021-08-18

C++ 图像处理 Opengl美颜滤镜与大眼等功能原理.zip

C++ 图像处理 Opengl美颜滤镜与大眼等功能原理

2021-08-18

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除