Miracle.Zhao的博客_这孩子谁懂哈_CSDN博客-Machine Learning,Java,Matlab领域博主

原创初识数据仓库

首先的疑问是什么是数据仓库？作为理工科出身多多少少都会了解数据库的概念，我也一样，了解的层面可能只是知道数据库是存储我们很多系统里用的数据的地方，可能也只是在这个层面了，对于数据仓库的也只是停留在听说的层面。为了了解什么是数据仓库，我可以简单的举个小例子。假设有一天，你收到你boss的...

2020-04-12 15:50:38 86 0

原创 MySQL中通过SQL来获得所有当年年月的解决办法

我们在做项目的时候，很多时候我们只需要使用当前一年内的年月，而不用日期的具体的时间，目前很多提供的控件，可能要么可以直接获取年月日和具体的时间，要么就是直接获取年月日，那么很多时候不适合我们的需求，不过我们可以通过编程的方法来解决，比如我们通过程序的方式来截取时间，截到月份即可，也能符合我们的需求...

2020-04-06 17:20:05 148 0

原创 java里使用jsonarray获取值判断null值无效的解决办法

项目需要使用的是net.sf.json.JSONArray的包，没有使用阿里巴巴的 JSONArray oo =XXXXX; 在需要oo.get()的方法来判断是不是null的时候，遇到了很大的坑，初始的想法就是： if(oo.get(0)==null){ .... } 然后总是结果不是...

2020-03-20 12:43:39 193 0

原创 java调用db2存储过程出现 ERRORCODE=-4476, SQLSTATE=null错误的解决办法

需求：项目需要使用java调取db2的存储过程，然后根据结果集得到一共返回多少条数据？跟大家一样使用如下的办法：如上图的红框内：使用rs.last()返回到数据集的结尾，然后来得到这个记录数。然而在生产环境上进行同步的时候出现了ERRORCODE=-4476, SQLS...

2020-03-10 17:04:27 267 0

原创 mysql 中使用truncate table XXXX 的时候出现 DROP command denied to user 'xxx' for table ' YYY的问题解决

最近在使用全量更新数据的时候想使用truncate table的时候，在测试环境没有任何问题，但是在生产线上环境出现了如下的错误： drop command denied to XXXX....的错误，一开始很是奇怪，明明自己使用的truncate 但是为什么会出现drop的错误呢？经过...

2020-03-10 15:16:46 845 0

原创爬虫post请求时候参数出现A JSONAray text must start with '[' at character 1 of ...时候解决办法

最近在拿数据的时候，获取数据很简单，就是一个post请求，出现如下的错误：一开始时候的获取是通过下面的方式拿数据的。但是这种方式总是出现A JSONAray text must start with '[' at character 1 of ...的错误，从这...

2020-02-29 16:56:42 62 0

原创大白话讲解SQL注入

先看一副有趣的漫画这幅画就是sql注入的精华了。什么是SQL注入： SQL注入是一种非常常见的数据库攻击手段，SQL注入漏洞也是网络世界中最普遍的漏洞之一。大家也许都听过某某学长通过攻击学校数据库修改自己成绩的事情，这些学长们一般用的就是SQL注入方法。 SQL注入其实就是恶意...

2020-02-04 20:18:32 356 0

原创 mysql中剔除具体分钟时间，只获取年月日的解决办法

在我们日常的开发中，可能偶尔是获取时间的字段来做一些操作，但是有的时候，我们看到的数据是包含具体的时间的。比如：2020-01-13 22:10:23 但是我们有的时候不需要后面的具体到分钟的精确时间，而只需要前面的年月日，比如：2020-01-13 有的人肯定会说，直接设置时间...

2020-01-13 18:46:44 548 0

原创使用workbench导入excel中的数据

在平时的工作中，肯定会遇到这样的问题，就是想要插入数据到数据库的表里，但是数据量很大，这样插入就比较麻烦，所以我们可以把数据放入到excel里，毕竟excel里的数据操作起来会方便的多，大家都懂。那么如何从把excel中的数据批量导入到数据库的表里呢？在导入之前，我们需要准备一些工作：...

2019-12-31 16:17:49 594 0

原创 Java项目上线后出现CommunicationsException错误

在java项目上线后，第二天再重新运行项目的时候，出现了如下的错误： CommunicationsException:Thelastpacketsuccessfullyreceivedfromtheserverwas60,547,352millisecondsago.Thelastpackets...

2019-11-24 19:44:00 286 0

原创 python一行代码走天下

本文仅作为乐趣～ 1.一行代码实现1-100之和 print(sum(range(1,101))) 2.一行代码打印9*9 乘法表 print('\n'.join([' '.join(["%2s x%2s = %2s"%...

2019-11-19 13:28:16 111 0

原创集成学习的决策树的算法

常见的集成学习框架有三种：Bagging、Boosting 和 Stacking。三种集成学习框架在基学习器的产生和综合结果的方式上会有些区别，我们先做些简单的介绍。 1.1 Bagging Bagging 全称叫 Bootstrap aggregating，看到 Bootstrap 我们立刻...

2019-11-19 13:16:31 285 0

原创使用js技术在jsp页面实现水印(时间和当前登录用户名)功能

出于安全的考虑，项目需要，需要在jsp的页面显示水印的功能，防止用户信息泄露。在js里获取系统当前时间： function init(){ var date=new Date(); //年 var year=date.getFullYear(); //月 ...

2019-10-24 12:45:23 240 0

原创在scrapy框架中判断数据库中是否存在某个表来实现表中数据全量更新

现在有这么个需求：就是我有一个爬虫脚本，我想把爬取到的数据存入到mysql数据库里去（这个是比较简单的），同时我还想定时执行这个脚本文件，然后让用户能及时看到最新的数据，所以就出现一个问题就是如何保证数据库里的数据是最新的呢？这里使用的是一个全量的办法，不是一个增量的办法。增量：就是每...

2019-10-10 13:17:37 154 0

原创 java中http请求外部接口的时候传递sql语句过程记录

第一次做这种对接外部（第三方）接口的开发。记录一下：介于保密的原因，外部接口就不公开了。我的需求是根据第三方提供的接口，查询数据。但是我的请求是包含了sql语句的。类似于下面这样的URL： http://X.X.X.X/tb/re?select * from table where name...

2019-09-29 14:20:55 252 0

原创配置shadowsocks出现当前.NET framework版本过低，请升级至4.6.2或更新版本的错误

当我们下载shadowsocks的时候，解压执行，会出现当前.NET framework版本过低，请升级至4.6.2或更新版本的错误。这个错误比较明显，就是哦我们再需要执行shadowsocks的时候需要.Net framework的环境版本过低，导致的这个错误，那么解决方法有两个： ...

2019-09-08 21:45:42 9464 0

原创 python中定时执行爬虫文件方法

我们爬取数据的时候，经常会希望定时运行爬虫，一般在凌晨的时候执行，那样挂服务器上就会减轻很大的负荷，所以我们就需要定时的任务，本文使用了scrapy框架，然后定时执行爬虫代码的方法。声明：此方法不一定是最好的方法，但是肯定是能达到效果的方法。网上有很多的代码介绍，最多的就是下面的方法： ...

2019-08-29 20:56:59 332 0

原创 java中的依赖关系和maven初识

一，什么是java中的依赖关系：依赖关系是指一个类对别一个类的依赖，比如说Employee类中有一个方法叫做TakeMoney(Bank bank)这个方法，在这个方法的参数中用到了Bank这个类，那么这个时候可以说Employee类依赖了Bank这个类，如果Bank这个类发生了变化那么会对E...

2019-08-25 13:14:42 138 0

原创三行python代码带你抠图

要想实现这个功能，我们首先要登陆主页注册一下，然后获得一个他们的API，得到API以后，我们就可以实现这个功能了。 1，注册主页：https://www.remove.bg 如下图所示： 2，申请得到API 注意：这里一个API每月最多处理50张图片（尴尬） 3，准备py...

2019-08-11 16:54:43 3675 0

原创爬取双色球的中奖号码

好久没更新了，最近工作才慢慢进入正轨，才有时间来慢慢记录自己喜欢和感兴趣的事。前段时间看到有朋友在研究双色球的事，顺便学习了一下，感觉可以用我们所学来简单的预测一下下一期的双色球事多少，所以我爬取来往期所有中奖的双色球的号码，讲真这个纯属好玩。下面上代码： import re im...

2019-08-10 11:47:34 1372 0

原创使用python 520表白吧

明天就是520了，使用python画一束玫瑰送给妹子。部分代码来自网络。代码如下： import turtle turtle.penup() turtle.left(90) turtle.fd(200) turtle.pendown() turtle.right(90) #文字 ...

2019-05-19 19:29:34 1229 1

2019-05-17 16:36:37 1222 0

原创 23行代码带你爬取妹子图

爬取妹子图可能在爬虫里面没有什么技术含量了，新手练练手还是可以的。今天爬取的网址是：http://www.youzi4.cc/mm/meinv/index_1.html 注意：爬取图片一般要加上referer,要不然就就出现，链接正确，总是返回<response 404> 1，...

2019-04-26 08:29:48 662 0

原创可运行的最新的使用scrapy框架爬取链家租房数据

看了一圈网上很多爬取链家数据的爬虫，但是由于链家已经把网页结构换掉了，所以原来的网上代码已经不能够使用，刚写了一个最新的爬虫，可以获取租房信息。工具： python3.6 scrapy 1.6.0 框架 vscode 编辑器基础知识关于如何使用scrapy框架什么的就不说了，网上...

2019-04-23 15:37:59 359 3

原创 Mac系统下vscode环境配置Power Mode插件

用过vscode的用户大家应该或多或少知道power mode插件，这个插件还是比较炫酷的，因为它可以伴随我们输入显示出相当炫酷的效果。如下所示；所以我也想设置一下，但是之前是在windows下设置的，比较简单，网络上基本都是windows的设置，没有Mac的设置，所以记录一下。 ...

2019-04-12 11:43:31 309 0

原创 vscode多行和单行注释快捷键设置

个人比较喜欢使用vscode来做一些python的事情，但是调试程序的时候，我们经常要使用注释键，但是怎么才能设置自己喜欢的快捷键呢？ 1，选择首选项->键盘快捷方式 2，出来一个搜索框，我们输入comment就会出现如图所示的界面。第一个是快注释的快捷键修改，第二个是行注释的快捷键修改...

2019-04-11 16:42:37 15305 0

原创利用Scrapy框架爬取数据使用pipelines保存成csv出现乱码的解决办法

之前写了一篇关于使用命令行来执行scrapy代码保存csv文件出现乱码的解决办法，但是我把保存csv的文件代码写到pipelines里的时候，原来的设置（在创建项目的settings.py中，添加如下代码FEED_EXPORT_ENCODING = 'gb18030'）就会出现...

2019-04-03 16:18:33 272 0

原创使用scrapy框架爬虫的时候xpath的extract()和extract_first()的区别

在使用scrapy爬虫的时候，我们常常使用xpath来获取html标签，但是我们经常会用到提取的方法，有两种提取的方法，分别是： extract():这个方法返回的是一个数组list，，里面包含了多个string，如果只有一个string，则返回['ABC']这样的形式。 ...

2019-04-02 11:35:27 5708 0

原创 Mac 系统vs code环境下使用selenium记录

起因：想爬取一个网站上的数据，但是这个网址不是一般的html，而是shtml，至于这两者的区别，大家可以自行百度，简单的说就是html一般都是静态网页，而shtml一般是动态网页，也就是我们在抓取的时候，不能真正得到网页上的数据，要想拿到数据，就要想别的办法，说这么多可能有点懵逼，简单例子如下...

2019-04-01 14:26:44 881 0

原创使用vs code环境调试scrapy框架程序

最近使用scrapy框架，因为我们使用scrapy框架一般都是通过命令行来执行的，所以对于我们调试就会出现很多的不便，上网查了一圈，发现很多都是一些pycharm软件的教程，vs code 很少，而且有的讲的不是很明白，先记录下来。要想在vocode里进行调试，首先我们要先模拟一下，在vs c...

2019-03-29 10:46:10 3256 3

原创 vs code下使用scrapy框架爬虫出现No module named:XXX解决办法

出现这个问题的原因是，python执行的时候，是根据我们最初设置的python路径，而我们自己创建的scrapy的路径不在上面路径的情况下，导致scrapy找不到路径了，所以我们把该路径下添加到python执行路径即可；解决办法： import sys import os fpath = ...

2019-03-29 09:49:20 1491 4

原创第一次使用Scrapy框架使用记录

由于使用Mac系统，Mac系统是自动安装了python2.7,貌似要升级，所以我是之前就安装了python3.6的，所以为安装Scrapy也提供了很好的帮助。首先讲安装， ython3.5中以上版本会自带 pip，所以不需要额外安装了，可以直接在终端输入 pip3 --version查看...

2019-03-19 14:32:01 86 0

原创利用Scrapy框架爬取数据命令行保存成csv出现乱码的解决办法

Scrapy是一个很好的爬虫框架，但是在我们把爬取的数据保存成csv的时候，我们常常会发现，保存下来的数据是乱码，网上也搜索了很多中解决办法，但是很多都是解决不了，先总结下来。我们在命令行里执行Scrapy框架的时候的步骤如下： 1，首先我们先进入我们spider的目录 cd /Use...

2019-03-19 12:01:43 1067 0

原创关于笔记本电脑连接网络时出现连接受限的解决办法

1，点击我的电脑，右键选择 →管理 2，然后分别点击如下的步骤1，步骤2，步骤3. 3，DHCP如果没有启动没那么右键直接启动，已经启动后的重新启动，然后保存后就可以了。 ...

2019-03-08 20:17:18 1469 0

原创大白话讲解Bootstrap是什么

Bootstrap 是一个用于快速开发 Web 应用程序和网站的前端框架。在现代 Web 开发中，有几个几乎所有的 Web 项目中都需要的组件。 Bootstrap 为您提供了所有这些基本的模块 - Grid、Typography、Tables、Forms、Buttons 和 Respons...

2019-02-25 19:45:38 4981 7

原创大白话讲解Vue前端框架

首先介绍一个很不错的网站：http://www.runoob.com/vue2/vue-tutorial.html 我们在不知道一些语法的时候，可以过来查询。 Vue.js（读音 /vjuː/, 类似于 view）是一套构建用户界面的渐进式框架。 Vue 只关注视图层，采用自底向上增量开...

2019-02-25 15:55:21 2715 0

原创使用记事本编写HTML的时候出现乱码的解决办法

我们在使用txt编写HTML的时候，会发现我们打开的网页是乱码的形式，如下图所示：原始是我们在使用记事本写完后，记事本直接默认把我们的格式给保存为ANSI的格式，所以会出现上图的乱码，我们只需要用记事本重新打开HTML代码，然后另存为UTF-8即可然后再打开就一切正常...

2019-02-21 20:34:18 1450 1

原创 HTML里img标签里的alt属性解释

我们在写HTML的时候，总会和图像进行交互，所以我们总会看到<img>标签里的alt属性。很多的解释是：alt 用来在非图形化浏览器中替代图像感觉很模棱两可，所以总结如下：如果无法显示图像，浏览器将显示替代文本，就像这样：显然这是不符合我们的需求的，...

2019-02-20 15:46:52 2331 0

原创 JavaScript基础知识（二）

注意：学习笔记。 1.  HTML：包含页面的内容和结构。  CSS：控制页面的外观和表现。  JavaScript：控制页面的行为。 2.JS区分大小写。 3.x == y 如果 x 和 y 相等，那么返回 true x === y 如果 x 和 y 完全相同，那么返回 ...

2019-02-16 20:59:19 57 0

原创关于GitStack的简单使用记录

用过Git的小伙伴应该都知道Git有一堆的命令需要去记，我觉得是有点麻烦，偶然机会接触到GitStack，感觉发现了一个新大陆啊简单的说GitStack简单实现了Git的功能，但是比Git更简单，更方便。首先我们要下载一个GitStack，下载链接：https://gitstack....

2018-12-07 19:53:22 802 0