2018年01月_喜碧夫人听众

原创分享百度贴吧爬虫的Python代码

说在前面之前分享了微博的爬虫代码，因为这些大网站的反爬机制相对比较严格，说不准啥时候又不能用了也是很常见的情况。所以细节上的东西需要各位自己来调整了。这次分享我写的爬取百度贴吧帖子内容的爬虫。上代码import requestsfrom bs4 import BeautifulSoupimport reimport pymysqlimport timephone_p

2018-01-31 14:07:17 1062 1

原创分享下微博爬虫的代码

一、说在前面微博的反爬做的还是挺好的，登陆过程中有跳转、加密、验证码等玩意儿夹杂在一起，模拟登陆的难度比较大。所以偷懒用了cookie登录的方式，访问wap站来减小难度。思路是从一个大V开始抓取他的粉丝列表，从粉丝列表中筛选粉丝数较大的号继续爬取他的粉丝列表，获取了大量的微博UID后，拼接出他的个人资料页和所发微博页，从中爬取需要的数据。二、上代码2.1 获取微博UIDimpo

2018-01-30 10:20:05 2083 2

原创用Python绘制词云图

前言词云图是数据分析中比较常见的一种可视化手段。正好，Python下也有一款词云生成库，word_cloud：https://github.com/amueller/word_cloud 基于我之前爬取的微博数据，制作了一批词云图，由此来讲讲此模块的使用。一、分词1.1 制作停止词库分词之前先准备一下停止词，因为中文中有很多的语气词啊，副词啊等，对于我们展现词频热度是无意

2018-01-26 10:03:48 22618 1

原创用Python识别简单验证码

前言闲扯标题虽然是识别验证码，但实际上本文讲的是OCR（Optical Character Recognition，光学字符识别）。用到三个模块：PILtesseract-ocpytesseract简单介绍下： 1. PIL （Python Imaging Library）是 Python 中最常用的图像处理库； 2. tesseract-oc是HP的一个文字识别项目，

2018-01-18 18:50:17 2033 1

原创谈谈Python大名鼎鼎的第三方库Requests

例行闲扯Requests是基于urllib库编写的HTTP库，官方的大标题是这么写的： HTTP for Humans人性化的HTTP?手动斜眼笑，总之官方文档写的挺逗逼的，非常值得一看。当然这个库的强大也足以对得起官方文档不遗余力的吹捧。官方文档：http://www.python-requests.org/en/master/ 官方中翻：http://docs.pyth

2018-01-12 16:03:49 406

原创用Python实现AES加密和解密

一、前言AES，高级加密标准（英语：Advanced Encryption Standard）。是用来替代DES，目前比较流行的加密算法。它是一种对称加密算法，与上一篇博文提到过的RSA非对称算法不同，AES只有一个密钥，这个密钥既用来加密，也用于解密。AES只是个基本算法，实现AES有几种模式，主要有ECB、CBC、CFB和OFB这几种（其实还有个CTR）：1.ECB模式（电

2018-01-11 12:03:41 19646

原创用Python实现RSA签名和验签

唠叨两句，蹭点篇幅RSA是一种非对称加密算法，简单理解就是两个密钥：一个公钥，一个私钥。同时它也可以用来签名和验签，正好与加密相反。加密：公钥加密，私钥解密；签名：私钥签名，公钥验签。有意思的是有些人分不清公钥私钥的用处，这里提供一个思路：用作加密时，密文泄露是无所谓的（相对而言），重要的是用于解密的密钥必须安全，所以用不公开的私钥来解密，用公钥来加密；用作签名时，目

2018-01-10 17:23:10 18358 5

原创 MySQL仅从.frm和.ibd文件恢复数据

前言MySQL的数据库其相关文件都会存放在安装目录下data文件夹下的同命文件夹中，不用的存储引擎创建的表其文件也不一样，下面来认识下这些数据库文件。db.opt用来记录该库的默认字符集编码和字符集排序规则用的。也就是说如果你创建数据库指定默认字符集和排序规则，那么后续创建的表如果没有指定字符集和排序规则，那么该新建的表将采用db.opt文件中指定的属性。.frm与表相

2018-01-09 16:04:33 17808 5

原创 MySQL用户管理（5.7.20-winx64）

一、添加用户1.直接在MYSQL.USER表插入记录mysql> use mysql;Database changedmysql> INSERT INTO user(host, user, authentication_string, select_priv, create_priv,index_priv) VALUES ('localhost', 'user', PASSW

2018-01-04 17:59:08 786

原创 MySQL-5.7.20-winx64安装流程

一、下载官方下载地址： https://dev.mysql.com/downloads/mysql/ 可以选择下载MySQL Installer MSI来安装，全程图形化界面，方便简洁，推荐小白使用此种方式。早先版本的时候64位是不支持这种安装方式的，只能选择下载ZIP包。下载时需要登录Oracle帐号，没有的话注册一个就行。当然如果官方的下载速度不理想的话可以选择国内的镜像站，很给力。

2018-01-02 16:29:27 1002 1

真新镇的涅法雷姆