Miracle.Zhao的博客

You Reap What You Sow

排序：
默认
按更新时间
按访问量
RSS订阅

原 使用python 520表白吧

明天就是520了，使用python画一束玫瑰送给妹子。部分代码来自网络。 代码如下： import turtle turtle.penup() turtle.left(90) turtle.fd(200) turtle.pendown() turtle.right(90) #文字 ...

2019-05-19 19:29:34

阅读数 45

评论数 1

原 爬取最新斗图啦网站上表情包

女朋友找我斗图，最后斗她到自闭。 网址：https://www.doutula.com/ 难度不大，代码如下： # -*- coding: utf-8 -*- import random import requests from bs4 import BeautifulSoup i...

2019-05-17 16:36:37

阅读数 13

评论数 0

原 23行代码带你爬取妹子图

爬取妹子图可能在爬虫里面没有什么技术含量了，新手练练手还是可以的。 今天爬取的网址是：http://www.youzi4.cc/mm/meinv/index_1.html 注意：爬取图片一般要加上referer,要不然就就出现，链接正确，总是返回<response 404&...

2019-04-26 08:29:48

阅读数 90

评论数 0

原 可运行的最新的使用scrapy框架爬取链家租房数据

看了一圈网上很多爬取链家数据的爬虫，但是由于链家已经把网页结构换掉了，所以原来的网上代码已经不能够使用，刚写了一个最新的爬虫，可以获取租房信息。 工具： python3.6 scrapy 1.6.0 框架 vscode 编辑器 基础知识关于如何使用scrapy框架什么的就不说了，网上...

2019-04-23 15:37:59

阅读数 38

评论数 0

原 Mac系统下vscode环境配置Power Mode插件

用过vscode的用户大家应该或多或少知道power mode插件，这个插件还是比较炫酷的，因为它可以伴随我们输入显示出相当炫酷的效果。 如下所示； 所以我也想设置一下，但是之前是在windows下设置的，比较简单，网络上基本都是windows的设置，没有Mac的设置，所以记录一下 。 ...

2019-04-12 11:43:31

阅读数 87

评论数 0

原 vscode多行和单行注释快捷键设置

个人比较喜欢使用vscode来做一些python的事情，但是调试程序的时候，我们经常要使用注释键，但是怎么才能设置自己喜欢的快捷键呢？ 1，选择首选项->键盘快捷方式 2，出来一个搜索框，我们输入comment就会出现如图所示的界面。第一个是快注释的快捷键修改，第二个是行注释的快...

2019-04-11 16:42:37

阅读数 176

评论数 0

原 利用Scrapy框架爬取数据使用pipelines保存成csv出现乱码的解决办法

之前写了一篇关于使用命令行来执行scrapy代码保存csv文件出现乱码的解决办法，但是我把保存csv的文件代码写到pipelines里的时候，原来的设置（在创建项目的settings.py中，添加如下代码FEED_EXPORT_ENCODING = 'gb18030'）就会出现错误，也就是说，不同...

2019-04-03 16:18:33

阅读数 32

评论数 0

原 使用scrapy框架爬虫的时候xpath的extract()和extract_first()的区别

在使用scrapy爬虫的时候，我们常常使用xpath来获取html标签，但是我们经常会用到提取的方法，有两种提取的方法，分别是： extract():这个方法返回的是一个数组list，，里面包含了多个string，如果只有一个string，则返回['ABC']这样的形式。 extract_fi...

2019-04-02 11:35:27

阅读数 218

评论数 0

原 Mac 系统vs code环境下使用selenium记录

起因： 想爬取一个网站上的数据，但是这个网址不是一般的html，而是shtml，至于这两者的区别，大家可以自行百度，简单的说就是html一般都是静态网页，而shtml一般是动态网页，也就是我们在抓取的时候，不能真正得到网页上的数据，要想拿到数据，就要想别的办法，说这么多可能有点懵逼，简单例子如下...

2019-04-01 14:26:44

阅读数 249

评论数 0

原 使用vs code环境调试scrapy框架程序

最近使用scrapy框架，因为我们使用scrapy框架一般都是通过命令行来执行的，所以对于我们调试就会出现很多的不便，上网查了一圈，发现很多都是一些pycharm软件的教程，vs code 很少，而且有的讲的不是很明白，先记录下来。 要想在vocode里进行调试，首先我们要先模拟一下，在vs c...

2019-03-29 10:46:10

阅读数 197

评论数 0

原 vs code下使用scrapy框架爬虫出现No module named:XXX解决办法

出现这个问题的原因是，python执行的时候，是根据我们最初设置的python路径，而我们自己创建的scrapy的路径不在上面路径的情况下，导致scrapy找不到路径了，所以我们把该路径下添加到python执行路径即可； 解决办法： import sys import os fpath = ...

2019-03-29 09:49:20

阅读数 93

评论数 0

原 第一次使用Scrapy框架使用记录

由于使用Mac系统，Mac系统是自动安装了python2.7,貌似要升级，所以我是之前就安装了python3.6的，所以为安装Scrapy也提供了很好的帮助。 首先讲安装， ython3.5中以上版本会自带 pip，所以不需要额外安装了，可以直接在终端输入 pip3 --version查看...

2019-03-19 14:32:01

阅读数 33

评论数 0

原 利用Scrapy框架爬取数据命令行保存成csv出现乱码的解决办法

Scrapy是一个很好的爬虫框架，但是在我们把爬取的数据保存成csv的时候，我们常常会发现，保存下来的数据是乱码，网上也搜索了很多中解决办法，但是很多都是解决不了，先总结下来。 我们在命令行里执行Scrapy框架的时候的步骤如下： 1，首先我们先进入我们spider的目录 cd /Use...

2019-03-19 12:01:43

阅读数 128

评论数 0

原 关于笔记本电脑连接网络时出现连接受限的解决办法

1，点击我的电脑，右键选择 →管理 2，然后分别点击如下的步骤1，步骤2，步骤3. 3，DHCP如果没有启动没那么右键直接启动 ，已经启动后的重新启动，然后保存后就可以了。 ...

2019-03-08 20:17:18

阅读数 157

评论数 0

原 大白话讲解Bootstrap是什么

Bootstrap 是一个用于快速开发 Web 应用程序和网站的前端框架。 在现代 Web 开发中，有几个几乎所有的 Web 项目中都需要的组件。 Bootstrap 为您提供了所有这些基本的模块 - Grid、Typography、Tables、Forms、Buttons 和 Respons...

2019-02-25 19:45:38

阅读数 130

评论数 0

原 大白话讲解Vue前端框架

首先介绍一个很不错的网站：http://www.runoob.com/vue2/vue-tutorial.html 我们在不知道一些语法的时候，可以过来查询。 Vue.js（读音 /vjuː/, 类似于 view） 是一套构建用户界面的渐进式框架。 Vue 只关注视图层， 采用自底向上增量开...

2019-02-25 15:55:21

阅读数 57

评论数 0

原 使用记事本编写HTML的时候出现乱码的解决办法

我们在使用txt编写HTML的时候，会发现我们打开的网页是乱码的形式，如下图所示：   原始是我们在使用记事本写完后，记事本直接默认把我们的格式给保存为ANSI的格式， 所以会出现上图的乱码，我们只需要用记事本重新打开HTML代码，然后另存为UTF-8即可 然后再打开就一切正常...

2019-02-21 20:34:18

阅读数 117

评论数 0

原 HTML里img标签里的alt属性解释

我们在写HTML的时候，总会和图像进行交互，所以我们总会看到<img>标签里的alt属性。 很多的解释是：alt 用来在非图形化浏览器中替代图像 感觉很模棱两可，所以总结如下： 如果无法显示图像，浏览器将显示替代文本，就像这样： 显然这是不符...

2019-02-20 15:46:52

阅读数 100

评论数 0

原 JavaScript基础知识（二）

注意：学习笔记。 1.   HTML：包含页面的内容和结构。   CSS：控制页面的外观和表现。   JavaScript：控制页面的行为。 2.JS区分大小写。 3.x == y  如果 x 和 y 相等，那么返回 true x === y  如果 x 和 y 完全相同，那么返回 ...

2019-02-16 20:59:19

阅读数 30

评论数 0

原 关于GitStack的简单使用记录

用过Git的小伙伴应该都知道Git有一堆的命令需要去记，我觉得是有点麻烦，偶然机会接触到GitStack，感觉发现了一个新大陆啊 简单的说GitStack简单实现了Git的功能，但是比Git更简单，更方便。   首先我们要下载一个GitStack，下载链接：https://gitstack....

2018-12-07 19:53:22

阅读数 383

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭