Miracle.Zhao的博客

You Reap What You Sow

使用python 520表白吧

明天就是520了,使用python画一束玫瑰送给妹子。部分代码来自网络。 代码如下: import turtle turtle.penup() turtle.left(90) turtle.fd(200) turtle.pendown() turtle.right(90) #文字 ...

2019-05-19 19:29:34

阅读数 45

评论数 1

爬取最新斗图啦网站上表情包

女朋友找我斗图,最后斗她到自闭。 网址:https://www.doutula.com/ 难度不大,代码如下: # -*- coding: utf-8 -*- import random import requests from bs4 import BeautifulSoup i...

2019-05-17 16:36:37

阅读数 13

评论数 0

23行代码带你爬取妹子图

爬取妹子图可能在爬虫里面没有什么技术含量了,新手练练手还是可以的。 今天爬取的网址是:http://www.youzi4.cc/mm/meinv/index_1.html 注意:爬取图片一般要加上referer,要不然就就出现,链接正确,总是返回<response 404&...

2019-04-26 08:29:48

阅读数 90

评论数 0

可运行的最新的使用scrapy框架爬取链家租房数据

看了一圈网上很多爬取链家数据的爬虫,但是由于链家已经把网页结构换掉了,所以原来的网上代码已经不能够使用,刚写了一个最新的爬虫,可以获取租房信息。 工具: python3.6 scrapy 1.6.0 框架 vscode 编辑器 基础知识关于如何使用scrapy框架什么的就不说了,网上...

2019-04-23 15:37:59

阅读数 38

评论数 0

Mac系统下vscode环境配置Power Mode插件

用过vscode的用户大家应该或多或少知道power mode插件,这个插件还是比较炫酷的,因为它可以伴随我们输入显示出相当炫酷的效果。 如下所示; 所以我也想设置一下,但是之前是在windows下设置的,比较简单,网络上基本都是windows的设置,没有Mac的设置,所以记录一下 。 ...

2019-04-12 11:43:31

阅读数 87

评论数 0

vscode多行和单行注释快捷键设置

个人比较喜欢使用vscode来做一些python的事情,但是调试程序的时候,我们经常要使用注释键,但是怎么才能设置自己喜欢的快捷键呢? 1,选择首选项->键盘快捷方式 2,出来一个搜索框,我们输入comment就会出现如图所示的界面。第一个是快注释的快捷键修改,第二个是行注释的快...

2019-04-11 16:42:37

阅读数 176

评论数 0

利用Scrapy框架爬取数据使用pipelines保存成csv出现乱码的解决办法

之前写了一篇关于使用命令行来执行scrapy代码保存csv文件出现乱码的解决办法,但是我把保存csv的文件代码写到pipelines里的时候,原来的设置(在创建项目的settings.py中,添加如下代码FEED_EXPORT_ENCODING = 'gb18030')就会出现错误,也就是说,不同...

2019-04-03 16:18:33

阅读数 32

评论数 0

使用scrapy框架爬虫的时候xpath的extract()和extract_first()的区别

在使用scrapy爬虫的时候,我们常常使用xpath来获取html标签,但是我们经常会用到提取的方法,有两种提取的方法,分别是: extract():这个方法返回的是一个数组list,,里面包含了多个string,如果只有一个string,则返回['ABC']这样的形式。 extract_fi...

2019-04-02 11:35:27

阅读数 218

评论数 0

Mac 系统vs code环境下使用selenium记录

起因: 想爬取一个网站上的数据,但是这个网址不是一般的html,而是shtml,至于这两者的区别,大家可以自行百度,简单的说就是html一般都是静态网页,而shtml一般是动态网页,也就是我们在抓取的时候,不能真正得到网页上的数据,要想拿到数据,就要想别的办法,说这么多可能有点懵逼,简单例子如下...

2019-04-01 14:26:44

阅读数 249

评论数 0

使用vs code环境调试scrapy框架程序

最近使用scrapy框架,因为我们使用scrapy框架一般都是通过命令行来执行的,所以对于我们调试就会出现很多的不便,上网查了一圈,发现很多都是一些pycharm软件的教程,vs code 很少,而且有的讲的不是很明白,先记录下来。 要想在vocode里进行调试,首先我们要先模拟一下,在vs c...

2019-03-29 10:46:10

阅读数 197

评论数 0

vs code下使用scrapy框架爬虫出现No module named:XXX解决办法

出现这个问题的原因是,python执行的时候,是根据我们最初设置的python路径,而我们自己创建的scrapy的路径不在上面路径的情况下,导致scrapy找不到路径了,所以我们把该路径下添加到python执行路径即可; 解决办法: import sys import os fpath = ...

2019-03-29 09:49:20

阅读数 93

评论数 0

第一次使用Scrapy框架使用记录

由于使用Mac系统,Mac系统是自动安装了python2.7,貌似要升级,所以我是之前就安装了python3.6的,所以为安装Scrapy也提供了很好的帮助。 首先讲安装, ython3.5中以上版本会自带 pip,所以不需要额外安装了,可以直接在终端输入 pip3 --version查看...

2019-03-19 14:32:01

阅读数 33

评论数 0

利用Scrapy框架爬取数据命令行保存成csv出现乱码的解决办法

Scrapy是一个很好的爬虫框架,但是在我们把爬取的数据保存成csv的时候,我们常常会发现,保存下来的数据是乱码,网上也搜索了很多中解决办法,但是很多都是解决不了,先总结下来。 我们在命令行里执行Scrapy框架的时候的步骤如下: 1,首先我们先进入我们spider的目录 cd /Use...

2019-03-19 12:01:43

阅读数 128

评论数 0

关于笔记本电脑连接网络时出现连接受限的解决办法

1,点击我的电脑,右键选择 →管理 2,然后分别点击如下的步骤1,步骤2,步骤3. 3,DHCP如果没有启动没那么右键直接启动 ,已经启动后的重新启动,然后保存后就可以了。 ...

2019-03-08 20:17:18

阅读数 157

评论数 0

大白话讲解Bootstrap是什么

Bootstrap 是一个用于快速开发 Web 应用程序和网站的前端框架。 在现代 Web 开发中,有几个几乎所有的 Web 项目中都需要的组件。 Bootstrap 为您提供了所有这些基本的模块 - Grid、Typography、Tables、Forms、Buttons 和 Respons...

2019-02-25 19:45:38

阅读数 130

评论数 0

大白话讲解Vue前端框架

首先介绍一个很不错的网站:http://www.runoob.com/vue2/vue-tutorial.html 我们在不知道一些语法的时候,可以过来查询。 Vue.js(读音 /vjuː/, 类似于 view) 是一套构建用户界面的渐进式框架。 Vue 只关注视图层, 采用自底向上增量开...

2019-02-25 15:55:21

阅读数 57

评论数 0

使用记事本编写HTML的时候出现乱码的解决办法

我们在使用txt编写HTML的时候,会发现我们打开的网页是乱码的形式,如下图所示:   原始是我们在使用记事本写完后,记事本直接默认把我们的格式给保存为ANSI的格式, 所以会出现上图的乱码,我们只需要用记事本重新打开HTML代码,然后另存为UTF-8即可 然后再打开就一切正常...

2019-02-21 20:34:18

阅读数 117

评论数 0

HTML里img标签里的alt属性解释

我们在写HTML的时候,总会和图像进行交互,所以我们总会看到<img>标签里的alt属性。 很多的解释是:alt 用来在非图形化浏览器中替代图像 感觉很模棱两可,所以总结如下: 如果无法显示图像,浏览器将显示替代文本,就像这样: 显然这是不符...

2019-02-20 15:46:52

阅读数 100

评论数 0

JavaScript基础知识(二)

注意:学习笔记。 1.   HTML:包含页面的内容和结构。   CSS:控制页面的外观和表现。   JavaScript:控制页面的行为。 2.JS区分大小写。 3.x == y  如果 x 和 y 相等,那么返回 true x === y  如果 x 和 y 完全相同,那么返回 ...

2019-02-16 20:59:19

阅读数 30

评论数 0

关于GitStack的简单使用记录

用过Git的小伙伴应该都知道Git有一堆的命令需要去记,我觉得是有点麻烦,偶然机会接触到GitStack,感觉发现了一个新大陆啊 简单的说GitStack简单实现了Git的功能,但是比Git更简单,更方便。   首先我们要下载一个GitStack,下载链接:https://gitstack....

2018-12-07 19:53:22

阅读数 383

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭