- 博客(12)
- 收藏
- 关注
RSS订阅原创 python使用requests爬取淘宝搜索页数据
目录 前一段时间负责爬取淘宝的一些商品信息，本来接到爬取淘宝的任务的时候，下意识的就想用selenium（毕竟淘宝有点不好搞）。但是使用selenium时搜索页面也得需要登录，并且当使用selenium时不能使用本地浏览器缓存的cookie，这就有点恶心了。 但是我发现下面的接口携带的时搜索页面的数据，而且还是json数据，喝酒很开心了。 https://s.taobao.com/search?d...
2019-11-20 12:14:45
2745
4
原创 Django个人小记
1、Django简介： Django是使用python语言开发的一套免费开源的后台web框架，主要为前端HTML提供后台数据支持，后台项目的运行需要依托于服务器，从而接收前端发送的请求，后台予以响应。 Django提供一个测试服务器，是运行在本地电脑上的。 2005年7月份发布，2008年发布第一个正式版本。(php：1991年已经出现了。) Flask和Ternado框架：这两个框架爱定制性较高...
2019-04-01 19:16:00
291
原创 Django中的几种url路由形式以及视图函数接收参数的方式
1、直接在浏览器的url后，使用?和&符号拼接参数，视图函数应如何接收参数？ path('args/', views.params_first), 接收方式： 其中的’user’和’pwd’是可以随意定义的，但是要注意数量上的对应 def params_first(request): user_name = request.GET.get('user', '') ...
2019-04-01 19:15:49
1462
原创 Django框架中配置url路由时name的作用
当后期要修改url设置规则时，在不使用name字段的时候，不但要修改urls.py文件中的url路由，还要讲html文件中所有的相同路径进行修改，在实际应用中将会有大量的url路由，这样修改下来将会十分的麻烦。 但是，如果使用name字段只需要在urls.py 文件中将path()中的url路由修改了就行了，html文件中的则不需要修改，因为这种方式下是通过name字段来映射url的，故不用再去修...
2019-04-01 19:15:39
2679
2
原创 Django配合数据库使用
1、如果要使用mysql数据库在settings.py文件中将默认使用sqllite3数据库改为mysql数据库： DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'liuyanban', # 数据库的名称 'USER': 'root', ...
2019-04-01 19:15:27
312
原创 Django通过cookie记录实现点击加载更多
让评论页默认显示两条两条数据，其余数据通过点击加载更多来实现ajax的加载，同时提交评论后显示的是提交评论之前加载出来的评论。 大致思路： 定义一个用于记录加载评论的值offset(即偏移量)，这个值在所有需要加载评论的地方都需要使用。 设置方法：无论是在ajax请求还是评论之后，都需要将记录偏移量的值同步到cookie中，这样每次请求评论的时候都可以通过调用这个值来确定要加载出来的值。 1、进入...
2019-04-01 19:15:06
443
原创 Windows环境下的mysql8.0安装步骤简述
mysql安装 我在这里写的是前提是已经下载好了响应的mysql数据库安装包了，如果还没有下载，可以搜索mysql，然后去官网上找到对应自己系统版本的安装包进行下载 1、点击选择I accept the license terms然后点击Next，然后进入下一个页面 2、选择Developer Default ，然后点击Next，我这里选择的是默认安装所有配置环境，当然你也可以选择Cus...
2018-10-17 19:21:53
916
原创 将scrapy爬虫框架爬取到的数据存入mysql数据库
使用scrapy爬取网站数据，是一个目前来说比较主流的一个爬虫框架，也非常简单。 1、创建好项目之后现在settings.py里面把ROBOTSTXT_OBEY的值改为False，不然的话会默认遵循robots协议，你将爬取不到任何数据。 2、在爬虫文件里开始写你的爬虫，你可以使用xpath，也可以使用css选择器来解析数据，等将数据全部解析完毕之后再items文件里面去声明你的字段 im...
2018-10-17 19:21:44
9024
原创 scrapy爬虫框架中数据库（mysql）的异步写入
数据库的异步写入 scrapy爬虫框架里数据库的异步写入与同步写入在代码上的区别也就在pipelines.py文件和settings.py问价的区别，其他的都是一样的。本文就介绍一下pipelines.py和settings.py文件里面是如何配置的。 1、先到settings.py文件里面配置数据库的相关字段 2、先在pipelines.py文件里面导入相关模块 import p...
2018-10-17 19:21:16
3809
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人