- 博客(27)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Selenium学习基础下
selenium基础学习有很多时候我们处理的都是ajax的网址 所以我们可能需要等待一些操作案例说明 等待from selenium import webdriverimport osimport time# 实例化对象file = os.path.join(os.path.dirname(__file__),'chromedriver.exe')driver = webdriver.Chrome(file)# driver.get('https://www.baidu.com')#
2021-02-21 13:02:17
223
1
原创 Selenium学习基础上
Selenium基础学习直接模拟浏览器的行为。浏览器能请求到的，使用selenium也能请求到。爬虫更稳定。首先下载 chromedriver 版本号要和自己谷歌浏览器版本一致下载地址快速简易selenium项目# chromdriver 得版本一定要和浏览器版本一样import osfrom selenium import webdriverimport time# 获取chrome drive地址file = os.path.join(os.path.dirname(__file_
2021-02-21 12:49:11
193
1
原创 flask学习第五天数据库相关操作
连接数据库(mysql)得语句： 语法：mysql+pymysql://用户名：密码@ip：端口/数据库名增删改查小练习from sqlalchemy import create_enginefrom sqlalchemy import Column, Integer, Stringfrom sqlalchemy.orm import sessionmaker# 连接数据库# 地址from sqlalchemy.ext.declarative import declarative_base
2021-02-08 22:22:23
138
原创 flask学习第五天 蓝图管理url
之前我们写的url和视图函数都是处在同一个文件，如果项目比较大的话，这显然不是一个合理的结构，而蓝图可以优雅的帮我们实现这种需求。蓝图from flask import Blueprint, render_template"""def __init__( self, name, import_name, # __name__"""book_bp = Blueprint('book', __name__)# template_folder=
2021-02-06 22:10:27
256
原创 flask学习第四天标准类视图
from flask import Flask, render_template, views, jsonify, url_forapp = Flask(__name__)def jtwj(): return '个人中心'class ListView(views.View): """ 看解释 首先继承于views.View 其次 必须重写dispatch_request() 基本上是返回一个字典 """ def d
2021-02-06 21:42:14
162
原创 flask学习第三天 传参
今天来说说flask如果想向网页传递参数 和处理参数可允许传递的参数的类型 # return 'string可以返回' # return {'字典': '字典可以返回'} # return ('python', 'java') 元组可以返回但是只能返回第一个 # return 'python', 200 这也是一个元组 可以接一个状态码 元组经常是这样用的 # 下面 status 是状态码 mimetype 返回格式 # return Response
2021-02-06 21:30:44
562
原创 flask 学习第二天
今天说说文件夹我们都知道flask是为了连接数据库和网页 网站开发templates 是存放html的文件夹 static存放静态文件这是Flask类的__init__() 函数 里面规定了静态文件和html文件的文件夹的名字 所以名字是固定虽然可以更改 但是强烈不建议引用html文件from flask import Flask, render_template# 实例化可以更改static文件名称和templates的文件名字# 传入参数就行了 但是最好不改保持统一性ap
2021-02-06 21:10:45
144
原创 学习flask 第一天
第一个flask程序 和 对传参的限制 debug启动方式 获取get和post参数的不同方式from flask import Flask, request# 实例化类app = Flask(__name__)# @app是一个路由 直白一点就是网址后半部分 前半部分 已经固定了@app.route('/')# url 是统一资源定位符def helloworld(): return 'helloworld'# 路由传递参数 hello == <hello
2021-02-06 21:02:07
134
原创 python虚拟环境
虚拟环境1 虚拟环境存在的必要性可以为单独的为每个项目配置环境 这样一个虚拟环境服务一个项目 不会存在版本更新版本不一样不兼容的问题2 虚拟环境的安装 windows: pip install pipenvlinuxs: pip install pipenv3 配置虚拟环境 ： 进入项目文件夹 pipenv shell会产生一个文件4 配置好之后再回到pycharm配置虚拟环境 file + setting + 6 管理虚拟环境pipenv shell # 进入虚拟环境
2021-02-06 20:48:11
115
1
原创 scrapy 处理数据的一些方法补充一些知识点
response.xpath()如果还要继续使用xopath 那么需要加(’./’)这样写才可以1)response.xpath方法的返回结果是一个类似list的类型,其中包含的是selector对象,操作和列表一样,但是有一些额外的方法2)extract() 返回一个包含有字符串的列表3)extract_first() 返回列表中的第一个字符串,列表为空返回None调度器把requests–>引擎–>下载中间件—>下载器下载器发送请求，获取响应---->下载中间件-
2021-02-02 21:45:57
338
原创 scrapy 基础
scrapy基础通盘总结Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度工作图片流程解释 ：1 spiders 从setting中获取配置 从Scheduler中获取网址 交给调度器调度器判断之后 交给下载 中间件----》网页数据2 网页数据返回 -------》下载中间件--------------》调度器 -----------》调度器把数据
2021-02-02 21:23:34
427
1
原创 正则表达式 基础
1 概念正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符，及这些特定字符的组合，组成一个‘规则字符串’ 用来表达对字符串的一种过滤逻辑2 应用场景表单验证爬虫3 re模块match( pattern , string , flags =0)第⼀个参数是正则表达式，如果匹配成功，则返回⼀个match对象，否则返回⼀个None第⼆个参数表示要匹配的字符串第三个参数是标致位⽤于控制正则表达式的匹配⽅式 如: 是否区分⼤⼩写,多⾏匹配等等# 一点点案例import
2021-01-27 11:23:39
76
原创 爬虫第二天学习工具
学习爬虫第二天1urllib.request模块方法//需要添加cookie和data或者headers时候//需要先收集一个响应对象】//urllib.request.Request(url，关键字参数); ///因为urlopen()不支持重构1 urllib.request.urlopen(网址（需要添加cookie和data或者headers时候需要放一个响应对象）)2 response.read() ------>返回一个字节流2 response.read().decode
2021-01-20 21:50:50
66
1
原创 学习爬虫第一天 了解基础的网页模式
今天开始学习爬虫 第一天端口我们通过ip找到相应的电脑 电脑里面有很多程序 我们找到某一个程序的手段就是依靠端口， 端口和ip有着一样的意思就是名字，标识 。只是作用的对象不一样通讯协议1 国际组织定义的通用协议是TCP/IP2 所谓协议就是值两台计算机通信网络中两台计算机之间必须遵守的规定 相当于合同3 HTTP又叫做超文本传输协议 HTTP的端口是80网络模型...
2021-01-19 22:05:40
228
原创 python 列表推导式 生成器 迭代器
列表推导式 生成器 迭代器列表推导式列表推导式格式[变量 for 变量 in 可迭代 [if 条件] ]两个列子 一个有if一个没有iflist1 = [[1, 2, 3], [4, 5, 6], [1, 3, 5]]name = [x[2] for x in list1]#结果[3, 6, 5]列表推导式是可以使用两个for的name = [(x, y) for x in range(0, 11) if x % 2 == 0 for y in range(0, 11) if y %
2021-01-07 19:57:47
506
原创 python 错误和异常基础
python 错误和异常代码显示几种形式try…except…def h(): try: word = int(input("请输入一个数字：")) print(word) except: print('错误')第二种得出详细错误try…except…finally…def h(): try: word = int(input("请输入一个数字：")) print(word) ex
2021-01-07 19:25:26
111
原创 python os模块基础
OS模块1 os.pathos.path.dirname(file)---------》返回当前文件的路径os.path.join(path, ‘文件名’,…)-----------》第一个参数为一个路径 ，可以有参数名 一层一层的拼接到path上面 然后返回os.path.isabs(path)--------------》返回一个布尔值 判断是否为据对路径os.path.isdir(path)----------》判断此路径是否是一个文件夹os.path.isfile(path)-----
2021-01-06 11:15:50
88
1
原创 python文件操作基础
python 文本操作open(file, mode=‘r’)mode:r ----》读w ----》写rb ----》二进制读wb----》二进制写a—》追加file: 文件路径 在读的时候没有这个文件 会自动创建open 会返回一个流里面的内容会放在流里 所以在读的过程中 只能读一次 如果还想重新读内容则需要重新open一次read（）都所有的东西readline（）读一行readlines() 读取多行返回一个列表readable（）判断是否可读(write方法和读的方法
2021-01-05 17:38:55
96
1
原创 python匿名函数和递归函数
匿名函数和递归函数匿名函数格式：lambda 参数:运算例子：hello = lambda a, b : a+b匿名函数一半结合内置函数使用max(list, [func]) ---------》func匿名函数比如 列表里面元素是字典 就是可以 (list,lambda x: x[键])min() ------------》和max几乎一样map([func], *iterables)----------》对可迭代的进行每一个元素的加减乘除reduce(function, sequenc
2021-01-04 12:50:08
98
原创 python闭包 装饰器 作用域
今天学习了闭包 装饰器 作用域LEGB 局部，函数作用域 全局 内置闭包条件 （在函数中提出的这个概念）1 有 内层函数2 内层函数引用了外层函数的变量3 返回了外层函数闭包格式def hello():word = 5def wrap(*args, **kwargs):print(word)return wrap闭包变量不会回收 所以不同参数打印的值是不会影响的装饰器def decorate(*args,**kwargs):------------》装饰器接收参数可以不用写这一
2021-01-01 16:29:25
145
原创 全局变量 局部变量 函数参数 内部函数
今天学习了 可变参数 (*args) 和关键字可变参数(*kwargs)全局变量在函数中改变全局变量需要加 global局部变量声明在函数中的变量全局在函数中输出glocals()会输出函数的字段和内部函数内部函数声明在函数中的函数修改外部函数不可变的变量需要加nonlocal函数在函数中输出locals()会输出函数的字段和内部函数函数参数变化1 无参2 关键字参数3 可变参数4 可变关键字参数5 混合使用参数...
2020-12-30 20:20:27
154
原创 python Set 集合常用
python 集合创建空集合 一半用 s = set()set() 无序的 不重复的集合添加方法add() 添加元素update() 合并列表 或者字符串删除方法remove(Element) # 如果没有Element 会报错discard(Element) # 用法和remove一样 但是如果没有Element 不会报错pop() # 随机删除(一般删除第一个元素)clear()# 清空元素一般运算在方法后面加一个_update 表示直接给调用者运算并且赋值in # 判断是否
2020-12-19 19:32:11
106
1
原创 python缓冲池
pythonis 比较的是地址== 比较的是内容通常来说 dict list tuple str set int str …有很多都是对象 声明的时候内容可以一样但是 地址不会一样所以判断的时候 is都为false 而==则为True对象缓冲池自己目前了解int str 有strpython有个intern机制，简单说就是维护一个字典，这个字典维护已经创建字符串(key)和它的字符串对象的地址(value)，每次创建字符串对象都会和这个字典比较，没有就创建，重复了就用指针进行引用就可以
2020-12-19 18:54:17
439
1
原创 python基础
变量小整数池（-5，256）和大整数进制转换八位直接每一个位置三个数字每一位数字单独算然后相加位运算<< >> 左移 右移 运算三目运算符只要break就 会跳出for…break 结构字符串常见方式截取字符串print(‘helloworld’[0:5]) # 从小到大 不能反着输出 第一位是0 第一个参数如果不给值就是0 第二个参数不给值 就是最长长度值print(‘helloworld’[5::-1]) # 第三个参数输±就可以前面大后面小 返着
2020-12-08 21:14:21
324
原创 python 字符串转换为字典
python 字符串转换为字典1、通过 json 来转换 局限json.loads(字符串)由于 json 语法规定 数组或对象之中的字符串必须使用双引号，不能使用单引号2，通过eval转换 安全问题eval(字符串)3，ast.literal_eval转换 比较完美ast.literal_eval(字符串)...
2020-09-21 16:57:06
179
原创 Python去空格
1：strip()方法，去除字符串开头或者结尾的空格2：lstrip()方法，去除字符串开头的空格3：rstrip()方法，去除字符串结尾的空格4：replace()方法，可以去除全部空格replace主要用于字符串的替换replace(old, new, count)str....
2020-09-15 13:36:44
107
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人