- 博客(17)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 运行python脚本后台执行
方法一：脚本后加&加了&以后可以使脚本在后台运行，这样的话你就可以继续工作了。但是有一个问题就是你关闭终端连接后，脚本会停止运行；python3 run.py >/dev/null 2>&1 &1方法二：使用nohup在后台执行命令nohup python3 run.py >/dev/null 2>&1 &a...
2018-10-30 16:59:22
2573
原创 爬虫爬取表情
#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2018/10/26 15:27# @Author : jia.zhao# @Desc : # @File : doutu_request.py# @Software: PyCharmfrom selenium import webdriverimpo...
2018-10-26 17:58:19
566
原创 使用schedule模块定时执行任务
import scheduleimport time def job(): print("I'm working...") schedule.every(10).minutes.do(job)schedule.every().hour.do(job)schedule.every().day.at("10:30").do(job)schedule.every(5).to(1...
2018-10-26 16:00:10
1384
2
原创 给mysql表，加上自动时间戳，以及解决"Incorrect string value: '\\xF0\\x9F\\x93\\x9D\\xC2\\xA0...' for column 'con的错误
创建表时CURRENT_TIMESTAMP，一定要设置默认的值"Incorrect string value: '\\xF0\\x9F\\x93\\x9D\\xC2\\xA0...' for column 'con 报错是因为utf8不能容纳超过3个字节的emoji表情，需要使用utf8mb4字符集一定要注释掉原来代码中的charset 让自增的字段重新开始计数t...
2018-10-24 11:08:56
1638
转载 CentOS使用scrapy-splash
准备工作先完成简单scrapy项目 安装docker win下下载安装包安装 mac下下载安装包安装(尝试使用brew安装，安装启动过程非常复杂，最后选择使用安装包直接安装) centos7下运行： yum install docker redhat运行： yum install --setopt=obsoletes=0 docker-ce-17.03.2...
2018-10-23 10:28:04
454
转载 爬取哔哩哔哩弹幕制作词云
爬取哔哩哔哩的弹幕，http://comment.bilibili.com/6315651.xml需要知道cid,可以F12,F5刷新，找cid，找到之后拼接url也可以写代码，解析response获取cid,然后再拼接 使用requests或者urllib都可以我是用requests，请求该链接获取到xml文件代码：获取xmldef get_data()...
2018-10-22 15:08:31
1009
转载 pip/pip3更换国内源
pip/pip3更换国内源Windows更换pip/pip3源打开目录：%appdata%新增pip文件夹，新建pip.ini文件给pip.ini添加内容[global]timeout = 6000index-url = https://pypi.tuna.tsinghua.edu.cn/simpletrusted-host = pypi.tuna.tsinghua.edu.cn...
2018-10-19 16:10:31
7131
原创 Guacamole实现web远程访问桌面
在guacamole官网下载所需要的源码包http://guacamole.apache.org/releases/0.9.14/查看文档，安装必须的依赖库 依赖库安装的方法一（建议这种，比较简单）yum install cairo-devel libjpeg-devel libpng-devel uuid-develyum install ffmpeg-dev...
2018-10-18 18:12:02
3525
原创 scrapy+selenium中关于同一个页面模拟点击后，打开新的标签页，切换到新页面的方法
帮忙测测我的博客，别太夸张，谢谢 windows = spider.browser.current_window_handle # 定位当前页面句柄 time.sleep(5) target = spider.browser.find_element_by_id("toolber-keyword") keyword = input('输入你要拉取的数据：') target.send...
2018-10-15 15:54:51
5173
13
原创 Python中mysql数据库保存富文本编辑器中的内容
使用python 模块MySQLdb自带的针对mysql的字符转义函数 escape_string"""insert into csdn_test(message) VALUES("%s");""" % (pymysql.escape_string(item['content']))最好使用3引号，values中的引号，我的必须加，不加就报错 在Python中给mysql插入...
2018-10-15 15:16:25
1916
1
原创 CentOS7在python3的基础上安装scrapy
安装python3centos7安装python3的步骤需要做pip3和python3的软连接，这样python3和pip3就都能用了ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3直接执行pip3 install scrapy可能会报下面的错误 Could not find a version that satisfi...
2018-10-12 18:05:43
272
原创 关于在scrapy中连接有权限的MongoDB数据库的问题
# 如果mongodb数据库有权限，设置用户名和密码# self.connection.admin.authenticate(settings.MONGO_USER, settings.MONGO_PSW)
2018-10-12 16:59:58
629
原创 scrapy中xpath将某一个节点下的文本内容串起来
在爬取数据的时候碰到这样的情况想要拿到红框里的东西源码里面显示的是这样如果直接用text(),只能拿到的是单个li中的字符串这就需要使用xpath中的string()函数，string函数可以将ul底下的字符串全部获取出来，但是string中只能传递单个节点所以，直接用string函数获取出来，使用截取字符串的方式，截取，就能获取到每一个点更多内容关注我的微...
2018-10-11 09:52:28
2338
4
转载 博客系统的数据库设计
------------- user 用户表-----------CREATE TABLE user ( user_id mediumint(8) NOT NULL AUTO_INCREMENT COMMENT '用户ID', group_id mediumint(8) NOT NULL COMMENT '用户组ID', user_name varchar(32) NOT NULL C...
2018-10-09 16:57:30
2228
转载 CentOS 7 下使用yum安装MySQL5.7.20
CentOS7默认数据库是mariadb, 但是 好多用的都是mysql ，但是CentOS7的yum源中默认好像是没有mysql的。上一篇安装的是5.6的但是我想安装5.7的 yum安装是最简单的 尝试过编译安装各种问题，最后就决定用yum。(经过一段时间的学习又写了一篇用源码安装mysql5.7.22的 点击打开链接)1.卸载 先停掉mysql进程 没有安装过的可以直接跳过...
2018-10-09 16:55:08
157
原创 爬虫爬取抖音热门音乐
爬取抖音的热门 音乐详细代码在下面响应体内容工作流默认情况下，当你进行网络请求后，响应体会立即被下载。你可以通过stream参数覆盖这个行为，推迟下载响应体直到访问Response.content属性：tarball_url = 'https://github.com/kennethreitz/requests/tarball/master'r = reques...
2018-10-09 11:04:25
3526
原创 CentOS7安装python3，以及解决没有导入_ssl模块的问题
更新：2019-01-22在虚拟机上安装Python3碰到的问题，提示保护多库版本解决：https://blog.csdn.net/u012643122/article/details/53006833 ---------------------------------------------------------------------------------------...
2018-10-08 09:28:29
2719
postern-stuff-master.zip
2020-05-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人