- 博客(330)
- 收藏
- 关注
原创 dataframe.read_excel() 指定某些数字型字段为object,避免默认为int64
dataframe.read_excel() 指定某些数字型字段为object,避免默认为int64curdf = pd.read_excel("get_today_all.xlsx", dtype={"code": "object"}) 字段类型float64 str object int64 数据类型转换curdf["code"] = curdf["code...
2018-08-13 16:09:29
5358
原创 python mongodb操作
目录 测试 import requestsimport timeimport datetimefrom pymongo import MongoClient # 导包#创建连接到数据库client = MongoClient('mongodb://ec2-13-56-14-11.us-west-1.compute.amazonaws.com:37017/')#创建数据库...
2018-08-02 11:16:18
529
原创 ubuntu 16.04 linux下mongodb的安装和配置
目录测试环境:安装步骤:创建数据库目录启动mongod服务操作数据库配置MongoDB认证账户1:常用命令2:roles字段,指定用户的角色,内置角色3:设置密码mongodb远程连接配置集合查询方法 测试环境:ubuntu: 16.04.4 LTSgcc: 5.4.0mongdb: 3.6.6linux:查看版本una...
2018-08-01 15:43:02
16497
原创 window迁移至linux mysql主从同步操作以及错误总结
目录A: 测试环境B 主库操作C:从库操作D:主从同步问题总结问题一: Slave_SQL_Running_State: Reading event from the relay log 出现延迟问题二:Last_SQL_Error: Could not execute Delete_rows eventA: 测试环境 主服务器: window系统主库(...
2018-07-27 15:22:59
535
原创 python 数组 写成字符串 unicode 还原成数组
dt = u'[[1526072400000,0.00174020,0.00175920,0.00172020,0.00174200,55950.2825],[1526076000000,0.00174176,0.00178489,0.00174090,0.00177600,72030.4565]]' from ast import literal_eval import nump...
2018-05-24 17:20:26
2465
2
原创 python datetime utc 转换
import dateutil.parser import pytz import time from datetime import datetime datestring = '2018-05-17T04:00:00.000Z' local_time = dateutil.parser.parse(datestring).astimezo...
2018-05-21 15:45:52
11949
原创 window python2.7 ImportError: No module named 'MySQLdb'
下载链接地址: 点击打开链接下载版本 : mysqlclient‑1.3.12‑cp27‑cp27m‑win_amd64.whl
2018-05-16 18:30:51
2297
转载 python callback 回调函数
你到一个商店买东西,刚好你要的东西没有货,于是你在店员那里留下了你的电话,过了几天店里有货了,店员就打了你的电话,然后你接到电话后就到店里去取了货。在这个例子里,你的电话号码就叫回调函数,你把电话留给店员就叫登记回调函数,店里后来有货了叫做触发了回调关联的事件,店员给你打电话叫做调用回调函数,你到店里去取货叫做响应回调事件。回答完毕。作者:常溪玲链接:https://www.zhihu.com/q...
2018-05-07 16:25:03
2051
原创 python request 中文乱码
1 问题出现:<title>个è¡ç¹ç _ ä¸æ¹è´¢å¯ç½</title>2 问题解决:确认网页内容编码,并解密加密def assert_encoding(response): if response.encoding == 'ISO-8859-1': encodings = requests.utils.get_encodings_f...
2018-04-25 16:36:01
3278
原创 schedule 定时器
import scheduleimport timefrom datetime import datetimedef test_schedule(): import schedule import time import threading from datetime import datetime def job(): pr...
2018-04-20 16:48:13
773
原创 PhantomJS_Selenium安装与配置
PhantomJS:下载地址:http://phantomjs.org/download.html版本: phantomjs-2.1.1-windows.zip下载后解压即可,配置环境变量 path D:\phantomjs-2.1.1-windows\phantomjs-2.1.1-windows\bin;SeleniumSelenium安装 下载地址 : https://pypi.python...
2018-04-20 16:45:54
669
原创 keras环境配置
参考链接 :http://blog.csdn.net/albert_1000/article/details/72794243http://blog.csdn.net/GoodShot/article/details/54944923http://blog.csdn.net/u013165921/article/details/78751070https://github.
2018-02-05 14:47:52
725
原创 图片转存二
import mathimport pandas as pdimport re,jsonimport timeimport numpy as npfrom get_ebay_item_thread_db_specifics_api import Databaseimport osimport globfrom shutil import copyfilefrom Lib impo
2018-02-05 10:02:29
346
原创 description中fits解析——正则表达式
from functools import reduceimport numpy as npimport pandas as pdimport refrom bs4 import BeautifulSoupdef get_description_string(description): RULES = [ # [r'^[\s\S](fitment)',""]
2018-01-11 11:21:29
358
原创 python raise 触发异常
import pandas as pdimport webbrowserdef mye(level): if level < 1: raise Exception("Invalid level!",level) #强制触发异常,并传入两个参数 # 触发异常后,后面的代码就不会再执行if __name__ == "__main__": # pri
2018-01-10 15:53:38
4388
原创 查询chrome保存的cookies
方法1:F12打开开发者工具,找到console页面,输入document.cookie既可以查看。复制出来即可。复制到cookies.txt文件,然后python保存为字典:with open("cookies.txt","r") as fp: cookies={} for line in fp.read().split(";"): name,va
2018-01-09 10:12:06
13538
1
原创 汽配类网站信息和图片爬虫
给一个汽配图片网站,需要抓取某品类下的数据和图片。步骤:第一步: 品类网址下的所有item收集 title url第二步: 根据item的url网址下 收集该item相关的title description fitment 图片url第三步: 根据图片url下载图片并保存代码实现:第一步:品类网址下的所有item收集 title urlimport reimport
2018-01-08 14:50:36
598
1
原创 amazon asin检查
from queue import Queueimport timeimport randomimport threadingimport numpy as npimport loggingimport pymysqlimport pandas as pdimport requestsimport jsonimport refrom bs4 import BeautifulS
2018-01-08 14:11:20
1081
1
原创 乐动力刷微信步数失败
import pandas as pdimport timeimport requestsimport jsondef get_post1(): # url = "http://pl.api.ledongli.cn/xq/io.ashx" url = "http://walk.ledongli.cn/rest/dailystats/upload/v3" # url
2018-01-07 21:43:37
2567
1
原创 json格式转换成dataframe
import reimport jsonfrom bs4 import BeautifulSoupimport pandas as pdimport requestsimport osfrom pandas.io.json import json_normalizeclass image_structs(): def __init__(self): self
2018-01-03 18:15:52
6526
原创 specific解析
import pandas as pdimport re,jsondef json_quote(string): singlequote = "@#$" doublequote = "^^&" string = str(string).replace("'",singlequote) string = str(string).replace('"',double
2018-01-02 13:41:58
552
原创 json单引号 双引号问题
json 属性值用双引号思路: 将单引号转换为 @#$将双引号转换为^^&def json_quote(string): singlequote = "@#$" doublequote = "^^&" string = str(string).replace("'",singlequote) string = str(string
2018-01-02 12:03:35
1743
原创 正则提取html网页中字符串
方式一:RULES = [ [r'', ''], [r'', ''], [r'', '\n'], [r'', '\n'], [r']+?>', ''], [r' ', ' '], [r'&', '&'], [r'<', '], [r'>', '>'], [r'"', '"
2017-12-29 17:00:33
3567
原创 ebay API
申请appid官方文档:http://developer.ebay.com/devzone/shopping/docs/concepts/shoppingapiguide.html访问上线:
2017-12-28 15:15:33
1152
原创 python文件操作 glob os shutil
glob模板 官方文档 : https://docs.python.org/3/library/glob.htmlos模板 官方文档 : https://docs.python.org/3/library/os.htmlshutil模板 官方文档 : https://docs.python.org/3/library/shutil.html常用函数:路径搜索
2017-12-26 11:50:35
307
原创 python base64编码的图片保存到本地
import osimport base64sss ="""/9j/4AAQSkZJRgABAQEASABIAAD//gAyUHJvY2Vzc2VkIEJ5IGVCYXkgd2l0aCBJbWFnZU1hZ2ljaywgejEuMS4wLiB8fEIy/9sAQwAGBAUGBQQGBgUGBwcGCAoQCgoJCQoUDg8MEBcUGBgXFBYWGh0lHxobIxwWFiAsICMm
2017-12-22 10:57:05
583111
1
原创 字符串字面量
解释:字符串字面量(stringliteral)是指双引号引住的一系列字符,双引号中可以没有字符,可以只有一个字符,也可以有很多个字符。python re.sub 中解释, 原始字符串和 字符串字面量的关系:链接:https://docs.python.org/3/library/re.htmlRegular expressions use the backslas
2017-12-20 16:46:53
2637
原创 csdn 搜索自己的博客
使用搜索引擎的时候使用 site 语法。格式如下: site:blog.csdn.net/ eg: 正则 site:blog.csdn.net/zn505119020使用搜索引擎的时候使用 site 语法。格式如下: site:blog.csdn.net/ eg: 正则 site:blog.csdn.net/zn505119020
2017-12-19 14:34:00
430
1
原创 python 插入数据库错误的字符编码问题
参考博客:http://blog.csdn.net/shomy_liu/article/details/47681893 操作数据库的时候中文编码问题经常遇到,请确保: 1. 确保数据库编码为 `utf-8` 2. 确保数据库表的编码为`utf-8` 3. 确保数据库字段编码为 `utf-8` 4.程序连接数据库指定编码:`MySQLdb.connect("loc
2017-12-15 14:44:57
580
原创 抓取某店铺的ebayno
import randomfrom http.cookiejar import CookieJarimport requestsfrom bs4 import BeautifulSoupimport numpy as npimport reimport osfrom queue import Queueimport timeimport randomimport threadi
2017-12-14 18:09:57
1623
原创 python 创建 删除文件夹 合并文件夹内文件
创建文件夹import osif not os.path.exists("shop_ebayno"): # 先判断是否存在文件夹,不存在的时候创建,存在就不用创建 os.makedirs("shop_ebayno")删除文件夹import shutilshutil.rmtree("shop_ebayno") # 合并后删除文件夹以及文件夹里的内容
2017-12-14 18:02:24
499
原创 ebay_展示图片抓取
第一步: 保存图片urlimport loggingimport randomimport threadingimport urllib.parseimport urllib.parseimport urllib.requestfrom queue import Queueimport pymysqlfrom bs4 import BeautifulSoupimport ti
2017-12-13 16:55:47
1330
1
原创 根据ebayno爬取可见信息 本地+数据库 API
保存到本地版本import randomfrom http.cookiejar import CookieJarimport requestsfrom bs4 import BeautifulSoupimport csvimport numpy as npimport reimport xlrdimport osimport jsonfrom queue impor
2017-12-13 16:45:44
1199
原创 pandas与 xlsxwriter
官方文档链接:https://xlsxwriter.readthedocs.io/working_with_pandas.html
2017-12-12 11:19:40
1807
原创 tf-idf + svm 文本分类
01分类import pandas as pdfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.linear_model import LogisticRegressionfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.svm
2017-12-07 13:31:07
12851
3
原创 店铺卖家的描述信息爬取
1数据库"""使用须知:代码中数据表名 mirror_desc ,需要更改该数据表名称的注意更改"""import pymysqlclass Database(): # 设置本地数据库用户名和密码 host = "localhost" user = "root" password = "123456" database
2017-12-06 16:02:13
512
原创 dict.setdefault(key, default=None)
参考链接: http://www.runoob.com/python/python-dictionary.htmlPython 字典(Dictionary) setdefault()方法描述Python 字典 setdefault() 函数和get() 方法类似, 如果键不存在于字典中,将会添加键并将值设为默认值。语法setdefaul
2017-12-05 16:57:50
1426
原创 css 选择器
参考网址: https://www.w3cschool.cn/css/css-selector.html最基本的选择器是元素选择器(比如div),ID选择器(比如#header)还有类选择器(比如.tweet)。一些的不常见的选择器包括伪类选择器(:hover),很多复杂的CSS3和正则选择器,比如:first-child,class ^= “grid-”。CSS选择器具有
2017-12-01 17:59:00
162
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人