自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 dataframe.read_excel()  指定某些数字型字段为object,避免默认为int64

  dataframe.read_excel()  指定某些数字型字段为object,避免默认为int64 curdf = pd.read_excel("get_today_all.xlsx", dtype={"code": "object&q...

2018-08-13 16:09:29 2270 0

原创 python mongodb操作

目录  测试   import requests import time import datetime from pymongo import MongoClient # 导包 #创建连接到数据库 client = MongoClient('mongodb://ec2-13-...

2018-08-02 11:16:18 243 0

原创 ubuntu 16.04 linux下mongodb的安装和配置

目录 测试环境: 安装步骤: 创建数据库目录 启动mongod服务 操作数据库 配置MongoDB认证账户 1:常用命令 2:roles字段,指定用户的角色,内置角色 3:设置密码 mongodb远程连接配置 集合查询方法     测试环境: ubuntu: 16.0...

2018-08-01 15:43:02 10212 0

原创 window迁移至linux mysql主从同步操作以及错误总结

目录 A: 测试环境 B 主库操作 C:从库操作 D:主从同步问题总结 问题一:  Slave_SQL_Running_State: Reading event from the relay log 出现延迟 问题二:Last_SQL_Error: Could not execute ...

2018-07-27 15:22:59 254 0

原创 python 数组 写成字符串 unicode 还原成数组

dt = u'[[1526072400000,0.00174020,0.00175920,0.00172020,0.00174200,55950.2825],[1526076000000,0.00174176,0.00178489,0.00174090,0.00177600,72030....

2018-05-24 17:20:26 1562 2

原创 python datetime utc 转换

        import dateutil.parser import pytz import time from datetime import datetime datestring = '2018-05-17T04:00:00.000Z'...

2018-05-21 15:45:52 5903 0

原创 window python2.7 ImportError: No module named 'MySQLdb'

下载链接地址: 点击打开链接下载版本 : mysqlclient‑1.3.12‑cp27‑cp27m‑win_amd64.whl

2018-05-16 18:30:51 1722 0

转载 python callback 回调函数

你到一个商店买东西,刚好你要的东西没有货,于是你在店员那里留下了你的电话,过了几天店里有货了,店员就打了你的电话,然后你接到电话后就到店里去取了货。在这个例子里,你的电话号码就叫回调函数,你把电话留给店员就叫登记回调函数,店里后来有货了叫做触发了回调关联的事件,店员给你打电话叫做调用回调函数,你到...

2018-05-07 16:25:03 1739 0

原创 python request 中文乱码

1 问题出现:<title>个è¡ç¹ç _ ä¸æ¹è´¢å¯ç½</title>2 问题解决:确认网页内容编码,并解密加密def assert_encoding(response): if response.encoding ...

2018-04-25 16:36:01 2019 0

原创 schedule 定时器

import schedule import time from datetime import datetime def test_schedule(): import schedule import time import threading from d...

2018-04-20 16:48:13 350 0

原创 PhantomJS_Selenium安装与配置

PhantomJS:下载地址:http://phantomjs.org/download.html版本: phantomjs-2.1.1-windows.zip下载后解压即可,配置环境变量 path D:\phantomjs-2.1.1-windows\phantomjs-2.1.1-window...

2018-04-20 16:45:54 359 0

原创 keras环境配置

参考链接 : http://blog.csdn.net/albert_1000/article/details/72794243 http://blog.csdn.net/GoodShot/article/details/54944923 http://blog.csdn.net/u...

2018-02-05 14:47:52 569 0

原创 图片转存二

import math import pandas as pd import re,json import time import numpy as np from get_ebay_item_thread_db_specifics_api import Database import os im...

2018-02-05 10:02:29 208 0

原创 description中fits解析——正则表达式

from functools import reduce import numpy as np import pandas as pd import re from bs4 import BeautifulSoup def get_description_string(description)...

2018-01-11 11:21:29 210 0

原创 python raise 触发异常

import pandas as pd import webbrowser def mye(level): if level < 1: raise Exception("Invalid level!",level) #强制触发异常,并传入两个参数 ...

2018-01-10 15:53:38 3854 0

原创 查询chrome保存的cookies

方法1: F12打开开发者工具,找到console页面,输入document.cookie既可以查看。复制出来即可。 复制到cookies.txt文件,然后python保存为字典: with open("cookies.txt","r") as f...

2018-01-09 10:12:06 9360 0

原创 汽配类网站信息和图片爬虫

给一个汽配图片网站,需要抓取某品类下的数据和图片。 步骤: 第一步: 品类网址下的所有item收集 title url 第二步: 根据item的url网址下 收集该item相关的title description fitment 图片url 第三步: 根据图片url下载图片并保存 代码实...

2018-01-08 14:50:36 372 1

原创 amazon asin检查

from queue import Queue import time import random import threading import numpy as np import logging import pymysql import pandas as pd import reques...

2018-01-08 14:11:20 719 1

原创 乐动力刷微信步数失败

import pandas as pd import time import requests import json def get_post1(): # url = "http://pl.api.ledongli.cn/xq/io.ashx" url = &...

2018-01-07 21:43:37 1892 1

原创 json格式转换成dataframe

import re import json from bs4 import BeautifulSoup import pandas as pd import requests import os from pandas.io.json import json_normalize class im...

2018-01-03 18:15:52 4895 0

原创 specific解析

import pandas as pd import re,json def json_quote(string): singlequote = "@#$" doublequote = "^^&" string = str(s...

2018-01-02 13:41:58 153 0

原创 json单引号 双引号问题

json 属性值用双引号 思路:     将单引号转换为 @#$ 将双引号转换为^^& def json_quote(string): singlequote = "@#$" doublequote = "^^&&...

2018-01-02 12:03:35 1159 0

原创 正则提取html网页中字符串

方式一: RULES = [ [r'', ''], [r'', ''], [r'', '\n'], [r'', ...

2017-12-29 17:00:33 3058 0

原创 ebay API

申请appid 官方文档:http://developer.ebay.com/devzone/shopping/docs/concepts/shoppingapiguide.html 访问上线:

2017-12-28 15:15:33 832 0

原创 python文件操作 glob os shutil

glob模板 官方文档 :  https://docs.python.org/3/library/glob.html os模板 官方文档 : https://docs.python.org/3/library/os.html shutil模板 官方文档 : https://docs.pytho...

2017-12-26 11:50:35 182 0

原创 python base64编码的图片保存到本地

import os import base64 sss ="""/9j/4AAQSkZJRgABAQEASABIAAD//gAyUHJvY2Vzc2VkIEJ5IGVCYXkgd2l0aCBJbWFnZU1hZ2ljaywgejEuMS4wLiB8fEIy/9sAQw...

2017-12-22 10:57:05 23686 1

原创 字符串字面量

解释: 字符串字面量(stringliteral)是指双引号引住的一系列字符,双引号中可以没有字符,可以只有一个字符,也可以有很多个字符。 python re.sub 中解释, 原始字符串和 字符串字面量的关系: 链接:https://docs.python.org/3/library/re....

2017-12-20 16:46:53 1662 0

原创 csdn 搜索自己的博客

使用搜索引擎的时候使用 site 语法。 格式如下:  site:blog.csdn.net/  eg: 正则 site:blog.csdn.net/zn505119020 使用搜索引擎的时候使用 site 语法。 格式如下:  site:blog.csdn.net...

2017-12-19 14:34:00 283 1

原创 json标准中,字符串是用双引号

官方文档 : http://www.json.org/ 字符串格式:

2017-12-19 14:23:25 1345 0

原创 python 插入数据库错误的字符编码问题

参考博客:http://blog.csdn.net/shomy_liu/article/details/47681893  操作数据库的时候中文编码问题经常遇到,请确保: 1. 确保数据库编码为 `utf-8` 2. 确保数据库表的编码为`utf-8` 3. 确保数据库字段编码为...

2017-12-15 14:44:57 306 0

原创 抓取某店铺的ebayno

import random from http.cookiejar import CookieJar import requests from bs4 import BeautifulSoup import numpy as np import re import os from queue im...

2017-12-14 18:09:57 1056 0

原创 python 创建 删除文件夹 合并文件夹内文件

创建文件夹 import os if not os.path.exists("shop_ebayno"): # 先判断是否存在文件夹,不存在的时候创建,存在就不用创建 os.makedirs("shop_ebayno") 删...

2017-12-14 18:02:24 365 0

原创 ebay_展示图片抓取

第一步: 保存图片url import logging import random import threading import urllib.parse import urllib.parse import urllib.request from queue import Queue imp...

2017-12-13 16:55:47 692 1

原创 根据ebayno爬取可见信息 本地+数据库 API

保存到本地版本 import random from http.cookiejar import CookieJar import requests from bs4 import BeautifulSoup import csv import numpy as np import re...

2017-12-13 16:45:44 862 0

原创 pandas与 xlsxwriter

官方文档链接:https://xlsxwriter.readthedocs.io/working_with_pandas.html

2017-12-12 11:19:40 1469 0

原创 tf-idf + svm 文本分类

01分类 import pandas as pd from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklear...

2017-12-07 13:31:07 9010 3

原创 店铺卖家的描述信息爬取

1数据库 """ 使用须知: 代码中数据表名 mirror_desc ,需要更改该数据表名称的注意更改 """ import pymysql class Database(): # 设置本地数据库用户名和密码 ...

2017-12-06 16:02:13 394 0

原创 dict.setdefault(key, default=None)

参考链接:  http://www.runoob.com/python/python-dictionary.html Python 字典(Dictionary) setdefault()方法 描述 Python 字典 setdefault() 函数和get()...

2017-12-05 16:57:50 385 0

原创 css 选择器

参考网址: https://www.w3cschool.cn/css/css-selector.html 最基本的选择器是元素选择器(比如div),ID选择器(比如#header)还有类选择器(比如.tweet)。 一些的不常见的选择器包括伪类选择器(:hover),很多复杂的...

2017-12-01 17:59:00 88 0

原创 dataframe.replace re.sub() 替换练习

df = df.replace({"description":{"\B&\B":"&"}},regex=True) res = "-\d{4} "+ str(model) new_yea...

2017-12-01 11:17:29 4670 0

提示
确定要删除当前文章?
取消 删除