2017年12月_zn505119020

原创正则提取html网页中字符串

方式一：RULES = [ [r'', ''], [r'', ''], [r'', '\n'], [r'', '\n'], [r']+?>', ''], [r' ', ' '], [r'&', '&'], [r'<', '], [r'>', '>'], [r'"', '"

2017-12-29 17:00:33 3548

原创 ebay API

申请appid官方文档：http://developer.ebay.com/devzone/shopping/docs/concepts/shoppingapiguide.html访问上线：

2017-12-28 15:15:33 1132

原创 python文件操作 glob os shutil

glob模板官方文档： https://docs.python.org/3/library/glob.htmlos模板官方文档： https://docs.python.org/3/library/os.htmlshutil模板官方文档： https://docs.python.org/3/library/shutil.html常用函数：路径搜索

2017-12-26 11:50:35 298

原创 python base64编码的图片保存到本地

import osimport base64sss ="""/9j/4AAQSkZJRgABAQEASABIAAD//gAyUHJvY2Vzc2VkIEJ5IGVCYXkgd2l0aCBJbWFnZU1hZ2ljaywgejEuMS4wLiB8fEIy/9sAQwAGBAUGBQQGBgUGBwcGCAoQCgoJCQoUDg8MEBcUGBgXFBYWGh0lHxobIxwWFiAsICMm

2017-12-22 10:57:05 339821 1

原创字符串字面量

解释：字符串字面量（stringliteral）是指双引号引住的一系列字符，双引号中可以没有字符，可以只有一个字符，也可以有很多个字符。python re.sub 中解释，原始字符串和字符串字面量的关系：链接：https://docs.python.org/3/library/re.htmlRegular expressions use the backslas

2017-12-20 16:46:53 2590

原创 csdn 搜索自己的博客

使用搜索引擎的时候使用 site 语法。格式如下： site:blog.csdn.net/ eg: 正则 site:blog.csdn.net/zn505119020使用搜索引擎的时候使用 site 语法。格式如下： site:blog.csdn.net/ eg: 正则 site:blog.csdn.net/zn505119020

2017-12-19 14:34:00 416 1

原创 json标准中，字符串是用双引号

官方文档： http://www.json.org/字符串格式：

2017-12-19 14:23:25 1736

原创 python 插入数据库错误的字符编码问题

参考博客：http://blog.csdn.net/shomy_liu/article/details/47681893 操作数据库的时候中文编码问题经常遇到，请确保： 1. 确保数据库编码为 `utf-8` 2. 确保数据库表的编码为`utf-8` 3. 确保数据库字段编码为 `utf-8` 4.程序连接数据库指定编码：`MySQLdb.connect("loc

2017-12-15 14:44:57 570

原创抓取某店铺的ebayno

import randomfrom http.cookiejar import CookieJarimport requestsfrom bs4 import BeautifulSoupimport numpy as npimport reimport osfrom queue import Queueimport timeimport randomimport threadi

2017-12-14 18:09:57 1606

原创 python 创建删除文件夹合并文件夹内文件

创建文件夹import osif not os.path.exists("shop_ebayno"): # 先判断是否存在文件夹，不存在的时候创建，存在就不用创建 os.makedirs("shop_ebayno")删除文件夹import shutilshutil.rmtree("shop_ebayno") # 合并后删除文件夹以及文件夹里的内容

2017-12-14 18:02:24 486

原创 ebay_展示图片抓取

第一步：保存图片urlimport loggingimport randomimport threadingimport urllib.parseimport urllib.parseimport urllib.requestfrom queue import Queueimport pymysqlfrom bs4 import BeautifulSoupimport ti

2017-12-13 16:55:47 1240 1

原创根据ebayno爬取可见信息本地+数据库 API

保存到本地版本import randomfrom http.cookiejar import CookieJarimport requestsfrom bs4 import BeautifulSoupimport csvimport numpy as npimport reimport xlrdimport osimport jsonfrom queue impor

2017-12-13 16:45:44 1167

原创 pandas与 xlsxwriter

官方文档链接：https://xlsxwriter.readthedocs.io/working_with_pandas.html

2017-12-12 11:19:40 1789

原创 tf-idf + svm 文本分类

01分类import pandas as pdfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.linear_model import LogisticRegressionfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.svm

2017-12-07 13:31:07 12749 3

原创店铺卖家的描述信息爬取

1数据库"""使用须知：代码中数据表名 mirror_desc ，需要更改该数据表名称的注意更改"""import pymysqlclass Database(): # 设置本地数据库用户名和密码 host = "localhost" user = "root" password = "123456" database

2017-12-06 16:02:13 505

原创 dict.setdefault(key, default=None)

参考链接： http://www.runoob.com/python/python-dictionary.htmlPython 字典(Dictionary) setdefault()方法描述Python 字典 setdefault() 函数和get() 方法类似, 如果键不存在于字典中，将会添加键并将值设为默认值。语法setdefaul

2017-12-05 16:57:50 1391

原创 css 选择器

参考网址： https://www.w3cschool.cn/css/css-selector.html最基本的选择器是元素选择器(比如div),ID选择器(比如#header)还有类选择器(比如.tweet)。一些的不常见的选择器包括伪类选择器(:hover)，很多复杂的CSS3和正则选择器，比如：first-child，class ^= “grid-”。CSS选择器具有

2017-12-01 17:59:00 157

原创 dataframe.replace re.sub() 替换练习

df =df.replace({"description":{"\B&\B":"&"}},regex=True)res = "-\d{4} "+ str(model)new_year_make_model ="-"+ " ".join([str(subdf.loc[i,"pre"]),model])desc = re.sub(res,new_year_make_m

2017-12-01 11:17:29 6989

zn505119020的专栏