Python
cactus233
这个作者很懒,什么都没留下…
展开
-
Python 爬虫小记
1、背景:需要爬取网上的信息,Ubuntu系统下 使用Python完成2、首先需要在Python中安装两个相关的模块(方法应该就是简单的pip install,不行就百度吧~)beautifulsoup4(有些简称bs4,pip install beautifulsoup4):网页解析相关的模块 使用方法from bs4 import BeautifulSoup...原创 2019-05-08 19:00:46 · 153 阅读 · 0 评论 -
Python 爬虫 处理图片懒加载
1、背景在网页源码中,在img标签中首先会使用一个“伪属性”(通常使用src2,original......)去存放真正的图片链接而并非是直接存放在src属性中。当图片出现到页面的可视化区域中,会动态将伪属性替换成src属性,完成图片的加载,该图片加载后就可以查阅到相关的伪属性,访问的时候利用伪属性去访问2、需要的python包pip install lxml or pip ins...原创 2019-05-24 16:42:11 · 2514 阅读 · 0 评论 -
Python 爬取网页上的图片 以及hbase数据库中图片的读写
背景:根据图片网址爬取图片,使用python实现预习:Hbase数据库中是列族,可以根据列族:列名设置自己储存的列信息,列名可以自由添加和设置,灵活度很高1、使用urllib 保存到本地或者其他地址(数据库暂时还没有尝试)import urlliburllib.request.urlretrieve(imgurl, 'tmp.jpg')2、使用 opencv+urllib+nu...原创 2019-05-24 23:34:01 · 949 阅读 · 1 评论 -
Ubuntu 下python 中安装 Openexr
背景:在Ubuntu下的指定python环境中安装包 Openexr包(一个处理 视觉效果相关、渲染过程中的exr图片格式的工具包)(c++环境中安装参考博客:https://blog.csdn.net/lqhbupt/article/details/7854442)首先激活需要的python环境,否则安装到默认的python环境中(系统中可能存在多个python环境,本人所有工作均是在p...原创 2019-05-12 09:40:19 · 2978 阅读 · 1 评论 -
python tuple 使用踩坑
tuple使用小提示,不能像list一样直接访问其中的元素或者进行修改,需要转化成list形式进行修改操作t=("zhaoxiaorong",1,2,3)tlist=list(t)print(tlist)t1=tlist[0]t1=str.replace(t1,'o','i')print(t1)tlist[0]=t1t=tuple(tlist)print(t)#直接访问...原创 2019-05-30 14:14:36 · 1077 阅读 · 0 评论 -
Ubuntu下 使用impala 访问数据库
背景:Ubuntu系统下利用python访问集群上的数据库1、python环境中安装pandas包和impala 包apt install pandasapt install impala2、py文件中加入from impala.dbapi import connect3、相关功能代码from impala.dbapi import connectfrom imp...原创 2019-05-23 16:17:18 · 612 阅读 · 0 评论 -
Python 语句段的简写
1、利用for语句段给字典赋值a="a1=1;a2=2;a3=3" #strdicta={i.split('=')[0]:i.split('=')[1] for i in a.split(';')}2、原创 2019-05-28 11:36:05 · 1820 阅读 · 0 评论 -
HBase 相关包thriftpy2使用错误
背景:在使用thriftpy2包和happybase包读写数据是出现下面的错误出错代码在table.put()语句,实际是链接数据库的设置不恰当,在connnection的参数设置做以下修改 transport='framed', # Default: 'buffered' <---- Changed. protocol='compact' # Default: 'bin...原创 2019-05-29 01:05:38 · 1571 阅读 · 0 评论 -
python 中的数据类型转换
1、int、float、strint(float)int(str) str必须是符合整型要求的str2、dict、str、list、tupledict=eval(str)tuple=tuple(list)list=list(tuple)str=str(tuple)原创 2019-06-03 00:40:19 · 216 阅读 · 0 评论