python
文章平均质量分 90
python
小码良
无聊但有趣
展开
-
pyspark使用hbase详解
pyspark使用hbase详解一、测试代码:def write2hbase(): from pyspark.sql import SparkSession from pyspark import SparkContext, SparkConf spark = SparkSession.builder.appName("nlp").getOrCreate() # 创建spark对象 print('spark对象已创建') host = 'emr1:2181,e原创 2021-07-27 16:37:53 · 2023 阅读 · 0 评论 -
python读取MySQL数据存到一个Excel的多个sheet表里,并通过邮件发送
需求:python读取MySQL数据存到一个Excel的多个sheet表里,并通过邮件发送代码:import pymysqlimport xlwtimport datetimefrom email.mime.multipart import MIMEMultipartfrom email.header import Headerfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipart原创 2020-06-02 18:07:46 · 1062 阅读 · 0 评论 -
Python爬取携程机票代码实例
Python爬取携程机票代码实例现在携程的页面是通过接口传递数据的,不能直接使用xpath进行解析,需要模拟调用接口的步骤dcity是指出发地的城市编码acity是指目的地的城市编码其他参数是根据前端页面直接复制过来的,Mac 的Chrome浏览器如下图def getResponse(fromCity,toCity,date): cityInfo = judgeCity(fromCity,toCity,date) dcity = cityInfo.get('dcity')原创 2020-05-15 18:04:51 · 4017 阅读 · 6 评论 -
Python可视化之pyechats以及pyecharts-snapshot的下载
1、安装pyechartspip install pyecharts==0.5.11 -i https://pypi.doubanio.com/simple/2、运行代码,报错:ModuleNotFoundError: No module named ‘pyecharts_snapshot’3、然后上网百度了好久,大多数博客说什么版本不匹配,要将pyecharts下载成低版本,然后我又卸...原创 2020-04-10 14:42:52 · 797 阅读 · 0 评论 -
Python爬取第一电影天堂最新电影(5000多部)代码实例(一)
1、实例代码:#!/usr/bin/env python#-*- coding: utf-8 -*-#@Time : 2020/4/7 16:28#@Author : zhangliangliang#@File : crawlerDemo3.py#@Software: PyCharmfrom urllib import requestfrom lxml import...原创 2020-04-10 10:26:05 · 9610 阅读 · 2 评论