python获取自己发的说说内容

翻译 2017年08月06日 19:59:25

  一、模拟登陆

import re
from selenium import webdriver
from time import sleep
from PIL import Image

#定义QQ空间登录函数
def QR_login():
    def getGTK(cookie):
        """ 根据cookie得到GTK """
        hashes = 5381
        for letter in cookie['p_skey']:
            hashes += (hashes << 5) + ord(letter)

        return hashes & 0x7fffffff
    browser=webdriver.PhantomJS(executable_path="D:\python\phantomjs.exe")#这里要输入你的phantomjs所在的路径
    url="https://qzone.qq.com/"#QQ登录网址
    browser.get(url)
    browser.maximize_window()#全屏
    sleep(3)#等三秒
    browser.get_screenshot_as_file('QZone.png')#截屏并保存图片
    im = Image.open('QZone.png')#打开图片
    im.show()#用手机扫二维码登录qq空间
    sleep(10)#等二十秒,可根据自己的网速和性能修改
    print(browser.title)#打印网页标题
    cookie = {}#初始化cookie字典
    for elem in browser.get_cookies():#取cookies
        cookie[elem['name']] = elem['value']
    print('Get the cookie of QQlogin successfully!(共%d个键值对)' % (len(cookie)))
    html = browser.page_source#保存网页源码
    print(html)
    g_qzonetoken=re.search(r'window\.g_qzonetoken = \(function\(\)\{ try\{return (.*?);\} catch\(e\)',html)#从网页源码中提取g_qzonetoken
    gtk=getGTK(cookie)#通过getGTK函数计算gtk
    browser.quit()
    return (cookie,gtk,g_qzonetoken.group(1))
if __name__=="__main__":
    QR_login()

 二、评论获取

import requests
import re
import datetime
from time import sleep
from urllib import parse


def comment(my_qq, target_qq, topicid, content, gtk, qzonetoken, cookie):
    data = {
        'qzreferrer': 'https://qzs.qq.com/qzone/app/mood_v6/html/index.html#mood&uin=790178228&pfid=2&qz_ver=8&appcanvas=0&qz_style=35¶ms=&entertime=1498019616488&canvastype=&cdn_use_https=1',
        'uin': my_qq,
        'hostUin': target_qq,
        'topicId': topicid,
        'commentUin': my_qq,
        'content': content,
        'richval': '',
        'richtype': '',
        'inCharset': '',
        'outCharset': '',
        'ref': '',
        'private': '0',
        'with_fwd': '0',
        'to_tweet': '0',
        'hostuin': my_qq,
        'code_version': '1',
        'format': 'fs'
    }
    comment_data = parse.urlencode(data)
    content_length = str(data)
    comment_params = {
        'g_tk': gtk,
        'qzonetoken': qzonetoken
    }
    comment_headers = {
        'Host': 'h5.qzone.qq.com',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0',
        'Accept': '*/*',
        'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
        'Accept-Encoding': 'gzip, deflate, br',
        'Connection': 'keep-alive',
        'Content-Type': 'application/x-www-form-urlencoded',
        'Content-Length': content_length,
        'Upgrade-Insecure-Requests': '1'
    }

    res = s.request('POST',
                    'https://h5.qzone.qq.com/proxy/domain/taotao.qzone.qq.com/cgi-bin/emotion_cgi_addcomment_ugc',
                    params=comment_params, data=comment_data, headers=comment_headers, cookies=cookie)
    print(res.status_code)
    res = res.text
    print(res)
    commentid = re.findall('"id":(.*?),"postTime"', res)
    if commentid:
        f = open('target_qq.txt', 'a')
        f.write(str(topicid))
        f.write('  ')
        f.write(str(commentid[0]))
        f.write('\n')
        f.close()
        print('评论成功')
        return True
    else:
        print('评论失败')
        return False


headers = {
    'Host': 'h5.qzone.qq.com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0',
    'Accept': '*/*',
    'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
    'Accept-Encoding': 'gzip, deflate, br',
    'Referer': 'https://user.qzone.qq.com/790178228?_t_=0.22746974226377736',
    'Connection': 'keep-alive'
}

cookie = {'QZ_FE_WEBP_SUPPORT': '0', 'ptcz': '7cac1c7521b1ad8be9b1489f9b0aaba8efe9500f0f5dcb7693a9f693d37a8dff',
          'fnc': '2', 'skey': '@F6CRfhQVd', 'pgv_si': 's493469696', 'ptui_loginuin': '790178228', 'RK': 'gYFn6+IOYo',
          'pt2gguin': 'o0790178228', 'p_uin': 'o0790178228',
          'rv2': '808A93A64B1A6FC5AE6D906AB5E744B38AF1EAA4163EC57A76', 'ptisp': 'ctc',
          'p_skey': '5Iv6LkqOjJH*JPtrq0xqZmVlBNkbKLCRcDasiGGq71w_', '_qpsvr_localtk': '0.6656868932768703',
          'pgv_pvi': '7208859648', '790178228_todaycount': '4', '__Q_w_s_hat_seed': '1',
          '790178228_totalcount': '24703', 'pgv_pvid': '1698820840', 'qz_screen': '1366x768',
          'pt4_token': 'WeiGzJbrn*TO4HO4FFXRdiD3SpXE2UqW2Litsm-TZPw_', 'pgv_info': 'ssid=s6237051136',
          'uin': 'o0790178228', 'Loading': 'Yes',
          'property20': '9D827FD9F839B247CF95AA1787B450E4D22D6C9F2A76DC8C4D27798667EBB92CA7122514560889AF'}
gtk =""
qzonetoken =""
s = requests.session()
my_qq =""
target_qq =""
content = '加油!'
cnt = 0
for page in range(0, 170):
    pos = page * 20
    params = {
        'uin': target_qq,
        'ftype': '0',
        'sort': '0',
        'pos': pos,
        'num': '20',
        'replynum': '100',
        'g_tk': gtk,
        'callback': '_preloadCallback',
        'code_version': '1',
        'format': 'jsonp',
        'need_private_comment': '1',
        'qzonetoken': qzonetoken
    }

    response = s.request('GET', 'https://h5.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6',
                         params=params, headers=headers, cookies=cookie)
    print(response.status_code)

    text = response.text
    if not re.search('lbs', text):
        print('全部说说评论完成,共添加评论%s条' % cnt)
        exit()
    textlist = re.split('\{"certified"', text)[0:]
    for i in range(1, len(textlist)):
        text = re.sub('"commentlist":.*?"conlist":', '', textlist[i])
        tid = re.findall('"t1_termtype":.*?"tid":"(.*?)"', text)[0]
        topicid = target_qq + '_' + str(tid)
        print(topicid)
        counts = comment(my_qq=my_qq, target_qq=target_qq, content=content, topicid=topicid, gtk=gtk,
                         qzonetoken=qzonetoken, cookie=cookie)
        sleep(180)
        if counts == True:
            cnt = cnt + 1

 二、数据抓取存入数据库

import requests
import re
import datetime
import pymysql
import csv
from qq_mood.qq import QRlogin


def parse_mood(i):
    '''从返回的json中,提取我们想要的字段'''
    text = re.sub('"commentlist":.*?"conlist":', '', i)
    if text:
        myMood = {}
        myMood["isTransfered"] = False
        tid = re.findall('"t1_termtype":.*?"tid":"(.*?)"', text)[0]  # 获取说说ID
        tid = qq + '_' + tid
        myMood['id'] = tid
        myMood['pos_y'] = 0
        myMood['pos_x'] = 0
        mood_cont = re.findall('\],"content":"(.*?)"', text)
        if re.findall('},"name":"(.*?)",', text):
            name = re.findall('},"name":"(.*?)",', text)[0]
            myMood['name'] = name
        if len(mood_cont) == 2:  # 如果长度为2则判断为属于转载
            myMood["Mood_cont"] = "评语:" + mood_cont[0] + "--------->转载内容:" + mood_cont[1]  # 说说内容
            myMood["isTransfered"] = True
        elif len(mood_cont) == 1:
            myMood["Mood_cont"] = mood_cont[0]
        else:
            myMood["Mood_cont"] = ""
        if re.findall('"created_time":(\d+)', text):
            created_time = re.findall('"created_time":(\d+)', text)[0]
            temp_pubTime = datetime.datetime.fromtimestamp(int(created_time))
            temp_pubTime = temp_pubTime.strftime("%Y-%m-%d %H:%M:%S")
            dt = temp_pubTime.split(' ')
            time = dt[1]
            myMood['time'] = time
            date = dt[0]
            myMood['date'] = date
        if re.findall('"source_name":"(.*?)"', text):
            source_name = re.findall('"source_name":"(.*?)"', text)[0]  # 获取发表的工具(如某手机)
            myMood['tool'] = source_name
        if re.findall('"pos_x":"(.*?)"', text):
            pos_x = re.findall('"pos_x":"(.*?)"', text)[0]
            pos_y = re.findall('"pos_y":"(.*?)"', text)[0]
            if pos_x:
                myMood['pos_x'] = pos_x
            if pos_y:
                myMood['pos_y'] = pos_y
            idname = re.findall('"idname":"(.*?)"', text)[0]
            myMood['idneme'] = idname
            cmtnum = re.findall('"cmtnum":(.*?),', text)[0]
            myMood['cmtnum'] = cmtnum
        return myMood
#从csv文件中取qq号,并保存在一个列表中
csv_reader = csv.reader(open('qq.csv'))
friend=[]
for row in csv_reader:
    friend.append(row[3])
friend.pop(0)
friends=[]
for f in friend:
    f=f[:-7]
    friends.append(f)
headers={
    'Host': 'h5.qzone.qq.com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0',
    'Accept': '*/*',
    'Accept-Language':'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
    'Accept-Encoding': 'gzip, deflate, br',
    'Referer': 'https://user.qzone.qq.com/790178228?_t_=0.22746974226377736',
    'Connection':'keep-alive'
}#伪造浏览器头
conn = pymysql.connect('localhost', 'root', 'root', 'test', charset="utf8", use_unicode=True)#连接mysql数据库
cursor = conn.cursor()#定义游标

cookie,gtk,qzonetoken=QRlogin.QR_login() #通过登录函数取得cookies,gtk,qzonetoken
s=requests.session()#用requests初始化会话
for qq in friends:#遍历qq号列表
    for p in range(0,10):
        pos=p*20
        params={
        'uin':qq,
        'ftype':'0',
        'sort':'0',
        'pos':pos,
        'num':'20',
        'replynum':'100',
        'g_tk':gtk,
        'callback':'_preloadCallback',
        'code_version':'1',
        'format':'jsonp',
        'need_private_comment':'1',
        'qzonetoken':qzonetoken
        }
        response=s.request('GET','https://h5.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6',params=params,headers=headers,cookies=cookie)
        print(response.status_code)  #通过打印状态码判断是否请求成功
        text=response.text   #读取响应内容
        print(text)
        if not re.search('lbs', text):#通过lbs判断此qq的说说是否爬取完毕
            print('%s说说下载完成'% qq)
            break
        textlist = re.split('\{"certified"', text)[1:]
        for i in textlist:
            myMood=parse_mood(i)
            '''将提取的字段值插入mysql数据库,通过用异常处理防止个别的小bug中断爬虫,开始的时候可以先不用异常处理判断是否能正常插入数据库'''
            try:
                insert_sql = '''
                           insert into mood(id,content,time,sitename,pox_x,pox_y,tool,comments_num,date,isTransfered,name)
                           VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)
                        '''
                cursor.execute(insert_sql, (myMood['id'],myMood["Mood_cont"],myMood['time'],myMood['idneme'],myMood['pos_x'],myMood['pos_y'],myMood['tool'],myMood['cmtnum'],myMood['date'],myMood["isTransfered"],myMood['name']))
                conn.commit()
            except:
                pass

print('说说全部下载完成!')

三、结果展示



引用于: https://zhuanlan.zhihu.com/p/27604277

Python3爬虫实战——QQ空间自动点赞程序(上)

基于Python3的Qzone的自动点赞秒赞爬虫。 当我们按下“赞”之后,Qzone的后台发生了什么PY交易? Python3实现http请求。 使用抓包工具Fiddler分析数据包。 Fiddler...
  • qq_21882325
  • qq_21882325
  • 2016-10-22 01:51:30
  • 7239

python实现QQ机器人(自动登录,获取群消息,发送群消息)

一次偶然的机会我看见了一个群里的一个QQ号总是根据你所发的消息自动回复,当时很感觉到神奇,我知道可以模拟登录网站,没想到竟然也能模拟登录QQ,首先自己想到的就是如何实现模拟登录PC端的QQ, 开始研究...
  • zhujunxxxxx
  • zhujunxxxxx
  • 2014-06-08 22:25:36
  • 27751

QQ空间获得g_qzonetoken Python

QQ空间 g_qzonetoken Python
  • Vision_Tung
  • Vision_Tung
  • 2017-12-25 00:01:16
  • 491

QQ空间内容批量删除脚本

Emmm,被人说非主流了,然后debug了下QQ空间的JS,可以用下面脚本批量删删除说说PC端PC端限制比较大,删了一下就要验证码了。。。调整速度可以增加setInterval的延时和减小num的值。...
  • picone
  • picone
  • 2018-02-15 01:23:25
  • 191

爬取QQ音乐2W歌单和50W首歌曲

主要运用了Python中的Requests包和json包获取内容,写入到Mongodb数据库并保存,pandas用于导出数据,代码详细我最后会给出github 接口分析并爬取歌单id 我发现htm...
  • lht_okk
  • lht_okk
  • 2017-08-16 09:32:37
  • 2006

Python爬取QQ空间日志及说说

17年始,想着开始学习Python,学习一段时间后,试着用Python爬取QQ空间的日志,期间碰到好多坑,有些东西也是边学边弄,代码质量都是菜鸟级别的。 需要安装selenium,PhantomJS,...
  • symayy
  • symayy
  • 2017-04-06 17:14:38
  • 2963

python爬虫实战笔记---selenium爬取QQ空间说说并存至本地

关于selenium和PhantomJS的使用,见python爬虫实战笔记---selenium爬取QQ空间说说并存至本地(上) 以下,正式开始对QQ空间进行分析和爬取 站点分析: 此版本的QQ空间,...
  • rytyy
  • rytyy
  • 2017-10-15 20:35:34
  • 1387

QQ空间操作抓包【MD5-RSA加密】【qqtoken计算】等

QQ空间操作抓包—-API接口 最近在做爬虫相关的事情,抓了一些qq空间的操作接口包括登陆,点赞,跟人说说日志信息,主页信息等。大家可以看看用自己擅长的语言封装一下 一、登陆相关1.获取初始COO...
  • M_S_W
  • M_S_W
  • 2017-04-16 10:03:22
  • 4087

模拟登陆webqq总结(二)

上一篇已经做完了模拟登陆的第一步,cis
  • u012031857
  • u012031857
  • 2014-10-27 16:29:33
  • 919

thinkphp U 方法加密传参数

  • u011447828
  • u011447828
  • 2016-01-14 11:05:10
  • 1436
收藏助手
不良信息举报
您举报文章:python获取自己发的说说内容
举报原因:
原因补充:

(最多只允许输入30个字)