python自学
大智兄
嵌入式开发,讲师
展开
-
python自学6-excel内容的追加
这次主要是excel的操作1. 我想把爬下来的内容存在一个excel文件中。2.由于可能会出问题,我决定爬 取一个网页就把内容追加到表格中。3.不同的类型(书籍)创建不同的sheet表格import requestsimport refrom bs4 import BeautifulSoupimport urllib.requestimport urllib# import xlsxwriter as xw## import xlrd# import xlwt#原创 2022-02-25 15:16:53 · 925 阅读 · 0 评论 -
python3-负数仍然是补码形式存储
之前看菜鸟教程的时候,看到一个笔记说,python中的数值保存的时候,是分值与符号分开保存的。于是写下了笔记print(bin(-15).count('1'))打印出来1的个数果然是4,与1正数15的二进制确实是相同,就真的相信了。但是昨天看到字符串的内建函数count的时候,他是说计算字符串中字符串串出现的次数。另外还有一个问题就是bin函数是一个把一个数字转换成二进制的字符串。我感觉问题出现在这个位置,bin转换,是转成字符串,符号正好是个字符,按照人的交互性,我想bin原创 2022-02-21 09:12:50 · 265 阅读 · 0 评论 -
python爬虫自学5-继续爬图网站-2022-02-19-1
这次是一个图片的例子,比较养眼。第一次采用了线程池,但是由于不熟,应该还有些问题。添加任务的时候,并不会阻塞,任务是一直添加。 但是添加完后,主线程可能执行完了,但是任务还是可以继续。 这里是不是要改进一下?放几张照片吧,更多就自行下载了。。代码其实非常简单。import requestsfrom bs4 import BeautifulSoupimport os# 使用线程池from concurrent.f...原创 2022-02-19 09:29:09 · 209 阅读 · 0 评论 -
python爬虫自学4-继续爬网站-2022-02-14
感觉应该要趁热打铁,不然放几天又凉了。跟上一个例子比呢:1.这次我使用了字典来保存数据,并且把字典的内容存储到excel表格2.使用正则表达式解析字符串,分离字符串3.替换掉出现的中文全角空格import requestsfrom bs4 import BeautifulSoupimport re# import bs4import xlsxwriter as xw baseUrl = "https://www.ygdy8.com" # 用于解析文本listCon原创 2022-02-14 08:04:34 · 359 阅读 · 1 评论 -
python爬虫自学3-结果整合加打印-2022-02-10
单个的结果都可以解析出来了,那就把数据整合一下,然后打印出来呗。看来还是用列表吧。每个学校一共几项:1.排名,2.学校中文名,3.学校英文名,4.学校详情网址,5.所属地区,6.类型,7.总分,8.办学层次(默认是这个选项)。每个学校一个列表,所有的学校再组合成一个大列表。随便改了一下:仅供小白参考吧。import requestsfrom bs4 import BeautifulSoupimport reimport bs4def getHtmlText(url):原创 2022-02-10 16:39:03 · 616 阅读 · 0 评论 -
python爬虫自学2-接触BeautifulSoup-2022-02-10
代码虽然已经写了,但是好像压根看不太懂,如果换个网页,重新分析,又感觉到特别吃力,无从下手,那咋办?该研究的还是得研究啊,一知半解不是个办法。没办法BeautifulSoup是绕不过去了,那就参考文档呗,这没得什么捷径可言。Beautiful Soup 4.4.0 文档 — Beautiful Soup 4.2.0 中文 文档首先得声明一下,如果看不懂,建议找个入门视频看一下,把代码对着敲一敲。我的想法是多分析一下网页的内容,不局限于视频中出现的部分,这就是一种练习,能把这个网页的内容都原创 2022-02-10 15:45:59 · 598 阅读 · 0 评论 -
python爬虫自学1-爬取静态网页-2022-02-10
断断续续学了一旦python的语法,然而一不用就又丢了。没办法就只能找点事来练练手,爬虫似乎比较简单(小白,勿喷),就试试呗。一、首先说明一下:时间:2022-02-10,时间关系到网站能否(爬虫)访问,以及一些库的版本。开发环境:win10 64位系统,IDE pycharm PyCharm 2019.3.3 (Professional Edition)python版本:Python 3.8.7 (tags/v3.8.7:6503f05, Dec 21 2020, 17:59:51) [MS原创 2022-02-10 14:53:00 · 909 阅读 · 2 评论