- 博客(62)
- 资源 (8)
- 收藏
- 关注
RSS订阅转载 你真的会高效的在GitHub搜索开源项目吗?
GitHub的流行，GitHub在开源世界的受欢迎程度自不必多言。再加上之前GitHub官方又搞了个大新闻：私有仓库也改为免费使用，这在原来可是需要真金白银的买的。可见微软收购后，依然没有改变GitHub的定位，甚至还更进一步。花开两朵，各表一枝。我们今天想要聊的并不是GitHub多么重要，而是要说一下GitHub的搜索功能。你在GitHub上搜索代码...
2019-06-30 11:44:26
494
转载 超常用的Python代码片段 | 备忘单
作者 |BisratYalew原文 |GitHub公号 “Python大本营”超常用的Python代码片段本文作者BisratYalew共享了自己在项目中使用过的Python代码片段，希望能帮到其他开发人员，以减少时间并简化开发流程，该项目内容包含：String、Number、File、Functions、Classes、DateandTime、Regular...
2019-06-30 11:28:53
666
转载 3大利器推荐，帮你写出规范漂亮的python代码
作者 |奔跑的鳄鱼来源 |菜鸟学PythonPython学了好久，但是拿出来review的代码好像总是长的不够俊美，不够工整！因此标准化的代码规范就显得尤为重要。今天就来推荐3个利器，python界广泛认同的代码风格规范PEP8和两个超牛的工具pylint和black，分别用于代码风格规范检测和自动优化。1 代码风格规范PEP8首先讲一讲为什么要使用PEP8，我们先来看下...
2019-06-30 10:52:21
406
转载 这才是你寻寻觅觅想要的 Python 可视化神器
翻译 | Lemon来源 |Plotly译文出品 | Python数据之道 （ID：PyDataRoad）Plotly Express入门之路Plotly Express 是一个新的高级 Python 可视化库：它是 Plotly.py 的高级封装，它为复杂的图表提供了一个简单的语法。受 Seaborn 和 ggplot2 的启发，它专门设计为具有简洁，一...
2019-06-27 21:29:31
393
转载 Python数据可视化：25年GDP之变
作者 |小F出品 |法纳斯特Python数据可视化：25年GDP之变说实话，这一期起的有点标题党了。用到的Python知识并不多，只是利用Python对数据进行规整。最多的应该是用大佬造的轮子，基于D3.js的数据可视化项目。附上大佬的GitHub地址，有兴趣的小伙伴可以自行去围观。https://github.com/Jannchie/Histo...
2019-06-27 21:17:03
3444
2
转载 【开源Python爬虫】微信公众号爬虫weixin_crawler开源啦
作者 |抽丝剥茧出品 |爱迪斯微信公众号爬虫weixin_crawler开源啦 正式介绍weixin_crawler之前，我准备了两个问题，这两个问题通过weixin_crawler自带的报告和搜索指数都能得到回答。题1：高考在每年的几月举行？有无数种方法可以知道这个问题的答案。鉴于手头有60个公众号的全部发文数据，...
2019-06-27 21:12:03
5383
6
转载 Python 协程 asyncio 之 ABC
作者 |cxapython出品 | Python学习开发Python 协程asyncio之 Coroutines,Tasks and FutureCoroutines and Tasks属于High-level APIs,也就是高级层的api。本节概述用于协程和任务的高级异步api。CoroutinesCoroutines翻译过来意思是协程，使用...
2019-06-27 21:02:41
578
1
转载 python 数据可视化利器 plus
推荐数据可视化的库有挺多的，这里推荐几个比较常用的： Matplotlib Plotly Seaborn Ggplot Bokeh Pyechart Pygal
2019-06-27 20:58:21
187
转载 用Python自动化生成爱豆日历
本次内容有感于《Python编程快速上手-让繁琐工作自动化》。根据书中的「处理Excel电子表格」章节内容，做出一份专属日历。使用的模块为openpyxl，一个能读取和修改Excel电子表格的Pyhton模块。实现自动化处理表格信息，摆脱无趣无味。此外还有calendar模块，通过该模块生成日历信息。最后利用openpyxl和calendar库，实...
2019-06-27 20:46:02
464
转载 60行代码爬取知乎神回复
60行代码爬取知乎神回复知乎神回复都有些什么特点呢？我们先来观察一下大家看出什么规律了么？短小精辟有没有？赞同很多有没有？所以爬取知乎神回复我们只要爬取那些赞同多又字数少的回答就可以。简单的两个步骤就能实现，第一步爬取知乎回答，第二部筛选回答。是不是很easy？爬取知乎回答第一步我们爬取知乎上的回答。知乎上的回答太多了，一下子爬取所有的回答会很费时，我们可以选定几...
2019-06-26 21:58:58
518
转载 数据解读广大“钢铁直男”眼中的女神评判标准
去聊懂球帝上的“女神大会”专栏，作为一个大型“钢铁直男”聚集地，“懂球帝”上对各位女神的评分，对广大“钢铁直男”群体也具有一定代表性。数据来源目前女神大会更新至了第90期，总共出场了90位女神，界面如下：我们通过fiddler获取该界面中女神的照片地址以及每一篇文章的id编号，用于之后的爬取和可视化，代码如下：importjsonimport...
2019-06-26 21:56:38
380
转载 一行代码搞定 Scrapy 随机 User-Agent 设置
作者 | 苏克1900来源 | 第2大脑一行代码搞定 Scrapy 随机 User-Agent 设置摘要：爬虫过程中的反爬措施非常重要，其中设置随机 User-Agent 是一项重要的反爬措施，Scrapy 中设置随机 UA 的方式有很多种，有的复杂有的简单，本文就对这些方法进行汇总，提供一种只需要一行代码的设置方式。最近使用 Scrapy 爬一个网站，遇到了网站反爬的情况，...
2019-06-26 21:46:26
560
转载 Python调用高德地图API实现经纬度换算、地图可视化
作者 |糖甜甜甜出品 | 经管人学数据分析Python调用高德地图API实现经纬度换算、地图可视化前地图可视化的工具和函数比较多，但是在不知道相关地点经纬度的情况下，通过python调用高德地图API实现经纬度换算，并且直接在高德地图新推出的轻量级可视化平台上实现一键式地图可视化，这其中需要申请密钥、批量经纬度换算、地图平台可视化操作等等。初始数...
2019-06-26 21:42:16
21693
6
转载 python可视化丨从1896年说起，用数据看 120 年奥运变迁
作者 |小科出品 |科赛Kesci可视化丨从1896年说起，用数据看 120 年奥运变迁1896年，雅典首次举办奥运会。一直到今天，奥运记录一遍遍被刷新，也从一度被嘲讽的比赛摇身变成国际最大的赛事之一。一百年沧海桑田，中国改革开放，而苏联被历史湮没……奥运会有什么变化呢？我们一起来探索。这次探索基于120 年来奥运会运动员数据集，探索分析...
2019-06-26 21:37:31
2946
转载 轻松用 Seaborn 进行数据可视化
作者 |Mukul Singh Chauhan译者 | Lemon出品 |Python数据之道 （ID:PyDataRoad）轻松用 Seaborn 进行数据可视化摘要：本文属于Seaborn的基础教程，介绍了直方图、联合分布图、矩阵图、箱形图等，通过本文可以看出，使用 seaborn可以轻松的进行数据可视化。『Python数据之道』已整合本文的相关...
2019-06-25 21:37:34
1865
转载 你真的会用Jupyter吗？这里有7个进阶功能助你效率翻倍
原作 Parul Pandey郭一璞 编译量子位 出品 | 公众号 QbitAI作为一个超好用的交互式笔记本，Jupyter总是深受开发者的喜爱。不过，除了基础的写文档之外，其实Jupyter还有N多功能，简直是一个集视频、图片、PPT、多种交互于一身的万花筒。如果不会用，你可能错过了Jupyter 99%的功能。Medium上走向数据科学（Towards Data S...
2019-06-25 21:29:02
704
转载 用Python实现跳一跳自动跳跃
经由前两期的介绍，对于「跳一跳」自动化的实现，基本差不多了。本期就来完整的跑一遍，快乐学习。1.OpenCV：模板匹配。 获得小跳棋中心位置2.OpenCV：边缘检测。 获得下一方块中心位置Python+ADB+OpenCv，实现「跳一跳」自动化。/ 01 / ADBADB工具即Android Debug Bri...
2019-06-23 18:05:25
7621
2
转载 OpenCV：模板匹配
小程序「跳一跳」的自动化。主要涉及到了OpenCV的模板匹配和边缘检测技术，以及Android开发调试工具ADB。如果放在一起说，感觉内容有些多。所以，分三期来讲，也能多了解一些东西。首先介绍模板匹配，然后边缘检测，最后结合ADB实现「跳一跳」自动化。游戏虽然过时了，但是拿来练练手还是不错的。编程就该是快乐的，哈哈。/ 0...
2019-06-23 18:02:28
6534
1
转载 OpenCV：图像检索
OpenCV可以检测图像的主要特征，然后提取图像的特征，使其成为图像描述符。这些图像特征，也就是图像描述符，可以作为图像搜索的数据库。个人感觉就是，和「以图搜图」有点像。看了下面这个视频，或许你就能够明白了。https://v.qq.com/x/page/y0880pe6kdc.html也是一个很搞笑的片段.../ 01 / 特...
2019-06-23 18:00:17
5076
1
转载 OpenCV：人脸检测
OpenCV是一个开源、跨平台的计算机视觉库，可以用于各种图像和视频处理操作。所以接下来会分享一些关于OpenCV有趣的小案例，毕竟要让学习变得有趣。本次就来了解一下，如何通过OpenCV对人脸进行检测。其中OpenCV有C++和Python两种，这里当然选用Python啦。环境什么的，就靠大伙自己去百度了。/ 01 / 图片检测先来看一下图片检测，原图如...
2019-06-23 17:50:06
13137
1
转载 信息图表网站
晚上无意中发现了一个信息图表网站，发现甚是有趣。感觉和网易数读的风格有点相似。老实说，做信息图表费脑洞，设计思想很重要~https://blog.adioma.com/(复制到浏览器打开)...
2019-06-23 17:34:14
964
转载 10万+的短视频被批量生产了，Python表示不服
1目 标 场 景做过自媒体的朋友应该都知道，「GIF动画视频」有段时间在各大自媒体平台很受欢迎。前期有些自媒体大 V 靠搬运一些搞笑、好玩的 GIF，然后利用剪辑软件合成一段视频，再添加一个节奏感强的 BGM 后，上传各大自媒体平台后，能带来不错的阅读量和收益。本篇文章的目的是带大家利用 Python 实现制作 GIF 动画视频，批量制作短视频这一骚操作。2...
2019-06-23 17:30:33
432
转载 爬取破冰行动：敢拍好看。
爬取电视剧《破冰行动》数据。与此同时我也发现了爱奇艺对电视剧进行数据分析的一个网站——爱奇艺指数。http://index.iqiyi.com/q/?name=%E7%A0%B4%E5%86%B0%E8%A1%8C%E5%8A%A8&aid=226128201/ 01 / 播放地域数据就是从网站上拿的，然后通过pyecharts生成地...
2019-06-23 17:22:48
468
转载 爬虫必须要了解的 JavaScript 混淆安全加固
作者：_杨溜溜原文：https://segmentfault.com/a/1190000019423501前言在安全攻防战场中，前端代码都是公开的，那么对前端进行加密有意义吗？可能大部分人的回答是，毫无意义，不要自创加密算法，直接用HTTPS吧。但事实上，即使不了解密码学，也应知道是有意义的，因为加密前和解密后的环节，是不受保护的。HTTPS只能保护传输层，此外别无用处。而加密环节...
2019-06-23 16:50:55
604
转载 Python 如何爬取实时变化的 WebSocket 数据
文章转载自公众号进击的Coder一、前言作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据。如下图：Web 领域中，用于实现数据'实时'更新的手段有轮询和 WebSocket 这两种。轮询指的是客户端按照一定时间间隔（如 1 秒）访问服务端接口，从而达到 '实时' 的效果，虽然看起来数据像是实时更新的，但实际上它...
2019-06-23 16:43:55
507
转载 一个超有意思的 Python 综合能力测试网站
这一期的话题是：一个学习 Python 的趣味网站。最近在网上看到一个非常有意思的 Python 游戏通关网站，一共有 33 关，每一关都需要利用 Python 知识解题找到答案，然后进入下一关。很考验对 Python 的综合掌握能力，比如有的闯关需要用到正则表达式，有的要用到爬虫。我们平常学 Python 都是按章节顺序、包或者模块来学，容易前学后忘。正好可以拿这个网站来综合测试...
2019-06-23 16:19:03
305
转载 10个省时间的 PyCharm 技巧
作者：刘善国首发公众号：麻瓜编程首发知乎链接：https://www.zhihu.com/question/37787004/answer/186042335#0. PyCharm 常用快捷键#1.查看使用库源码PyCharm 主程序员在 Stackoverflow 上答道经常听人说，多看源码。源码不仅能帮我们搞清楚运行机制，还能...
2019-06-22 16:46:00
324
转载 如何使用 chrome 开发者工具来调试程序以及相关技巧
今天就和大家分享是如何去使用 chrome 开发者工具进行调试的。先说明：以下内容均是我个人在使用开发者工具时自己探索的，相关的功能有可能说得不是很对，如果你发现我说错了，欢迎指出！或者在评论区分享一些别的技巧。1. 第一排按钮先说下这几个按钮，从左到右按顺序： 跳到下一个断点处，如果后面没有断点了的话，就会停止调试 不跳入函数内执行下一行代码，当函数内部逻辑太多或...
2019-06-22 16:39:50
839
转载 让Python每天帮你薅一个早餐钱
1目 标 场 景以今日头条极速版为首，包含趣头条、东方头条、全名小视频在内的 App 都有看新闻、视频送金币的活动，当金币达到一定量后，就可以提现到微信、支付包。如果单纯靠人工去点击看新闻和视频，会浪费很多时间。本文的目标是利用 Python 驱动手机去看新闻和视频，每天帮我们薅一个早餐钱。下面以「东方头条」客户端为例展开说明。2准 备 工 作元素的定位需要借助 Ai...
2019-06-22 16:30:00
903
2
转载 安卓抓包，为何总是 Tunnel to?
爬取安卓 APP 的内容第一步总离不开抓包.1. 抓包软件的准备这里我用的是 fiddler 软件进行抓包，这个软件的配置我以前也说过了，如果还没有看过的，可以来看看抓包软件 Fiddler 了解一下？这里我需要抓的是手机 APP 的包，就只需要把这两个勾选即可。这里在勾选的过程中还需要安装个证书，选择安装即可，如果没有安装也可以点击第一张图的右上角的 action...
2019-06-22 16:15:20
12489
3
转载 一篇文章踩遍Python中的坑
DirectoryDirectory类与列表生成器装饰器Python调用机制类与列表生成器下面的代码会报错，为什么？In [1]: class A(object): ...: x = 1 ...: gen = (x for _ in xrange(10)) ...:In [2]: if __name__ == "__main__": ....
2019-06-22 16:01:55
330
转载 20行代码制作字符画版小黄鸭表情包
前段时间，一只可爱的小黄鸭火起来了，据说是抖音上一位黄衣小姐姐模仿小黄鸭的动作而走红。这只动作呆萌的小黄鸭表情包也跟着火起来了，小黄鸭表情包也由一只变成多只，颜色也变幻莫测。作为一个合格的程序猿，我们怎么能落后，我们要做出符合程序猿标志的小黄鸭，我们把小黄鸭的动态图变成字符型的小黄鸭动态图。直接上图，一张原版小黄鸭图，一张程序猿标志的字符型小黄鸭。ps：字符画图离远点看可能更有效果哦！...
2019-06-22 15:34:36
4857
转载 下载美剧的正确姿势
一、简介本文将介绍我利用 python 从传统的手动操作下载到批量自动化下载的进化史。二、事情是这样的前几天发现一部还不错的剧，《糟糕历史》，是的是我喜欢的记录片。我在天天看美剧上找到了它的下载页面，天天看美剧上是提供的 ed2k 链接进行下载。如果你有装迅雷那点击对应地址会提示启动迅雷进行下载，而我作为一个不太合格的老司机是没有装迅雷的。我通常喜欢使用百度网...
2019-06-22 15:19:44
957
转载 看我如何用Python来分析《斗破苍穹》
近期根据小说《斗破苍穹》改编的同名电视剧正在热映，本文对《斗破苍穹》进行文本分析，分为两部分，首先爬取豆瓣影评进行简单分析，随后对于原创小说文本中的人物进行详细分析，文章代码和数据在见文末。1.影评分析爬取影评直接使用之前蚁人的代码，不再说明，共爬到影评数据500条。简单统计来看，一星差评最多，但四五星评价与一二星差评价基本持平。不过从投票数来看，投票...
2019-06-20 21:24:28
829
转载 《蚁人2》豆瓣影评爬虫+简单情感分析+词云
打算把豆瓣上的短评爬下来作为分析的素材。然而并没有成功爬到所有的短评，一波三折，最终只爬到了500条，当然这也是豆瓣目前可见的最大数量，本文将细致分析爬虫的整个过程，并对爬到的数据加以分析，蚁小见大。整篇文章共包含爬和文本分析两部分，因为爬到的数据包含信息较少，所以分析过程相对简单，包含描述统计分析、情感分析和分词词云，主要代码在各部分给出，需要完整代码和爬到的数据请在后台回复"...
2019-06-20 21:14:37
5054
36
转载 看爬b站《工作细胞》一万条评论看伙伴们在讨论什么
18年7月番《工作细胞》最终话在十一前放出。这部动漫在b站上评分高达9.7。除了口碑之外，热度也居高不下，更值得关注的是连很多平时不关注动漫的小伙伴也加入了追番大军。这次我们的目标是爬取b站上的所有短评进行分析，用数据说明为什么这部动漫会如此受欢迎。01工作细胞《工作细胞》改编自清水茜老师的同名漫画，由David Production制作。众所周知，日本ACG作品向来信奉着“万...
2019-06-20 21:07:52
720
转载 30行Python代码实现自动收发邮件
生活或者工作中我们经常容易忘记一些事情，这时候我们需要借助一些事物来提醒我们。读者中应该有很多运维攻城狮和测试攻城狮，服务器有异常时需要提醒我们，自动化测试执行完需要发送测试报告，这时我们可以借助邮件来告诉我们。今天我们先从简单的开始，用 Python 发送邮件给指定的收件人。为了达到及时提醒的功能，目前我们用得多的社交软件就是微信和 QQ 了，所以我们这次选择发送到 QQ 邮箱，因为微信和 ...
2019-06-20 20:41:53
3190
1
转载 程序员装X指南-用基于Python的命令行查天气预报
作为程序员，能用命令行来完成某些事情的坚决不用GUI，比如用命令行来抢火车票，甚至用命令行终端听音乐，这样在外行看起来有几分神秘感，还能俘获一批小白的芳心，看起来酷酷的，其实命令行还可以干很多事，例如有位大神就用命令行现实了天气预报的查询，如果你以为在命令行只能显示冰冷的文字那你就特错大错了，这位大神的天气预报是图文结合的。它就是wttr.in，wttr.in 默认会自动检测你所在的地...
2019-06-19 21:26:32
371
转载 爬虫实践： 获取百度贴吧内容
原文链接：https://www.jianshu.com/p/ca6daafe80e9本次我们要爬取的网站是：百度贴吧，一个非常适合新人练手的地方，那么让我们开始吧。本次要爬的贴吧是<< 西部世界 >>，西部世界是我一直很喜欢的一部美剧，平时有空也会去看看吧友们都在聊些什么。所以这次选取这个吧来作为实验材料。贴吧地址 :https://t...
2019-06-19 21:23:11
1262
3
转载 爬取《悲伤逆流成河》猫眼信息
文章有点长，请耐心看完，文末有惊喜。郭敬明五年电影最动人之作《悲伤逆流成河》，可以说口碑票房都丰收的好剧，可惜导演不是郭敬明，导演是落落，一个写而优则导的好作家。本篇推文将带你爬取猫眼电影《悲伤逆流成河》短评，用数据告诉你上映17天的电影，你值得去看，值得你看两遍。一、我的感受知道《悲伤逆流成河》上映还是在qq空间看见学弟发了说说，突然想起初中追小四的书，每天看到晚上10点多，...
2019-06-19 21:18:31
988
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人