![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 53
TyrantTG
https://github.com/taogeT
展开
-
直播网站LiveTV Mining,爬虫抓取数据 python3+scrapy
LiveTV Mining介绍此站点是为了实现爬虫、数据挖掘/分析等技术。目前主要是扫描斗鱼直播的数据进行统计,后续会加入其他直播网站(战旗、熊猫、itwich等)爬虫结果。站点是在个人兴趣指引下用业余时间写的项目,可能技术还欠缺火候。使用中有问题或更新建议,欢迎直接提issue Github 反馈给我。历程2016-04-06 域名 http://www.zhengwentao.com 申请完毕原创 2016-04-07 10:41:24 · 4279 阅读 · 0 评论 -
海量数据中快速找到最大的100个
问题提出存在五十万个数字,如何快速找到最大(小)的100个。思路思考线索如下:普通排序方式,需要同时把数据全部加载到内存排序,由于python性能问题不采用。采用堆排序(heapq)的方式提升排序速度。不全部加载,每次取500个数据,取其中最大100个。然后再以每次500个加载比较。代码(Python)```python# !/usr/env/bin ...原创 2018-05-20 10:28:36 · 1799 阅读 · 0 评论 -
直播项目阶段性总结-爬虫
爬虫总结项目展示的数据都是由爬虫爬取的,在使用过程中出现了很多没有注意和意料之外的一些问题,特此总结一下提醒自己。历程爬虫开发的技术路线经过了好几个阶段,将一一总结:原生写法urllibRequests + Gevent + CeleryScrapy + Redis原生写法urllib这个阶段是刚开始学习爬虫,对如何构造和理解爬虫以及相关库的用法都不熟悉...原创 2018-05-20 10:33:16 · 511 阅读 · 0 评论 -
尝试使用sklearn自动进行多模型预测并计算权重
待解决的问题在拥有多个模型的情况下,是否可以通过给多个模型分配权重(weight),使得加权后的多模型预测结果要好于单模型?思路是否存在通用的多模型weight计算方式?如果没有,是否存在其他选取模型的方式?如果权重只能人为设置,增加权重提高拟合度的方法是否可行?如果权重能自动计算,能否在实际数据训练中增加拟合度?解决方向查找相关论文资料,确认了使用多模...原创 2018-05-20 10:35:23 · 5916 阅读 · 0 评论 -
查找匹配子集与子集和(Subset Sum Problem)--动态规划实现
问题和实现引自资料:https://en.wikipedia.org/wiki/Subset_sum_problem介绍子集和问题(英语:Subset sum problem),又称子集合加总问题,是计算复杂度理论和密码学中一个很重要的问题。问题可以描述为:给一个整数集合,问是否存在某个非空子集,使得子集内中的数字和为0。例:给定集合{−7, −3, −2, 5, 8},答案是...原创 2018-05-20 17:16:33 · 4721 阅读 · 0 评论