TyrantTG-CSDN博客

原创直播网站LiveTV Mining，爬虫抓取数据 python3+scrapy

LiveTV Mining介绍此站点是为了实现爬虫、数据挖掘/分析等技术。目前主要是扫描斗鱼直播的数据进行统计，后续会加入其他直播网站(战旗、熊猫、itwich等)爬虫结果。站点是在个人兴趣指引下用业余时间写的项目，可能技术还欠缺火候。使用中有问题或更新建议，欢迎直接提issue Github 反馈给我。历程2016-04-06 域名 http://www.zhengwentao.com 申请完毕

2016-04-07 10:41:24 4244

原创查找匹配子集与子集和(Subset Sum Problem)--动态规划实现

问题和实现引自资料：https://en.wikipedia.org/wiki/Subset_sum_problem介绍子集和问题（英语：Subset sum problem），又称子集合加总问题，是计算复杂度理论和密码学中一个很重要的问题。问题可以描述为：给一个整数集合，问是否存在某个非空子集，使得子集内中的数字和为0。例：给定集合{−7, −3, −2, 5, 8}，答案是...

2018-05-20 17:16:33 4701

原创随机拆分一个正数为任意份

问题提出设一个正数sum，需将其随机分为n份，其和仍保持为sum。思路思考线索如下：先转为正整数问题，浮点数可以转为整数*10^m(m<0) 替换处理。问题转变：假设存在sum个点排为一列，则存在sum-1个间隔。往间隔中插入n-1个分割板，将点分为n份。解决步骤：随机抽取n-1个小于sum的数组成数组，进行顺序排序，并在头部加0，尾部加sum。每个数之间的差(...

2018-05-20 10:36:59 2343

原创尝试使用sklearn自动进行多模型预测并计算权重

待解决的问题在拥有多个模型的情况下，是否可以通过给多个模型分配权重(weight)，使得加权后的多模型预测结果要好于单模型？思路是否存在通用的多模型weight计算方式？如果没有，是否存在其他选取模型的方式？如果权重只能人为设置，增加权重提高拟合度的方法是否可行？如果权重能自动计算，能否在实际数据训练中增加拟合度？解决方向查找相关论文资料，确认了使用多模...

2018-05-20 10:35:23 5861

原创直播项目阶段性总结-爬虫

爬虫总结项目展示的数据都是由爬虫爬取的，在使用过程中出现了很多没有注意和意料之外的一些问题，特此总结一下提醒自己。历程爬虫开发的技术路线经过了好几个阶段，将一一总结：原生写法urllibRequests + Gevent + CeleryScrapy + Redis原生写法urllib这个阶段是刚开始学习爬虫，对如何构造和理解爬虫以及相关库的用法都不熟悉...

2018-05-20 10:33:16 509

原创海量数据中快速找到最大的100个

问题提出存在五十万个数字，如何快速找到最大(小)的100个。思路思考线索如下：普通排序方式，需要同时把数据全部加载到内存排序，由于python性能问题不采用。采用堆排序(heapq)的方式提升排序速度。不全部加载，每次取500个数据，取其中最大100个。然后再以每次500个加载比较。代码(Python)```python# !/usr/env/bin ...

2018-05-20 10:28:36 1781

原创 Proftpd+Ldap的安装配置（一）

首次使用到Proftpd作UBUNTU的FTP服务，还采用了Ldap认证方式。国内国外搜了一圈，终于初步的完成了域认证，以下是我的心得总结：0. 安装还是先从安装开始，安装Proftpd的操作 apt-get install proftpd-basic 安装过程中会显示：选择“standalone”，然后继续安装。

2013-07-02 00:19:16 3507 2

TG's Maze