机械学习——学习进度记录

python-mod 记录

https://github.com/zjh199585/Python3/tree/master/mod GitHub自保存记录

已完成的相关程序段

Python有无代理的简单爬虫程序

https://blog.csdn.net/zhuJH_csdn/article/details/84261876

Python基于已有爬虫数据的数据处理程序

https://blog.csdn.net/zhuJH_csdn/article/details/84257902

基于 linear model 的口袋妖怪cp值预测（课堂作业练习）

https://blog.csdn.net/zhuJH_csdn/article/details/84389612

机械学习与深度学习课程

机械学习课程链接（台湾大学-李宏毅版本）

https://www.bilibili.com/video/av10590361/

学习进度——周（12号）

学习笔记：

mod建立
根据已经接触的代码程序，def相关常用函数，为之后变成建立相对方便查找与使用的代码库。同时熟悉各个函数的使用细节。

完成无代理无随机暂停无headers伪装的爬虫软件，并运行获取信息。

毫无伪装的代码在数据爬去进行到2/3左右时被发现并403查封。

尝试对爬虫进行伪装，在其中加入hearders伪装，加入随机0到1的时间暂停，同时引入代理服务器。由于免费代理服务器极度不稳定，所以循环调用所有爬去到的代理地址，对所需打开的网站进行尝试，知道成功打开并爬去到相关信息。

运行已完成伪装的爬虫软件，由于代理服务器的不固定，需要循环验证，爬去速度降低到接近1分钟一个网页的速度，对于整体2600多页的网页内容，速度过于缓慢，所以在权衡后，删除了代理的使用，仅以随机暂停，与随机hearders进行伪装。

成功爬去到所有信息。（期间由于关闭过一次，忘记清楚原有信息，所以总数据为5000多条）

对爬取到的信息进行整理（主要是对一些列表数据进行重新划分，去除\s的无用信息，并通过一定的加权方法，最终计算得到用户在所有种类的电影中最喜欢的一类。）
ps：完成代理与非代理爬虫程序和其数据处理程序。

学习进度——周（19号）

学习笔记:

了解现代机械学习的基本分类：
supervised learning （最高效的学习方法，但需要的数据量极大） #之后的的机械学习方法数据使用量逐渐降低，学习效率逐渐下降
semi-supervised learning
transfor learning
unsupervised learning
reinforcement learning

Linear Model:
f(x)=b+w₁*x+w₂*x²+… …+w_n*xⁿ
——基础的线性回归公式
L(f)=${\sum }_{i=0}^n(yn-f(xn{)}^2)$
——基础的误差分析公式

Gradient Descent——以种随机过程，存在global minimun 不等于logical minimum的可能性
过程：
(Randomly)pick an initial value
Compute $\frac{dL}{dw}\mid w=wn$
w1=wb-$\eta \frac{dL}{dw}\mid w=wn$

Regularization 一种使拟合曲线平滑化的处理方法
定义： L(f)=${\sum }_{i=0}^n(yn-f(xn{)}^2)+\lambda {\sum }_{i=0}^{n}wi$

Linear Model 作业

深度学习可曾链接（台湾大学-李宏毅版本）

https://www.bilibili.com/video/av9770302/