- 博客(28)
- 收藏
- 关注
RSS订阅原创 Pandas groupby方法中的group_keys属性
pandas版本1.5.3中groupby方法，当设置。时，会以groupby的字段为第一级索引，如下述代码中。作为第一级索引，同时保留了原dataframe（是可以直接将返回结果，作为原dataframe(PS:对英文帮助的深入理解，需要结合实际应用。)就不在返回结果中了，如下所示。）中的索引作为第二级索引。的feature（如。
2023-11-11 19:58:26
456
原创 sklearn包中对于分类问题，如何计算accuracy和roc_auc_score？
对于multiclasses类的roc_auc_score计算，需要一个二维array。
2023-09-15 09:33:51
875
原创 WSL（Ubuntu 20.04）下运行CUDA
文章目录1. 加入预览体验计划并更新系统2.启用WSL 2并安装Ubuntu 20.043.安装Docker4.测试Windows 10 下的WSL也可以使用英伟达的GPU来训练模型。基本按照Getting started with CUDA on Ubuntu on WSL 2和WSL2 安装教程 CUDA 配置 自测已成功便可以操作成功，但提示以下几点：1. 加入预览体验计划并更新系统上来一定要先加入预览体验计划，并更新系统。注意这里更新一次可以不完全，需要更新2、3次。直到满足以下2个条件：（
2020-08-31 12:17:27
3153
原创 Python访问Access数据库
1、Access Database Engine的安装安装过程中需要注意选择32bit还是64bit，建议跟随系统安装；系统是32位还是64位，对于windows 10 而言，可根据我的电脑->右键属性->系统标签这里可能涉及到选择是否卸载Office套件。若Office套件的位数与系统位数不一致，则要选择是卸载Office套件还是选择安装相应位数的Python。我选择的是卸载Office，利用LibreOffice代替。2、ODBC数据源配置系统搜索中输入ODBC, 选择系统DSN，添
2020-07-24 17:39:22
1188
原创 Chapter 3 Vector Spaces and Subspaces(Introduction to Linear Algebar written by Dr. Gilber Strang)
3.1 Spaces of VectorsSubspaces 是一个需要满足以下两个条件的重要概念。（1） v+w\bm v+\bm wv+w is in the subspace（2）cvc\bm vcv is in the subspacev\bm vv, w\bm ww are vectors in the subspace. cccis any scalar.Example 1 对于vectors(x,y),若要求x≥0x \ge 0x≥0 同时y≥0y \ge 0y≥0，则这个四分之一
2020-06-27 17:50:00
190
原创 基于Excel的地理数据分析
P75 4.3.3 三参数Logistic模型由公式y=c1+ae−bty = \frac{c}{1+ae^{-bt}}y=1+ae−btc推到为二阶Bernouli方程dydt=by−bcy2\frac{dy}{dt}=by-\frac{b}{c}y^2dtdy=by−cby2。重温高等数学求复合函数的导数。v=−bt;u=1+aev;y=cuv=-bt; u = 1+ae^v;y=\frac{c}{u}v=−bt;u=1+aev;y=ucdydt=dydu⋅dudv⋅dvdt\fra
2020-06-26 18:24:32
638
原创 Chapter 2 Solving Linear Equations (Introduction to Linear Algebar written by Dr. Gilber Strang)
2.1 Vectors and Linear EquationsThe central problem of linear algebra is to solve a system of linear equations which means that the unknown are only multiplied by numbers–we never see xxx times yyy.The column picture of Ax=b:Ax = b:Ax=b: a combination
2020-05-24 22:03:51
311
原创 Chapter 1 Introduction to Vectors (Introduction to Linear Algebar written by Dr. Gilber Strang)
今天开始重新学习线性代数，从数据分析、机器学习的角度，争取今后可以看懂专业论文。其实，大学时光是学过的，但加上遗忘和本身是从市政工程的角度学的，目前只记得一些基本的操作，更深的就忘记了。Introduction to Linear Algebar (Fifth edition) writtened by Dr. Gilber Strang.The really impressive feature of linear algebra is how smoothly is takes that step
2020-05-10 22:29:17
270
原创 基于时间序列数据，计算连续下降次数
在时间序列数据，尤其是传感器类数据中连续下降或连续增加，对判断传感器监测是真异常还是假异常，有重要的参考作用。如何实现计算呢？>>> import pandas as pd>>> times = ['11:55', '12:00', '12:05', '12:10', '12:15', '12:20', '12:25', '12:30', '12:35', ...
2020-04-21 21:40:32
1056
2
原创 SQLAlchemy
SQLAlchemy这个Python软件包，就像其名字一样（SQL的炼金术），非常神奇。本人看中的是其统一命令方式，可访问大多数的企业级关系型数据库：PostgreSQLMySQLSQLiteOracleMicrosoft SQL ServerUbuntu下的csvkit集成了SQLAlchemy，可以很方便地在命令行中select.下述代码$ sql2csv --db 'sq...
2020-02-25 20:46:45
279
原创 Vscode remote development
vs code remote development ssh既可以兼顾笔记本（win 10）的灵活性，又可以利用台式机（ubuntu 18.04）独立显卡的运算能力。参照官方文档，在ubuntu上运行sudo apt-get install openssh-server 安装openssh的服务端。参照OpenSSH客户端安装指南，在win 10上安装OpenSSH客户端。安装好后，在命令行...
2020-02-18 22:39:13
716
原创 Vim+Python(Ubuntu 18.04)
VIM and Python – A Match Made in HeavenYouCompleteMe安装指导 and Github YouCompleteMe
2020-02-16 12:33:23
346
原创 温度预测（GluonTS应用练习）
利用2013年1月1日～2017年10月31日每小时的温度的历史数据，训练DeepAR模型，预测2017年11月1日～2017年11月7日每小时的温度。
2020-02-09 18:10:11
2424
4
原创 GluonTS-GPU的安装及使用
按照Github mxnet中的命令pip install --upgrade mxnet==1.4.1 gluonts安装的mxnet仅是CPU模式。这一模式在训练大量数据(如我所遇到的4.5万行左右)的数据，且用内置的DeepAR模式时，就比较慢了。按照Install Tutorial中的提示命令pip install mxnet-cu92安装的话，默认应该是安装了mxnet的最新版本1.5...
2020-02-09 13:56:57
1623
原创 在venv创建的虚拟环境中运行jupter notebook（Ubuntu 18.04 + Vscode 1.42.0）
参考Using jupyter notebooks with a virtual environment，在虚拟项目环境中使用Jupyter notebook的步骤如下：$ python -m venv projectname$ source projectname/bin/activate(venv) $ pip install ipykernel(venv) $ ipython ker...
2020-02-08 09:22:53
1035
原创 关于TFP.STS的一个Bug（GPU内存爆掉，无法做预测）
在利用TFP.STS训练模型时，发现GPU内存占用很高，达到98%左右。训练花费了5627.735171868秒，约94分钟后，发现运行下述代码报错。temperature_forecast_dist = tfp.sts.forecast( model=model, observed_time_series=training_data, parameter_sample...
2020-02-07 19:16:15
260
原创 Ubuntu 18.04（英文版）安装系统自带的中文输入法
Ubuntu 18.04安装时选择英文的话，是没有中文输入法的。安装步骤如下：1.视窗键 -> 搜索language2.Install / Remove Languages3. 选择Chinese(simplified)，等待安装。。。，若一时安装不完整，可以早上网络不拥挤的时候，再次安装。4. 视窗键 -> Settings -> Region & Lan...
2020-02-03 07:07:30
997
原创 Structural Time Series modeling in TensorFlow Probability
在邯郸学步后，想要深入用好Tensorflow中的STS model，还是要静下心来，好好阅读点材料。f(t)=f1(t)+f2(t)+...+fn(t)+ε;ε∼N(0,σ2)f(t) = f_1(t) + f_2(t) + ... + f_n(t) + \varepsilon; \varepsilon \sim N(0, \sigma^2)f(t)=f1(t)+f2(t)+...+f...
2020-02-01 13:27:49
450
原创 Local Linear Model, Semi Local Linear Model and Local Level Model of TFP.STS
tfp.sts.LocalLinearTrend is formal representation of a local linear trend model.SourceLocal Linear Model本质上是分段线性拟合，线性拟合的核心是最小二乘法(Ordinary Least Squares)；此模型适合在短期内数据呈现的趋势及斜率一致且不变，但长期会变化的时间序列数据（This mo...
2020-01-31 15:58:38
788
原创 Matplotlib 绘制双纵轴及置信区间
1、如何绘制双坐标轴？参照下述代码：import numpy as npimport matplotlib.pyplot as pltx = np.arange(0, 10, 0.1)y1 = 0.05 * x**2y2 = -1 *y1fig, ax1 = plt.subplots()ax2 = ax1.twinx()ax1.plot(x, y1, 'g-')ax2.pl...
2020-01-29 19:43:56
2327
原创 Autoregressive model
在下面build_model的代码中涉及到tfp中的sts.Autoregressive.很长时间不用，恍惚中忘记了何为Autoregressive？通过阅读Autoregressive Model: Definition & The AR Process学习到以下几点：auto不是英文单词，而是表示self的希腊语.这可能也说明这个模型有多么经典.autoregressive mo...
2020-01-29 17:19:54
2482
原创 绘制时间序列图（Matplotlib）
使用Matplotlib绘制时间序列图时，横轴的时间数量与纵轴的数据个数一致是非常关键的。实际处理数据过程中，可能会出现时间戳重复，导致纵轴数据重复的情况。For example:flow = df['flow'].valuesflow_dates = np.arange('2019-03-10', '2019-04-11', dtype='datetime64[h]')flow_loc...
2020-01-28 23:55:18
4588
原创 ubuntu 18.04 install tensorflow-nightly-gpu and tfp-nightly
因学习tensorflow probability，需要安装tensorflow nightly gpu和tfp-nightly，安装步骤如下：1、不能在anconda环境下，本身也不支持nightly版本，且遇到一些奇怪的权限问题。2、参照How to Create Python Virtual Environments on Ubuntu 18.04安装虚拟环境。3、更新pip，pip3...
2020-01-28 06:19:36
2085
原创 ubuntu18.04 + vscode1.41 + Terminal or Python Interactivate?
@[VSCODE]如何确保运行在ubuntu 18.04中的vs code（version 1.41.1）中shift+Enter可以直接将代码发送到Terminal，而非Python Interactive环境中？Ctrl + , -> search send selection -> find Python > Data Science: Send Selecti...
2020-01-27 20:13:12
217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人