zongzhengyingzhe的博客

原创 Sqlite3报错sqlite3.OperationalError: Could not decode to UTF-8 column XXX with text '***'

Python2.7+sqlite3执行execute(sql)时，报错：Traceback (most recent call last): File "sqlitetest.py", line x, in <module> c.execute('select cccfrom tbl')sqlite3.OperationalError: Could not deco...

原创 Mac磁盘空间，其他项占用过大排查

这两天在做mysql和pgsql的性能对比，但是没注意的是，mbp很快就磁盘满了，原本50多个g的空闲空间，两天就没了。先说结论，mysql的binlog占用了45G的空间。通过采用`du -sh *|sort desc`的命令来一步步排查问题，最终定位到了`/usr/local/mysql/data`这个目录占用46g，但是这个是mysql的data目录，没有权限进入，于是执行`sudo...

转载 python 操作 redis

Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。...

原创 winserver2008架设Django2.0

总结一下在winserver2008下基于IIS8和wfastcgi架设django2.0站点。参考主要配置和css消失修复 一.安装python3.6如果是安装的anaconda，可以直接默认安装，如果是直接安装python3.6则需要注意不要安装在默认目录，可安装在c:\\python36\文件夹下，防止后续出现调用python的权限等各种问题。安装时注意选择环境变量的配置。二....

原创 centos7+python3.6+django2.0+nginx+uwsgi+git组合架站

将centos7+python3.6+django2.0+nginx+uwsgi+git组合的服务器架设Django站点总结如下。费了好大劲，查过了几十篇博客问答，才将这个流程完整的打通，当然因为之前完全没有接触过这方面，所以也学到了很多非常基础的上线建站的新知识。一.安装python3.6由于centos7本身安装了Python2.7，而且不少系统命令都会用到，所以采用另外安装pyt...

原创 centos7安装python3.6+pipenv

首先来了解一下pipenv这个工具，实际开发时经常会遇到环境版本依赖问题，之前解决方式可以采用virtualenv的方式，后来virtualenv使用较为繁琐，于是有了virtualenvwrapper增强版本，而在具体安装时，大多采用pip安装的方式，现在有了新的解决方法，那就是pipenv大法！这也是python官方推荐的包管理工具。简单理解就是，集成了pip和virtualenv的功能，使得...

原创 flask学习记录

1.pycharm中html代码引用模版文件找不到，实际运行没问题，可以把模版目录标记为模版，操作如下：右键模版目录，选择Mark Directory as Template Folder，然后就可以正确识别模版文件了。2.模版文件中的注释，格式为{#xxx#}，如果想要特殊颜色显示，需要在软件设置如下：3.模版中的过滤器只有当data中不存在names属性时，才执行defau...

转载 任务调度schedule和celery

1. schedule如果要实现一个小的定时任务脚本，可以采用schedule这个轻量级定时任务调度库。import scheduleimport timedef job(name): print(name,'do something...')# 每十分钟执行任务schedule.every(10).minutes.do(job, name)# 每小时执行任务sc...

原创 centos7 关闭ssh连接后仍执行程序以及关闭程序

关闭连接后仍然运行的程序# 格式为 nohup command &amp;nohup python3 proxy.py &amp;# 重定向到其他文件nohup python proxy.py &gt; myout.file 2&gt;&amp;1 &amp;关闭后台运行的程序，首先要找出进程，然后kill掉ps -aux|grep proxy.py# 假设查到进程id为...

原创 数据科学入门与实战5（股票分析实例）

原创 数据科学入门与实战4（matplotlib与seaborn）

Matplotlib Seaborn

原创 深度学习第3章-概率与信息论

概率论用于表示不确定性声明的数学框架，提供了量化不确定性的方法，也提供了用于导出新的不确定性声明的公理。在人工智能领域，概率论主要有两种用途：概率法则告诉我们AI系统如何推理，据此我们设计出一些算法来计算或估算由概率论导出的表达式。 用概率和统计从理论上分析提出的AI系统的行为。概率论使我们能够提出不确定性的声明，以及在不确定性存在的情况下进行推理；信息论能使我们能够量化概率分布中...

原创 数据科学入门与实战3（pandas操作数据）

原创 数据科学入门与实战2（pandas）

原创 数据科学入门与实战1（numpy）

一 导学数据科学工作流（IOSEMN）：Inquire（调查） Obtain（获取，python） Scrub（清洗，numpy、pandas） Explore（探索，matplotlib） Model（模型，TensorFlow、scikit-learn） iNterpret（展示，boken）使用工具，anaconda平台和jupyter-notebook编译器数据科学...

转载 python一些小知识

# 1.一行代码求1~100之和'''利用sum()函数求和'''a=sum(range(1,101))print(a) # 5050# 2.在函数内部修改全局变量'''利用global'''a=5def do(): global a a=1print(a) # 5do()print(a) # 1# 3.列出5个python标准库'''sys,r...

原创 python 读取大文件

利用生成器的特性惰性读取，防止一次性读取全部内容导致内存溢出#这里假设文件内容为1行，行内具有换行分隔符\ndef readLines(f, flg): buff = '' while True: while flg in buff: pos=buff.index(flg) yield buff[:pos] ...

原创 Mac下jupyter notebook 同时添加python2和python3

pip3 install jupyterpython3 -m pip install ipykernelpython3 -m ipykernel install

原创 python高效编程技巧

1. 在列表、字典、集合中根据条件筛选数据#列表ldata=range(-2,2) #构造列表a=filter(lambda x :x &gt;0,ldata) #filter函数b=[x for x in ldata if x &gt; 0] #列表解析#字典from random import randintddata={k:randint(-2,2) for k in 'abc...

原创 django2.0连接sqlserver2008

django默认的是sqlite3数据库，公司要用sqlserver数据库，进行变更。尝试了多种方式，最简单的还是采用ODBC连接的方式。1. 安装 django-pyodbc-azure`pip install django-pyodbc-azure`2.新建ODBC数据源打开`管理工具`，找到`ODBC数据源(64位)`并打开，在`系统DSN`选项卡中点击`添加`，驱动程序为`SQL serv...

原创 python处理mssql，varchar类型中文读取乱码问题

nvarchar类型对中文字段可以正常解码显示，但是varchar类型中文读取异常。所以字段设计最好用nvarchar类型存储中文，对于已经存在对问题，可以有两种解决方式：1.修改表中字段对类型，将varchar改为nvarchar.2.采用手动编码解码方式可以解决乱码问题，data.encode('latin-1').decode('gbk')。...

原创 python插入mssql数据库报错，语句被截断

直接写sql语句插入数据库，报错被截断。一般来说这种情况都是属于字段定义长度小于插入字段长度，但是这次遇到的问题不是这个原因导致的，而是插入的字段较多，字段长度较大，导致语句一次性插入出错。解决方法，将插入语句写成存储过程，调用函数来执行存储语句。...