- 博客(51)
- 收藏
- 关注
RSS订阅
原创 为什么研究数据可视化，以及研究到的东西
因为要做一个数据大屏，即时展示公司的业绩以及其他的一下信息，方便查看和分析。鄙人一直对数据分析情有独钟如何做好数据分析，必要的数据可视化是很有帮助的如何做好数据可视化，一个要有数据，一个要有工具，工欲善其事必先利其器。更重要的还是要有一个能够参透数据的心，以及想要了解数据背后的东西。这需要深度的思考，以及广泛的领域知识等。关于数据的获取，主要指日志系统最开始做数据可视化，基于m...
2019-12-09 19:40:59
470
原创 为什么要做系统运行日志
今天运营说有一个需要生成邮件的地方，没有生成邮件。因此需要查一下原因，并解决。在查看代码的过程中，发现找不到可以查看运行日志的地方。没有打印。没有专门的文件记录。发现代码只是运行了逻辑，操作了数据库，而功能是嵌入到系统中的，系统运行日志浩如烟海，杂乱无章，是不能找到相关的记录的，而且系统log是信息流，也没有进行存储，因此也是找不到的。比较尴尬的是，这个功能是我写的，而我之前并没...
2019-12-09 18:58:04
2481
原创 windows下使用docker配置python开发环境
使用docker 安装ubuntu之后，发现不能编辑操作，可以更新下载又很慢。怎么办？我的ubuntu连vi都没有？？那在命令行怎么编辑文件？？cd /etc/apt/#### cd /etc/apt/sources.listcp sources.list sources.list_bakrm sources.listecho "deb http://mirrors.aliyun...
2020-03-03 13:09:46
1692
原创 windows下docker安装mysql后，无法通过localhost连接
对于docker 和虚拟机不是很熟，想在主机win10下安装python的开发环境。但是使用docker安装mysql后，主机无法连接。不知道什么原因。后来查到，docker是在win10下虚拟机下工作，因此需要连接虚拟机的ip。因此需要查看虚拟机的ip。需要进入virtualbox查看。参考连接...
2020-02-23 15:10:00
1244
原创 如何将复制一个浏览器的请求到postman
最近在研究爬虫，最开始想使用scrapy，在对目标网站的结构分析的过程中， 发现目标网站使用的是graphql，便想研究一下，看看可不可以直接使用请求拿到数据，而不是使用爬虫。如题...
2020-02-18 17:44:37
3122
原创 django_websocket实践和一些相关知识
工作上需要制作一个实时大屏，需要使用websocket实时传递信息。但是之前对websockety一直不熟悉。主要使用的是channels，参考官方教程写的代码。教程已经写的很全了。解释很好.所以需要新建python环境，新建git，安装包等等。更换源由于使用官方源下载channels很慢，所以需要指定pip的源:打开新建的文件夹，在里面建一个名为： pip.ini的文件，并在文件中输...
2019-12-09 17:59:02
148
原创 使用Excel将数据进行可视化
我们每天接触到的信息，90%是有眼睛接收到的。（举例子）就是说我们每天接触到大量的信息，其中来源于眼睛的为大部分。如果将数据进行可视化，能够方便我们进行数据的分析和理解Excel对数据进行分析的功能主要有数据透视表，数据透视图，可能还有别的，我不知道。对于多个维度的数据，可以使用数据透视表进行多个维度的组合分析，十分方便和简单。只是拖拽的实现。对于数据透视图来说，也是一样的。还有如...
2019-12-05 12:05:06
3693
原创 关于新手产品和开发去理解产品，对于熟悉的人也有一定的帮助
今天听了一下公司客服部门关于新员工使用后台系统的培训虽然整个后台，各种操作和展示我基本上都是参与和了解的，在开发过程中，也会对产品设计的功能，感到不理解和不认可等等。今天简单听了一下，客服组长对新人的培训讲解，后台使用，简单了解了一下，客服是如何使用现在后台的，以及她们的思路。首先，客服已经熟悉了现在的后台，使用上已经习惯了，在给新人讲解的时候，是依照现在的使用习惯，进行讲解的，新人也会接受...
2019-12-05 10:48:48
297
原创 Python处理大文件，大数据
使用Python读取大文件的方法其实就是采用化整为零的思想，既然大数据那么多，那么我们就一点一点的来处理。还有Python多进程分块读取超大文件的方法一个人不行，那么我就多个人去做么，众人拾柴火焰高。...
2019-12-04 18:02:55
1144
原创 关于Python的字典
我们知道Python的字典，一般做映射取值。我们也知道Python是散列数据结构。所以有python读取大文件越来越慢的原因与解决里面提到使用 in dict.keys 比 in dict 要慢很多，为什么呢？应该就是 in dict 还是使用散列查找，很容易，可以直接地址查询。而 in dict.keys，就相当于在元组和列表的判断，这是链表结构，查询起来自然就慢了。因此在后续的...
2019-12-04 17:56:28
116
原创 再次理解多线程，多进程
工作以来，基本上没有遇到使用多线程和多进程的任务或者工作。–也有可能是，有的工作可以使用多线程和多进程，只是自己想不到使用。例如报表分批实现，文件分批读取，保存等等。昨天突然被问到多线程和多进程的相关问题，自己很是抓瞎。竟然全忘记了。说不出个所以然。真不对。又看了看廖雪峰的文章进程和线程一篇文章读懂 Python 多线程又想了想自己之前看的文章和理解，渐渐找回了感觉和理解。真正的...
2019-12-04 17:47:28
277
原创 关于中台，关于开放api
之前看到一篇文章介绍的是阿里内部使用中台策略，来整体操控前端和后台，以及各个部门，各项服务，能够防止重复开发。感觉不错，然后上星期看了亚马逊的那边的模式，又感到自己局限了。Amazon EventBridge介绍：AWS 风味的“中台”（上篇）Amazon EventBridge介绍：AWS 风味的“中台”（下篇）中台自有中台的好处，但是也会有它自身的劣势，没有去中心化，相当于有个上帝，中...
2019-12-02 10:47:47
685
原创 使用策略模式代替嵌套的多层if-else
–后台在开发的过程中，需要进行各种逻辑判断，来判断某个按钮是否展示，某个操作是否允许。所以嵌套了很多if-else判断，看起来很是头痛。修改了起来也要各方面考虑，防止逻辑错误，进行影响。如图：之前一直不知道会有怎样的处理方式更好。先简介一下，这戏需要进行的逻辑判断：判断当前用户是否有权限判断用户状态，判断时间等其他判断此条信息状态是否允许这个操作此条信息其他信...
2019-11-29 17:57:19
1406
2
原创 通过Code Review来进步
之前很多不懂的时候，有时候通过看同事之前写的代码，结合公司的业务逻辑，来进行技术的学习。后来，工作比较忙，很多东西也会了，看同时的代码相对来说，少了很多。当然，通过看python包的源码，更能学习很多东西。今天又再次看了看同事们提交的代码，进行温故学习，以及思考。同事写了一个调用翻译的接口。 汉译英好久不对接接口了。开始对接接口，还是公司上业务需求，需要对接支付公司，进行数据传递。...
2019-11-29 17:10:14
107
原创 学习Vue.js记录
2019.11.29 还没有开始学Vue官网地址： Vue官网是最好的学习教程不论是学习dockerdjangoElasticsearchFlutter还是其他的技术，官网都是最好的教程。简单说一下现在自己对前端，后端和网站开发的理解现在已经从事网站开发2年多了，从最开始的懵懵懂懂，慢慢有了自己的理解。最开始进步很多，很快，虽然最开始也很难，很多东西不懂。...
2019-11-29 16:08:43
140
原创 记录一个Mysql查询的问题, select的字段影响结果条数
–今天运营方在使用报表的过程中，发现导出的数据不对。而之前发现过这个问题，这边做了修改，今天再次出现很是不解。上次问题是导出来的数据某个字段都是一个值，这显然是不对的，然后经研究发现，是sql语句中order by对结果的影响，上次没有理解，只是将排序去掉了，然后数据就是正确的了。–这次又出现，开始各种看，分析不出原因，最后打印发现结果都是Null,因此定位问题于sql中，但是查询相关字段...
2019-11-27 18:00:11
524
原创 研究了一下微信公众号的自动回复
朋友的哥哥做了一个公众号，需要实现一个功能：输入打印机的型号，回馈给用户晒鼓的型号。先研究了一下，微信如何做自动回复。发现有两种方式：一种是使用第三方平台提供的服务，一种是使用自己的服务器。开始使用的是一个叫做表单大师的服务，后来收费了。便想用用别的。开始搜索第三方服务，没有找到合适的。后来便研究自己的服务器。突然想到，无服务器函数是不是可以实现这个功能，便研究了一下腾讯的无服务器函...
2019-11-24 17:08:53
264
原创 关于python项目环境的理解
之前以为自己已经理解的各种环境，但是好像并不是，没有深刻理解开始学习编程的时候，各种环境配置完全不知道是什么东西，更不知道是干嘛用的，只是按着教程来操作。做完之后，可以还行，如果不行，便会抓瞎了。不知道改哪里，不知道哪里出现了问题。很是疑惑和难受。后来慢慢知道PATH, host,setting, env， class jar包的作用。但是今天要单独执行一个项目的中的一个文件的时候，...
2019-11-21 18:48:05
501
原创 研究了一下Python的pip，以及其他linux命令可以直接执行的原理
首先linux中一切皆文件。安装完Python后，当我们在shell中输入pip install **something， 后面是一个怎么的执行原理呢。–开始我是不理解的，一点儿都不理解，因为是跨行过来，很多底子不牢，为甚么输入pip install **something，就会下载一个包，包安装到哪里了，为什么就能引用了，等等，完全不懂。–后来，接触的命令多了，知道的多了，然后也在不...
2019-11-21 18:23:08
969
原创 python循环的一个优化，原来方法可以再次封装调用，类似匿名函数
循环优化每种编程语言都会强调需要优化循环。当使用Python的时候，你可以依靠大量的技巧使得循环运行得更快。然而，开发者经常漏掉的一个方法是：避免在一个循环中使用点操作。例如，考虑下面的代码：每一次你调用方法str.upper，Python都会求该方法的值。然而，如果你用一个变量代替求得的值，值就变成了已知的，Python就可以更快地执行任务。优化循环的关键，是要减少Python在循环内部执...
2019-11-21 16:55:48
554
原创 python执行太慢？？
python执行太慢？？两个优化的方式： pypy和numba在公司处理数据的时候，有时候感觉python执行太慢，有的时候是保存，例如：使用openpyxl保存几的文件的时候，需要保存好长时间。如果使用pypy，换一个python的解释器来做，不用动态编译，只是替换需要的变量，使用空间换取时间，能够大大提升效率。具体使用，就查看他们的文档吧。...
2019-11-01 15:42:36
206
原创 简单方便，分步实现。linux 各司其职，做好本职工作。不交叉，相互独立，不耦合
后台需要开发一个功能，需要根据订单号导出相关的订单信息，可以选择需要导出的订单信息之前的逻辑是单独的，只有根据订单号导出信息，后来需要增加一项功能，可以根据订单中其他信息来导出订单的其他信息，例如订单的一个叫做批次号的东西。开始实现的逻辑是各种判断，判断传来的是订单号还是批次号，然后以此为基础，在数据库中寻找相应数据。结果写着写着，感觉太复杂，各种判断，各种情形。因为一个批次号可能会对应多个订...
2019-09-25 12:33:27
262
原创 django orm 过滤器的理解
关于filter and exclude业务上数据比较多，查询比较多，所以经常使用sql进行数据的查询，因此对于sql比较熟悉，但是对django的orm了解的就不是很深了。结果出来的数据不满足需求，本来想排除指定订单，但是没有排除掉。经过看query_set的sql的语句（里面有属性query，可以打断点去看），原来exclude将里面的排除条件叠加了，即只有同时满足里面的数据才会被排除...
2019-08-29 16:42:03
516
原创 git merge 的一些细节
被坑了半小时使用git merge进行代码合并，但是合并之后测试页面，发现显示不对，之前测试并没有发现问题。经过仔细查找，原来是给前端的json数据，一条数据id重复，结果取了下面的错误数据。原因是git merge的时候，git自动将修改的两个代码合并在一起了。导致了重复。记录在此，之后注意...
2019-08-29 16:19:21
243
原创 记一次git checkout了本地未提交文件，记一次找回
在git的开发过程中，有一次切换分支，提交文件，忘记把本地的文件stash了，结果悲催了，几个新建的文件和代码没有了。在想git还能不能找回呢?于是进行了查询：发现几个新的，不常用的git命令。git refloggit fsckgit show使用git fsck得到一些操作记录，可以git show 查看操作记录中的代码，然后从其中找回正确的commit，然后git merge ...
2019-08-05 11:07:59
2667
原创 python的for循环耗时太长引发思考
big_list = list('big data')for one in all_data: time_a = time.time() if one not in set(big_list) : print('the time is', time.time()-time_a）结果发现每个if判断的时间为0.03s， 如果for循环数据很大的话，将很浪费时间，100...
2019-05-07 17:58:11
19664
1
原创 记录安装superset的过程
·后台需要使用浏览器查看mysql数据库中的数据，经过查找发现了几个开源软件sqlpadsupersetHUEsqlpad使用node.js开发，在安装完node之后，npm install sqlpad 即可，然后打开浏览器使用即可。但是发现虽然可以添加用户，但是及其简单，不能进行权限控制，因为想要控制不同用户对数据库不同的增删改查的权限，例如有的用户不能更新和删除。但是sqlpa...
2019-04-28 18:01:09
231
原创 火车上的人们啊
火车上的人们啊10年上大学，14年毕业到北京参加工作，开始各种不懂，感觉北京哪里都是高大上的，吃一个沙县小吃，都感觉好厉害啊。十几块钱都觉得贵。但是自己在秦皇岛工作的时候，也不是没有如果高大上的地方，海天一色，各种自助，但是一入北京，自己挣钱，便开始体味挣钱的艰难了，刚去北京找工作，会参加各种面试，漫无目的，各种尝试，维修空调，大楼保养，等等。然后会算一下，每小时挣多少钱？每天挣多少钱，然后想，...
2019-04-24 20:26:59
281
原创 久做技术忘了产品的心态，忘了使用者的使用感受
关于自己专心做技术，好久不做用户体验，会习惯bug的出现，会习惯出现问题及时修改，不能以用户使用的角度去感受。用户在使用你做的东西，用户使用你做的东西在做信息的跟踪和交流，结果你做的东西却出现问题了，这就是不对的，不好的。例如用户（客服）填写备注，以及其他，相互交流。制作培训文档，总结使用体验，投诉问题，解决问题的方法，教育客服，培训客服。用户注册，却没有跟进，有提醒客服的功能，...
2019-04-24 19:39:54
140
原创 理解docker，理解开发
之前一直关注过docker，也知道docker大概是什么东西，容器技术，比虚拟机轻量，但是一直不太理解，这两天公司这边要使用docker，又再次找文档，看技术文章和介绍，又结合自己的开发经验和分析，感觉理解了一些儿。分析原因，为什么之前不容易理解，一定程度上是半路出家的原因，还有就是，之前看了文章和介绍，但是并没有实际操作，所以不容易理解。正如，最开始转行的时候，也是看书，有的东西知道，有的...
2019-04-24 19:20:00
135
原创 关于使用数据导出为excel的时间问题
在公司的业务操作上，很多时候需要查看后台数据，而查看后台数据经常使用excel进行导出，以及进行后续的操作，有时候数据量很大，导致导出数据很慢，因此进行了一些原因查找，一次判断时间消耗在了那里。如图可知，文件大小约5M，执行时间将近44s。以下是执行结果分析发现时间大头还是消耗在数据写入openpyxl的workbook中的时间以及将数据保存的内存中。具体怎么解决，暂时还不知...
2019-04-22 17:16:48
1018
原创 使用with语句替换 try finally语句
使用with语句替换 节省资源, 灵活度高主要使用__inter__和__exit__方法# -*- coding: utf-8 -*-import jsonclass A(object): def __init__(self, exception_type=None): self.exception_type = exception_type d...
2019-04-22 10:35:54
424
原创 vue中router-link标签属性
to表示目标路由的链接。 当被点击后，内部会立刻把 to 的值传到 router.push()，所以这个值可以是一个字符串或者是描述目标位置的对象。<!-- 字符串 --> <router-link to="home">Home</router-link> <!-- 渲染结果 --> <a href="home">Home&l...
2019-04-22 10:31:54
4316
原创 PyPI 镜像源使用国内镜像，提升下载速度和安装成功率
临时使用：可以在使用pip的时候加参数 -i https://pypi.tuna.tsinghua.edu.cn/simple如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pymysql这样会从清华源的镜像去安装pymysql永久修改，一劳永逸：修改 ~/.pip/pip.conf (没有就创建一个文件夹及文件）m...
2019-04-22 10:26:05
916
1
原创 软件开发的一些注意事项
在后台网站开发使用的过程中，总是出现各种意想不到的问题，应该是一开始设计便不是很好的。用户在使用系统的时候，如上，既要记录相关信息，也要记录相关信息的操作信息，例如查操作人，操作时间，操作地点等信息。如果这些信息不予记录，便不能查询。现在公司的主要使用的mysql，进行业务数据的存储和记录，然后redis进行用户登录信息的存储，然后使用mongo结合django的crm即更新操作，进行更新...
2019-04-15 16:50:31
749
原创 一些注意事项，反思和总结
首先要控制自己脾气和态度在使用一些新的功能，命令或者技术时，需要先把新的东西使用熟悉，搞清楚，比如Mysql的in的命令，如果是in (0)它会查询全部的数据的，不会是没有数据，如果字段是字符串。在使用git时，慎重一些，注意分清线上，本地还是测试，不要进行了误操作，导致出现问题，比如今天差点将线上的分支进行了处理(操作时误以为是本地)。同样的数据在进行匹配，计算和导出时，要保持条件相同...
2019-04-08 12:22:07
265
原创 python 一行代码打印9*9乘法表
研究一下python技巧， 同事说你写一行代码打印9*9乘法表吧1*1=1 1*2=2 2*2=4 1*3=3 2*3=6 3*3=9 1*4=4 2*4=8 3*4=12 4*4=161*5=5 2*5=10 3*5=15 4*5=20 5*5=251*6=6 2*6=12 3*6=18 4*6=24 5*6=30 6*6=361*7...
2019-02-12 16:31:18
1645
原创 mysql中between--and的范围问题
在手写sql的时候，有时候对于时间范围，会经常使用between–and，当时有时候会被它坑，只能说没有理解清楚between–and的逻辑及范围判断，以及对于python中datetime构造时间的理解有误。start_time = datetime(2019, 1, 1)end_time = datetime(2019, 1, 31)condition = { 'start_...
2019-02-11 17:05:14
2335
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人