- 博客(3)
- 收藏
- 关注
RSS订阅原创 hive SQL 产生结果文件的问题
每次hive sql执行完会产生几个结果文件？ 默认的hive结果文件名叫什么？ 这些结果文件我们可以控制么，例如改名？个数？好的下面来解答一下：一般来说，每次hivesql执行完毕之后只会生成一个结果文件，名称默认为000000_0，如果存在类似于insert into这种语句则每一次insert into 成功之后都会产生一个结果文件，类似于000000_0_copy_1,多次ins...
2018-07-18 16:51:06
3881
原创 pyhton+selenuim实现自动化网络爬虫
之前有个需求，需要从网上爬取数据，爬虫的话利用python很容易做，但是该网站需要账号密码登陆，所以采用了python+selenuim来实现，中间还是有不少坑的，尤其在linux上部署的时候。selenuim帮我们实现了模拟打开浏览器、输入账号密码并登陆，后面获取数据就通过解析网页html来实现。先上代码吧：# -*- coding: utf-8 -*-from seleniu...
2018-07-17 17:14:53
1178
原创 python多线程分块读文件
最近涉及到一个利用python分块读文件的需求，一开始想法觉得很简单，就对一个文件取总行数，获得线程数、每个线程获得对应的行范围、各线程独立去读自己的范围内的内容即可。实际操作下来发现有问题，读出来的内容总是有些小错误，怀疑不是这么简单，同一个文件的句柄估计多线程同时操作不安全。网上查阅了资料https://blog.csdn.net/lingerlanlan/article/details/...
2018-07-17 16:17:59
8630
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人