Solar's Blog

python这种简介的语言，按说肯定不能复杂。,需要转换为子类对象。

python环境下支持好几种与hdfs文件同步接口，如：pyhdfs，hdfs，libhdfs，pyarrow，shell等。考虑到易用性以及本地环境（公司集群禁掉了http服务）,本文介绍使用pyarrow 以一种优雅的方式进行本地文件与hdfs同步。下面2.1,2.3功能 示例较完整。简单的测试实例见2.3.分别为自定义的类，主要是实现。可用于复制单个文件。

实验环境windows10·python3·问题描述导入from lda2vec import preprocess, Corpus时报错：File "C:\Program Files\JetBrains\PyCharm 2020.2.1\plugins\python\helpers\pydev\_pydev_bundle\pydev_import_hook.py", line 21, in do_import module = self._system_import(name, *arg

目录问题描述问题解决参考文献问题描述在TensorFlow官网学习加载文本的例子，执行tokenizer = tfds.features.text.Tokenizer()代码出现如下问题：AttributeError Traceback (most recent call last)<ipython-input-20-6f949be18afd> in <module>()----> 1 tokenizer = tf

实验环境Ubuntu16.04；Hive1.2.1(旧)；Hive2.3.1(新)；实际操作按照之前安装hive1.2的方法，将相关配置文件复制过来，不在赘述。需要具体步骤的，可以在文章末尾的公众号上回复[hive安装]获得完整版的安装文件以及hive教程。将hive2.3重新安装一遍就完事了吗？当然不是。我们发现，安装完启动 hive 命令后，出现如下报错：FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveE

环境windows10；idea；错误分析首先排除，maven下下载依赖没问题，也就是写代码是没有报红；那么很有可能是pox.xml中的依赖配置有问题，如下： <dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId> <version>${avro.ve

本期题目概览本期的五道题涉及到的知识点有：递归，整数的二进制表示，逻辑运算符，python中List 常用的内置方法。chapter3试题 11：变态跳台阶一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。（递归想明白不容易，即使递归两次认真去想那也很烧脑。之前看过一本书，作者对于递归给的建议：别想太多，相信信念。还别说...

python程序访问hive仓库，并将读取的数据写入文本

functools.lru_cache 是非常实用的装饰器，它实现了备忘功能。这是一项优化技术，它把耗时的函数的结果保存起来，避免传入相同的参数时重复计算。LRU 三个字母是 “Least Recently Used" 的缩写，表明缓存不会无限制增长，一段时间不用的缓存条目会被扔掉。

实验环境VMware15；Ubuntu16；zeppelin-0.8.1-bin-all.tgz问题描述成功解压文件，当执行 ./zeppelin-daemon.sh start时显示OK ，但是当打开浏览器不能访问web界面。原因分析及解决1 防火墙屏蔽了关闭防火墙，如下所示：(base) hadoop@ubuntu:~/zeppelin/bin$ sudo ufw disable...

实验环境Ubuntu16.4；MySQL5.7问题描述准备将数据库中某张表导出来，报如下错误：mysql> SELECT * FROM runoob_tbl INTO OUTFILE '/tmp/runoob.txt';ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv opti...

明天国庆，每年这个时候学校的三方也差不多下来了，各个企业自然也会催着签合约。明年这个时候，如何决胜秋招？那会就是我们了该认真考虑了。前段时间和已经拿到offer的学长交流，也看了些他们的面经，了解到今年的行情不是太好，除过一些大厂不受影响外，好些企业都有所缩招。互联网曾一度发展相当迅猛，这个势头还会持续，只是互联网行业的红利已经到了瓶颈期了。以后再这个行业捞金只会更难，对求职者的要求也自然会提高...

本期题目概览chapter2试题 7: 用两个栈实现队列用两个栈来实现一个队列，完成队列的Push和Pop操作。 队列中的元素为int类型。试题 8: 旋转数组的最小数字把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个非递减排序的数组的一个旋转，输出旋转数组的最小元素。例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转，该数组的最小...

问题描述实验环境： VMware 12；windows10； Ubuntu 16.04虚拟机上装了三个系统，分别是：Ubuntu16.4，CentOS4.10，Kali。最近换了台电脑，准备将这三台虚拟机迁移过去，其中两个都好使，唯有Ubuntu16.04出现故障。报错大概是：Failed to initialize policy for cpu: 0 问题解决反反复复试了好多次，...

现实中，肯定会有这种情况：在多台电脑上安装git，而远端的GitHub账号只有一个；该怎么解决呢？我们知道第一次关联GitHub账号提交代码时，需要在git终端生成SSH key，接着在github上添加生成的秘钥即可。那么多个git与github关联，提交代码也是一样的。只需再次生成SSH key ，在github上多添加一个而已。既然这样，也没有什么新的技巧，最近换了一台新电脑，刚好做过，那...

题目描述查找和排序题目：输入任意（用户，成绩）序列，可以获得成绩从高到低或从低到高的排列,相同成绩      都按先录入排列在前的规则处理。   例示：   jack      70   peter     96   Tom       70   smith     67   从高到低  成绩               peter     96       jack      70       ...

外星人入侵武装飞船学习完python基础语法知识后，便可进行项目实战。下面试着开发一个游戏，这将会使用到Pygame，这是一组功能强大而有趣的模块，可 用于管理图形、动画乃至声音，可以让我们更轻松地开发复杂的游戏。安装Pygame开始编码前，先来安装Pygame。本文只介绍Windows系统下如何安装。使用pip安装python包大多数较新的Python(3.4以上...

itchat---使用python实现与图灵机器人交互

最近在linux环境学习（我装的是centOS系统），需要使用到本地磁盘中的文件。试过通过优盘传输文件，也试过共享文件夹。期间，就遇到配置好文件后怎么也找不着文件夹，包括百度了许多许多都没有找出问题所在。所幸，终于在鼓捣了老半天之后又结果了，写出来记录下。首先配置共享文件夹 右击安装好的系统&amp;amp;amp;gt;设置&amp;amp;amp;gt;选项，选择共享文件夹，然后添加需要共享的文件 按照之前查阅的文献来说，这时...

克隆虚拟机我克隆过来是直接可用的，可以 ping 通外网；若克隆出来的虚拟机有问题，可以查阅相关资料进行修改。VMware虚拟机克隆CentOS后网卡修改方法配置ssh 免登录启动三台机器，分别修改机器名为 master、slave1、slave2 ，重启系统[root@master ~]# vim /etc/sysconfig/networkNETWORKING=yesiHOS...

在学习网页设计的时候都应该知道状态码，但我们常见的状态码都是200,404，下面介绍其他的状态值1开头的http状态码表示临时响应并需要请求者继续执行操作的状态代码。100 （继续） 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。101 （切换协议） 请求者已要求服务器切换协议，服务器已确认并准备切换。2开头的http状态码表示请求成功...

若你有一个常去的工作目录为 “/mnt/hgfs/CDH-Hadoop”，那么如何对该目录进行简化呢？可以考虑添加新的全局变量，/etc/profile:这个文件预设了几个重要的变量，例如PATH、USER、LOGNAME、MAIL、INPUTRC等等。可以编辑文件在这个文件中增加变量，但是不建议这么做。如果需要更改变量或者增加变量我们可以在/etc/profile.d/这个目录下新建脚本。...

问题描述[root@develop local]# yum -y install prceThere was a problem importing one of the Python modulesrequired to run yum. The error leading to this problem was: No module named yumPlease install...

最近朋友圈各种加速包抢票，偶然看到可以使用python也可以进行抢票，索性测试下。不说废话，不搞那么多前戏了，直接贴上图看一下效果：这是一个开源项目，具体使用方法在github上有着较详细的介绍。下面只对这个开源项目按照自己的理解做个简单介绍，自身理解和实际有所出入的地方，可以提出来一起去修正 学习。贴心的作者已经将流程图画了出来，按照图示，这也就是个模拟正常人买票的流程。1、识别验证...

问题描述读取列表中的内容，如：abc = ['apple', 'banana'] ，将其赋值给一个字符串，打印出来为： 'applebanana'。也即，字符串拼接问题。方案实现在python中有多种方法可以实现字符串拼接，我们这里介绍一种最常见的操作，使用 join() 进行拼接。相关示例代码如下：abc = ['apple', 'banana']ls3 = ''.join(abc)...

anaconda创建新环境问题问题描述实验环境：Windows10；Anaconda3安装完anaconda后使用命令 conda create -n test3.7 python=3.7 准备新建一个虚拟环境，出现错误，具体如下所示：C:\Users\dell>conda create -n test3.7 python=3.7WARNING: The conda.compa...

题目描述已知正整数k满足2&lt;=k&lt;=9，现给出长度最大为30位的十进制非负整数c，求所有能整除c的k.输入描述:若干个非负整数c，c的位数&lt;=30每行一个c输出描述:每一个c的结果占一行1) 若存在满足 c%k == 0 的k，输出所有这样的k，中间用空格隔开，最后一个k后面没有空格。2) 若没有这样的k则输出"none"注意整数溢出问题不要对-1进行计算示例1输入3...