- 博客(14)
- 收藏
- 关注
RSS订阅原创 ubuntu16.04耳机没有声音
#sudo apt install pavucontrol #输入下面命令安装pavucontrol #pavucontrol #打开pavucontrol 打开选项卡后进行:"回放"-->系统下面的选项-->内置音频模拟立体声"输出设备"-->port：headphone(unplugged) 模拟耳机...
2019-04-25 14:45:55
245
原创 ubuntu安装mysql，及常见问题解决
一.ubuntu安装mysqlsudo apt-get install mysql-server sudo apt-get install mysql-client sudo apt-get install libmysqlclient-devtips:安装中提示输入密码，若不输密码，会出现（二）中错误。 sudo netstat -tap | grep mysql #若mysq...
2019-04-10 09:58:56
435
翻译 python（pymysql）之mysql简单操作
一、mysql简单介绍 说到数据库，我们大多想到的是关系型数据库，比如 mysql、oracle、sqlserver等等，这些数据库软件在windows上安装都非常的方便，在Linux上如果要安装数据库，咱不得不首先 推荐的是mysql数据库了，而且Mysql数据库的第一个版本就是发行在Linux系统上的。MySQL是一个关系型数据库管理系统，由瑞典 MySQL AB公司开发，目前属于O...
2019-04-02 14:28:51
2018
原创 Mysql失败，异常 InternalError: (1366, u"Incorrect string value: '\\xF0\\x9F\\x90\\
插入Mysql时失败了，python代码报如下异常： InternalError: (1366, u"Incorrect string value: '\\xF0\\x9F\\x90\\x98\\xE8\\ ......解析：UTF-8编码有可能是两个、三个、四个字节。Emoji表情是4个字节，而Mysql的utf8编码最多3个字节，所以数据插不 进去。解决方案就是：将My...
2019-03-29 13:14:30
437
转载 python中yield的用法详解——最简单，最清晰的解释
首先，如果你还没有对yield有个初步分认识，那么你先把yield看做“return”，这个是直观的，它首先是个return，普通的return是什么意思，就是在程序中返回某个值，返回之后程序就不再往下运行了。看做return之后再把它看做一个是生成器（generator）的一部分（带yield的函数才是真正的迭代器），好了，如果你对这些不明白的话，那先把yield看做return,然后直接看下面...
2019-02-21 13:08:59
216
转载 SparkStreaming集成Kafka的几个重要参数
使用SparkStreaming集成kafka时有几个比较重要的参数：（1）spark.streaming.stopGracefullyOnShutdown （true / false）默认fasle确保在kill任务时，能够处理完最后一批数据，再关闭程序，不会发生强制kill导致数据处理中断，没处理完的数据丢失（2）spark.streaming.backpressure.enabl...
2019-02-18 16:10:04
342
转载 spark task调优
spark集群任务执行过慢。通过运行过程来看，我们发现task比较多，更值得注意的是这些task都在一个stage之中。task和stage的关系,如下图: 通过这个图我们可以看出job-stage-task的对应关系。首先job是通过action操作来划分，然后经过sparkcontext的runjob方法来到DAGscheduler，这个类中它会通过依赖关系划分出stage，一...
2019-02-18 14:07:58
811
原创 Unable to read additional data from client sessionid 0x0, likely client has closed socket
kafka运行两天莫名断掉,查看kafka,zookeeper日志,发现错误:WARN caught end of stream exception (org.apache.zookeeper.server.NIOServerCnxn)EndOfStreamException: Unable to read additional data from client sessionid 0x167...
2019-01-21 15:46:16
4972
原创 下载hdfs文件hdfs.util.HdfsError: No active nodes contain this block
查看hdfs文件情况，并将损坏文件删除：hadoop fsck /hadoop fsck -delete
2018-12-25 20:24:15
1701
2
原创 java.lang.ClassNotFoundException: org.apache.spark.streaming.kafka.KafkaRDDP
单机运行不报错，集群模式报错：因为本地单机配置了spark/conf/spark-env.shexport SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath):/usr/local/spark/examples/jars/*:/usr/local/spark/jars/kafka/*:/usr/local/kafka...
2018-12-25 20:13:14
2560
原创 本地kafka开启，zookeeper一直报错
总结各种可能的解决方案：1.删除/tmp目录下的kafka和zookeeper日志2.康老师改了部分配置：cd /usr/local/kafka/config vim zookeeper.properties修改：dataDir=/usr/local/kafka/data vim server.properties修改：log.dirs=/usr/loc...
2018-11-27 18:43:19
1004
原创 Hadoop集群开启部分slave的datanode未开启
cd /usr/local/hadoop/etc/hadoop/vim hdfs-site.xml可以看到，下面的两个目录：/usr/local/hadoop/tmp/dfs/name和/usr/local/hadoop/tmp/dfs/data，（最好建在其他地方）：<configuration> <property> <na...
2018-11-27 18:35:24
747
原创 （spark消费kafka有jar包冲突）java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.
Spark 消费kafka时，抛出异常“java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)Vat原因：应用在执行时对数据解码（反序列化）时，使用了默认的lz4解压缩算法，在spark-core中依赖的lz4版本是1.4，而kafka-...
2018-11-24 15:05:39
2336
转载 在ubuntu17.0下安装最新版QQ教程
使用的方式是通过wine这一强大的工具,wine是什么就自行百度啦，我也是近期接触linux具体教程： 1.安装wine 首先ctrl+alt+T打开终端 进行如下三条指令sudo add-apt-repository ppa:wine/wine-buildssudo apt-get updatesudo apt-get install winehq-devel此时可能会有错误：apt-get...
2018-04-08 13:18:10
816
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人