2015年10月_网络空间发展与战略研究中心

11月 10月 09月 07月 06月 05月 04月

转载 how to deal with error SPARK-5063 in spark

3down votefavorite1I get the error message SPARK-5063 in the line of printlnval d.foreach{x=> for(i<-0 until x.length) println(m.lookup(x(i)))} d is RDD[Array[String]

2015-10-30 00:07:32 3463

转载使用Spark读写CSV格式文件

CSV格式的文件也称为逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号。在本文中的CSV格式的数据就不是简单的逗号分割的），其文件以纯文本形式存表格数据（数字和文本）。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段

2015-10-24 09:43:17 47218

转载 spark-submit命令行设置

1.5.1OverviewProgramming GuidesQuick StartSpark Programming GuideSpark StreamingDataFrames and SQLMLlib (Machine Learning)GraphX (Graph Processing)Bagel (Pregel on Spark)SparkR (R on Spark)

2015-10-24 09:26:54 5757

转载 Spark out of memory相关问题

1.Spark OOM：java heap space，OOM:GC overhead limit exceeded解决方法1.1问题描述：在使用spark过程中，有时会因为数据增大，而出现下面两种错误:java.lang.OutOfMemoryError: Java heap spacejava.lang.OutOfMemoryError：GC overhead limi

2015-10-23 21:56:07 3206

转载新浪微博的JSON解析

REF:http://blog.csdn.net/zingck/article/details/7408033首先先看一下新浪微博目前的JSON的结构{ "statuses": [ { //位置1 "created_at": "Tue May 31 17:46:55 +0800 2011", // 位置2 "id"

2015-10-07 20:34:21 3135

NIST 800-172 受控非密信息保护增强安全要求 - 副本.pdf

美国国家标准和技术研究所NIST SP 800-172,第三节内容安全要求

2021-03-25

nlp-lang-0.3.jar

ansj_seg-2.0.8.jar的依赖包， nlp-lang-0.3.jar包需要和其共同加入到spark依赖中

2015-07-18

ansj_seg-2.0.8.jar

由于spark传输数据必须进行序列化，ansj_seg-2.0.8.jar是对而ansj中的属性类序列化，将ansj_seg-master/src/main/java/org/ansj/domain中的属性类AnsjItem、Nature、 NewWord、NumNatureAttr、PersonNatureAttr、Term、TermNature、TermNatures分别实现 Serializable接口

2015-07-18

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人