自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(20)
  • 资源 (5)
  • 收藏
  • 关注

原创 在spark中使用udf完成包含判断 VS column.isin(XXX:_*)

在这之前,当遇到需要同时判断多个包含关系的时候,我都比较倾向于使用第一种。理由很简单,一个udf,解决所有问题。但是,今天遇到了一个性能问题(平时肯定也出现了,但是没怎么关注),才关注到这样的现象。 val filterUsers = (episodesBC: Broadcast[Set[Long]], albumsBC: Broadcast[Set[Long]], channelsBC...

2019-08-30 17:29:10 236

原创 Caused by: java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.GenericRowWithSch

这个功能实现非常简单:主要代码如下,具体讲的重点,请参看文末。case class GeoDistrictsWithCnt(geohash_code: String, county_id: Int, cnt:Int)val makeGeoDistricts = udf[GeoDistrictsWithCnt, String, Int, Int]((geohash_code, count...

2018-10-26 18:48:51 941

原创 pig中应用DistributedCache机制缓存多文件的尝试

最近在优化的项目因udf中引用的数据较大,需要应用hadoop的DistributedCache机制。在应用过程中遇到一些问题,push给大家,希望对大家有所帮助。什么是DistributedCache?DistributedCache是hadoop框架提供的一种机制,可以将job指定的文件,在job执行前,先行分发到task执行的机器上,并有相关机制对cache文件进行管理.常见的应

2017-12-27 11:40:52 371

原创 HP elitebook 840 G3 蓝牙无法使用问题 + 触摸板无法关闭

最近常用的耳机出现问题,新入了个蓝牙耳机,然后纠结的事情就出来了,蓝牙是连上了,但是没声音,各种搜索解决方案,各种驱动都装了,都没有解决问题,搞了接近两个小时,实在是太考验人的耐心了, 只想说,想要个简洁有效的解决方案,真心不容易。解决方案:搜索HP官网,输入机器类型,在https://support.hp.com/cn-zh/drivers/selfservice/h

2017-11-16 16:40:24 8755

原创 pig 的udf中不能import json 问题

解决方案:      1. 下载jyson的jar包 http://opensource.xhaus.com/projects/jyson/files      2. 在python的udf中按如下方式使用即可:import syssys.path.append('xxxxx/jyson-1.0.1.jar')import com.xhaus.jyson.JysonCodec

2017-09-07 14:23:50 250

原创 PIG中的null问题

在比较操作(==,!=,>,=,<=),matches,算数操作(+,-,*,/ ,包含%,?,CASE)中,如果有一个操作数为空,那么结果为空。COUNT_STAR ,不过滤null数据CAST 操作:将一个null数据从一个数据类型转换到另一个数据类型,结果为空AVG,MIN,MAX,SUM,COUNT :这几个操作将忽略空值CONCAT :任意

2014-06-27 17:20:20 1009

原创 Redis 中文入库成功,读取数据写入文件乱码问题

最近需要用到redis ,但是在编码这个问题上,纠结了很久。      需求 :        每天一个进程将中文文件入库到redis中(不定时更新) ,另外几个进程读取redis中的信息 ,并处理数据结果。      使用的redis模块 :redis-py      问题 :       入库正常,读取数据成功,以GBK编码写入文件出现异常。     通过以下参数连

2014-06-10 15:36:46 4403

原创 win64系统下vs2008安装boost_1_51_0

安装boost_1_51_0的官方文档详见链接:boost源码根目录下的index.html ,往下找可以找到 :file:///D:/boost/more/getting_started/windows.html 使用boostpro直接安装 这个比较简单 ,直接下一步 ……就ok了 。boost源码安装首先查看boost源码根目录下的index.html文件 ,

2013-06-26 10:00:39 1118

原创 LEMON的特殊声明符的应用场景及用途总结

特殊申明符号备注%token_type   ,%type  :【在LEMON中必须专门使用这两个申明符来指定终结符或者非终结符的类型 。所有的终结符都必须具有唯一的一种数据类型,意味着Parse()函数的第三个参数(记号的值)必须具有某种特定的统一的数据类型,通常我们用指针指向具有某种特定的统一的数据类型的记号的值来传递第三个参数。若未指定,则默认为void 】如,%tok

2013-06-21 11:21:37 1084

原创 linux下编译.so 和.a 可能出现的问题 ?

1. 静态函数库    这类库的名字一般是libxxx.a;利用静态函数库编译成的文件比较大,因为整个 函数库的所有数据都会被整合进目标代码中,他的优点就显而易见了,即编译后的执行程序不需要外部的函数库支持,因为所有使用的函数都已经被编译进去了。当然这也会成为他的缺点,因为如果静态函数库改变了,那么你的程序必须重新编译。2. 动态函数库    这类库的名字一般是libxxx

2013-06-19 15:20:42 774

原创 lemon 生成C++文件

lemon.c 和lempar.c 下载地址 :http://www.hwaci.com/sw/lemon/  或者 sqlite官网 。lemon 默认生成的是C文件 ,但是只需要修改一下便可以生成C++代码 。找到lemon.c 文件中的 file_open()函数,其中有一个的调用参数传值的是".c" ,将其修改为".cpp" 即可生成C++文件 。语法文件编译生成的.cpp文件在运

2013-02-27 11:06:35 620

原创 在 vs2008 中调试SQLite出现灰色代码问题

最近在研究SQLite的源码 ,想通过单步调试来先走一遍。结果调试过程中出现跳转错误 。在百度,google找了很多天解决办法都未果 ,幸运的是在年前最后一天上班的时候,找到了 "mz02005"  写的关于vs2008调试SQLite的文章 。帮我解决了大问题哦 。因为自己不太懂awk工具 ,所以按照他说的方式我无从下手 ,后来自己用另外一种方式解决了问题。          在wind

2013-02-06 13:39:54 508

原创 pku 1887 Testing the CATCHER

http://acm.pku.edu.cn/JudgeOnline/problem?id=1887  #includelong int f[50000],a[50000];int main(){ long int t,l,n,i,j,max,k=0,flag; t=0; while(1) {  k++;  l=0;  flag=0;    while(1)  {   scanf("%l

2009-10-11 16:58:00 405

原创 pku 1163 The Triangle

http://acm.pku.edu.cn/JudgeOnline/problem?id=1163 #include#includelong int sum[101][101],a[101][101];#define  max(x,y)  x>y?x:yint main(){ long int t,max; int i,j,n; while(scanf("%d",&n)!=EOF) {  

2009-10-11 15:06:00 355

原创 pku 1458 Common Subsequence

 http://acm.pku.edu.cn/JudgeOnline/problem?id=1458  #include#includeint f[505][505];char a[1000],b[1000];int main(){ while(scanf("%s %s",a,b)!=EOF) {  int len1,len2,i,j,k,max;  len1=strlen(a);  

2009-10-10 20:25:00 434 3

原创 pku 2386 Lake Counting

http://acm.pku.edu.cn/JudgeOnline/problem?id=2386 一个纯粹的搜索题 代码:#include#includechar map[105][105];//方向数组int movx[8]={1,1,1,0,-1,-1,-1,0,},movy[8]={-1,0,1,1,1,0,-1,-1};int s,t;void dfs(int x,i

2009-10-09 16:52:00 399

原创 pku 1160 Post Office

http://acm.pku.edu.cn/JudgeOnline/problem?id=1160 题意:有V个村庄,要在V个村庄上建立S也邮局,使得所有的村庄到他们最近的邮局的距离和最小。(邮局建在村庄里面,和村庄占据着同一个点)  代码 :: #include#include#include#include#include     #include using 

2009-10-09 15:37:00 388

原创 pku 1141 Brackets Sequence

http://acm.pku.edu.cn/JudgeOnline/problem?id=1141 题目大意:给你一贯括号序列(只包含小括号和中括号),让你找出长度最小的regular brackets sequence包含此子序列.其中的regular brackets sequence定义如下:1)空序列是一个regular brackets sequence;2)如果s是一个re

2009-10-09 09:41:00 599

原创 pku 1050 To the Max

2009-10-07 To the MaxDescriptionGiven a two-dimensional array of positive and negative integers, a sub-rectangle is any contiguous sub-array of size 1*1 or greater located within the whole array

2009-10-07 16:52:00 745 3

原创 pku 3258 River Hopscotch

 3258 River Hopscotch   acm.pku.edu.cn/JudgeOnline/problem/*用二分法查找,求得最适合的key值。0--l之间有N个石头,删除M个,使得任意两个石头之间的距离增大,并且求出增大后的最小距离的最大值。不考虑起点和终点。起点为0 ,终点为l.如果M==0就输出距离的最大值!Sample Input25 5 2214112117Sampl

2009-10-07 16:04:00 480

简单的职工管理系统(数据结构)

简单的职工管理系统,内含源代码和文档 简单的职工管理系统主要实现以下功能: (1) 新增一名职工:将新增职工对象按姓名以字典方式职工管理文件中。 (2) 删除一名职工:从职工管理文件中删除一名职工对象。 (3) 查询:从职工管理文件中查询符合某些条件的职工。 (4) 修改:检索某个职工对象,对其某些属性进行修改。 (5) 排序:按某种需要对职工对象文件进行排序。 要求:职工信息包括姓名、性别、出生年月、工作年月、学历、职务、住址、电话等信息。 实现提示: (1) 由键盘输入职工对象,以文件方式保存。程序执行时先将文件读入内存。

2010-03-20

oracle数据库基础教程 实训题答案下载

oracle数据库基础教程 实训题答案下载

2010-06-26

apachetomcat6.0 软件下载

apachetomcat 6.0软件下载

2010-06-26

操作系统的习题答案 帮助你更好的理解操作系统的概念

操作系统习题答案,帮助你更好的理解操作系统的概念,学好这门课程!

2010-03-21

数据库原理实验,熟悉操作SQL语言

数据库原理实验,熟悉操作SQL语言。 该实验是使学生通过深入了解数据库技术,有效处理信息,培养学生解决实际问题的能力、开发数据库应用系统的能力,以及计算机语言的应用能力。

2010-03-21

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除