- 博客(1)
- 资源 (6)
- 收藏
- 关注
原创 SparkStreaming程序优化小记
最近公司部署了一个sparkstreaming程序,主要逻辑是处理flume采集到kafka的数据,集群环境3个nodemanager,5核20G内存,刚开始测试阶段并没设置资源配置,直接丢在yarn上运行,每天的数据量大概2500万records。测试几天后发现数据处理时间延迟稍微长了一点,怀疑是程序处理数据的数据低于数据产生的数据,随着时间和数据的增加,这个时间延迟越来越大,遂决定对程序进行相...
2018-06-14 17:39:39 3965
Gps坐标系转换Java工具类WGS坐标与Google和百度坐标互转
Gps坐标系转换Java工具类WGS坐标与Google和百度坐标互转,偏差很小,与百度Api调用转换几乎相差无几,程序为Java程序,工具类直接传经纬度调用相应转换方法即可获取转换后的返回值
2018-12-28
手机前缀对应归属地省市编码以及邮编sql和txt库
个人整理数据,目前比较全的数据,压缩包包含手机前缀对应的邮编、省份、市区、省份编码、市区编码以及区号、归属地等信息,包内有包含数据的sql文件以及txt文件,还有一份省市编码对应的三级联动json数据
2018-05-24
基于jsp,JQuery,Servlet,MySQL的小型BBS论坛
基于jsp,JQuery,Servlet,MySQL开发的小型BBS论坛,支持登录注册,以及发帖回帖功能,评论,帖子管理,个人资料晚上,下载功能。游客只能访问首页,其他页面需要进行登录操作。文件包含完整可导入直接运行源码和所有数据库表SQL文件。
2017-02-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人