统计ip地址的所属省份的spark程序,并将处理的结果数据存储到mysql数据库中

最新推荐文章于 2021-01-19 03:37:33 发布
最新推荐文章于 2021-01-19 03:37:33 发布
阅读量374 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanglihua1195520094/article/details/84503613
版权
本博客介绍了一个使用Spark程序统计IP地址省份的方法，首先广播IP规则数据到工作节点，接着处理日志文件获取IP，将其转换并匹配规则，通过二分法找到对应省份索引，最后将结果存入MySQL供Web系统展示。
摘要由CSDN通过智能技术生成

1,用spark加载ip的规则数据,并广播到各work上.

2,加载要处理的日志文件 处理数据.

3,将日志的ip取出来,转换成long类型数值,同规则的数据中的数值,进行比较.

4,将转换好的数值,通过二分法查找在规则变量中的索引值.

5,将处理好的结果数据储存mysql数据库中,为web系统进行展示使用

 

在路上001
关注
示例：统计IP地址对应的省份，并把结果存入到mysql
drl_blogs的博客
06-25 862
数据 ip.txt access.log import java.io.{BufferedReader, FileInputStream, InputStreamReader} import java.sql.{Connection, DriverManager, PreparedStatement} import org.apache.spark.{SparkConf, SparkCont...
统计ip地址的所属省份的spark程序,并将处理的结果数据存储到mysql数据库中所用的资料
11-26
统计ip地址的所属省份的spark程序,并将处理的结果数据存储到mysql数据库中
Spark实现根据IP地址求归属地以及将结果保存到MySql数据库中（Spark广播变量的使用）
wlk_328909605的博客
09-25 1127
需要：各大网站每天都会产生大量的数据，数据中有用户访问网站的时间戳，IP地址，访问的域名，浏览器信息等等，现要求分析各个省份的上网人数（实际上就是在ip规则中查询用户IP的地址，再进行聚合） 实现： 1、 加载城市ip段信息，获取ip起始数字和结束数字，经度，维度 2、 加载日志数据，获取ip信息，然后转换为数字，和ip段比较 3、 比较的时候采用二分法查找，找到对应的经度和维度 4、 然后对经度...
spark数据分析之ip归属地查询
tianjun2012的专栏
02-13 2940
前一段时间，在项目中，领导要求实时查看来自各个省份的ip访问的详情，根据这一需求，通过flume/logstack实时采集nginx的日志到生产到kafka，再通过spark实时消费分析保存到redis/mysql中，最后前端通过百度的echart图实时的显示出来。
Spark中ip映射数据应用库，二分查找省份，将结果写入mysql
自由幻想的博客
01-28 801
需求： * 根据数据应用库，查找ip对应的省份，将数据写出到mysql。（二分查找方法） * 使用广播变量进行执行优化。 import java.sql.{Connection, DriverManager, PreparedStatement} import org.apache.spark.broadcast.Broadcast import org.apache.spark.rdd.
把ip导入mysql_将纯真IP数据导入到MySQL的方法
weixin_42268494的博客
01-19 215
你知道如何将纯真IP数据导入到MySQL吗？只有我们掌握好MySQL我们才能更好的深入学习，那么我们现在就跟爱站小编去看看将纯真IP数据导入到MySQL的方法。第1步： 下载纯真IP数据，解压存成ip.txt。详解：这一步不用详解了吧。如果你这一步都不会，下面就不用看了。第2步： 用vi 编辑 ip.txt。# vi ip.txt在vi界面下输入如下命令：:%s/\s\+/;/一共重复输入3次。存...
Spark系列四：Spark的经典入门案列之ip地址归属地查询
m0_37657725的博客
07-07 714
目录 概述 代码实现 单级模式 分布式模式 方案一： 方案二： 工具类 提示：所有需要的文件我全部放在资源里面了，可以自行下载 概述 需求：根据访问日志的ip地址计算出访问者的归属地，并且按照省份，计算出访问次数，然后将计算好的结果写入到MySQL 解决方案流程： 1.整理数据，切分出ip字段，然后将ip地址转换成十进制 2.加载规则，整理规则，取出有用的字段...
Spark项目实战:大数据实时流处理日志(非常详细)
热门推荐
萧邦主的城邦
04-02 3万+
实战概览一、实战内容二、大数据实时流处理分析系统简介1.需求2.背景及架构三、实战所用到的架构和涉及的知识1.后端架构2.前端框架四、项目实战1.后端开发实战1.构建项目2.引入依赖3.创建工程包结构4.编写代码5.编写pytohn脚本产生数据6.创建日志存放目录并编写Flume的配置文件7.创建Kafka主题8.在HBase中创建项目需要的表9.测试后端代码2.前端开发实战1.构建工程2.引入依...
IP地理位置数据库中文版SQLite版
04-13
本数据库共收录570358组IP段信息。 IP地址用整型数字存储。 对应的位置信息是：国家/地区名，加上具体的省市区名，以及ISP、接入手段，甚至更确切的位置（如公司、网吧）等详细信息。例如：“中国[广东省深圳市南山区 电信]”。 这个IP地址数据库是SQLite版本,便于一些项目中需要大量IP数据的高效数据库。是在MaxMind（也就是IP地理中英文版）的基础上，进行了简体中文的汉化并将QQ纯真地理位置数据库（QQWry.Dat）中中国地区详细的IP数据库导入而结合得到的。数据来源与http://emulefans.com。
谷歌全球ip地址库
星焱宖
06-11 1万+
Bulgaria 93.123.23.1 93.123.23.2 93.123.23.3 93.123.23.4 93.123.23.5 93.123.23.6 93.123.23.7 93.123.23.8 93.123.23.9 93.123.23.10 93.123.23.11 93.123.23.12 93.123.23.13 93.123.23.14
IP地址在数据库中的存储方式
AeronFu的专栏
11-07 5430
在数据库中新建一个表时，存储数据类型对性能有
如何通过一个编程获得IP地址归属地的最简单办法
weixin_30387663的博客
05-22 192
有时在网站应用程序中要显示对方的IP地址与它的归属地，一般来说，有下列几种办法。1, 采用IP地址数据库。本地查询　 这个办法的优点是：查询速度最快，不依赖于外部网站。 　缺点是：要编写一定的数据库查询代码，而且你的数据库如果不是很新，则某些IP的查询结果会不正确。 （有需要的可以在此留言，大虾米可以提供一个能找到的最新的IP地址库）2,采用WebService查询。...
Spark查找某个IP的归属地，二分算法，try{}catch{}的使用，将结果存MySQL数据库
涂作权的博客
07-09 3133
1、创建Maven工程调整Maven仓库所在的位置，具体参考：http://blog.csdn.net/tototuzuoquan/article/details/745713742、编写Pom文件<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xml
Spark-SQL从MySQL中加载数据以及将数据写入到mysql中（Spark Shell方式，Spark SQL程序）
涂作权的博客
07-11 1万+
1． JDBCSpark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。1.1． 从MySQL中加载数据（Spark Shell方式）1.启动Spark Shell，必须指定mysql连接驱动jar包[root@hadoop1 spark-2.1.1-bin-hadoop2.7]# bin/spa
spark-sql使用UDF函数实现ip映射省份，数据写出到mysql参数设置。
自由幻想的博客
01-31 1612
spark-SQL使用广播变量以及应用数据库的UDF自定义函数的查询会比两张表的连接更加的优化的程序的执行。 两表连接是比较费效率的。 spar-sql 2.x的数据读取，处理，添加schema信息，常见表，SQL查询。 将sql结果输出到mysql的api参数设置。  还可以创建时设置参数： val conf = new SparkConf() .set("spark.
数据库学习3：数据库学习入门21-30题（基于MySQL）
绝对是谨慎提交的博客
03-02 456
SQL面试1-50题系列之21-30题，基于MySQL语言，使用的可视化工具是Navicat for MySQL。
spark-RDD写入数据库
tang_xiaotang的博客
07-09 3306
result.foreachPartition( it =&gt; { var url = "jdbc:mysql://地址/库名?characterEncoding=utf8" val conn = DriverManager.getConnection(url, "user", "password") val pstat = conn.prepareStateme...
通过分析特定页面结构和数据的各项内容，使用Python实现AJAX的数据采集，并将结果存储到MySQL数据库中。
最新发布
06-10
3. 将获取的数据存储到MySQL数据库中，可以使用pymysql库连接到数据库，并执行SQL语句插入数据。 4. 如果需要定期采集数据，可以使用Python的定时任务库（如schedule库）实现自动化采集。 需要注意的是，数据采集...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值