JSON数据处理

最新推荐文章于 2024-05-07 06:54:59 发布
最新推荐文章于 2024-05-07 06:54:59 发布
阅读量984 收藏 4
点赞数
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zmzdmx/article/details/109845028
版权

大数据从业者通常需要对json数据进行处理，格式化过后导入到hive当中进行处理

1. 数据准备

新建op.log，并导入数据

1593136280858|{"cm":{"ln":"-55.0","sv":"V2.9.6","os":"8.0.4","g":"C6816QZ0@gmail.com","mid":"489","nw":"3G","l":"es","vc":"4","hw":"640*960","ar":"MX","uid":"489","t":"1593123253541","la":"5.2","md":"sumsung-18","vn":"1.3.4","ba":"Sumsung","sr":"I"},"ap":"app","et":[{"ett":"1593050051366","en":"loading","kv":{"extend2":"","loading_time":"14","action":"3","extend1":"","type":"2","type1":"201","loading_way":"1"}},{"ett":"1593108791764","en":"ad","kv":{"activityId":"1","displayMills":"78522","entry":"1","action":"1","contentType":"0"}},{"ett":"1593111271266","en":"notification","kv":{"ap_time":"1593097087883","action":"1","type":"1","content":""}},{"ett":"1593066033562","en":"active_background","kv":{"active_source":"3"}},{"ett":"1593135644347","en":"comment","kv":{"p_comment_id":1,"addtime":"1593097573725","praise_count":973,"other_id":5,"comment_id":9,"reply_count":40,"userid":7,"content":"辑赤蹲慰鸽抿肘捎"}}]}
1593136280858|{"cm":{"ln":"-114.9","sv":"V2.7.8","os":"8.0.4","g":"NW0S962J@gmail.com","mid":"490","nw":"3G","l":"pt","vc":"8","hw":"640*1136","ar":"MX","uid":"490","t":"1593121224789","la":"-44.4","md":"Huawei-8","vn":"1.0.1","ba":"Huawei","sr":"O"},"ap":"app","et":[{"ett":"1593063223807","en":"loading","kv":{"extend2":"","loading_time":"0","action":"3","extend1":"","type":"1","type1":"102","loading_way":"1"}},{"ett":"1593095105466","en":"ad","kv":{"activityId":"1","displayMills":"1966","entry":"3","action":"2","contentType":"0"}},{"ett":"1593051718208","en":"notification","kv":{"ap_time":"1593095336265","action":"2","type":"3","content":""}},{"ett":"1593100021275","en":"comment","kv":{"p_comment_id":4,"addtime":"1593098946009","praise_count":220,"other_id":4,"comment_id":9,"reply_count":151,"userid":4,"content":"抄应螟皮釉倔掉汉蛋蕾街羡晶"}},{"ett":"1593105344120","en":"praise","kv":{"target_id":9,"id":7,"type":1,"add_time":"1593098545976","userid":8}}]}

2. 数据拆分

2.1 启动spark

spark-shell

2.2 导入所需的jar包

import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._

2.3 导入文件并创建RDD

val fileRDD=sc.textFile("/opt/kb09file/op.log")

2.4 按’|'拆分数据为两部分 注意：这里需要用单引号，不能用双引号，表示字符

val jsonStrRdd=fileRDD.map(_.split('|')).map(x=>(x(0),x(1)))

将数据拆分二元组

image-20201120113908954

2.5 将二元组前面的id合并到后面的json数据，整理为一个长字符串

val jsonRDD=jsonStrRdd.map(x=>{var jsonStr=x._2;jsonStr=jsonStr.substring(0,jsonStr.length-1);jsonStr+",\"id\":\""+x._1+"\"}"})

image-20201120114133707

2.6 将rdd转换为df

val jsonDF=jsonRDD.toDF

2.7 拆分json为 cm，ap，et，id四个字段

val jsonDF2=jsonDF.select(
get_json_object($"value","$.cm").alias("cm"),
get_json_object($"value","$.ap").alias("ap"),
get_json_object($"value","$.et").alias("et"),
get_json_object($"value","$.id").alias("id")
)

image-20201120114726685

2.8 拆分cm里面的字段

val jsonDF3=jsonDF2.select(
get_json_object($"cm","$.ln").alias("ln"),
get_json_object($"cm","$.sv").alias("sv"),
get_json_object($"cm","$.os").alias("os"),
get_json_object($"cm","$.g").alias("g"),
get_json_object($"cm","$.mid").alias("mid"),
get_json_object($"cm","$.nw").alias("nw"),
get_json_object($"cm","$.vc").alias("vc"),
get_json_object($"cm","$.hw").alias("hw"),
get_json_object($"cm","$.ar").alias("ar"),
get_json_object($"cm","$.uid").alias("uid"),
get_json_object($"cm","$.t").alias("t"),
get_json_object($"cm","$.la").alias("la"),
get_json_object($"cm","$.md").alias("md"),
get_json_object($"cm","$.vn").alias("vn"),
get_json_object($"cm","$.ba").alias("ba"),
get_json_object($"cm","$.sr").alias("sr"),
$"ap",
$"et",
$"id"
)

image-20201120114947126

2.9 拆分et里面的字段

将

[{"ett":"","en":""，"kv":""}]

拆分为

ett		en		kv
值		值		值
值		值		值
值		值		值

val jsonDF4=jsonDF3.select($"ln",$"sv",$"os",$"g",$"mid",$"nw",$"vc",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",$"sr",$"ap",$"id",from_json($"et",ArrayType(StructType(StructField("ett",StringType)::StructField("en",StringType)::StructField("kv",StringType)::Nil))).alias("event"))

image-20201120115839656

3.0 把数组再次拆开 使用explode

val jsonDF5=jsonDF4.select($"ln",$"sv",$"os",$"g",$"mid",$"nw",$"vc",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",$"sr",$"ap",$"id",explode($"event").as("event"))

image-20201120120226069

3.1 把event拆分

val jsonDF6=jsonDF5.select($"ln",$"sv",$"os",$"g",$"mid",$"nw",$"vc",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",$"sr",$"ap",$"id",$"event.ett",$"event.en",$"event.kv")

image-20201120120338853

3.2

拆分en各种类型得到loading

val loadingDF=jsonDF6.filter("en='loading'").select($"ln",$"sv",$"os",$"g",$"mid",$"nw",$"vc",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",$"sr",$"ap",$"id",$"ett",$"en",
get_json_object($"kv","$.extend2").alias("extend2"),
get_json_object($"kv","$.loading_time").alias("loading_time"),
get_json_object($"kv","$.action").alias("action"),
get_json_object($"kv","$.extend1").alias("extend1"),
get_json_object($"kv","$.type").alias("type"),
get_json_object($"kv","$.type1").alias("type1"),
get_json_object($"kv","$.loading_way").alias("loading_way")
)

image-20201120120607425

拆分en各种类型得到ad

val adDF=jsonDF6.filter("en='ad'").select($"ln",$"sv",$"os",$"g",$"mid",$"nw",$"vc",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",$"sr",$"ap",$"id",$"ett",$"en",
get_json_object($"kv","$.activityId").alias("activityId"),
get_json_object($"kv","$.displayMills").alias("displayMills"),
get_json_object($"kv","$.entry").alias("entry"),
get_json_object($"kv","$.action").alias("action"),
get_json_object($"kv","$.contentType").alias("contentType")
)

image-20201120120648237

拆分en各种类型得到notification

val notificationDF=jsonDF6.filter("en='notification'").select($"ln",$"sv",$"os",$"g",$"mid",$"nw",$"vc",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",$"sr",$"ap",$"id",$"ett",$"en",
get_json_object($"kv","$.ap_time").alias("ap_time"),
get_json_object($"kv","$.action").alias("action"),
get_json_object($"kv","$.type").alias("type"),
get_json_object($"kv","$.content").alias("content")
)

image-20201120120759464

拆分en各种类型得到active_background

val active_backgroundDF=jsonDF6.filter("en='active_background'").select($"ln",$"sv",$"os",$"g",$"mid",$"nw",$"vc",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",$"sr",$"ap",$"id",$"ett",$"en",
get_json_object($"kv","$.active_source").alias("active_source")
)

image-20201120120854639

拆分en各种类型得到comment

val commentDF=jsonDF6.filter("en='comment'").select($"ln",$"sv",$"os",$"g",$"mid",$"nw",$"vc",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",$"sr",$"ap",$"id",$"ett",$"en",
get_json_object($"kv","$.p_comment_id").alias("p_comment_id"),
get_json_object($"kv","$.addtime").alias("addtime"),
get_json_object($"kv","$.praise_count").alias("praise_count"),
get_json_object($"kv","$.other_id").alias("other_id"),
get_json_object($"kv","$.comment_id").alias("comment_id"),
get_json_object($"kv","$.reply_count").alias("reply_count"),
get_json_object($"kv","$.userid").alias("userid"),
get_json_object($"kv","$.content").alias("content")
)

image-20201120120957430

拆分en各种类型得到praise

val praiseDF=jsonDF6.filter("en='comment'").select($"ln",$"sv",$"os",$"g",$"mid",$"nw",$"vc",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",$"sr",$"ap",$"id",$"ett",$"en",
get_json_object($"kv","$.target_id").alias("target_id"),
get_json_object($"kv","$.id").alias("id"),
get_json_object($"kv","$.type").alias("type"),
get_json_object($"kv","$.add_time").alias("add_time"),
get_json_object($"kv","$.userid").alias("userid")
)

image-20201120121106253

3. 数据保存

loadingDF.createTempView("loading")

spark.sql("create table loadingTbale as select * from loading")

image-20201120122446168

其他表格操作类似，这样就将数据导入到了hive中

image-20201120122634104

4.在idea当中实现

package json

import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}
import org.apache.spark.sql.types._
import org.apache.spark.sql.functions._

object JsonDemo {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder()
      .master("local[3]")
      .appName("jsonDemo")
      .enableHiveSupport()
      .getOrCreate()
    import spark.implicits._
    val sc: SparkContext = spark.sparkContext

    val jsonRDD: RDD[String] = sc.textFile("in/op.log")

    val jsonDF: DataFrame = jsonRDD.map(_.split('|'))
      .map(x => x(1).substring(0, x(1).length - 1) + ",\"id\":\"" + x(0) + "\"}").toDF()

    val ett = new StructType()
      .add($"ett".string)
      .add($"en".string)
      .add($"kv".string)

    val common = new StructType()
      .add($"ln".string).add($"sv".string).add($"os".string).add($"g".string).add($"mid".string).add($"nw".string)
      .add($"hw".string).add($"ar".string).add($"uid".string).add($"t".string).add($"la".string).add($"md".string)
      .add($"vn".string).add($"ba".string).add($"sr".string)

    val schema: StructType = new StructType()
      .add($"cm".struct(common))
      .add($"ap".string)
      .add($"et".array(ett))

    val jsonDF1: Dataset[Row] = jsonDF.select(from_json($"value",schema).as("values"))

    val jsonDF2: DataFrame = jsonDF1.select(
      $"values.ap",$"values.cm.ln",$"values.cm.sv",$"values.cm.os",$"values.cm.g",$"values.cm.mid",$"values.cm.nw",
      $"values.cm.hw",$"values.cm.ar",$"values.cm.uid",$"values.cm.t",$"values.cm.la",$"values.cm.md",$"values.cm.vn",
      $"values.cm.ba",$"values.cm.sr",
      explode($"values.et").alias("event"))

    val jsonDF3: DataFrame = jsonDF2.select(
      $"ap",$"ln",$"sv",$"os", $"g",$"mid",$"nw",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",$"sr",
      $"event.ett",$"event.en",$"event.kv"
    )
    val loadingDF: DataFrame = jsonDF3.where($"en" === "loading")
      .select($"ap",$"ln",$"sv",$"os",$"g",$"mid",$"nw",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",
        $"sr",$"ett",$"en",
        get_json_object($"kv", "$.extend2").alias("a1"),
        get_json_object($"kv", "$.loading_time").alias("a2"),
        get_json_object($"kv", "$.action").alias("a3"),
        get_json_object($"kv", "$.extend1").alias("a4"),
        get_json_object($"kv", "$.type").alias("a5"),
        get_json_object($"kv", "$.loading_way").alias("a6")
      )

    val adDF: DataFrame = jsonDF3.where($"en" === "ad")
      .select($"ap",$"ln",$"sv",$"os",$"g",$"mid",$"nw",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",
        $"sr",$"ett",$"en",
        get_json_object($"kv", "$.activityId").alias("a1"),
        get_json_object($"kv", "$.displayMills").alias("a2"),
        get_json_object($"kv", "$.entry").alias("a3"),
        get_json_object($"kv", "$.action").alias("a4"),
        get_json_object($"kv", "$.contentType").alias("a5")
      )

    val notificationDF: DataFrame = jsonDF3.where($"en" === "notification")
      .select($"ap",$"ln",$"sv",$"os",$"g",$"mid",$"nw",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",
        $"sr",$"ett",$"en",
        get_json_object($"kv", "$.ap_time").alias("a1"),
        get_json_object($"kv", "$.action").alias("a2"),
        get_json_object($"kv", "$.type").alias("a3"),
        get_json_object($"kv", "$.content").alias("a4")
      )

    val activeBackgroundDF: DataFrame = jsonDF3.where($"en" === "active_background")
      .select($"ap",$"ln",$"sv",$"os",$"g",$"mid",$"nw",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",
        $"sr",$"ett",$"en",
        get_json_object($"kv", "$.active_source").alias("a1")
      )

    val commentDF: DataFrame = jsonDF3.where($"en" === "comment")
      .select($"ap",$"ln",$"sv",$"os",$"g",$"mid",$"nw",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",
        $"sr",$"ett",$"en",
        get_json_object($"kv", "$.p_comment_id").alias("a1"),
        get_json_object($"kv", "$.addtime").alias("a2"),
        get_json_object($"kv", "$.praise_count").alias("a3"),
        get_json_object($"kv", "$.other_id").alias("a4"),
        get_json_object($"kv", "$.comment_id").alias("a5"),
        get_json_object($"kv", "$.reply_count").alias("a6"),
        get_json_object($"kv", "$.userid").alias("a7"),
        get_json_object($"kv", "$.content").alias("a8")
      )

    val praiseDF: DataFrame = jsonDF3.where($"en" === "praise")
      .select($"ap",$"ln",$"sv",$"os",$"g",$"mid",$"nw",$"hw",$"ar",$"uid",$"t",$"la",$"md",$"vn",$"ba",
        $"sr",$"ett",$"en",
        get_json_object($"kv", "$.target_id").alias("a1"),
        get_json_object($"kv", "$.id").alias("a2"),
        get_json_object($"kv", "$.type").alias("a3"),
        get_json_object($"kv", "$.add_time").alias("a4"),
        get_json_object($"kv", "$.userid").alias("a5")
      )
    loadingDF.createOrReplaceTempView("loading")

    //写入hive spar默认会把大写转换为小写
    spark.sql("use kb09")
    spark.sql("create table loadingTable as select * from loading")


  }
}
子清.
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JSON的整理
liang1035746687的博客
09-25 667
1. JSON和XML一样是存储和交换文本信息的语法。（JSON比XML更小，更快，更易解析） 2. JSON（JavaScript Object Notation）指的是JavaScript对象表示法，是一种轻量级的文本数据交换格式。 3. JSON独立于编程语言，JSON使用JavaScript语法来描述数据对象，但是JSON任然对立与语言和平台。JSON解析器和JSON库支持许多不同编程语言。目前非常多的动态（PHP,JSP,NET）编程语言都支持JSON。JSON和XML一样具有自我描述性，更容
JSONObject与Map
weixin_46404727的博客
09-07 1299
综合考虑，如果你主要需要快速的键值对查找操作，并且要保留元素的插入顺序，Map 可能是更好的选择。然而，如果你处理的是小到中等规模的 JSON 数据，或者需要进行网络通信，那么 JSONObject 通常是更常见的选择，因为它在这些情况下性能通常是足够的。
快速整理json数据（有excel文件的前提）
weixin_63367969的博客
05-13 417
对于没有值的字段mongodb的可视化工具不会放在数据中，可以能会造成每条数据的字段数量统一；
最全Python爬虫——使用JSON库解析JSON数据_爬虫json解析，2024年最新面试问题及回答技巧
最新发布
2401_84538612的博客
05-07 2120
别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。最近我才对这些路线做了一下新的更新，知识体系更全面了。
一文彻底搞懂JSON数据
weixin_48764380的博客
03-12 5596
什么是JSON，为什么需要JSON，JSON的3种形式，JSON常用的方法等
JSON数据
m0_57150356的博客
10-26 1950
Android应用程序界面上的数据信息大部分都是通过网络请求从服务器上获取到的，获取到的数据类型常见的就是JSON。JSON是一种新的数据格式，这种格式的数据不可以直接显示到程序的界面上，需要将该数据解析为一个集合或对象的形式才可以显示到界面上。JSON的全称为，JSON表示一种轻量级的数据交互格式，它是基于JavaScript的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。
json数据处理及数据绑定
10-20
总的来说，JSON数据处理和数据绑定是Web开发中常见的任务，特别是在构建动态用户界面时。理解如何有效地处理和展示JSON数据对于前端开发者至关重要。通过学习和实践这些技巧，你可以创建更加互动和数据驱动的网页...
JavaScript JSON数据处理全集(小结)
10-16
主要介绍了JavaScript JSON数据处理全集，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
JSON数据处理包
04-25
含有6个jar文件，可以封装，解码JSON类型数据，在网络传输数据中可以替代Map进行传输
java的邮箱和JSON数据处理jar包
05-07
javax.mail.jar fastjson-1.2.79.jar activation-1.1.1.jar
几种不同格式的json数据及解析
weixin_42409227的博客
12-29 1万+
原文地址：http://blog.csdn.net/whx405831799/article/details/42171191 JSON的基本数据格式有这几种： 1.一个JSON对象——JSONObject {"name":"胡小威" , "age":20 , "male":true} 2.一个JSON数组——JSONArray [{"name":"胡小威" , "
2018-09-15最新整理三级联动mysql文件以及json数据文件
09-15
最新整理的省市区三级联动数据因为最近App前端地址数据库文件不全选项报错所以自己重新整理的一份带港澳台的mysql数据库文件
有且仅有的三种处理JSON的方法
技术进步那些的事
05-29 1257
文章目录前言一、概要分析二、一个秘密迭代数据绑定树遍历三、方法解释SAX和StaxJAXBDOM四、说说JacksonCore packageObjectMapperTreeMapper总结 前言 SpringBoot中基于Jackson来处理JSON，和日常的Gson、FastJson不同。个人在了解Jackson过程中，发现Jackson wiki中探讨了处理JSON，XML这种固定格式文本的思路。笔者觉得非常经典，分享出来一起探讨。如果你在开发结构化文本处理框架/程序, 想必会给你提供一个比较好的.
学习JSON
C_CXY2333的博客
09-12 1267
一.JSON语法 JSON的全称是”JavaScript Object Notation”，意思是javascript对象表示法，它是一种基于文本，独立于语言的轻量级数据交换格式。 1.JSON的格式 JSON 数据的书写格式是键（名称）/值对。 JSON 键值对是用来保存 JS 对象的一种方式，和 JS 对象的写法也大同小异，键/值对包括字段名称（在双引号中），后面写一个冒号，然后是值。 JSO...
json数据格式
m0_47697572的博客
01-26 3369
##json格式## 1. json数值 {"key": value} { "id": 10, "number":100 } 2. json字符串 {"key": "value"} { "name": "Tom", "sex":"boy" } 3. json数组 {"key":[value]} { "key": [1,2], "hide": [1,2] } 4. json对象 {"key":{value}} { "key":{"我","你"}, "hide":{"他
Python3用简单的方法，将一组具有相同格式的json数据（将多层json展开到一层），整理到excel中
watfe的专栏
07-17 3387
在日常使用抓取数据的过程中，很多站点回传的数据是json格式的。 当抓取到几百条数据后，想要快速的掌握这些数据的特征，比较好的方法就是直接导出到excel进直观的去查看。 下面就是介绍，如何简单的通过python，将json数据整理到excel的流程。 （写完发现大部分篇幅都用于介绍如何解除json嵌套关系了，实际转换并导出excel的部分，连同导入模块在内只用了3行代码，想看这个的可以直接拖...
JavaScript对Json的增删改属性
热门推荐
xerxes的专栏
10-15 10万+
原文地址：点击打开链接 使用JS对Json数据的处理，项目遇到需要对Json数据进行相关操作，比如增删改操作，本以为会比较难，网上搜索下，发现还是比较简单的，贴一段代码： var json = { "age":24, "name":"cst" }; //修改Json中的age值,因为Json中
Java中JSON数据的处理
xizi
07-05 7684
Java中JSON数据的处理 Java中处理json数据的包有多个,比如org.json和json-lib,这里主要记录一下org.json的使用方法。 里面有两个类需要了解一下。 org.json.JSONArray。这是一个处理json中数组的类。关于json中的数组,可以在上一篇文章中了解到。 org.json.JSONObject。这是一个处理json对象的类。关于...
JSONObject对复杂json数据的处理
qq_34657993的博客
01-05 1851
JSON.stringify(all) //js将对象转换成json字符串import net.sf.json.JSONObject; JSONObject all = JSONObject.fromObject(request.getParameter("all")); Map, Class> classMap = new HashMap, Class>(); classMap.put
hive处理json数据
06-06
Hive支持处理JSON数据，可以使用内置的JSON函数或者自定义UDF来实现。具体步骤如下： ...需要注意的是，Hive处理JSON数据的性能可能不如其他专门的JSON数据处理工具，因此在处理大规模的JSON数据时需要谨慎考虑。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值