电商平台分析平台----需求二:按照比列随机抽取session

最新推荐文章于 2021-02-16 07:09:11 发布
最新推荐文章于 2021-02-16 07:09:11 发布
阅读量487 收藏 1
点赞数
分类专栏： 电商分析平台 文章标签： 大数据 spark项目 电商
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zisuu/article/details/106333719
版权

做什么?

在符合过滤条件的session中，按照时间比例随机抽取100个session。当存在若干天的数据时，100个session抽取指标在天之间平均分配，在一天之中，根据某个小时的session数量在一天中总session数量中的占比决定这个小时抽取多少个session

一个小时要抽取的session数量 = (这个小时的session数量/这一天的session数量) * 这一天要抽取的session数量

需求解析

明确一个小时抽取多少session后（假设为N个），根据数量产生N个随机数，这N个随机数组成的列表就是要抽取的session的索引列表，我们假设按照hour聚合后的session数据可以从0开始编号，如果session对应的索引存在于列表中，那么就抽取此session，否则不抽取。
流程图:
在这里插入图片描述
表的转化:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

步骤解析

  1. 转化过滤后的数据(第一个需求中得到的数据),结构为:(date,info)
    其中date解析后的为:(HH-MM-DD_hh)
     val dateHour2FullInfoRDD=filterInfo.map{
       case (sessionId,info)=>{
         val date1=StringUtil.getFieldFromConcatString(info, "\\|", Constants.FIELD_START_TIME)
         //(HH-MM-DD_hh)
         val date=DateUtils.getDateHour(date1);
         (date,info);
       }
     }
  1. 根据countByKey算子,得到(date,count)的map结构
 //2.统计同一时间总共的session数量,结果为map结构
    val hourCountMap=dateHour2FullInfoRDD.countByKey();

3.将数据转化为date->map(hour,count)类型,统计出每一小时总共有多少条数据

    val dataHourCount=new mutable.HashMap[String,mutable.HashMap[String,Long]];
    for ((k,v)<-hourCountMap){
      val day=k.split("_")(0);
      val hour=k.split("_")(1);
      dataHourCount.get(day) match {
        case None =>dataHourCount(day)=new mutable.HashMap[String,Long];
          dataHourCount(day)+=(hour->v);
        case Some(value) =>
          dataHourCount(day)+=(hour->v);
      }
    }
  1. 产生每小时要抽取的数据的索引列表
 //4.获取抽取session的索引,用map(date,map(hour,list))来存储
    val ExtractIndexListMap=new mutable.HashMap[String,mutable.HashMap[String,ListBuffer[Int]]];
    val sumday=dataHourCount.size;
    val extractDay=100/sumday;//平均每天

    for ((day,map)<-dataHourCount){
       val oneDay=map.values.sum;
      ExtractIndexListMap.get(day) match {
        case None => ExtractIndexListMap(day)=new mutable.HashMap[String, ListBuffer[Int]]
          generateRandomIndexList(extractDay, oneDay, map,  ExtractIndexListMap(day))
        case Some(value) =>
          generateRandomIndexList(extractDay, oneDay, map,  ExtractIndexListMap(day))
      }
    }

generateRandomIndexList函数:

 def generateRandomIndexList(extractDay: Int, oneDay: Long, hourCountMap: mutable.HashMap[String, Long], hourListMap: mutable.HashMap[String, ListBuffer[Int]])={
    //计算每个小时要抽取多少条数据
    for ((hour,cnt)<-hourCountMap){
      val curHour=((cnt/oneDay)*extractDay).toInt;
      val Random=new Random();
      hourListMap.get(hour) match {
        case None => hourListMap(hour)=new ListBuffer[Int];
          for (i<-0 until curHour.toInt){
            var index=Random.nextInt(cnt.toInt);
            while(hourListMap(hour).contains(index)){
              index=Random.nextInt(cnt.toInt);
            }
            hourListMap(hour).append(index);
          }

        case Some(value) =>
          for (i<-0 until curHour.toInt){
            var index=Random.nextInt(cnt.toInt);
            while(hourListMap(hour).contains(index)){
              index=Random.nextInt(cnt.toInt);
            }
            hourListMap(hour).append(index);

          }
      }
    }
  }

/*
到目前,我们已经得到了:
1.每一个小时里总共有多少条session->dataHourCount
2.每一个小时要抽取的session的索引->ExtractIndexListMap
*/

5.根据ExtractIndexListMap抽取session

 val dateHour2GroupRDD = dateHour2FullInfoRDD.groupByKey()
    val extractSessionRDD=dateHour2GroupRDD.flatMap{
      case (dateHour,iterableFullInfo)=>{
        val day = dateHour.split("_")(0)
        val hour = dateHour.split("_")(1)
        val indexList=ExtractIndexListMap.get(day).get(hour);
        val extractSessionArrayBuffer = new ArrayBuffer[SessionRandomExtract]()

        var index = 0

        for(fullInfo <- iterableFullInfo){
          if(indexList.contains(index)){
            val sessionId = StringUtil.getFieldFromConcatString(fullInfo, "\\|", Constants.FIELD_SESSION_ID)
            val startTime = StringUtil.getFieldFromConcatString(fullInfo, "\\|",Constants.FIELD_START_TIME)
            val searchKeywords = StringUtil.getFieldFromConcatString(fullInfo, "\\|", Constants.FIELD_SEARCH_KEYWORDS)
            val clickCategories = StringUtil.getFieldFromConcatString(fullInfo, "\\|", Constants.FIELD_CLICK_CATEGORY_IDS)

            val extractSession = SessionRandomExtract(taskUUID , sessionId, startTime, searchKeywords, clickCategories)

            extractSessionArrayBuffer += extractSession
          }
          index += 1
        }
        extractSessionArrayBuffer

      }
    }
    extractSessionRDD.foreach(println);

6.写进数据库

import session.implicits._;
    extractSessionRDD.toDF().write
    .format("jdbc")
      .option("url", ConfigurationManager.config.getString(Constants.JDBC_URL))
      .option("user",ConfigurationManager.config.getString(Constants.JDBC_USER))
      .option("password", ConfigurationManager.config.getString(Constants.JDBC_PASSWORD))
      .option("dbtable", "session_extract_0308")
      .mode(SaveMode.Append)
      .save()

完整代码:

package server

import com.alibaba.fastjson.JSONObject
import commons.conf.ConfigurationManager
import commons.constant.Constants
import commons.model.SessionRandomExtract
import commons.utils.{DateUtils, StringUtil}
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{SaveMode, SparkSession}

import scala.collection.mutable
import scala.collection.mutable.{ArrayBuffer, ListBuffer}
import scala.util.Random

class serverTwo extends Serializable {


  def generateRandomIndexList(extractDay: Int, oneDay: Long, hourCountMap: mutable.HashMap[String, Long], hourListMap: mutable.HashMap[String, ListBuffer[Int]])={
    //计算每个小时要抽取多少条数据
    for ((hour,cnt)<-hourCountMap){
      val curHour=((cnt/oneDay)*extractDay).toInt;
      val Random=new Random();
      hourListMap.get(hour) match {
        case None => hourListMap(hour)=new ListBuffer[Int];
          for (i<-0 until curHour.toInt){
            var index=Random.nextInt(cnt.toInt);
            while(hourListMap(hour).contains(index)){
              index=Random.nextInt(cnt.toInt);
            }
            hourListMap(hour).append(index);
          }

        case Some(value) =>
          for (i<-0 until curHour.toInt){
            var index=Random.nextInt(cnt.toInt);
            while(hourListMap(hour).contains(index)){
              index=Random.nextInt(cnt.toInt);
            }
            hourListMap(hour).append(index);

          }
      }
    }
  }

  def GetextraSession(session: SparkSession, filterInfo: RDD[(String,String)], task: JSONObject, taskUUID: String)={
     //1.数据格式转化成(date,info)
     val dateHour2FullInfoRDD=filterInfo.map{
       case (sessionId,info)=>{
         val date1=StringUtil.getFieldFromConcatString(info, "\\|", Constants.FIELD_START_TIME)
         val date=DateUtils.getDateHour(date1);
         (date,info);
       }
     }
    //2.统计同一时间总共的session数量,结果为map结构
    val hourCountMap=dateHour2FullInfoRDD.countByKey();

    //3.将数据转化为date->map(hour,count)类型
    val dataHourCount=new mutable.HashMap[String,mutable.HashMap[String,Long]];
    for ((k,v)<-hourCountMap){
      val day=k.split("_")(0);
      val hour=k.split("_")(1);
      dataHourCount.get(day) match {
        case None =>dataHourCount(day)=new mutable.HashMap[String,Long];
          dataHourCount(day)+=(hour->v);
        case Some(value) =>
          dataHourCount(day)+=(hour->v);
      }
    }
    //4.获取抽取session的索引,用map(date,map(hour,list))来存储
    val ExtractIndexListMap=new mutable.HashMap[String,mutable.HashMap[String,ListBuffer[Int]]];
    val sumday=dataHourCount.size;
    val extractDay=100/sumday;//平均每天

    for ((day,map)<-dataHourCount){
       val oneDay=map.values.sum;
      ExtractIndexListMap.get(day) match {
        case None => ExtractIndexListMap(day)=new mutable.HashMap[String, ListBuffer[Int]]
          generateRandomIndexList(extractDay, oneDay, map,  ExtractIndexListMap(day))
        case Some(value) =>
          generateRandomIndexList(extractDay, oneDay, map,  ExtractIndexListMap(day))
      }
    }
     /*
     到目前,我们已经得到了:
     1.每一个小时里总共有多少条session->dataHourCount
     2.每一个小时要抽取的session的索引->ExtractIndexListMap
      */
    //5.根据ExtractIndexListMap抽取session
    val dateHour2GroupRDD = dateHour2FullInfoRDD.groupByKey()
    val extractSessionRDD=dateHour2GroupRDD.flatMap{
      case (dateHour,iterableFullInfo)=>{
        val day = dateHour.split("_")(0)
        val hour = dateHour.split("_")(1)
        val indexList=ExtractIndexListMap.get(day).get(hour);
        val extractSessionArrayBuffer = new ArrayBuffer[SessionRandomExtract]()

        var index = 0

        for(fullInfo <- iterableFullInfo){
          if(indexList.contains(index)){
            val sessionId = StringUtil.getFieldFromConcatString(fullInfo, "\\|", Constants.FIELD_SESSION_ID)
            val startTime = StringUtil.getFieldFromConcatString(fullInfo, "\\|",Constants.FIELD_START_TIME)
            val searchKeywords = StringUtil.getFieldFromConcatString(fullInfo, "\\|", Constants.FIELD_SEARCH_KEYWORDS)
            val clickCategories = StringUtil.getFieldFromConcatString(fullInfo, "\\|", Constants.FIELD_CLICK_CATEGORY_IDS)

            val extractSession = SessionRandomExtract(taskUUID , sessionId, startTime, searchKeywords, clickCategories)

            extractSessionArrayBuffer += extractSession
          }
          index += 1
        }
        extractSessionArrayBuffer

      }
    }
    extractSessionRDD.foreach(println);
    //6.写进数据库
    /*import session.implicits._;
    extractSessionRDD.toDF().write
    .format("jdbc")
      .option("url", ConfigurationManager.config.getString(Constants.JDBC_URL))
      .option("user",ConfigurationManager.config.getString(Constants.JDBC_USER))
      .option("password", ConfigurationManager.config.getString(Constants.JDBC_PASSWORD))
      .option("dbtable", "session_extract_0308")
      .mode(SaveMode.Append)
      .save()*/
  }

}

总结

  • 一般随机抽样,需要动手生成抽样的索引列表,接着再用索引列表,去总的数据中匹配
zisuu
关注
专栏目录
基于电商平台 session 需求分析 以及技术选型 实现方式6
chixushuchu的博客
12-06 840
功能大纲 1、按条件筛选session 2、聚合统计：统计出符合条件的session中，访问时长在1s~ 3s、4s~ 6s、7s~ 9s、10s~ 30s、30s~ 60s、1m~ 3m、3m~ 10m、10m~ 30m、30m以上各个范围内的session占比；访问步长在1~ 3、4~ 6、7~ 9、10~ 30、30~60、60以上各个范围内的session占比 3、在符合条件的sessio...
电商用户行为分析大数据平台相关系列9-用户访问session的模块介绍
行者
05-23 6871
1、Session介绍用户在电商网站上，通常会有很多的点击行为，首页通常都是进入首页；然后可能点击首页上的一些商品；点击首页上的一些品类；也可能随时在搜索框里面搜索关键词；还可能将一些商品加入购物车；对购物车中的多个商品下订单；最后对订单中的多个商品进行支付。用户的每一次操作，其实可以理解为一个action，比如点击、搜索、下单、支付用户session，指的就是从用户第一次进入首页session就开
Scala_Spark-电商平台离线分析项目-需求二Session随机抽取
__init__的博客
11-03 543
Scala_Spark-电商平台离线分析项目-需求二Session随机抽取 样例类 /** * 需求二的样例类 * session随机抽取详细表 * * @param taskid 当前计算批次的id * @param userid 用户id * @param sessionid session的id * @param pageid 某个页面的id * @pa...
用户访问session分析-随机抽取
fanyao4144的博客
01-28 392
目标 按每天每小时的session数量占当天session总数的比例，乘以每天要抽取的session数量，计算出每个小时要抽取的session数量。然后在每天每个小时的session中，随机抽取出之前计算出的数量的session。 举例：10000个session，100个session；0点~1点之间，有2000个session，占总session的比例就是0.2；按照比例，0点~1点需要抽
session随机抽取实现思路
mn_kw的博客
07-12 227
session随机抽取，就是按每天的每个小时的session数量，占当天session总数的比例，乘以每天要抽取的session数量，计算出每个小时要抽取的session的数量，然后呢，在每天每个小时的session中，随机抽取出之前计算出来的数量的session。...
40.Spark大型电商项目-用户访问session分析-session随机抽取之根据随机索引进行抽取
someby的博客
03-21 298
目录 随机抽取session插入表代码 ISessionRandomExtractDAO.java SessionRandomExtract.java SessionRandomExtractDAOImpl.java SessionRandomExtractTest.java 测试结果 根据随机索引进行抽取 UserVisitSessionAnlyzeSpark.java 本篇文...
java7hashmap源码-UserActionAnalyzePlatform-learn:电商用户行为分析大数据平台-spark
06-04
1、用户访问session分析：该模块主要是对用户访问session进行统计分析，包括session的聚合指标计算、按时间比例随机抽取session、获取每天点击、下单和购买排名前10的品类、并获取top10品类的点击量排名前10的...
Spark大型项目实战：电商用户行为分析大数据平台开发实战
07-12
包括session的聚合指标计算、 按时间比例随机抽取session、获取每天点击、下单和购买排名前10的品类、并获取top10品类的点击量排名前10的session.该模块可以让产品经理、数据分析师以及企业管理层形象地看到各种条件...
java7hashmap源码-UserActionAnalyzePlatform:用户操作分析平台
06-04
1、用户访问session分析：该模块主要是对用户访问session进行统计分析，包括session的聚合指标计算、按时间比例随机抽取session、获取每天点击、下单和购买排名前10的品类、并获取top10品类的点击量排名前10的...
33.session随机抽取之获取抽取session的明细数据
Erik_ly的博客
03-25 1863
本文为《Spark大型电商项目实战》 系列文章之一，主要介绍session随机抽取模块中的获取抽取session明细数据的实现过程。
31.session随机抽取之按时间比例随机抽取算法实现
Erik_ly的博客
03-25 1989
本文为《Spark大型电商项目实战》 系列文章之一，主要介绍用户访问session随机抽取模块中实现按时间比例随机抽取算法这一步骤。
java8 zip_Java8 Zip 压缩与解压缩的实现
weixin_31545685的博客
02-16 856
网上找过几个例子都有点小问题，还是谷歌找出来的靠谱。主要是增加了指定文件的功能，通过 Java8 的 Lambda 判断是否加入 ZIP 压缩，比较方便。函数表达式的签名是 Function，参数是待加入的 File 对象，返回值 true 表示允许，反之不行。完整代码在：https://gitee.com/sp42_admin/ajaxjs/blob/master/ajaxjs-base/src...
Java实现电商网站的随机订单流水号
汤姆lazy的CSDN博客
09-09 870
我们假设订单流水是由：年月日时分秒+8位随机数所构成 第一种：使用SimpleDateFormat对当前时间进行格式化，利用Math.random()获取八位随机数 import java.text.SimpleDateFormat; import java.util.Date; public class test { public static void main( String[] args ) { Date newTime = new Date(); .
spark企业级电商分析平台项目实践（五）需求二分析与实现
涵sir的博客
10-12 244
前言 需求二：按比例随机抽取session 一、需求 上一章节中，完成了各范围session占比的统计，得到了各步长、各时长count的累加器，并计算得到了其所占比例。 本章节的需求为：按照天数以及每天中各个小时的session数量在总session数中的占比，来比例随机抽取session。 二、思路及步骤 第一步：第一步，获得每天的、每小时的 session数量 第二步，获得每小时随机抽取的session的index 第三步，按照List[index]完成session的按比例随机抽取 三、实现 1
大数据项目之电商分析平台（2）
魔法革1996
04-18 1626
第三章 、程序框架解析 3.1、模块分析 3.1.1、commons模块 1. conf 包 代码清单 3-1 ConfigurationManager类 /** * 配置工具类 */ object ConfigurationManager { // 创建用于初始化配置生成器实例的参数对象 private val params = new Parameters() // F...
spark 大型项目实战(二十):用户访问session分析(二十) --session随机抽取之实现思路分析
u012957549的博客
06-09 2967
文章地址：http://www.haha174.top/article/details/253333 每一次执行用户访问session分析模块，要抽取出100个session session随机抽取：按每天的每个小时的session数量，占当天session总数的比例，乘以每天要抽取的session数量，计算出每个小时要抽取的session数量；然后呢，在每天每小时的session中，随机抽取...
python笔记14:数据处理之随机抽样
aiyo92的专栏
01-15 2672
# -*- coding: utf-8 -*- #1. 概念：随机抽样，是指随机从数据中，按照一定的行数或者比例抽取数据 #随机抽样函数：DataFrame.sample(n,frac,replace=False) #n:按个数抽样 #frac:按百分比抽样 #注：以上两个参数只能任意设置一个 #replace:是否可放回抽样，默认为False不可放回（所谓能否放回即被抽取过的数据还能不能被再次抽...
2.项目需求解析
zisuu的博客
05-23 1309
前言 本篇文章讲解的是电商分析平台中的各个模块需求, 需求总体概述 一 离线数据分析 动作表解析: 通过埋点采集到的用户行为数据被存储在了动作表里，我们关注用户的四种行为，即点击、搜索、下单、购买，用户每执行一次上述操作，就会产生一条日志，之后按照一定的时间单位（例如一天）被导入动作表中，也就是说，动作表中的一条数据对应用户的一次行为（点击、搜索、下单或者购买中的一种） 二 实时数据分析 实时数据主要用于统计用户点击广告 需求详解 用户访问Session分析 用户访问session，是在电商平
大数据之spark大型电商平台分析平台(一)--项目前言
zisuu的博客
05-26 1287
电商分析平台 该项目是我根据尚硅谷大数据电商分析平台视频做的笔记,总共分成了大概十个需求,每个需求我都用一篇文章来解析 文章目录 项目整体概述 课程简介 本课程是一套完整的企业级电商大数据分析系统，在当下最为热门的Spark生态体系基础上构建企业级数据分析平台，本系统包括离线分析系统与实时分析系统，技术栈涵盖Spark Core，Spark SQL，Spark Streaming与Spark性能调优，并在课程中穿插Spark内核原理与面试要点，能够让学员在实战中全面掌握Spark生态体系的核心技术框架.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值