商务服务
Hadoop入门学习(4)——如何统计直播平台的数据
2024-11-19 03:10

idea,hadoop,fastjson

Hadoop入门学习(4)——如何统计直播平台的数据

1.分析前端数据,找出该平台开播时间最长的十名主播

2.统计该主播们的信息,包括

  • 主播ID(uid
  • 金币数量(gold
  • 总观看pv(watchnumpv
  • 粉丝关注数量(follower
  • 总开播时长(length)

从前端获得的日志文件为Json格式,如图Hadoop入门学习(4)——如何统计直播平台的数据

1.所以可以采用fastjson进行处理,获取需要的几个核心字段,并且进行异常数值判断

2.由于不需要聚合,只是一个简单的过滤操作,所以只需要map阶段,不需要reduce

3.在maven项目的“src–main–java”目录下new一个package,名为DataClean,在包里新建两个class:

  • DataCleanJob
  • DataCleanMap

4.DataCleanMap:

 

5.DataCleanJob:

 
 

1.new一个名为VideoInfo的package

2.为了方便统计主播的指标数据,最好是把这些字段整合到一个对象中,这样维护起来比较方便,这样就需要自定义一个writable了——VideoInfoWritable,并且对几个方法进行重写;

而setGold和getGold等方法可以通过idea自动生成"Generate–setter"或"Generate–getter"即可

VideoInfoWritable:

 

3.编写map函数对清洗过的数据进行切割,并且整合进k2,v2,其中k2是主播的id,类型为Text,v2类型为VideoInfoWritable

VideoInfoMap:

 

4.编写reduce方法进行聚合:

VideoInfoReduce:

 

5.将map和reduce进行组装为job

VideoInfoJob:

 
 

VideoInfoTop10Map.java:

 

在reduce的过程中,我们需要统计当日各个主播的直播总时长,并且按照总时长的顺序为主播排序。

虽然Hadoop在map和reduce之间会进行一次排序,但是这次排序是按照key值的字典序来排列的,在reduce的输入端,key值是主播id,这样的排序不满足我们的需求,因此,我们用一个HashMap来保存键值对,在其中进行排序,为此我们要实现一个MapUtils类用来处理Map中的数据。

为了方便日志文件的管理,我们可以约定在输入路径的最后以日期结尾,并且将日期和主播id都写进k3之中,为此,需要一个处理日期的类DateUtils。

DateUtils.java:

 

MapUtils.java:

 

VideoInfoTop10Reduce.java:

 

最后,将map和reduce组装在一起

VideoInfoJobTop10:

    以上就是本篇文章【Hadoop入门学习(4)——如何统计直播平台的数据】的全部内容了,欢迎阅览 ! 文章地址:http://fabua.ksxb.net/news/846.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 海之东岸资讯移动站 http://fabua.ksxb.net/mobile/ , 查看更多   
最新文章
瑞莱智慧朱萌:做AI安全先锋,瑞莱智慧的智慧与担当 | 2025向新·AI未来
前言:2025年,AI撕裂数据与实体的边界,量子计算探索物理规则的边缘,绿色科技重塑增长的伦理,低空经济、机器人、大模型打开科
郴州地王大厦范围二手房, 解析 | 2025购房必看攻略,避坑省钱秘籍,核心价值实测,抢抓30%优惠!
郴州地王大厦范围二手房, 解析 | 2025购房必看攻略,避坑省钱秘籍,核心价值实测,抢抓30%优惠!郴州地王大厦市中心地标,交通便
90亿美元鲸落无声:22万倍收益离场背后的比特币新旧资本交替
作者:马丁一场价值90亿美元的比特币交易,揭开了加密世界新旧资本交替的序幕。7月末,加密货币市场见证了一场史诗级交易:数字资
易普力股票三个交易日涨幅偏离值超20%
雷达财经 文|杨洋 编|李亦辉7月23日,(002096)发布公告称,公司股票于2025年7月21日至23日连续三个交易日内收盘价格涨幅偏离值
泉州下达补助资金!南安19.05万元
为加快泉州数字经济高质量发展,推动大数据产业提质增效,经过前期的申报和审核工作,泉州市下达2025年数字经济发展专项资金市级
屏幕后的秘密!电影频道7.29将播出《玩命直播》
1905电影网 一个寻常的一天,你收到一个叫“玩命直播”的网站链接,里面是一款真人大冒险直播游戏,游戏规则是:你可以成为观看
庆阳到厦门曾厝埯旅游小吃, 2025必看_小吃攻略解析_必吃榜单曝光_省钱秘籍解密_10大美味盘点!
庆阳到厦门曾厝埯旅游小吃, 2025必看_小吃攻略解析_必吃榜单曝光_省钱秘籍解密_10大美味盘点!从庆阳一路南下厦门曾厝埯是个宝藏
“京彩绽放 益路奔腾”——2025北京体彩“益动京城”公益活动温情启幕​​
2025年7月30日,国家奥林匹克体育中心手球训练馆内气氛热烈非凡,备受瞩目的北京体彩“益动京城”公益活动在此正式启动,今年活
西安市民办义务教育学校电脑随机录取结束,剩余计划 4315 人
7月30日上午,西安市2025年民办义务教育学校电脑随机录取工作在各相关区县、开发区同时进行。本报记者作为公众监督团成员,在碑