1.淘宝购买行为分析项目——需求分析、创建Hive表、DataGrip安装于激活、配置HiveServer2

1.淘宝购买行为分析项目——需求分析、创建Hive表、DataGrip安装于激活、配置HiveServer2

2024-11-17 03:35

1.淘宝购买行为分析项目——需求分析、创建Hive表、DataGrip安装于激活、配置HiveServer2 数据源来自于阿里巴巴提供的某年淘宝用户购买商品数据集，通过该数据进行大数据数仓的建设和开发分析，从以上几个维度分别分析并将结果可视化（如上图）

文件名称说明包含特征user_info_format1.csv包含所有用户的信息id “唯一标识id”, age_range “年龄范围”,gender “性别 0女 1男 2保密”user_log_format1.csv文件存放的是购买行为日志user_id,item_id,cat_id,seller_id, brand_id,time_stamp,action_type

user_log_format1.csv 本数据集为用户的购买日志，即数据集的每一行表示一条用户购买行为，由user_id"买家id",item_id"产品id",cat_id"分类id",seller_id"卖家id",brand_id"品牌id",time_stamp"时间戳"和action_type"行为类型"组成，并以逗号分隔。关于数据集中每一列的详细描述如下： 1.淘宝购买行为分析项目——需求分析、创建Hive表、DataGrip安装于激活、配置HiveServer2

node1上启动hadoop集群：startha.sh（这个是一个脚本，可以对应hive专栏中查看） 1.淘宝购买行为分析项目——需求分析、创建Hive表、DataGrip安装于激活、配置HiveServer2 node3上开启hive的客户端和服务端

创建hive库

创建hive数据表 创建用户信息表

创建用户行为日志表

传输csv文件到虚拟机中——传输后删除否则占用虚拟机内存 1.淘宝购买行为分析项目——需求分析、创建Hive表、DataGrip安装于激活、配置HiveServer2 导入本地excel到hive表中

删除文件

此时，我们发现在虚拟机中直接写代码是非常不友好的，没有高亮显示、没有拼写错误提示。这时候我们就需要一个可视化的工具——DataGrip

DataGrip的功能就类似Navicat，对虚拟机上的hive数据库可视化。操控，查询等功能 数仓开发工具可选用DBeaver或者DataGrip。下载网址：https://www.jetbrains.com/zh-cn/datagrip/download/other.html 将Datagrip安装到D:devsoftJetBrainsDataGrip22.2.1目录下。将解压后的ja-netfilter拷贝到D:devsoftJetBrains下（以后不要动它）进入 Datagrip 的安装目录 D:devsoftJetBrainsDataGrip22.2.1bin 目录下，修改 datagrip64.exe.vmoptions 配置文件： 点击exe文件——选择好路径 1.淘宝购买行为分析项目——需求分析、创建Hive表、DataGrip安装于激活、配置HiveServer2