今
日
鸡
汤
身着白衣,心有锦缎。
随着移动支付的普及,电商网站不断涌现,由于电商网站产品太多,由用户产生的评论数据就更多了,这次我们以京东为例,针对某一单品的评论数据进行数据采集,并且做简单数据分析。
这个是某一手机页面的详情页,对应着手机的各种参数以及用户评论信息,页面URL是
然后通过分析找到评论数据对应的数据接口,如下图所示:
它的请求url:
注意看到这两个关键参数 1. productId: 每个商品有一个id 2. page: 对应的评论分页
对评论数据的url发起请求:
json.cn 打开json数据(我们的评论数据是以json形式与页面进行交互传输的),如下图所示:
分析可知,评论url中对应十条评论数据,对于每一条评论数据,我们需要获取3条数 据,contents,color,size(注意到上图的maxsize,100,也就是100*10=1000条评论)。
1.导入相关库
2.获取评论数据
3.获取最大页数(也可以不写)
4.提取数据
5.用于将爬取到的数据存储到Excel中
6.运行程序
1.简单配置
2.手机颜色数量对比
可以看出用户购买的手机白色和黑色的机型比较多.占据了60%多。3.评论词云展示1)先要提取评论数据
2)词云展示
注意: 这里我们不能使用encoding='uth-8',会报出一个错误:
所以我们需要改成 gbk。
最后得到的效果图,如下图所示: