大数据pandas综合案例1：应用商店Appstore数据分析

案例1 &＃xff1a;Appstore数据分析

1.1 背景和分析需求

苹果商店的数据
分析背景&＃xff1a;对App下载和评分数据分析&＃xff0c;帮助App开发者获取和留存用户
分析需求&＃xff1a;
免费和收费的App都集中在哪些类别
收费App的价格分布&＃xff1f;不同类别的价格分布&＃xff1f;
App文件的大小和价格&＃xff0c;评分之间是否有关
分析流程&＃xff1a;—框架套
1&＃xff0c;看数据概况&＃xff08;行列数据&＃xff0c;缺失值&＃xff09;
2&＃xff0c;单变量分析&＃xff08;数值型-平均值、最小最大、标准差&＃xff0c;类别型-多少类别、占比&＃xff09;
3&＃xff0c;多变量分析&＃xff08;类别交叉分析&＃xff0c;变量之间的相关性分析&＃xff09;
4&＃xff0c;可视化分析&＃xff08;分布趋势-直方图&＃xff0c;不同组差异-柱状图&＃xff0c;相关性-散点图、热力图&＃xff09;

1.2 数据加载和处理

数据加载-数据查看-数据规范化处理&＃xff08;新增列&＃xff0c;删除列&＃xff0c;换单位&＃xff09;
applestore数据

app &＃61; pd.read_csv("./data/applestore.csv",index_col&＃61;0) #已经有序号列了&＃xff0c;所有index_col&＃61;0不用再添加
app.head()
app.shape #(7197,10)
app.describe() #每列的最大值最小值&＃xff0c;计数&＃xff0c;均值
app.info()# 每列类型和空缺值


了解数据后&＃xff0c;下面对数据的规范化处理

#对size_bytes列&＃xff0c;单位换成mb,兆
app[&＃39;size_bytes&＃39;]/(1024*1024)
app.head()
app[&＃39;size_bytes&＃39;].describe()


#增加一列&＃xff0c;说明该app是否是免费的&＃xff0c;根据价格列
app[&＃39;paid&＃39;] &＃61; app[&＃39;price&＃39;].apply(lambda x: 1 if x>0 else 0)
app.head()


1.3 App价格不同维度分析

单变量分析

value_count()函数&＃xff1a;对列中不同种类进行计数

#查看spp价格整体分布
app.price.value_count() #计数一下


pd.cut(根据分组列&＃xff0c;分组临界值&＃xff0c;labels标签列)

#安装价格将APP数据进行分组
bins &＃61; [0,2,10,30] #左开右闭
labels &＃61; [&＃39;<2&＃39;,&＃39;<10&＃39;,&＃39;<30&＃39;]
app[&＃39;price_new&＃39;] &＃61; pd.cut(app[&＃39;price&＃39;],bins,right&＃61;False, labels &＃61; labels)
#right&＃61;False将原本默认的左开右闭的区间改成左闭右开
#labels设置自己设置的标签
app.head()


groupby(‘列A’).列B.describe()

#按区间查看app的价格分布
app.groupby(&＃39;price_new&＃39;).price.describe() #按照price_new分组后&＃xff0c;再查看价格列的统计数值


#不同类别app价格是如何分布的
app.groupby(&＃39;prime_genre&＃39;).price.describe()


删除列A不满足条件的行&＃xff1a; data &＃61; data[date[列A]要满足条件]

#删除价格高于49.99的app数据
app &＃61; app[app[&＃39;price&＃39;]<49.99]
app.head()


#对app评分数量的统计信息
app.rating_count_tot.describe()
#对评分数据再划分一下组
bins &＃61; [0,1000,5000,100000,5000000]
app[&＃39;rating_new&＃39;] &＃61; pd.cut(app[&＃39;rating_count_tot&＃39;],bins,right&＃61;False)
app.groupby(&＃39;rating_new&＃39;).price.describe()


1.4 数据可视化分析

1&＃xff09;查看app的类别和用户评分之间的关系-折线图

import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
sns.replot(x&＃61;&＃39;prime_genre&＃39;,y&＃61;&＃39;user_rating&＃39;,kind&＃61;&＃39;line&＃39;,data&＃61;app,height&＃61;5,aspect&＃61;3)
#height&＃61;5,aspect&＃61;3是高&＃xff0c;宽高比


问题&＃xff1a;x轴的值全部挤在了一起

将x轴的项旋转一下

sns.replot(x&＃61;&＃39;prime_genre&＃39;,y&＃61;&＃39;user_rating&＃39;,kind&＃61;&＃39;line&＃39;,data&＃61;app,height&＃61;5,aspect&＃61;3)
plt.xticks(rotation&＃61;45,horizontalalignment&＃61;&＃39;right&＃39;,fontweight&＃61;&＃39;light&＃39;,fontsize&＃61;&＃39;x-large&＃39;)
#rotation&＃61;45旋转45度


评分大多分布在2-4分之间
2&＃xff09;查看价格小于9.9元的app价格分布 --柱状图

plt.figure(figsize&＃61;(20,8))
app_result &＃61; app[app[&＃39;price&＃39;]<&＃61;9.9]
sns.distplot(app_result[&＃39;price&＃39;])


结论&＃xff1a;大多是免费的&＃xff0c;0-3占了绝大多数

3&＃xff09;查看不同类别的收费App的价格分布 --箱线图

plt.figure(figsize&＃61;(20,8))
sns.boxplot(x&＃61;&＃39;price&＃39;,y&＃61;&＃39;prime_genre&＃39;,data&＃61;app[app[&＃39;paid&＃39;]&＃61;&＃61;1]) #数据筛选出收费的
plt.yticks(fontweight&＃61;&＃39;light&＃39;,fontsize&＃61;&＃39;x-large&＃39;)#设置y轴的字体和大小


4&＃xff09;查看数量最多的前五个类别收费App的价格分布

#筛选出数量最多的前五个类别的app数据
top5 &＃61; app.groupby(&＃39;prime_genre&＃39;)[&＃39;price&＃39;].count().sort_values(ascending&＃61;False).head()
#箱线图
plt.figure(figsize&＃61;(20,8))
sns.boxplot(x&＃61;&＃39;price&＃39;,y&＃61;&＃39;prime_genre&＃39;,data&＃61;app5[app5[&＃39;paid&＃39;]&＃61;&＃61;1])


5)查看app数据中价格和用户评分的关系&＃xff0c;绘制散点图

plt.figure(figsize&＃61;(20,8))
sns.scatterplot(x&＃61;&＃39;price&＃39;,y&＃61;&＃39;user_rating&＃39;,data&＃61;app)


结论&＃xff1a;从散点图可以看出&＃xff0c;价格和评价关联不强&＃xff0c;高价的应用评价两极分化&＃xff0c;但数据相对较少

#前5类app的分类和评分的关系&＃xff0c;区分收费和没收费
sns.barplot(x&＃61;&＃39;prime_genre&＃39;,y&＃61;&＃39;user_rating&＃39;,date&＃61;app5)


#如何区分收费与不收费呢&＃xff1f;
sns.barplot(x&＃61;&＃39;prime_genre&＃39;,y&＃61;&＃39;user_rating&＃39;,date&＃61;app5,hue&＃61;&＃39;paid&＃39;)#hub加颜色


1.5 业务需求分析

1.5.1 免费或收费App集中在哪些类别&＃xff1f;

思路&＃xff1a;统计类别有多少app&＃xff0c;排序&＃xff0c;可视化时通过颜色区分收费和免费的

plt.figure(figsize&＃61;(20,8))
sns.countplot(y&＃61;&＃39;prime_genre&＃39;,data&＃61;app,hue&＃61;&＃39;paid&＃39;,order&＃61;app[&＃39;prime_genre&＃39;].value_count().index)
#hue颜色区分,order按数量排序
#app[&＃39;prime_genre&＃39;].value_count().index指按类别分组排序计数的名称


1.5.2 免费或收费App在不同评分区间的分布&＃xff1f;

思路&＃xff1a;评分做区间分组&＃xff0c;分组后看每组的评分数据

bins&＃61; [0,0.5,2.5,4.5,5.1]
app[&＃39;rating_level&＃39;] &＃61; pd.cut(app.user_rating,bins&＃61;bins,right&＃61;False)
app.head()
app.groupby(&＃39;rating_level&＃39;)[&＃39;user_rating&＃39;].describe()


plt.figure(figsize&＃61;(20,8))
sns.countplot(x&＃61;&＃39;paid&＃39;,data&＃61;app,hue&＃61;&＃39;rating_level&＃39;)#不同评分区间内的付费or免费app的数量图


1.5.3 app价格、大小和用户评分之间的关系

思路&＃xff1a;计算相关系数&＃xff0c;热力图

app[[&＃39;price&＃39;,&＃39;size_mb&＃39;,&＃39;user_rating&＃39;]].corr()


#热力图
sns.heatmap(app[[&＃39;price&＃39;,&＃39;size_mb&＃39;,&＃39;user_rating&＃39;]].corr())


结论&＃xff1a;大小和价格之间有点相关性&＃xff0c;其他的没有