Python数据处理工具之Pandas

人工智能AI&＃xff1a;Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战&＃xff08;不定时更新&＃xff09;

Pandas最核心的两个数据结构是一维的Series和二维的DataFrame&＃xff0c;Series是带有标签的同构类型数组&＃xff0c;而DataFrame是一个二维的表结构。
在同构类型的数据中&＃xff0c;一个DataFrame可以看作是由多个Series组成的。1.3.1 数据读取和存储Pandas是处理结构化数据非常重要的一个工具&＃xff0c;其功能强大且好用。Pandas可以从CSV、JSON、Text等格式文件中读取数据&＃xff0c;本节讲解CSV、JSON格式数据的读取和存储。1.CSV文件的读取和存储对CSV文件进行操作有两个接口&＃xff08;API&＃xff09;&＃xff0c;分别是read_csv和to_csv。&＃xff08;1&＃xff09;API: read_csvread_csv()是用来读取CSV文件的接口&＃xff0c;其具有丰富的参数&＃xff0c;可以配置来满足实际的数据读取需要。下面介绍一些关键的且常用的参数。• filepath_or_buffer&＃xff1a;配置所需读取CSV文件的路径。• sep&＃xff1a;配置CSV文件的列分隔符&＃xff0c;默认是逗号“&＃xff0c;”。• delimiter&＃xff1a;可选配置&＃xff0c;作为sep配置分隔符的别名。• delim_whitespace&＃xff1a;配置是否用空格来作为列分隔符。如果设置为True&＃xff0c;那么sep配置参数就不起作用了。• header&＃xff1a;配置用行数来作为列名&＃xff0c;默认配置成自动推断。• names&＃xff1a;配置列名&＃xff0c;如果所读取的CSV文件没有表头&＃xff0c;那么需要配置header&＃61;None&＃xff0c;否则会将第一行数据作为对应的列名。• usecols&＃xff1a;当只需要读取CSV文件中的部分数据时&＃xff0c;可以使用usecols来指定读取列名以获取数据。• dtype&＃xff1a;配置所读取数据的类型。• encoding&＃xff1a;配置文件的编码方式&＃xff0c;一般使用UTF-8或者GBK。&＃xff08;2&＃xff09;API: to_csvto_csv()用于将数据保存到CSV文件中。其参数比较多&＃xff0c;如下所示&＃xff0c;但只有第一个参数是必需的。• path_or_buf&＃xff1a;配置CSV文件的保存路径。• sep&＃xff1a;配置保存文件的分隔符&＃xff0c;默认是逗号“&＃xff0c;”。• na_rep&＃xff1a;配置空值补全的值&＃xff0c;默认用空格代替。• float_format&＃xff1a;配置将浮点数格式化成字符串类型。• columns&＃xff1a;配置需要写入列的列名&＃xff0c;如果不配置&＃xff0c;则默认从第1列开始写入。• header&＃xff1a;配置是否写入列名&＃xff0c;默认是需要写的。• index&＃xff1a;配置是否写入行名&＃xff0c;默认是需要写的。• index_label&＃xff1a;配置用来作为列索引的列&＃xff0c;默认是没有的。• mode&＃xff1a;配置写入模式&＃xff0c;默认是W。• encoding&＃xff1a;配置编码格式&＃xff0c;该配置只针对Python 3以前的版本。• line_terminator&＃xff1a;配置每行的结束符&＃xff0c;默认使用“\n”。• quotin&＃xff1a;配置CSV的引用规则。• quotechar&＃xff1a;配置用来作为引用的字符&＃xff0c;默认是空格。• chunksize&＃xff1a;配置每次写入的行数。• tuplesize_cols&＃xff1a;配置写入list的格式&＃xff0c;默认以元组的方式写入。• date_format&＃xff1a;配置时间数据的格式。2.JSON文件的读取和存储对JOSN文件进行操作有两个API&＃xff0c;分别是read_json和to_json。&＃xff08;1&＃xff09;API:read_json()read_json()是用于读取JSON文件或者返回JSON数据的接口。日常需要用到的配置参数如下。• filepath_or_buffer&＃xff1a;配置有效的JSON字符串、JSON文件的路径或者数据接口。数据接口可以是一个URL地址。• type&＃xff1a;配置将读取的数据生成Series还是DataFrame&＃xff0c;默认是DataFrame。&＃xff08;2&＃xff09;API:to_json()to_json()用于将数据保存为JSON格式。日常需要用到的配置参数如下。• path_or_buf&＃xff1a;配置JSON数据保存的路径或者写入的内存区域。• date_format&＃xff1a;配置时间数据的格式&＃xff0c;epoch表示配置成时间戳的格式&＃xff0c;iso表示配置成ISO 8601的格式。• double_precision&＃xff1a;配置小数点后保留的位数&＃xff0c;默认是10位。• force_ascii&＃xff1a;配置是否强制将String转码成ASCII&＃xff0c;默认强制进行转码。• date_unit&＃xff1a;配置时间数据的格式&＃xff0c;可以实现精确到秒级或毫秒级。1.3.2 数据查看和选取Pandas的数据对象有Series、DataFrame和Panel&＃xff0c;常用的数据类型是一维的Series和二维的DataFrame。DataFrame拥有非常丰富的API&＃xff0c;能够满足我们对数据选取和处理的需求。1.查看数据&＃xff08;1&＃xff09;df.shapedf.shape用于查看数据的维度。由于DataFrame是二维的&＃xff0c;因此df.shape的返回值包含两个元素&＃xff0c;df.shape[0]返回的是行数&＃xff0c;df.shape[1]返回的是列数。示例代码如下&＃xff1a;

&＃xff08;2&＃xff09;df.head()df.head()默认返回DataFrame数据的前5行&＃xff0c;如果需要查看更多的行数&＃xff0c;则只要传参进去即可。df.tail()默认返回数据的后5行&＃xff0c;想要查看更多的数据同样可以传参进去。想要查看列名可以使用df.columns()&＃xff0c;查看各列的平均值可以直接用df.mean()。查看数据的汇总统计可以使用df.describe()&＃xff0c;查看数据概况可以使用df.info。示例代码如下&＃xff1a;

2.选取数据在选取数据时&＃xff0c;既可以使用列名来选取&＃xff0c;也可以使用索引来选取。如果要查看某列的数据&＃xff0c;则可以用df[col_name]或者df.col_name&＃xff0c;当查看多列时可以将多列的列名作为一个数组传参进去&＃xff0c;如df[[col1&＃xff0c;col2]]。使用索引来选取数据&＃xff0c;则要用到df.iloc。大家要注意df.loc和df.iloc在使用上是有区别的&＃xff0c;df.loc传递的是索引的名称&＃xff0c;df.iloc传递的是索引的相对位置&＃xff0c;我们常用的是df.iloc。示例代码如下&＃xff1a;

1.3.3 数据处理Pandas DataFrame提供了丰富的数据处理方法&＃xff0c;为我们进行必要的数据操作和预处理提供了非常大的帮助。下面我们来看看常用的数据处理方法。1.数据合并在进行数据预处理时&＃xff0c;需要进行必要的数据合并操作&＃xff0c;将分散的数据或者部分数据整合到一起进行神经网络模型训练。DataFrame提供了多个数据拼接的方法&＃xff0c;使用pd.concat()可以直接放到数组中按行拼接&＃xff0c;也可以使用pd.merge()按列拼接&＃xff0c;或者使用df.append()增加某列数据。示例代码如下&＃xff1a;

2.数据清理在使用DataFrame进行数据处理时&＃xff0c;如果数据质量不高&＃xff0c;则需要清理一些空值或者进行空值补全。我们可以使用df3.isnull()检查数据是否为空值&＃xff0c;使用df3.isnull().sum()进行空值的统计。如果需要对空值进行补全&＃xff0c;则可以使用df3.fillna&＃xff08;n&＃xff09;&＃xff0c;n值就是替换空值的值。如果想要去掉所有带有空值的数据&＃xff0c;则可以使用df3.dropna()删除包含空值的行和列&＃xff0c;默认删除包含空值的行。df3.dropna&＃xff08;axis&＃61;1&＃xff09;会删除包含空值的列。示例代码如下&＃xff1a;

3.数据处理在进行数据处理时&＃xff0c;我们还会遇到诸如转换数据类型、统计唯一值的个数以及序列排序等需求。DataFrame也提供了一些对应的操作方法供使用&＃xff0c;比如&＃xff0c;转换数据类型可以使用df3.astype()&＃xff0c;统计唯一值的个数可以使用df3.columns.value_counts()&＃xff0c;序列排序可以使用df3.sort_values(by&＃61;colname, ascending&＃61;True)。示例代码如下&＃xff1a;