pandas的自带数据集_Pandas到底是个怎样的包?

sh说明&＃xff1a;本pandas非卧龙的pandas,而是Python众多科学计算包中的pandas。

本次Pandas的简洁介绍&＃xff0c;针对的是此包的新手&＃xff0c;但已假设你已懂得Python语言的基本语法&＃xff0c;以及安装了Pandas包。如需了解更多Pandas包的高级用法&＃xff0c;请移步此链接&＃xff1a;

&＃xff08;一&＃xff09;给使用者的话

pandas拥有简洁、优雅、明确的两种基本数据结构&＃xff0c;此二者将使对关系型数据的处理变得便捷和直观。

pandas的以上特点使它的用户在分析来自现实世界(无论是观测值还是统计值)的数据方面&＃xff0c;可以不关注其内部实现细节&＃xff0c;做到“拿来即用”。

此外&＃xff0c;pandas有它自己更好的愿景&＃xff0c;那就是做一个可以对接任何编程语言的开源数据分析工具。

适用于pandas的数据类型很丰富。

1. 例如表格型数据&＃xff0c;就像SQL表格和Excel表格中的数据结构(译者的话&＃xff0c;Pandas的实现机制不要求每一列的每个数据值都同属一个Python语言的内置数据类型&＃xff0c;但使用同一数据类型&＃xff0c;可使程序的运行时间缩短。)
2. 有序的和无序的(不要求频率相同&＃xff09;时间序列数据。
3. 任意拥有列标签和行标签的矩阵数据&＃xff0c;矩阵里面的数值数据类型可要求不同(译者的话&＃xff0c;我觉得在此&＃xff0c;仍然使用相同数据类型好一点&＃xff0c;使用不同数据类型对时间要求不可能不变&＃xff0c;假设为O(n)&＃xff0c;想一想&＃xff0c;如果你处理百万数量级数据呢&＃xff1f;对为i5的电脑恐怕也是够呛的吧&＃xff1f;提升到千万级别呢&＃xff1f;)
4. 任何其他的观测值和统计值数据集。这些数据就真的不必带着标签奔入pandas的怀抱了。

Pandas拥有两大内置数据结构&＃xff0c;一维数据结构-Series&＃xff0c;二维数据结构-DataFrame。这两个数据结构被广泛应用于处理金融、统计、社会科学和其他工程领域。对于R语言的使用者来说&＃xff0c;DataFrame带来了远远超过R语言data.frame提供的便利。pandas是基于Numpy而建立的(当然&＃xff0c;绝不是对Numpy的简单包装)&＃xff0c;通过与其他Python包结合&＃xff0c;旨在共同建立一个可用来进行科学计算的环境。

pandas擅长哪些事呢&＃xff1f;

1. 处理缺失值&＃xff0c;无论是在浮点数和非浮点数中&＃xff1b;
2. 可调整大小&＃xff1a;比如在二维数据结构的列可被增加或者删除&＃xff0c;在更高维的数据结构中亦如此&＃xff1b;
3. 自动的和明确的数据值对齐&＃xff0c;此种操作通过数据集的标签来对齐&＃xff0c;或者使用者跳过标签&＃xff0c;让Series互相对其或者DataFrame互相对齐&＃xff0c;如果在你的计算中&＃xff0c;你有此必要。
4. 强有力和灵活的聚合函数&＃xff0c;让你在执行分列、合并、使用其他函数去计合、转置数据时显得得心应手。

1. 在Numpy和Python的其他数据结构中&＃xff0c;若存在着数据值类型凌乱的、索引不同的数据集&＃xff0c;你可以使用Pandas很方便地将其转换为Pandas的DataFrame对象。
2. 对较大的数据集实现以列标签为基础地切片、索引和子设置。
3. 直观地合并和加入其他数据集。
4. 灵活地调整和透视其他数据集。
5. Hierarchical labeling of axes (possible to have multiple labels per tick&＃xff09;轴的分层标记中(这里的轴就是&＃xff1a;比如一个有三张表(三张DataFrame&＃xff09;的数据集中&＃xff0c;则每一张表就是一个轴&＃xff0c;而tick表示是对列的抽象&＃xff0c;每一个具体的列对象用一个列标签表示&＃xff0c;若仍有疑惑的&＃xff0c;可翻一翻此链接https://matplotlib.org/api/axes_api.html?highlight&＃61;axes#module-matplotlib.axes)。
6. 便捷的数据导入导出接口&＃xff0c;这些数据可来自CSV或者txt文本&＃xff0c;execl文件&＃xff0c;数据库&＃xff0c;以及HDF5文档。
7. 时间序列数据的特殊处理&＃xff0c;比如日期范围的生成&＃xff0c;抽取频率的确定&＃xff0c;移动窗口、线性回归&＃xff0c;日期偏移和滞后等(可看看&＃xff0c;这个链接https://zhuanlan.zhihu.com/p/92349149&＃xff09;。

以上这些原则可以帮助我们克服使用其他语言的科学计算包而遇到的不便。

数据的科学计算通常被拆解成以下的流程&＃xff1a;

1. 清洗和一致化数据&＃xff1b;
2. 分析和建模&＃xff1b;
3. 可视化数据分析结果&＃xff1b;

pandas对其中的各个流程都是理想的工具。

pandas还有其他特点

1. pandas的运行效率高。因为Cython像C语言一样接近底层的算术运算单元&＃xff0c;而Cython是一种编译型语言&＃xff0c;旨在用来实现CPython拓展模块&＃xff08;或许这个链接解释地更清楚&＃xff0c;https://cn.bing.com/search?q&＃61;what%20is%20Cython%20code&qs&＃61;n&form&＃61;QBRE&sp&＃61;-1&pq&＃61;what%20is%20cython%20code&sc&＃61;1-19&sk&＃61;&cvid&＃61;90868BB6518047D88FECB36BE1DED43D&＃xff09;&＃xff0c;pandas就是其中的拓展模块。
2. pandas是一个独立地统计计算模块&＃xff0c;这使它成为Python科学计算系统中地重要组成部分。
3. pandas在金融数据分析应用中具有可拓展性。

Padnas数据结构

为何不止一种数据结构&＃xff1f;

我们何不认为pandas数据结构是其更低维度数据结构的容器呢&＃xff1f;比如&＃xff0c;DataFrame是序列的容器(如上图所示)&＃xff0c;序列是标量的容器(标量就是一个具体的数值)。我们可以像使用Python内置数据结构dict一样对这些容器对象进行插入或者移除。

对于使用过Numpy中ndarray的人来说&＃xff0c;会问&＃xff1a;对时间序列或者样本数据集的方向控制&＃xff0c;pandas会提供哪些API方法呢&＃xff1f;

译者举个实例

假设我们导入一个6维数据呢&＃xff0c;若以此方法&＃xff0c;这是不是让人眼花缭乱呢&＃xff1f;

但pandas的表格型数据结构(DataFrame)使用索引(表示行)和标签(表示列)来帮助大家减轻这种精神负担。

DataFrame中的列是可迭代的对象&＃xff0c;说明如下&＃xff1a;

数据的可变性和数据复制

所有pandas数据结构中的数值都是可变的&＃xff0c;但不是所有数据结构中的大小是可变的。

比如&＃xff0c;Series的长度是不能改变的&＃xff0c;但是列缺可以被插入DataFrame中。然而因为有大量产生新DataFrame对象的方法&＃xff0c;因此可以让新进来的数据进入新表中。保持DataFrame的大小不变&＃xff0c;在大多数情况下是个明智的选择。

&＃xff08;二&＃xff09;正式介绍pandas的方法

本次翻译包含这样几个方面&＃xff1a;

&＃xff08;1&＃xff09;对象的创建

Pandas的基本数据结构为序列和dataframe

&＃xff08;2&＃xff09;数据查看

以行的方式、以列的方式、以索引的方式、以Numpy数组的方式、以转置的方式、以轴的方式、以某一列作为筛选列的方式

&＃xff08;3&＃xff09;数据索引或切片、定位

以索引来选择选择数据&＃xff0c;方法自然被称为数据索引&＃xff0c;选取某(几)列或某(几)行&＃xff0c;方法自然被称为数据切片&＃xff1b;选取数据通过类似于横纵坐标的方式&＃xff0c;方法自然被称为数据定位&＃xff1b;

增加列的方式

作为以上的拓展&＃xff0c;还有以布尔值判断作为数据索引或切片、定位的方式&＃xff0c;以及增加列&＃xff1b;

&＃xff08;4&＃xff09;缺失值的处理

Pandas在处理缺失值方面&＃xff0c;使用其自定义的方法&＃xff0c;np.nan。

&＃xff08;5&＃xff09;使用Pandas处理数据的基本方法

比如在数据清理方面&＃xff0c;pandas有其可直接使用的方法&＃xff0c;但实际中&＃xff0c;数据清理过程可能略显复杂&＃xff0c;因此还可以使用Pandas的apply函数&＃xff0c;它是以其他函数作为参数。

&＃xff08;6&＃xff09;值计数

&＃xff08;7&＃xff09;处理字符串的方法

这里要求Series内部值得数据类型为字符&＃xff0c;而后便按照字符串惯有的处理方法&＃xff0c;比如典型的有字母序。

&＃xff08;8&＃xff09;合并和加入

对于Series和DataFrame对象的合并&＃xff0c;pandas提供了许多便捷的方法&＃xff0c;比如join和merge-type操作。

不过&＃xff0c;此合并的内部逻辑是&＃xff1a;按照索引值来合并在一起或者进行算术运算。

&＃xff08;9&＃xff09;聚合函数

聚合函数(group by)大大减少了我们对pandas数据对象进行复杂操作的步骤。

它可以和其他函数写在同一行代码中&＃xff0c;通过“点语法”。

这些复杂操作方法包括如下&＃xff1a;

1. Splitting
2. Applying
3. Combining

&＃xff08;10&＃xff09;栈

&＃xff08;11&＃xff09;透视表

&＃xff08;12&＃xff09;时间序列

pandas在样本选取方式的修改上&＃xff0c;有着堪称简洁、优雅、明确的方法。涉及的方式修改上包括频率的修改、时间戳的修改。

这些方法可以被运用在但不限于金融数据的处理上。

&＃xff08;13&＃xff09;数值类型化

DataFrame是能够容纳一些表属性的数据的。

&＃xff08;15&＃xff09;可视化

在DataFrame或者Series对象中&＃xff0c;实现数据可视化可用plot()方法。

&＃xff08;16&＃xff09;数据的导入与导出

支持的格式有csv、text、xlsx。

&＃xff08;17&＃xff09;异常

正式开始

1. 导入此包的规范

2.对象创建

通过以list作为参数&＃xff0c;来创建一个Series对象&＃xff0c;pandas给这个对象加上默认的索引值。

通过以Numpy数组作为参数&＃xff0c;创建一个DataFrame对象&＃xff0c;日期时间对象作索引&＃xff0c;并且给它加上列标签。

通过传入dict作为参数

此时&＃xff0c;每个列的数据类型可不同。

3.查看数据

怎样查看DataFrame的最上面几行和最下面几行呢&＃xff1f;

显示索引和列名

DataFrame.to_numpy()给了我们一个像查看数组一样得方法&＃xff0c;不过数组还有索引&＃xff0c;此方法返回得结果既无索引&＃xff0c;也无列名。

如果使用此方法&＃xff0c;一旦列之间得数据类型不同&＃xff0c;则付出的时间代价是很大的&＃xff0c;这或许来自pandas和numpy的基础性差别&＃xff1a;Numpy的数组是一种数据类型&＃xff0c;而pandas得DataFrames的列与列之间可为不同数据类型。但DataFrame拥有两种或两种以上的不同数据类型时&＃xff0c;DataFrame.to_numpy()返回的结果有一个表示此结果为object的对象&＃xff0c;object为Python语言中抽象级别最高的对象&＃xff0c;比如所有类都是从object继承过来的。

describe()可以对数据做描述性统计。

数据转置

通过列排序

通过值排序

选取

1.Getting

选取一个单列&＃xff0c;返回一个Series对象&＃xff0c;效果等同于df.A

通过[]&＃xff0c;可以对行进行切片

可以自己传入表示区间的整数

也可以传入索引

通过loc函数

1.传入某一索引值&＃xff0c;返回此索引值所在行的全部数据值。

2.传入两个参数&＃xff0c;两个参数都可作为目标范围。

倘若要得到一个具体的标量值呢&＃xff1f;

定位

不管你传入几个一个参数&＃xff0c;还是两个参数&＃xff0c;第一个参数一定是表示索引的区间&＃xff0c;第二个参数表示列的区间。

比如我要选取每一列的第三行

比如我要选取一二列的第四行和第五行呢&＃xff1f;

比如我要隔一行隔一列的取呢&＃xff1f;

如果我要索引列只选取部分&＃xff0c;而选择全部其他列呢&＃xff1f;&＃xff0c;没错&＃xff01;用‘&＃xff1a;’来作贪婪匹配&＃xff01;

如果要选取全部索引列呢&＃xff1f;没错&＃xff0c;我们也用贪婪匹配&＃xff0c;

如果要实现精确打击呢&＃xff1f;根据上面的推理&＃xff0c;我们给每个位置参数传入一个整数就行了。

用boolean值来选取

如果我们要选取想某一列的值全部大于零呢&＃xff1f;

如果我们想对DataFrame表格全部大于零的值进行选取呢&＃xff1f;

假如我们像选取某个特定的数据值呢&＃xff1f;

假如我们要加一个新的列呢&＃xff1f;

这里我们先创建一个新序列&＃xff0c;毕竟你的有数据加上去啊&＃xff01;

加入一个新的列&＃xff0c;

倘若我们要对某一值进行重置呢&＃xff1f;道理是一样的&＃xff0c;先进行定位&＃xff0c;定位之后再赋值

此时第二种方法&＃xff0c;写法上更简单点&＃xff0c;只需传入两个合理的整数即可&＃xff0c;没错就是iat函数了&＃xff0c;

把某个列的值全部进行替换&＃xff0c;也是进行定位&＃xff0c;然后再赋值。

还可以用布尔值进行定位&＃xff0c;然后再赋值

以上便是查看数据部分&＃xff0c;很简单吧&＃xff0c;拿来就用&＃xff01;&＃xff01;&＃xff01;&＃xff0c;现在介绍缺失值处理部分&＃xff01;&＃xff01;&＃xff01;

处理缺失值

对于缺失值&＃xff0c;我们是不能进行任何计算的&＃xff01;

我们先根据df创造一个新的dataframe出来&＃xff0c;这个新的dataframe具有如下特点&＃xff0c;首先它的索引值变成了4个&＃xff0c;然后增加一个新的列&＃xff0c;新列的部分值成为了1.这样&＃xff0c;我们可以复习下&＃xff0c;上卖弄的方法。

没错&＃xff0c;这里的主要需要解决的就是重置索引值&＃xff0c;我们使用reindex函数。

假设我们要删除有缺失值的每一行呢&＃xff1f;&＃xff0c;使用dropna函数&＃xff0c;传入how条件表示的参数

如果我们想给缺失值补上一个值呢&＃xff1f;

如果我们想把缺失值用True来表示呢&＃xff1f;以方便进一步使用统计推断方法呢&＃xff1f;

现在就开始对数据使用初步的统计推断方法了。

求平均值

假如我们想求每一列的平均值&＃xff1f;

假如我们想求某一行的平均值&＃xff1f;

今天先改到这了。。。。。。