elisa数据处理过程图解_Pandas数据处理——玩转时间序列数据

进行金融数据分析或量化研究时&＃xff0c;总避免不了时间序列数据的处理&＃xff0c;时间序列是指在一定时间内按时间顺序测量的某个变量的取值序列。常见的时间序列数据有一天内随着时间变化的温度序列&＃xff0c;又或者交易时间内不断波动的股票价格序列。Pandas也因其强大的时序处理能力而被广泛应用于金融数据分析&＃xff0c;这篇文章为大家介绍一下Pandas中的时间序列处理&＃xff0c;所使用的数据是上证指数2019年的行情数据。

时间相关的数据类型

Pandas时序处理中最常见的两种数据类型为datetime和timedelta。一个datetime可以如下图所示&＃xff1a;

datetime顾名思义就是既有日期date也有时间time&＃xff0c;表示一个具体的时间点&＃xff08;时间戳&＃xff09;。timedelta则表示两个时间点之间的差&＃xff0c;比如2020-01-01和2020-01-02之间的timedelta即为一天&＃xff0c;相信并不难理解。

将时间列转换为时间格式

大多数时候&＃xff0c;我们是从csv文件中导入数据&＃xff0c;此时Dataframe中对应的时间列是字符串的形式&＃xff0c;如下&＃xff1a;

运用pd.to_datetime()&＃xff0c;可以将对应的列转换为Pandas中的datetime64类型&＃xff0c;便于后期的处理

时间序列的索引

时间序列中索引和Pandas普通的索引类似&＃xff0c;大多时候调用.loc[index,columns]进行相应的索引&＃xff0c;直接上代码看看

提取出时间/日期的属性

在时序数据处理过程中&＃xff0c;经常需要实现下述需求&＃xff1a;

• 求某个日期对应的星期数&＃xff08;2019-06-05是第几周&＃xff09;
• 判断一个日期是周几&＃xff08;2020-01-01是周几&＃xff09;
• 判断某一日期是第几季度&＃xff08;2019-07-08属于哪个季度&＃xff09;

……

当数据中的时间列&＃xff08;本数据中为trade_date列&＃xff09;已经转换为datetime64格式时&＃xff0c;仅需调用.dt接口&＃xff0c;即可快速求得想要的结果&＃xff0c;下表中列出了.dt接口所提供的常见属性&＃xff1a;

具体演示一下&＃xff08;下面仅显示2019-01-02的信息&＃xff09;&＃xff1a;

resample

resample翻译过来是重采样的意思&＃xff0c;官方文档中是这么描述resample的

resample() is a time-based groupby

翻译过来就是基于时间的groupby操作&＃xff0c;我个人认为这是Pandas时间序列处理中最重要的功能&＃xff0c;也是本文的重中之重。

根据采样是从低频到高频还是从高频到低频可以分为升采样和降采样两种方式&＃xff0c;先来看看降采样是啥

• 降采样

以一个实例来引入&＃xff0c;我们使用的数据是上证指数2019年的日级别数据&＃xff0c;如果现在想求每季度的平均收盘价&＃xff0c;应该怎么操作呢&＃xff1f;

从日级别数据求季度级别数据&＃xff0c;是从高频到低频的聚合操作&＃xff0c;其实就类似于groupby按季度进行操作&＃xff0c;用resample来写是这样子

其中&＃39;Q&＃39;是以季度为频率进行采样&＃xff0c;on指定datetime列&＃xff08;如果索引为Datetimeindex&＃xff0c;则on不需要指定&＃xff0c;默认依据索引进行降采样&＃xff09;。整个过程图解如下&＃xff1a;

整个过程其实就是一个groupby过程&＃xff1a;

• 对原有的数据按照指定的频率进行切分&＃xff0c;分到不同的group中
• 对不同的group执行操作
• 整合操作结果

其中&＃xff0c;切分的频率可以为任何时间频率&＃xff0c;可以为季度Q、月度M、星期W、N天ND&＃xff0c;也可以为时H、分T&＃xff0c;当然&＃xff0c;如果切分后的频率小于原有的时间频率&＃xff0c;就是我们下面要讲的升采样。

• 升采样

当采样的频率低于原有的频率时&＃xff0c;即为升采样。升采样是对原有的时间粒度更为细粒度的划分&＃xff0c;所以升采样时会产生缺失值。下面取2019-01-02至2019-01-03的数据按照6H的频率演示一下&＃xff1a;

对resample后的结果应用.asfreq()会返回新频率下的结果。可以看到升采样后产生了缺失值。如果想要填充缺失值可以采用向后填充.bfill()或向前填充.ffill()的方式&＃xff1a;

总结一下resample&＃xff0c;resample可以对原有的时间序列进行任何频率freq的采样&＃xff0c;如果从低频到高频为升采样&＃xff0c;高频到低频为降采样。整个操作过程和groupby基本一致&＃xff0c;所以也可以对resample后的对象进行apply和transform等操作&＃xff0c;具体操作和原理这里就不多解释了&＃xff0c;类比于groupby即可&＃xff0c;参看这篇文章Pandas数据分析——超好用的Groupby详解。

相关文章&＃xff1a;

1. Pandas数据处理三板斧——map、apply、applymap详解
2. Pandas数据分析——超好用的Groupby详解
3. Pandas数据分析——Merge数据拼接图文详解
4. 提速百倍的Pandas性能优化方法&＃xff0c;让你的Pandas飞起来&＃xff01;
5. Pandas数据处理——盘点那些常用的函数&＃xff08;上&＃xff09;
6. Pandas数据处理——盘点那些常用的函数&＃xff08;下&＃xff09;
7. 天秀&＃xff01;Pandas还能用来写爬虫&＃xff1f;
8. 提高数据的颜值&＃xff01;一起看看Pandas中的那些Style

原创不易&＃xff0c;如果觉得有点用&＃xff0c;希望可以点个赞&＃xff0c;拜谢各位老铁&＃xff01;