分段读取csv文件并可视化处理

篇首语：本文由编程笔记#小编为大家整理，主要介绍了分段读取csv文件并可视化处理相关的知识，希望对你有一定的参考价值。

使用数据为csv文件&＃xff0c;数据有89万条记录&＃xff0c;名称字段具体如下&＃xff1a;

2.1完整读取数据并显示

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
inputpath&＃61;r"E:\\csv_dbscan\\ATL03_20200703015729_01180802_005_01_gt1r.csv"
df&＃61;pd.read_csv(inputpath)
X&＃61;df[&＃39;Time (sec)&＃39;]
Y&＃61;df[&＃39;Height (m HAE)&＃39;]
plt.figure()
plt.scatter(X,Y,marker&＃61;&＃39;o&＃39;,s&＃61;0.000003,label&＃61;&＃39;Point Cloud&＃39;)
plt.legend()
plt.show()

放大显示&＃xff1a;

 2.2分段读取数据并显示

&＃xff08;1&＃xff09;根据总记录数和分段数来计算每段的数量是多少&＃xff0c;然后我们每次只读取一段数据。

方法1&＃xff1a;使用chunksize参数实现分段读取和显示

chunksize是按照行记录数量来分段的

df_chunker &＃61; pd.read_csv(inputpath,chunksize&＃61;segment_count)
for df_item in df_chunker:
X_seg &＃61; df_item[&＃39;Time (sec)&＃39;]
Y_seg &＃61; df_item[&＃39;Height (m HAE)&＃39;]
plt.figure()
plt.scatter(X_seg, Y_seg, marker&＃61;&＃39;o&＃39;, s&＃61;1, label&＃61;&＃39;Point Cloud&＃39;)
plt.legend()
plt.show()

比如我们每段数据设置为segment_count&＃61;10000条&＃xff0c;那么就有segment_n&＃61;N/segment_count(segment_count每段记录数&＃xff0c;N总记录数&＃xff0c;segment_n为段数&＃xff09;段数据。

我们按照顺序读取每段数据并显示&＃xff1a;

方法2&＃xff1a;使用沿线距离来分段显示 

比如我们使用Along-Track (m)属性1000m分段显示&＃xff1a;第一段的范围是20201.67926-20301.67926&＃xff0c;后面依次加1000.

len_data&＃61;len(df[&＃39;Time (sec)&＃39;]) #行记录数
segment_count&＃61;1000
Along_track_n&＃61;int((df[&＃39;AlongTrack&＃39;][len_data-1]-df[&＃39;AlongTrack&＃39;][0])/segment_count)&＃43;1
start&＃61;df[&＃39;AlongTrack&＃39;][0]
end&＃61;df[&＃39;AlongTrack&＃39;][len_data-1]
for len_seg in range(Along_track_n):
df_seg &＃61; df.loc[(df[&＃39;AlongTrack&＃39;] >&＃61; (start &＃43; len_seg * segment_count)) & (df[&＃39;AlongTrack&＃39;] <&＃61; (start&＃43; (len_seg &＃43; 1) * segment_count)),:]
X_seg &＃61; df_seg[&＃39;AlongTrack&＃39;]
Y_seg &＃61; df_seg[&＃39;Height (m HAE)&＃39;]
if len(X_seg)&＃61;&＃61;0:
print("该段没数据&＃xff01;")
plt.figure()
plt.scatter(X_seg, Y_seg, marker&＃61;&＃39;o&＃39;, s&＃61;1, label&＃61;&＃39;Point Cloud&＃39;)
plt.legend()
plt.show()