我试图在a count
中返回一个unique
值pandas df
.这是每个人的累积计数row
.我的目标是合并一个函数,该函数确定当前在任何时间点发生的值.
import pandas as pd
df = pd.DataFrame({
'A' : ['8:06:00','11:00:00','11:30:00','12:00:00','13:00:00','13:30:00','14:00:00','17:00:00'],
'B' : ['ABC','ABC','DEF','XYZ','ABC','LMN','DEF','ABC'],
'C' : [1,2,1,1,3,1,2,4],
})
A B C
0 8:06:00 ABC 1
1 11:00:00 ABC 2
2 11:30:00 DEF 1
3 12:00:00 XYZ 1
4 13:00:00 ABC 3
5 13:30:00 LMN 1
6 14:00:00 DEF 2
7 17:00:00 ABC 4
所以有4个unique
值col['B']
.我正在测量通过
df1 = df['B'].nunique()
但是我希望iterates
通过它来合并一个函数column
来识别是否再次出现任何特定值.如果不是,我希望计数减少.如果这是第一次显示该值,我想增加计数.如果该值已经出现并再次出现,则计数应保持不变.这将显示在任何时间点发生的值的数量.
使用@jpp的代码,我们生成以下内容:
cum_maxer = pd.Series(pd.factorize(df['B'])[0] + 1).cummax()
df['res'] = cum_maxer - df['B'].duplicated().cumsum()
print(df)
日期:
A B C res
0 8:06:00 ABC 1 1
1 11:00:00 ABC 2 0
2 11:30:00 DEF 1 1
3 12:00:00 XYZ 1 2
4 13:00:00 ABC 3 1
5 13:30:00 LMN 1 2
6 14:00:00 DEF 2 1
7 17:00:00 ABC 4 0
预期输出 'res'
0 1
1 1
2 2
3 3
4 2
5 3
6 2
7 1
基本上,如果value
我第一次出现,我想将它添加到cumulative count
.如果值结束(稍后不会出现),则计数应该减少.如果值已经出现并再次出现,则计数应该保持不变.
每行的断开和预期的输出:
1st row
,ABC
第一次出现,稍后出现.Count = +1
2nd row
,ABC
再次出现所以没有增加.它也出现在后来所以没有减少.Count = no change
3rd row
,DEF
第一次出现,稍后出现.Count = +1
4th row
,XYZ
这是第一次出现但后来没有出现.在这个时间点,正在发生3个值,所以count is 3
.计数自动下降到下一行XYZ has finished
5th row
,如上所述XYZ
已经完成ABC
,DEF
目前正在进行中.该ABC
值也会再次显示出来count is 2
.
6th row
,LMN
这是第一次出现,所以计数增加.这意味着ABC, DEF, LMN
当时是最新的.很像row 4
,LMN
不再出现所以计数将在下一行减少LMN
完成.Count is 3
第7行,DEF
和ABC
目前在这样的count is 2
.由于DEF
没有再出现,计数将在下一行减少.
第8行,ABC
目前唯一的值是这样的count is 1
.
1> rafaelc..:
您也可以使用 np.unique
u = np.unique(df.B, return_index=True)
df['id'] = df.B.map(dict(zip(*u))) + 1
0 1
1 2
2 3
3 1
4 2
5 1
编辑的问题
对于您编辑的问题,这是一个解决方案。首先,使用cumcount
反向数据框来查看未来
df['u'] = df[::-1].groupby('B').B.cumcount()
这样u
表示B
当前每个电流B
出现多少次。然后,zip
B
和u
你的逻辑,使用S_n = S_{n-1} + new_value + dec
其中new_value
一个标志是True
,如果当前val
是一个新的价值,并且dec
是True
如果前一行是(即价值的最后一次出现u==0
在那个时候)。该代码将类似于
ids = [1]
seen = set([df.iloc[0].B])
dec = False
for val, u in zip(df.B[1:], df.u[1:]):
ids.append(ids[-1] + (val not in seen) - dec)
seen.add(val)
dec = u == 0
df['S'] = ids
A B C u S expected
0 8:06:00 ABC 1 3 1 1
1 11:00:00 ABC 2 2 1 1
2 11:30:00 DEF 1 1 2 2
3 12:00:00 XYZ 1 0 3 3
4 13:00:00 ABC 3 1 2 2
5 13:30:00 LMN 1 0 3 3
6 14:00:00 DEF 2 0 2 2
7 17:00:00 ABC 4 0 1 1
哪里
>>> (df.S == df.expected).all()
True
时机
df = pd.DataFrame({
'A' : ['8:06:00','11:00:00','11:30:00','12:00:00','13:00:00','13:30:00','14:00:00','17:00:00'],
'B' : ['ABC','ABC','DEF','XYZ','ABC','LMN','DEF','ABC'],
'C' : [1,2,1,1,3,1,2,4],
})
def matt(df):
valsets = df['B'].apply(lambda x: {x})
union_sets = np.frompyfunc(lambda x, y: x | y, 2, 1)
intersect_count = np.frompyfunc(lambda x, y: len(x & y), 2, 1)
seen = union_sets.accumulate(valsets, dtype=np.object)
to_be_seen = union_sets.accumulate(valsets[::-1], dtype=np.object)[::-1]
df['res'] = intersect_count(seen, to_be_seen)
return df
def raf(df):
ids = [1]
seen = set([df.iloc[0].B])
dec = False
df['u'] = df[::-1].groupby('B').B.cumcount()
for val, u in zip(df.B[1:], df.u[1:]):
ids.append(ids[-1] + (val not in seen) - dec)
seen.add(val)
dec = u == 0
df['S'] = ids
return df
df = pd.concat([df]*10000).reset_index()
结果
%timeit matt(df)
168 ms ± 12.9 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
%timeit raf(df)
64.2 ms ± 2.04 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)