pyspark;检查元素是否在collect_list中

我正在处理一个数据框df，例如以下数据框：

df.show()

输出：

+----+------+
|keys|values|
+----+------+
|  aa| apple|
|  bb|orange|
|  bb|  desk|
|  bb|orange|
|  bb|  desk|
|  aa|   pen|
|  bb|pencil|
|  aa| chair|
+----+------+

我使用collect_set聚合来获得一组消除了重复元素的对象（或collect_list获得对象列表）。

df_new = df.groupby('keys').agg(collect_set(df.values).alias('collectedSet_values'))

结果数据帧如下：

df_new.show()

输出：

+----+----------------------+
|keys|collectedSet_values   |
+----+----------------------+
|bb  |[orange, pencil, desk]|
|aa  |[apple, pen, chair]   |
+----+----------------------+

我正在努力寻找一种方法来查看结果集中的对象（在列中collectedSet_values）中是否存在特定的关键字（例如“ chair” ）。我不想udf解决。

请评论您的解决方案/想法。

亲切的问候。