热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

如何在ApacheSpark中加载已经分区和排序的数据

如何解决《如何在ApacheSpark中加载已经分区和排序的数据》经验,应该怎么办?

我们使用Spark 2.0.2(PySpark)对数十亿个事件进行分区和排序以进行下游处理.事件由用户划分,并在按时间戳排序的分区内.事件以Avro格式存储.下游处理是Spark(PySpark)应用程序,应该从这种分区和排序中受益.

我想知道下游应用程序如何告诉Spark它正在加载的数据(RDD/Dataframe)已经被分区并在分区内排序.我可以在分区内指定重新分区和排序,我假设Spark会随机排序并排序,因为它不知道数据的布局.这可能很昂贵,因为我们正在谈论数十亿的事件.我想避免这种情况.我怎样才能做到这一点?

谢谢 - Rupesh


推荐阅读
author-avatar
一个人跳舞__的绣绣
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有