大数据实战:基于Spark SQL统计分析函数求分组TopN
做大数据分析时,经常遇到求分组TopN的问题,如:求每一学科成绩前5的学生;求今日头条各个领域指数Top 30%的头条号等等。Spark SQL提供了四个排名相关的统计分析函数:
dense_rank() 返回分区内每一行的排名,排名是连续的。
rank() 返回分区内每一行的排名,排名可能不连续。
percent_rank() 返回相对百分比排名。
row_number() 返回每个分区的从1开始的连续行号。
排名函数使用例子
如果有一个表Affairs,共有25行数据。数据如下表:
Affairs表数据
在这个表上分别使用这四个函数,通过结果可以很显著看出他们的异同。
Spark SQL 排名函数使用例子
Spark SQL 排名函数执行结果
常见问题实战
1. 分别查找男女中年龄由大到小排名前3的人(排名不连续,人数可能大于3)
rank函数使用例子
rank函数执行结果
2. 分别查找男女中年龄由大到小排名前3的人(排名连续,人数可能大于3)
dense_rank使用例子
dense_rank执行结果
3. 分别查找男女中年龄最小的3个人(人数肯定为3)
row_number使用例子
row_number执行结果
说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 大数据实战:基于Spark SQL统计分析函数求分组TopN
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 大数据实战:基于Spark SQL统计分析函数求分组TopN