--国庆净玩了,没有好好想这个问题.周一来了之后整理了一下思路,并参考(抄袭)了网上的一些实现,现在把完整的代码给贴一下. 附上参考的链接

--感谢 4 楼的兄弟提供思路

在 Hbase 建表的时候,预分区是必要的,但是 Hbase 的数据插入分区的时候,又是和 rowkey 的初始几位密切相关

但是随之产生的问题就是我主楼里提到的.以下代码解决了这个问題

具体的实现过程主要是两个类,一个重写了 RDD 的实现,一个用于从 hbase 拉取数据

#重写该方法用于计算每一个 partition

以上是重写 RDD,hbase 的具体 scan 操作,在我上面的链接裏可以找到,我照搬了过来.但是要注意他的 58 行,要把 startRow 改成 stopRow,不然的话其他代码写得再好都白费啦