spark streaming kafka 三种接口

第一个接口 createStream ,这个接口的可以直接写zookeeper,控制消费进度,但是问题是只能消费当前的,即便更新group id, 也不能获取历史的数据。

第二个接口, createDirectRDD , 这个需要直接读取kafka,但是只能控制fromoffset, 没有endoffset,哈,量太多怎么办

第三个接口 createRDD, 可以指定fromoffseet, endoffset,  但是要自己写zookeeper,我目前用的就是这个

Leave a comment

Your email address will not be published.

*