博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Flink Kafka consumer的消费策略配置
阅读量:4640 次
发布时间:2019-06-09

本文共 956 字,大约阅读时间需要 3 分钟。

val helloStream: FlinkKafkaConsumer011[String] = new FlinkKafkaConsumer011[String]("hello", valueDeserializer, kafkaProps)   //  指定消费策略   helloStream.setStartFromEarliest() // - 从最早的记录开始;   helloStream.setStartFromLatest() //- 从最新记录开始;   helloStream.setStartFromTimestamp(null); // 从指定的epoch时间戳(毫秒)开始;   helloStream.setStartFromGroupOffsets(); // 默认行为,从上次消费的偏移量进行继续消费。   import org.apache.flink.streaming.connectors.kafka.internals.KafkaTopicPartition   val specificStartOffsets = new mutable.HashMap[KafkaTopicPartition,Long]()   specificStartOffsets.put(new KafkaTopicPartition("myTopic", 0), 23L) // 第一个分区从23L开始   specificStartOffsets.put(new KafkaTopicPartition("myTopic", 1), 31L) // 第二个分区从31L开始   specificStartOffsets.put(new KafkaTopicPartition("myTopic", 2), 43L) // 第三个分区从43L开始   helloStream.setStartFromSpecificOffsets(specificStartOffsets) //  Kafka支持Topic自动发现,也就是用正则的方式创建FlinkKafkaConsumer

转载于:https://www.cnblogs.com/maoxiangyi/p/10912274.html

你可能感兴趣的文章
C语言对mysql数据库的操作
查看>>
SQL Server 数据库备份
查看>>
INNO SETUP 获得命令行参数
查看>>
Charles抓取https请求
查看>>
LAMP环境搭建
查看>>
C语言的变量的内存分配
查看>>
clientcontainerThrift Types
查看>>
链接全局变量再说BSS段的清理
查看>>
hdu 1728 逃离迷宫
查看>>
HTML5与CSS3权威指南之CSS3学习记录
查看>>
docker安装部署
查看>>
AVL树、splay树(伸展树)和红黑树比较
查看>>
多媒体音量条显示异常跳动
查看>>
运算符及题目(2017.1.8)
查看>>
React接入Sentry.js
查看>>
ssh自动分发密匙脚本样板
查看>>
转 小辉_Ray CORS(跨域资源共享)
查看>>
Linux安装postgresql
查看>>
MyBatis启动:MapperStatement创建
查看>>
【 全干货 】5 分钟带你看懂 Docker !
查看>>