com.dtstack.dtcenter.loader.client

接口 IKafka<T>

所有已知实现类:

KafkaClientProxy

public interface IKafka<T>

方法概要

限定符和类型	方法和说明
List<String>	consumeData(ISourceDTO source, String topic, Integer collectNum, String offsetReset, Long timestampOffset, Integer maxTimeWait) 从kafka 中消费数据
Boolean	createTopic(ISourceDTO source, KafkaTopicDTO kafkaTopic) 创建 Topic
String	getAllBrokersAddress(ISourceDTO source) 获取所有 Brokers 的地址
List<T>	getAllPartitions(ISourceDTO source, String topic) 已过时。
List<KafkaConsumerDTO>	getGroupInfoByGroupId(ISourceDTO source, String groupId) 获取 kafka 消费者组详细信息
List<KafkaConsumerDTO>	getGroupInfoByGroupIdAndTopic(ISourceDTO source, String groupId, String topic) 获取 kafka 指定topic下指定消费者组详细信息
List<KafkaConsumerDTO>	getGroupInfoByTopic(ISourceDTO source, String topic) 获取 kafka 指定topic 下消费者组详细信息
List<KafkaOffsetDTO>	getOffset(ISourceDTO source, String topic) 获取特定 Topic 所有分区的偏移量
List<List<Object>>	getPreview(ISourceDTO source, SqlQueryDTO queryDTO) 已过时。 since 1.4.0 in favor of getPreview(ISourceDTO source, SqlQueryDTO queryDTO, String prevMode)
List<List<Object>>	getPreview(ISourceDTO source, SqlQueryDTO queryDTO, String prevMode) 获取预览数据
List<String>	getTopicList(ISourceDTO source) 获取 所有 Topic 信息
List<KafkaPartitionDTO>	getTopicPartitions(ISourceDTO source, String topic) 获取kafka指定topic下的分区信息
List<String>	listConsumerGroup(ISourceDTO source) 获取所有的消费者组
List<String>	listConsumerGroupByTopic(ISourceDTO source, String topic) 获取指定topic下的所有的消费者组
Boolean	testCon(ISourceDTO source) 校验 连接

方法详细资料

testCon

Boolean testCon(ISourceDTO source)

校验 连接

参数:

source -

返回:

抛出:

Exception

getAllBrokersAddress

String getAllBrokersAddress(ISourceDTO source)

获取所有 Brokers 的地址

参数:

source -

返回:

抛出:

Exception

getTopicList

List<String> getTopicList(ISourceDTO source)

获取 所有 Topic 信息

参数:

source -

返回:

抛出:

Exception

createTopic

Boolean createTopic(ISourceDTO source,
                    KafkaTopicDTO kafkaTopic)

创建 Topic

参数:

source -

kafkaTopic -

返回:

抛出:

Exception

getAllPartitions

@Deprecated
List<T> getAllPartitions(ISourceDTO source,
                                     String topic)

已过时。

获取特定 Topic 分区信息

参数:

source -

topic -

返回:

抛出:

Exception

getOffset

List<KafkaOffsetDTO> getOffset(ISourceDTO source,
                               String topic)

获取特定 Topic 所有分区的偏移量

参数:

source -

topic -

返回:

抛出:

Exception

getPreview

@Deprecated
List<List<Object>> getPreview(ISourceDTO source,
                                          SqlQueryDTO queryDTO)

已过时。 since 1.4.0 in favor of getPreview(ISourceDTO source, SqlQueryDTO queryDTO, String prevMode)

获取预览数据

参数:

source -

queryDTO -

返回:

抛出:

Exception

getPreview

List<List<Object>> getPreview(ISourceDTO source,
                              SqlQueryDTO queryDTO,
                              String prevMode)

获取预览数据

参数:

source - 数据源信息

queryDTO - 查询条件

prevMode - 预览模式

返回:

抛出:

Exception

getTopicPartitions

List<KafkaPartitionDTO> getTopicPartitions(ISourceDTO source,
                                           String topic)

获取kafka指定topic下的分区信息

参数:

source - 数据源信息

topic - topic名称

返回:

分区数量

consumeData

List<String> consumeData(ISourceDTO source,
                         String topic,
                         Integer collectNum,
                         String offsetReset,
                         Long timestampOffset,
                         Integer maxTimeWait)

从kafka 中消费数据

参数:

source - 数据源信息

topic - topic

collectNum - 最大条数

offsetReset - 从哪里开始消费

timestampOffset - 消费启始位置

maxTimeWait - 最大等待时间，单位秒

返回:

kafka数据

listConsumerGroup

List<String> listConsumerGroup(ISourceDTO source)

获取所有的消费者组

参数:

source - 数据源信息

返回:

消费者组列表

listConsumerGroupByTopic

List<String> listConsumerGroupByTopic(ISourceDTO source,
                                      String topic)

获取指定topic下的所有的消费者组

参数:

source - 数据源信息

返回:

消费者组列表

getGroupInfoByGroupId

List<KafkaConsumerDTO> getGroupInfoByGroupId(ISourceDTO source,
                                             String groupId)

获取 kafka 消费者组详细信息

参数:

source - 数据源信息

groupId - 消费者组

返回:

消费者组详细信息

getGroupInfoByTopic

List<KafkaConsumerDTO> getGroupInfoByTopic(ISourceDTO source,
                                           String topic)

获取 kafka 指定topic 下消费者组详细信息

参数:

source - 数据源信息

topic - kafka主题

返回:

消费者组详细信息

getGroupInfoByGroupIdAndTopic

List<KafkaConsumerDTO> getGroupInfoByGroupIdAndTopic(ISourceDTO source,
                                                     String groupId,
                                                     String topic)

获取 kafka 指定topic下指定消费者组详细信息

参数:

source - 数据源信息

groupId - 消费者组

topic - kafka主题

返回:

消费者组详细信息