com.dtstack.dtcenter.loader.client.mq

类 KafkaClientProxy<T>

java.lang.Object

com.dtstack.dtcenter.loader.client.mq.KafkaClientProxy<T>

所有已实现的接口:

IKafka<T>

public class KafkaClientProxy<T>
extends Object
implements IKafka<T>

构造器概要

构造器

构造器和说明
KafkaClientProxy(IKafka targetClient)

方法概要

限定符和类型	方法和说明
List<String>	consumeData(ISourceDTO source, String topic, Integer collectNum, String offsetReset, Long timestampOffset, Integer maxTimeWait) 从kafka 中消费数据
Boolean	createTopic(ISourceDTO source, KafkaTopicDTO kafkaTopic) 创建 Topic
String	getAllBrokersAddress(ISourceDTO source) 获取所有 Brokers 的地址
List<T>	getAllPartitions(ISourceDTO source, String topic) 获取特定 Topic 分区信息
List<KafkaConsumerDTO>	getGroupInfoByGroupId(ISourceDTO source, String groupId) 获取 kafka 消费者组详细信息
List<KafkaConsumerDTO>	getGroupInfoByGroupIdAndTopic(ISourceDTO source, String groupId, String topic) 获取 kafka 指定topic下指定消费者组详细信息
List<KafkaConsumerDTO>	getGroupInfoByTopic(ISourceDTO source, String topic) 获取 kafka 指定topic 下消费者组详细信息
List<KafkaOffsetDTO>	getOffset(ISourceDTO source, String topic) 获取特定 Topic 所有分区的偏移量
List<List<Object>>	getPreview(ISourceDTO source, SqlQueryDTO queryDTO) 获取预览数据
List<List<Object>>	getPreview(ISourceDTO source, SqlQueryDTO queryDTO, String prevMode) 获取预览数据
List<String>	getTopicList(ISourceDTO source) 获取 所有 Topic 信息
List<KafkaPartitionDTO>	getTopicPartitions(ISourceDTO source, String topic) 获取kafka指定topic下的分区信息
List<String>	listConsumerGroup(ISourceDTO source) 获取所有的消费者组
List<String>	listConsumerGroupByTopic(ISourceDTO source, String topic) 获取指定topic下的所有的消费者组
Boolean	testCon(ISourceDTO source) 校验 连接

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

KafkaClientProxy

public KafkaClientProxy(IKafka targetClient)

方法详细资料

testCon

public Boolean testCon(ISourceDTO source)

从接口复制的说明: IKafka

校验 连接

指定者:

testCon 在接口中 IKafka<T>

返回:

getAllBrokersAddress

public String getAllBrokersAddress(ISourceDTO source)

从接口复制的说明: IKafka

获取所有 Brokers 的地址

指定者:

getAllBrokersAddress 在接口中 IKafka<T>

返回:

getTopicList

public List<String> getTopicList(ISourceDTO source)

从接口复制的说明: IKafka

获取 所有 Topic 信息

指定者:

getTopicList 在接口中 IKafka<T>

返回:

createTopic

public Boolean createTopic(ISourceDTO source,
                           KafkaTopicDTO kafkaTopic)

从接口复制的说明: IKafka

创建 Topic

指定者:

createTopic 在接口中 IKafka<T>

返回:

getAllPartitions

public List<T> getAllPartitions(ISourceDTO source,
                                String topic)

从接口复制的说明: IKafka

获取特定 Topic 分区信息

指定者:

getAllPartitions 在接口中 IKafka<T>

返回:

getOffset

public List<KafkaOffsetDTO> getOffset(ISourceDTO source,
                                      String topic)

从接口复制的说明: IKafka

获取特定 Topic 所有分区的偏移量

指定者:

getOffset 在接口中 IKafka<T>

返回:

getPreview

public List<List<Object>> getPreview(ISourceDTO source,
                                     SqlQueryDTO queryDTO)

从接口复制的说明: IKafka

获取预览数据

指定者:

getPreview 在接口中 IKafka<T>

返回:

getPreview

public List<List<Object>> getPreview(ISourceDTO source,
                                     SqlQueryDTO queryDTO,
                                     String prevMode)

从接口复制的说明: IKafka

获取预览数据

指定者:

getPreview 在接口中 IKafka<T>

参数:

source - 数据源信息

queryDTO - 查询条件

prevMode - 预览模式

返回:

getTopicPartitions

public List<KafkaPartitionDTO> getTopicPartitions(ISourceDTO source,
                                                  String topic)

从接口复制的说明: IKafka

获取kafka指定topic下的分区信息

指定者:

getTopicPartitions 在接口中 IKafka<T>

参数:

source - 数据源信息

topic - topic名称

返回:

分区数量

consumeData

public List<String> consumeData(ISourceDTO source,
                                String topic,
                                Integer collectNum,
                                String offsetReset,
                                Long timestampOffset,
                                Integer maxTimeWait)

从接口复制的说明: IKafka

从kafka 中消费数据

指定者:

consumeData 在接口中 IKafka<T>

参数:

source - 数据源信息

topic - topic

collectNum - 最大条数

offsetReset - 从哪里开始消费

timestampOffset - 消费启始位置

maxTimeWait - 最大等待时间，单位秒

返回:

kafka数据

listConsumerGroup

public List<String> listConsumerGroup(ISourceDTO source)

从接口复制的说明: IKafka

获取所有的消费者组

指定者:

listConsumerGroup 在接口中 IKafka<T>

参数:

source - 数据源信息

返回:

消费者组列表

listConsumerGroupByTopic

public List<String> listConsumerGroupByTopic(ISourceDTO source,
                                             String topic)

从接口复制的说明: IKafka

获取指定topic下的所有的消费者组

指定者:

listConsumerGroupByTopic 在接口中 IKafka<T>

参数:

source - 数据源信息

返回:

消费者组列表

getGroupInfoByGroupId

public List<KafkaConsumerDTO> getGroupInfoByGroupId(ISourceDTO source,
                                                    String groupId)

从接口复制的说明: IKafka

获取 kafka 消费者组详细信息

指定者:

getGroupInfoByGroupId 在接口中 IKafka<T>

参数:

source - 数据源信息

groupId - 消费者组

返回:

消费者组详细信息

getGroupInfoByTopic

public List<KafkaConsumerDTO> getGroupInfoByTopic(ISourceDTO source,
                                                  String topic)

从接口复制的说明: IKafka

获取 kafka 指定topic 下消费者组详细信息

指定者:

getGroupInfoByTopic 在接口中 IKafka<T>

参数:

source - 数据源信息

topic - kafka主题

返回:

消费者组详细信息

getGroupInfoByGroupIdAndTopic

public List<KafkaConsumerDTO> getGroupInfoByGroupIdAndTopic(ISourceDTO source,
                                                            String groupId,
                                                            String topic)

从接口复制的说明: IKafka

获取 kafka 指定topic下指定消费者组详细信息

指定者:

getGroupInfoByGroupIdAndTopic 在接口中 IKafka<T>

参数:

source - 数据源信息

groupId - 消费者组

topic - kafka主题

返回:

消费者组详细信息