| 限定符和类型 | 方法和说明 |
|---|---|
T |
Manager.getConnection(ISourceDTO source)
获取连接
|
T |
Manager.initSource(ISourceDTO source)
初始化数据源连接池
|
| 限定符和类型 | 方法和说明 |
|---|---|
Boolean |
ITable.alterTableParams(ISourceDTO source,
String tableName,
Map<String,String> params)
修改表参数
|
boolean |
IHdfsFile.checkAndDelete(ISourceDTO source,
String remotePath)
文件检测并删除
|
List<String> |
IKafka.consumeData(ISourceDTO source,
String topic,
Integer collectNum,
String offsetReset,
Long timestampOffset,
Integer maxTimeWait)
从kafka 中消费数据
|
boolean |
IHdfsFile.copyDirector(ISourceDTO source,
String src,
String dist)
复制文件夹
|
boolean |
IHdfsFile.copyFile(ISourceDTO source,
String src,
String dist,
boolean isOverwrite)
复制文件
|
boolean |
IHdfsFile.copyFromLocal(ISourceDTO source,
String srcPath,
String dstPath,
boolean overwrite)
从本地copy到hdfs
|
boolean |
IHdfsFile.copyToLocal(ISourceDTO source,
String srcPath,
String dstPath)
从hdfs copy文件到本地
|
Boolean |
IClient.createDatabase(ISourceDTO source,
String dbName,
String comment)
创建数据库
|
boolean |
IHdfsFile.createDir(ISourceDTO source,
String remotePath,
Short permission)
创建 HDFS 路径
|
Boolean |
IHbase.createHbaseTable(ISourceDTO source,
String tableName,
String[] colFamily)
hbase创建表
|
Boolean |
IHbase.createHbaseTable(ISourceDTO source,
String namespace,
String tableName,
String[] colFamily)
hbase创建表,指定namespace
|
Boolean |
IKafka.createTopic(ISourceDTO source,
KafkaTopicDTO kafkaTopic)
创建 Topic
|
boolean |
IHdfsFile.delete(ISourceDTO source,
String remotePath,
boolean recursive)
直接删除目标路径文件
|
Boolean |
IHbase.deleteByRowKey(ISourceDTO source,
String tableName,
String family,
String qualifier,
List<String> rowKeys)
hbase 根据rowKey删除数据
|
Boolean |
ITsdb.deleteData(ISourceDTO source,
String metric,
List<String> fields,
long startTime,
long endTime)
根据 metric 、字段、开始时间、结束时间删除数据
|
Boolean |
ITsdb.deleteData(ISourceDTO source,
String metric,
long startTime,
long endTime)
根据 metric 、开始时间、结束时间删除数据
|
Boolean |
ITsdb.deleteData(ISourceDTO source,
String metric,
Map<String,String> tags,
List<String> fields,
long startTime,
long endTime)
根据 metric 、tags、字段、开始时间、结束时间删除数据
|
Boolean |
ITsdb.deleteData(ISourceDTO source,
String metric,
Map<String,String> tags,
long startTime,
long endTime)
根据 metric 、tags、开始时间、结束时间删除数据
|
boolean |
IHdfsFile.deleteFiles(ISourceDTO source,
List<String> fileNames)
删除文件
|
Boolean |
IHbase.deleteHbaseTable(ISourceDTO source,
String tableName)
hbase 删除表
|
Boolean |
IHbase.deleteHbaseTable(ISourceDTO source,
String namespace,
String tableName)
hbase 删除表
|
Boolean |
ITsdb.deleteMeta(ISourceDTO source,
String metric,
List<String> fields,
Map<String,String> tags,
boolean deleteData,
boolean recursive)
根据 metric 、tags 删除数据
|
Boolean |
ITsdb.deleteMeta(ISourceDTO source,
String metric,
Map<String,String> tags)
根据 metric 、tags删除数据
|
Boolean |
ITsdb.deleteMeta(ISourceDTO source,
String metric,
Map<String,String> tags,
boolean deleteData,
boolean recursive)
根据 metric 、tags 删除数据
|
Boolean |
ITsdb.deleteMeta(ISourceDTO source,
String metric,
Map<String,String> tags,
List<String> fields)
根据 metric 、tags、fields删除数据
|
boolean |
IHdfsFile.downloadFileFromHdfs(ISourceDTO source,
String remotePath,
String localDir)
从 HDFS 上下载文件或文件夹到本地
|
Boolean |
ITable.dropTable(ISourceDTO source,
String tableName)
删除表,成功返回true,失败返回false
|
List<Map<String,Object>> |
IHbase.executeQuery(ISourceDTO source,
HbaseQueryDTO hbaseQueryDTO,
TimestampFilter timestampFilter)
hbase 自定义查询
|
List<Map<String,Object>> |
IClient.executeQuery(ISourceDTO source,
SqlQueryDTO queryDTO)
执行查询
|
List<Map<String,Object>> |
ITable.executeQuery(ISourceDTO source,
String sql)
执行sql查询
|
Boolean |
IClient.executeSqlWithoutResultSet(ISourceDTO source,
SqlQueryDTO queryDTO)
执行查询,无需结果集
|
Boolean |
ITable.executeSqlWithoutResultSet(ISourceDTO source,
String sql)
执行sql,不需要结果
|
boolean |
IHdfsFile.fileMerge(ISourceDTO source,
String src,
String mergePath,
FileFormat fileFormat,
Long maxCombinedFileSize,
Long needCombineFileSizeLimit)
合并小文件
|
String |
IKafka.getAllBrokersAddress(ISourceDTO source)
获取所有 Brokers 的地址
|
List<String> |
IClient.getAllDatabases(ISourceDTO source,
SqlQueryDTO queryDTO)
获取所有的 DB
|
List<T> |
IKafka.getAllPartitions(ISourceDTO source,
String topic)
已过时。
|
List<String> |
IClient.getCatalogs(ISourceDTO source)
获取数据源/数据库目录列表,目前presto使用,后续pgSql等可以实现该方法用于获取所有库
|
List<String> |
IClient.getColumnClassInfo(ISourceDTO source,
SqlQueryDTO queryDTO)
返回字段 Java 类的标准名称
字段名若不填则默认全部
|
List<ColumnMetaDTO> |
IHdfsFile.getColumnList(ISourceDTO source,
SqlQueryDTO queryDTO,
String fileFormat)
获取hdfs上存储文件的字段信息
|
List<ColumnMetaDTO> |
IClient.getColumnMetaData(ISourceDTO source,
SqlQueryDTO queryDTO)
获取表字段属性
字段名若不填则默认全部, 是否过滤分区字段 不填默认不过滤
|
List<ColumnMetaDTO> |
IClient.getColumnMetaDataWithSql(ISourceDTO source,
SqlQueryDTO queryDTO)
根据自定义sql获取表字段属性
|
Connection |
IClient.getCon(ISourceDTO source)
获取 连接
|
Connection |
ITable.getCon(ISourceDTO source)
rdbms数据库获取连接唯一入口,对抛出异常进行统一处理
|
Connection |
IClient.getCon(ISourceDTO source,
String taskParams)
获取 连接
|
List<HDFSContentSummary> |
IHdfsFile.getContentSummary(ISourceDTO source,
List<String> hdfsDirPaths)
批量统计文件夹内容摘要,包括文件的数量,文件夹的数量,文件变动时间,以及这个文件夹的占用存储等内容
|
HDFSContentSummary |
IHdfsFile.getContentSummary(ISourceDTO source,
String hdfsDirPath)
统计文件夹内容摘要,包括文件的数量,文件夹的数量,文件变动时间,以及这个文件夹的占用存储等内容
|
String |
IClient.getCreateTableSql(ISourceDTO source,
SqlQueryDTO queryDTO)
获取建表语句
|
String |
IClient.getCurrentDatabase(ISourceDTO source)
获取当前使用的数据库
|
long |
IHdfsFile.getDirSize(ISourceDTO source,
String remotePath)
获取路径文件大小
|
IDownloader |
IClient.getDownloader(ISourceDTO source,
SqlQueryDTO queryDTO)
获取对应的downloader
|
IDownloader |
IClient.getDownloader(ISourceDTO source,
String sql,
Integer pageSize)
根据执行 sql 下载数据
|
IDownloader |
IHdfsFile.getDownloaderByFormat(ISourceDTO source,
String tableLocation,
List<String> columnNames,
String fieldDelimiter,
String fileFormat)
根据文件格式获取对应的downlaoder
|
IDownloader |
IHdfsFile.getFileDownloader(ISourceDTO iSource,
String path)
文件下载器
|
List<ColumnMetaDTO> |
IClient.getFlinkColumnMetaData(ISourceDTO source,
SqlQueryDTO queryDTO)
获取flinkSql字段名称
|
List<KafkaConsumerDTO> |
IKafka.getGroupInfoByGroupId(ISourceDTO source,
String groupId)
获取 kafka 消费者组详细信息
|
List<KafkaConsumerDTO> |
IKafka.getGroupInfoByGroupIdAndTopic(ISourceDTO source,
String groupId,
String topic)
获取 kafka 指定topic下指定消费者组详细信息
|
List<KafkaConsumerDTO> |
IKafka.getGroupInfoByTopic(ISourceDTO source,
String topic)
获取 kafka 指定topic 下消费者组详细信息
|
IDownloader |
IHdfsFile.getLogDownloader(ISourceDTO iSource,
SqlQueryDTO queryDTO)
日志下载器
|
List<KafkaOffsetDTO> |
IKafka.getOffset(ISourceDTO source,
String topic)
获取特定 Topic 所有分区的偏移量
|
List<ColumnMetaDTO> |
IClient.getPartitionColumn(ISourceDTO source,
SqlQueryDTO queryDTO)
获取分区字段
|
List<List<Object>> |
IKafka.getPreview(ISourceDTO source,
SqlQueryDTO queryDTO)
已过时。
since 1.4.0 in favor of
IKafka.getPreview(ISourceDTO source, SqlQueryDTO queryDTO, String prevMode) |
List<List<Object>> |
IClient.getPreview(ISourceDTO source,
SqlQueryDTO queryDTO)
获取预览数据
|
List<List<Object>> |
IKafka.getPreview(ISourceDTO source,
SqlQueryDTO queryDTO,
String prevMode)
获取预览数据
|
List<String> |
IClient.getRootDatabases(ISourceDTO source,
SqlQueryDTO queryDTO)
获取所有的db,此方法目的为获取所有的 database,为了解决一些遗留问题。
|
String |
IHbase.getRow(ISourceDTO source,
String tableName,
String rowKey,
String family,
String qualifier)
hbase根据rowKey获取数据
|
FileStatus |
IHdfsFile.getStatus(ISourceDTO source,
String location)
获取 HDFS 对应地址文件信息
|
Table |
IClient.getTable(ISourceDTO source,
SqlQueryDTO queryDTO)
获取表信息
|
List<String> |
IClient.getTableList(ISourceDTO source,
SqlQueryDTO queryDTO)
返回所有的表字段名称
是否视图表,默认不过滤
|
List<String> |
IClient.getTableListBySchema(ISourceDTO source,
SqlQueryDTO queryDTO)
根据schema/db获取表
|
String |
IClient.getTableMetaComment(ISourceDTO source,
SqlQueryDTO queryDTO)
获取表注释
|
Long |
ITable.getTableSize(ISourceDTO source,
String schema,
String tableName)
获取表占用存储
|
List<String> |
IKafka.getTopicList(ISourceDTO source)
获取 所有 Topic 信息
|
List<KafkaPartitionDTO> |
IKafka.getTopicPartitions(ISourceDTO source,
String topic)
获取kafka指定topic下的分区信息
|
String |
IClient.getVersion(ISourceDTO source)
获取当前数据源的版本
|
Map<String,String> |
ITsdb.getVersionInfo(ISourceDTO source)
获取详细版本信息
|
Boolean |
IClient.isDatabaseExists(ISourceDTO source,
String dbName)
判断数据库是否存在
|
Boolean |
IHbase.isDbExists(ISourceDTO source,
String namespace)
判断namespace是否存在
|
boolean |
IHdfsFile.isDirExist(ISourceDTO source,
String remotePath)
路径目录是否存在
|
boolean |
IHdfsFile.isFileExist(ISourceDTO source,
String remotePath)
路径文件是否存在
|
Boolean |
IClient.isTableExistsInDatabase(ISourceDTO source,
String tableName,
String dbName)
判断该数据库中是否存在该表
|
Boolean |
ITable.isView(ISourceDTO source,
String schema,
String tableName)
已过时。
|
List<String> |
IHdfsFile.listAllFilePath(ISourceDTO source,
String remotePath)
获取目录下所有文件
|
List<FileStatus> |
IHdfsFile.listAllFiles(ISourceDTO source,
String remotePath,
boolean isIterate)
获取目录下所有文件的属性集
|
List<String> |
IKafka.listConsumerGroup(ISourceDTO source)
获取所有的消费者组
|
List<String> |
IKafka.listConsumerGroupByTopic(ISourceDTO source,
String topic)
获取指定topic下的所有的消费者组
|
List<String> |
IClient.listFileNames(ISourceDTO sourceDTO,
String path,
Boolean includeDir,
Boolean recursive,
Integer maxNum,
String regexStr)
列出指定路径下的文件
|
List<FileStatus> |
IHdfsFile.listStatus(ISourceDTO source,
String remotePath)
获取目录或者文件的属性
|
List<List<String>> |
IHbase.preview(ISourceDTO source,
String tableName,
Integer previewNum)
hbase 数据预览,如果有数据则第一行为字段信息,如果没有数据返回空 list
|
List<List<String>> |
IHbase.preview(ISourceDTO source,
String tableName,
List<String> familyList,
Integer previewNum)
hbase 数据预览,如果有数据则第一行为字段信息,如果没有数据返回空 list
|
List<List<String>> |
IHbase.preview(ISourceDTO source,
String tableName,
Map<String,List<String>> familyQualifierMap,
Integer previewNum)
hbase 数据预览,如果有数据则第一行为字段信息,如果没有数据返回空 list
|
Boolean |
IHbase.putRow(ISourceDTO source,
String tableName,
String rowKey,
String family,
String qualifier,
String data)
hbase向指定的rowKey插入数据
|
Boolean |
ITsdb.putSync(ISourceDTO source,
Collection<TsdbPoint> points)
同步插入多个点位
|
List<QueryResult> |
ITsdb.query(ISourceDTO source,
TsdbQuery query)
查询
|
boolean |
IHdfsFile.rename(ISourceDTO source,
String src,
String dist)
重命名
|
Boolean |
ITable.renameTable(ISourceDTO source,
String oldTableName,
String newTableName)
重命名表,成功返回true,失败返回false
|
List<String> |
IHbase.scanByRegex(ISourceDTO source,
String tableName,
String regex)
hbase 根据正则查询匹配的数据,返回rowkey集合
|
boolean |
IHdfsFile.setPermission(ISourceDTO source,
String remotePath,
String mode)
设置路径权限
|
List<String> |
ITable.showPartitions(ISourceDTO source,
String tableName)
获取所有分区,格式同sql返回值,不错额外处理,如:pt1=name1/pt2=name2/pt3=name3
非分区表返回null
|
List<String> |
ITsdb.suggest(ISourceDTO source,
Suggest type,
String prefix,
int max)
suggest method
|
List<String> |
ITsdb.suggest(ISourceDTO source,
Suggest type,
String metric,
String prefix,
int max)
suggest method
|
Boolean |
IKafka.testCon(ISourceDTO source)
校验 连接
|
Boolean |
IClient.testCon(ISourceDTO source)
校验 连接
|
boolean |
IHdfsFile.uploadInputStreamToHdfs(ISourceDTO source,
byte[] bytes,
String remotePath)
上传字节流到 HDFS
|
boolean |
IHdfsFile.uploadLocalFileToHdfs(ISourceDTO source,
String localFilePath,
String remotePath)
上传文件到 HDFS
|
Boolean |
ITable.upsertTableColumn(ISourceDTO source,
UpsertColumnMetaDTO columnMetaDTO)
新增或者修改表的列
|
String |
ITsdb.version(ISourceDTO source)
获取版本号
|
int |
IHdfsFile.writeByName(ISourceDTO source,
HdfsWriterDTO hdfsWriterDTO)
从文件中读取行,根据提供的分隔符号分割,再根据提供的hdfs分隔符合并,写入hdfs
---需要根据column信息判断导入的数据是否符合要求
|
int |
IHdfsFile.writeByPos(ISourceDTO source,
HdfsWriterDTO hdfsWriterDTO)
按位置写入
|
| 限定符和类型 | 方法和说明 |
|---|---|
Boolean |
HbaseProxy.createHbaseTable(ISourceDTO source,
String tableName,
String[] colFamily) |
Boolean |
HbaseProxy.createHbaseTable(ISourceDTO source,
String namespace,
String tableName,
String[] colFamily) |
Boolean |
HbaseProxy.deleteByRowKey(ISourceDTO source,
String tableName,
String family,
String qualifier,
List<String> rowKeys) |
Boolean |
HbaseProxy.deleteHbaseTable(ISourceDTO source,
String tableName) |
Boolean |
HbaseProxy.deleteHbaseTable(ISourceDTO source,
String namespace,
String tableName) |
List<Map<String,Object>> |
HbaseProxy.executeQuery(ISourceDTO source,
HbaseQueryDTO hbaseQueryDTO,
TimestampFilter timestampFilter) |
String |
HbaseProxy.getRow(ISourceDTO source,
String tableName,
String rowKey,
String family,
String qualifier) |
Boolean |
HbaseProxy.isDbExists(ISourceDTO source,
String namespace) |
List<List<String>> |
HbaseProxy.preview(ISourceDTO source,
String tableName,
Integer previewNum) |
List<List<String>> |
HbaseProxy.preview(ISourceDTO source,
String tableName,
List<String> familyList,
Integer previewNum) |
List<List<String>> |
HbaseProxy.preview(ISourceDTO source,
String tableName,
Map<String,List<String>> familyQualifierMap,
Integer previewNum) |
Boolean |
HbaseProxy.putRow(ISourceDTO source,
String tableName,
String rowKey,
String family,
String qualifier,
String data) |
List<String> |
HbaseProxy.scanByRegex(ISourceDTO source,
String tableName,
String regex) |
| 限定符和类型 | 方法和说明 |
|---|---|
boolean |
HdfsFileProxy.checkAndDelete(ISourceDTO source,
String remotePath) |
boolean |
HdfsFileProxy.copyDirector(ISourceDTO source,
String src,
String dist) |
boolean |
HdfsFileProxy.copyFile(ISourceDTO source,
String src,
String dist,
boolean isOverwrite) |
boolean |
HdfsFileProxy.copyFromLocal(ISourceDTO source,
String srcPath,
String dstPath,
boolean overwrite) |
boolean |
HdfsFileProxy.copyToLocal(ISourceDTO source,
String srcPath,
String dstPath) |
boolean |
HdfsFileProxy.createDir(ISourceDTO source,
String remotePath,
Short permission) |
boolean |
HdfsFileProxy.delete(ISourceDTO source,
String remotePath,
boolean recursive) |
boolean |
HdfsFileProxy.deleteFiles(ISourceDTO source,
List<String> fileNames) |
boolean |
HdfsFileProxy.downloadFileFromHdfs(ISourceDTO source,
String remotePath,
String localDir) |
boolean |
HdfsFileProxy.fileMerge(ISourceDTO source,
String src,
String mergePath,
FileFormat fileFormat,
Long maxCombinedFileSize,
Long needCombineFileSizeLimit) |
List<ColumnMetaDTO> |
HdfsFileProxy.getColumnList(ISourceDTO source,
SqlQueryDTO queryDTO,
String fileFormat) |
List<HDFSContentSummary> |
HdfsFileProxy.getContentSummary(ISourceDTO source,
List<String> hdfsDirPaths) |
HDFSContentSummary |
HdfsFileProxy.getContentSummary(ISourceDTO source,
String hdfsDirPath) |
long |
HdfsFileProxy.getDirSize(ISourceDTO source,
String remotePath) |
IDownloader |
HdfsFileProxy.getDownloaderByFormat(ISourceDTO source,
String tableLocation,
List<String> columnNames,
String fieldDelimiter,
String fileFormat) |
IDownloader |
HdfsFileProxy.getFileDownloader(ISourceDTO source,
String path) |
IDownloader |
HdfsFileProxy.getLogDownloader(ISourceDTO source,
SqlQueryDTO queryDTO) |
FileStatus |
HdfsFileProxy.getStatus(ISourceDTO source,
String location) |
boolean |
HdfsFileProxy.isDirExist(ISourceDTO source,
String remotePath) |
boolean |
HdfsFileProxy.isFileExist(ISourceDTO source,
String remotePath) |
List<String> |
HdfsFileProxy.listAllFilePath(ISourceDTO source,
String remotePath) |
List<FileStatus> |
HdfsFileProxy.listAllFiles(ISourceDTO source,
String remotePath,
boolean isIterate) |
List<FileStatus> |
HdfsFileProxy.listStatus(ISourceDTO source,
String remotePath) |
boolean |
HdfsFileProxy.rename(ISourceDTO source,
String src,
String dist) |
boolean |
HdfsFileProxy.setPermission(ISourceDTO source,
String remotePath,
String mode) |
boolean |
HdfsFileProxy.uploadInputStreamToHdfs(ISourceDTO source,
byte[] bytes,
String remotePath) |
boolean |
HdfsFileProxy.uploadLocalFileToHdfs(ISourceDTO source,
String localFilePath,
String remotePath) |
int |
HdfsFileProxy.writeByName(ISourceDTO source,
HdfsWriterDTO hdfsWriterDTO) |
int |
HdfsFileProxy.writeByPos(ISourceDTO source,
HdfsWriterDTO hdfsWriterDTO) |
| 限定符和类型 | 方法和说明 |
|---|---|
Boolean |
TableClientProxy.alterTableParams(ISourceDTO source,
String tableName,
Map<String,String> params) |
Boolean |
TableClientProxy.dropTable(ISourceDTO source,
String tableName) |
List<Map<String,Object>> |
TableClientProxy.executeQuery(ISourceDTO source,
String sql) |
Boolean |
TableClientProxy.executeSqlWithoutResultSet(ISourceDTO source,
String sql) |
Connection |
TableClientProxy.getCon(ISourceDTO source) |
Long |
TableClientProxy.getTableSize(ISourceDTO source,
String schema,
String tableName) |
Boolean |
TableClientProxy.isView(ISourceDTO source,
String schema,
String tableName) |
Boolean |
TableClientProxy.renameTable(ISourceDTO source,
String oldTableName,
String newTableName) |
List<String> |
TableClientProxy.showPartitions(ISourceDTO source,
String tableName) |
Boolean |
TableClientProxy.upsertTableColumn(ISourceDTO source,
UpsertColumnMetaDTO columnMetaDTO) |
| 限定符和类型 | 方法和说明 |
|---|---|
Boolean |
TsdbClientProxy.deleteData(ISourceDTO source,
String metric,
List<String> fields,
long startTime,
long endTime) |
Boolean |
TsdbClientProxy.deleteData(ISourceDTO source,
String metric,
long startTime,
long endTime) |
Boolean |
TsdbClientProxy.deleteData(ISourceDTO source,
String metric,
Map<String,String> tags,
List<String> fields,
long startTime,
long endTime) |
Boolean |
TsdbClientProxy.deleteData(ISourceDTO source,
String metric,
Map<String,String> tags,
long startTime,
long endTime) |
Boolean |
TsdbClientProxy.deleteMeta(ISourceDTO source,
String metric,
List<String> fields,
Map<String,String> tags,
boolean deleteData,
boolean recursive) |
Boolean |
TsdbClientProxy.deleteMeta(ISourceDTO source,
String metric,
Map<String,String> tags) |
Boolean |
TsdbClientProxy.deleteMeta(ISourceDTO source,
String metric,
Map<String,String> tags,
boolean deleteData,
boolean recursive) |
Boolean |
TsdbClientProxy.deleteMeta(ISourceDTO source,
String metric,
Map<String,String> tags,
List<String> fields) |
Map<String,String> |
TsdbClientProxy.getVersionInfo(ISourceDTO source) |
Boolean |
TsdbClientProxy.putSync(ISourceDTO source,
Collection<TsdbPoint> points) |
List<QueryResult> |
TsdbClientProxy.query(ISourceDTO source,
TsdbQuery query) |
List<String> |
TsdbClientProxy.suggest(ISourceDTO source,
Suggest type,
String prefix,
int max) |
List<String> |
TsdbClientProxy.suggest(ISourceDTO source,
Suggest type,
String metric,
String prefix,
int max) |
String |
TsdbClientProxy.version(ISourceDTO source) |
Copyright © 2022. All rights reserved.