com.dtstack.dtcenter.loader.client

接口 IClient<T>

所有已知实现类:

DataSourceClientProxy

public interface IClient<T>

方法概要

限定符和类型	方法和说明
Boolean	createDatabase(ISourceDTO source, String dbName, String comment) 创建数据库
List<Map<String,Object>>	executeQuery(ISourceDTO source, SqlQueryDTO queryDTO) 执行查询
Boolean	executeSqlWithoutResultSet(ISourceDTO source, SqlQueryDTO queryDTO) 执行查询，无需结果集
List<String>	getAllDatabases(ISourceDTO source, SqlQueryDTO queryDTO) 获取所有的 DB
List<String>	getCatalogs(ISourceDTO source) 获取数据源/数据库目录列表，目前presto使用，后续pgSql等可以实现该方法用于获取所有库
List<String>	getColumnClassInfo(ISourceDTO source, SqlQueryDTO queryDTO) 返回字段 Java 类的标准名称 字段名若不填则默认全部
List<ColumnMetaDTO>	getColumnMetaData(ISourceDTO source, SqlQueryDTO queryDTO) 获取表字段属性 字段名若不填则默认全部, 是否过滤分区字段 不填默认不过滤
List<ColumnMetaDTO>	getColumnMetaDataWithSql(ISourceDTO source, SqlQueryDTO queryDTO) 根据自定义sql获取表字段属性
Connection	getCon(ISourceDTO source) 获取 连接
Connection	getCon(ISourceDTO source, String taskParams) 获取 连接
String	getCreateTableSql(ISourceDTO source, SqlQueryDTO queryDTO) 获取建表语句
String	getCurrentDatabase(ISourceDTO source) 获取当前使用的数据库
IDownloader	getDownloader(ISourceDTO source, SqlQueryDTO queryDTO) 获取对应的downloader
IDownloader	getDownloader(ISourceDTO source, String sql, Integer pageSize) 根据执行 sql 下载数据
List<ColumnMetaDTO>	getFlinkColumnMetaData(ISourceDTO source, SqlQueryDTO queryDTO) 获取flinkSql字段名称
List<ColumnMetaDTO>	getPartitionColumn(ISourceDTO source, SqlQueryDTO queryDTO) 获取分区字段
List<List<Object>>	getPreview(ISourceDTO source, SqlQueryDTO queryDTO) 获取预览数据
List<String>	getRootDatabases(ISourceDTO source, SqlQueryDTO queryDTO) 获取所有的db，此方法目的为获取所有的 database，为了解决一些遗留问题。
Table	getTable(ISourceDTO source, SqlQueryDTO queryDTO) 获取表信息
List<String>	getTableList(ISourceDTO source, SqlQueryDTO queryDTO) 返回所有的表字段名称 是否视图表，默认不过滤
List<String>	getTableListBySchema(ISourceDTO source, SqlQueryDTO queryDTO) 根据schema/db获取表
String	getTableMetaComment(ISourceDTO source, SqlQueryDTO queryDTO) 获取表注释
String	getVersion(ISourceDTO source) 获取当前数据源的版本
Boolean	isDatabaseExists(ISourceDTO source, String dbName) 判断数据库是否存在
Boolean	isTableExistsInDatabase(ISourceDTO source, String tableName, String dbName) 判断该数据库中是否存在该表
List<String>	listFileNames(ISourceDTO sourceDTO, String path, Boolean includeDir, Boolean recursive, Integer maxNum, String regexStr) 列出指定路径下的文件
Boolean	testCon(ISourceDTO source) 校验 连接

方法详细资料

getCon

Connection getCon(ISourceDTO source)

获取 连接

参数:

source - 数据源信息

返回:

抛出:

Exception

getCon

Connection getCon(ISourceDTO source,
                  String taskParams)

获取 连接

参数:

source - 数据源信息

taskParams - 任务环境变量

返回:

抛出:

Exception

testCon

Boolean testCon(ISourceDTO source)

校验 连接

参数:

source -

返回:

抛出:

Exception

executeQuery

List<Map<String,Object>> executeQuery(ISourceDTO source,
                                      SqlQueryDTO queryDTO)

执行查询

参数:

source -

queryDTO - 必填项 sql

返回:

抛出:

Exception

executeSqlWithoutResultSet

Boolean executeSqlWithoutResultSet(ISourceDTO source,
                                   SqlQueryDTO queryDTO)

执行查询，无需结果集

参数:

source -

queryDTO - 必填项 sql

返回:

抛出:

Exception

getTableList

List<String> getTableList(ISourceDTO source,
                          SqlQueryDTO queryDTO)

返回所有的表字段名称 是否视图表，默认不过滤

参数:

source -

queryDTO -

返回:

抛出:

Exception

getTableListBySchema

List<String> getTableListBySchema(ISourceDTO source,
                                  SqlQueryDTO queryDTO)

根据schema/db获取表

参数:

source -

queryDTO -

返回:

抛出:

Exception

getColumnClassInfo

List<String> getColumnClassInfo(ISourceDTO source,
                                SqlQueryDTO queryDTO)

返回字段 Java 类的标准名称 字段名若不填则默认全部

参数:

source -

queryDTO - 必填项 表名

返回:

抛出:

Exception

getColumnMetaData

List<ColumnMetaDTO> getColumnMetaData(ISourceDTO source,
                                      SqlQueryDTO queryDTO)

获取表字段属性 字段名若不填则默认全部, 是否过滤分区字段 不填默认不过滤

参数:

source -

queryDTO - 必填项 表名

返回:

抛出:

Exception

getColumnMetaDataWithSql

List<ColumnMetaDTO> getColumnMetaDataWithSql(ISourceDTO source,
                                             SqlQueryDTO queryDTO)

根据自定义sql获取表字段属性

参数:

source -

queryDTO - 必填项 sql

返回:

抛出:

Exception

getFlinkColumnMetaData

List<ColumnMetaDTO> getFlinkColumnMetaData(ISourceDTO source,
                                           SqlQueryDTO queryDTO)

获取flinkSql字段名称

参数:

source -

queryDTO -

返回:

抛出:

Exception

getTableMetaComment

String getTableMetaComment(ISourceDTO source,
                           SqlQueryDTO queryDTO)

获取表注释

参数:

source -

queryDTO -

返回:

抛出:

Exception

getPreview

List<List<Object>> getPreview(ISourceDTO source,
                              SqlQueryDTO queryDTO)

获取预览数据

参数:

source -

queryDTO -

返回:

抛出:

Exception

getDownloader

IDownloader getDownloader(ISourceDTO source,
                          SqlQueryDTO queryDTO)
                   throws Exception

获取对应的downloader

参数:

source -

queryDTO -

返回:

抛出:

Exception

getDownloader

IDownloader getDownloader(ISourceDTO source,
                          String sql,
                          Integer pageSize)
                   throws Exception

根据执行 sql 下载数据

参数:

source - 数据源信息

sql - 执行 sql

pageSize - 每页的数量

返回:

数据下载 downloader

抛出:

Exception - 异常

getAllDatabases

List<String> getAllDatabases(ISourceDTO source,
                             SqlQueryDTO queryDTO)

获取所有的 DB

参数:

source -

queryDTO -

返回:

抛出:

Exception

getRootDatabases

List<String> getRootDatabases(ISourceDTO source,
                              SqlQueryDTO queryDTO)

获取所有的db，此方法目的为获取所有的 database，为了解决一些遗留问题。例如 oracle 12 后支持 cdb 模式，此时 oracle 可以包含多个 pdb，每个 pdb 下面可以有多个 schema，但是getAllDatabases 返回 的是 schema 列表

参数:

source - 数据源信息

queryDTO - 查询信息

返回:

db 列表

另请参阅:

该方法对于有 database 概念的数据源返回的是 database，否则返回 schema

getCreateTableSql

String getCreateTableSql(ISourceDTO source,
                         SqlQueryDTO queryDTO)

获取建表语句

参数:

source -

queryDTO -

返回:

抛出:

Exception

getPartitionColumn

List<ColumnMetaDTO> getPartitionColumn(ISourceDTO source,
                                       SqlQueryDTO queryDTO)

获取分区字段

参数:

source -

queryDTO -

返回:

抛出:

Exception

getTable

Table getTable(ISourceDTO source,
               SqlQueryDTO queryDTO)

获取表信息

参数:

source -

queryDTO -

返回:

抛出:

Exception

getCurrentDatabase

String getCurrentDatabase(ISourceDTO source)

获取当前使用的数据库

参数:

source - 数据源信息

返回:

当前使用的数据库

抛出:

Exception

createDatabase

Boolean createDatabase(ISourceDTO source,
                       String dbName,
                       String comment)

创建数据库

参数:

source - 数据源信息

dbName - 需要创建的数据库

comment - 库注释信息

返回:

创建结果

抛出:

Exception

isDatabaseExists

Boolean isDatabaseExists(ISourceDTO source,
                         String dbName)

判断数据库是否存在

参数:

source - 数据源信息

dbName - 数据库名称

返回:

判断结果

抛出:

Exception

isTableExistsInDatabase

Boolean isTableExistsInDatabase(ISourceDTO source,
                                String tableName,
                                String dbName)

判断该数据库中是否存在该表

参数:

source - 数据源信息

tableName - 表名

dbName - 库名

返回:

判断结果

抛出:

Exception

getCatalogs

List<String> getCatalogs(ISourceDTO source)

获取数据源/数据库目录列表，目前presto使用，后续pgSql等可以实现该方法用于获取所有库

参数:

source -

返回:

数据源目录

getVersion

String getVersion(ISourceDTO source)

获取当前数据源的版本

参数:

source - 数据源信息

返回:

数据源版本

listFileNames

List<String> listFileNames(ISourceDTO sourceDTO,
                           String path,
                           Boolean includeDir,
                           Boolean recursive,
                           Integer maxNum,
                           String regexStr)

列出指定路径下的文件

参数:

sourceDTO - 数据源信息

path - 路径

includeDir - 是否包含文件夹

recursive - 是否递归

maxNum - 最大返回条数

regexStr - 正则匹配

返回:

文件集合