com.dtstack.dtcenter.loader.client

接口 IHdfsFile

所有已知实现类:

HdfsFileProxy

public interface IHdfsFile

方法概要

限定符和类型	方法和说明
boolean	checkAndDelete(ISourceDTO source, String remotePath) 文件检测并删除
boolean	copyDirector(ISourceDTO source, String src, String dist) 复制文件夹
boolean	copyFile(ISourceDTO source, String src, String dist, boolean isOverwrite) 复制文件
boolean	copyFromLocal(ISourceDTO source, String srcPath, String dstPath, boolean overwrite) 从本地copy到hdfs
boolean	copyToLocal(ISourceDTO source, String srcPath, String dstPath) 从hdfs copy文件到本地
boolean	createDir(ISourceDTO source, String remotePath, Short permission) 创建 HDFS 路径
boolean	delete(ISourceDTO source, String remotePath, boolean recursive) 直接删除目标路径文件
boolean	deleteFiles(ISourceDTO source, List<String> fileNames) 删除文件
boolean	downloadFileFromHdfs(ISourceDTO source, String remotePath, String localDir) 从 HDFS 上下载文件或文件夹到本地
boolean	fileMerge(ISourceDTO source, String src, String mergePath, FileFormat fileFormat, Long maxCombinedFileSize, Long needCombineFileSizeLimit) 合并小文件
List<ColumnMetaDTO>	getColumnList(ISourceDTO source, SqlQueryDTO queryDTO, String fileFormat) 获取hdfs上存储文件的字段信息
List<HDFSContentSummary>	getContentSummary(ISourceDTO source, List<String> hdfsDirPaths) 批量统计文件夹内容摘要，包括文件的数量，文件夹的数量，文件变动时间，以及这个文件夹的占用存储等内容
HDFSContentSummary	getContentSummary(ISourceDTO source, String hdfsDirPath) 统计文件夹内容摘要，包括文件的数量，文件夹的数量，文件变动时间，以及这个文件夹的占用存储等内容
long	getDirSize(ISourceDTO source, String remotePath) 获取路径文件大小
IDownloader	getDownloaderByFormat(ISourceDTO source, String tableLocation, List<String> columnNames, String fieldDelimiter, String fileFormat) 根据文件格式获取对应的downlaoder
IDownloader	getFileDownloader(ISourceDTO iSource, String path) 文件下载器
IDownloader	getLogDownloader(ISourceDTO iSource, SqlQueryDTO queryDTO) 日志下载器
FileStatus	getStatus(ISourceDTO source, String location) 获取 HDFS 对应地址文件信息
boolean	isDirExist(ISourceDTO source, String remotePath) 路径目录是否存在
boolean	isFileExist(ISourceDTO source, String remotePath) 路径文件是否存在
List<String>	listAllFilePath(ISourceDTO source, String remotePath) 获取目录下所有文件
List<FileStatus>	listAllFiles(ISourceDTO source, String remotePath, boolean isIterate) 获取目录下所有文件的属性集
List<FileStatus>	listStatus(ISourceDTO source, String remotePath) 获取目录或者文件的属性
boolean	rename(ISourceDTO source, String src, String dist) 重命名
boolean	setPermission(ISourceDTO source, String remotePath, String mode) 设置路径权限
boolean	uploadInputStreamToHdfs(ISourceDTO source, byte[] bytes, String remotePath) 上传字节流到 HDFS
boolean	uploadLocalFileToHdfs(ISourceDTO source, String localFilePath, String remotePath) 上传文件到 HDFS
int	writeByName(ISourceDTO source, HdfsWriterDTO hdfsWriterDTO) 从文件中读取行,根据提供的分隔符号分割,再根据提供的hdfs分隔符合并,写入hdfs ---需要根据column信息判断导入的数据是否符合要求
int	writeByPos(ISourceDTO source, HdfsWriterDTO hdfsWriterDTO) 按位置写入

方法详细资料

getStatus

FileStatus getStatus(ISourceDTO source,
                     String location)

获取 HDFS 对应地址文件信息

参数:

source -

location -

返回:

抛出:

Exception

getLogDownloader

IDownloader getLogDownloader(ISourceDTO iSource,
                             SqlQueryDTO queryDTO)

日志下载器

参数:

iSource -

queryDTO -

返回:

抛出:

Exception

getFileDownloader

IDownloader getFileDownloader(ISourceDTO iSource,
                              String path)

文件下载器

参数:

iSource -

path -

返回:

抛出:

Exception

downloadFileFromHdfs

boolean downloadFileFromHdfs(ISourceDTO source,
                             String remotePath,
                             String localDir)

从 HDFS 上下载文件或文件夹到本地

参数:

source -

remotePath -

localDir -

返回:

抛出:

Exception

uploadLocalFileToHdfs

boolean uploadLocalFileToHdfs(ISourceDTO source,
                              String localFilePath,
                              String remotePath)

上传文件到 HDFS

参数:

source -

localFilePath -

remotePath -

返回:

抛出:

Exception

uploadInputStreamToHdfs

boolean uploadInputStreamToHdfs(ISourceDTO source,
                                byte[] bytes,
                                String remotePath)

上传字节流到 HDFS

参数:

source -

bytes -

remotePath -

返回:

抛出:

Exception

createDir

boolean createDir(ISourceDTO source,
                  String remotePath,
                  Short permission)

创建 HDFS 路径

参数:

source -

remotePath -

permission -

返回:

抛出:

Exception

isFileExist

boolean isFileExist(ISourceDTO source,
                    String remotePath)

路径文件是否存在

参数:

source -

remotePath -

返回:

抛出:

Exception

checkAndDelete

boolean checkAndDelete(ISourceDTO source,
                       String remotePath)

文件检测并删除

参数:

source -

remotePath -

返回:

抛出:

Exception

delete

boolean delete(ISourceDTO source,
               String remotePath,
               boolean recursive)

直接删除目标路径文件

参数:

source - 数据源信息

remotePath - 目标路径

recursive - 是否递归删除

返回:

删除结果

抛出:

Exception

getDirSize

long getDirSize(ISourceDTO source,
                String remotePath)

获取路径文件大小

参数:

source -

remotePath -

返回:

抛出:

Exception

deleteFiles

boolean deleteFiles(ISourceDTO source,
                    List<String> fileNames)

删除文件

参数:

source -

fileNames -

返回:

抛出:

Exception

isDirExist

boolean isDirExist(ISourceDTO source,
                   String remotePath)

路径目录是否存在

参数:

source -

remotePath -

返回:

抛出:

Exception

setPermission

boolean setPermission(ISourceDTO source,
                      String remotePath,
                      String mode)

设置路径权限

参数:

source -

remotePath -

mode -

返回:

抛出:

Exception

rename

boolean rename(ISourceDTO source,
               String src,
               String dist)

重命名

参数:

source -

src -

dist -

返回:

抛出:

Exception

copyFile

boolean copyFile(ISourceDTO source,
                 String src,
                 String dist,
                 boolean isOverwrite)

复制文件

参数:

source -

src -

dist -

isOverwrite -

返回:

抛出:

Exception

copyDirector

boolean copyDirector(ISourceDTO source,
                     String src,
                     String dist)

复制文件夹

参数:

source - 数据源信息

src - 原路径

dist - 目标路径

抛出:

Exception

fileMerge

boolean fileMerge(ISourceDTO source,
                  String src,
                  String mergePath,
                  FileFormat fileFormat,
                  Long maxCombinedFileSize,
                  Long needCombineFileSizeLimit)

合并小文件

参数:

source - 数据源信息

src - 合并路径

mergePath - 目标路径

fileFormat - 文件类型 ： text、orc、parquet FileFormat

maxCombinedFileSize - 合并后的文件大小

needCombineFileSizeLimit - 小文件的最大值，超过此阈值的小文件不会合并

抛出:

Exception

listStatus

List<FileStatus> listStatus(ISourceDTO source,
                            String remotePath)

获取目录或者文件的属性

参数:

source -

remotePath -

返回:

抛出:

Exception

listAllFilePath

List<String> listAllFilePath(ISourceDTO source,
                             String remotePath)

获取目录下所有文件

参数:

source -

remotePath -

返回:

抛出:

Exception

listAllFiles

List<FileStatus> listAllFiles(ISourceDTO source,
                              String remotePath,
                              boolean isIterate)

获取目录下所有文件的属性集

参数:

source -

remotePath -

isIterate - 是否递归

返回:

抛出:

Exception

copyToLocal

boolean copyToLocal(ISourceDTO source,
                    String srcPath,
                    String dstPath)

从hdfs copy文件到本地

参数:

source -

srcPath -

dstPath -

返回:

抛出:

Exception

copyFromLocal

boolean copyFromLocal(ISourceDTO source,
                      String srcPath,
                      String dstPath,
                      boolean overwrite)

从本地copy到hdfs

参数:

source -

srcPath -

dstPath -

overwrite - 是否重写

返回:

抛出:

Exception

getDownloaderByFormat

IDownloader getDownloaderByFormat(ISourceDTO source,
                                  String tableLocation,
                                  List<String> columnNames,
                                  String fieldDelimiter,
                                  String fileFormat)

根据文件格式获取对应的downlaoder

参数:

source -

tableLocation -

fieldDelimiter -

fileFormat -

返回:

抛出:

Exception

getColumnList

List<ColumnMetaDTO> getColumnList(ISourceDTO source,
                                  SqlQueryDTO queryDTO,
                                  String fileFormat)

获取hdfs上存储文件的字段信息

参数:

source -

queryDTO -

fileFormat -

返回:

抛出:

Exception

writeByPos

int writeByPos(ISourceDTO source,
               HdfsWriterDTO hdfsWriterDTO)

按位置写入

参数:

source -

hdfsWriterDTO -

返回:

抛出:

Exception

writeByName

int writeByName(ISourceDTO source,
                HdfsWriterDTO hdfsWriterDTO)

从文件中读取行,根据提供的分隔符号分割,再根据提供的hdfs分隔符合并,写入hdfs ---需要根据column信息判断导入的数据是否符合要求

参数:

source -

hdfsWriterDTO -

返回:

抛出:

Exception

getContentSummary

List<HDFSContentSummary> getContentSummary(ISourceDTO source,
                                           List<String> hdfsDirPaths)

批量统计文件夹内容摘要，包括文件的数量，文件夹的数量，文件变动时间，以及这个文件夹的占用存储等内容

参数:

source - 数据源信息

hdfsDirPaths - hdfs上文件路径集合

返回:

文件摘要信息

getContentSummary

HDFSContentSummary getContentSummary(ISourceDTO source,
                                     String hdfsDirPath)

统计文件夹内容摘要，包括文件的数量，文件夹的数量，文件变动时间，以及这个文件夹的占用存储等内容

参数:

source - 数据源信息

hdfsDirPath - hdfs上文件路径

返回:

文件摘要信息