com.dtstack.dtcenter.loader.client.hdfs

类 HdfsFileProxy

java.lang.Object

com.dtstack.dtcenter.loader.client.hdfs.HdfsFileProxy

所有已实现的接口:

IHdfsFile

public class HdfsFileProxy
extends Object
implements IHdfsFile

构造器概要

构造器

构造器和说明
HdfsFileProxy(IHdfsFile targetClient)

方法概要

限定符和类型	方法和说明
boolean	checkAndDelete(ISourceDTO source, String remotePath) 文件检测并删除
boolean	copyDirector(ISourceDTO source, String src, String dist) 复制文件夹
boolean	copyFile(ISourceDTO source, String src, String dist, boolean isOverwrite) 复制文件
boolean	copyFromLocal(ISourceDTO source, String srcPath, String dstPath, boolean overwrite) 从本地copy到hdfs
boolean	copyToLocal(ISourceDTO source, String srcPath, String dstPath) 从hdfs copy文件到本地
boolean	createDir(ISourceDTO source, String remotePath, Short permission) 创建 HDFS 路径
boolean	delete(ISourceDTO source, String remotePath, boolean recursive) 直接删除目标路径文件
boolean	deleteFiles(ISourceDTO source, List<String> fileNames) 删除文件
boolean	downloadFileFromHdfs(ISourceDTO source, String remotePath, String localDir) 从 HDFS 上下载文件或文件夹到本地
boolean	fileMerge(ISourceDTO source, String src, String mergePath, FileFormat fileFormat, Long maxCombinedFileSize, Long needCombineFileSizeLimit) 合并小文件
List<ColumnMetaDTO>	getColumnList(ISourceDTO source, SqlQueryDTO queryDTO, String fileFormat) 获取hdfs上存储文件的字段信息
List<HDFSContentSummary>	getContentSummary(ISourceDTO source, List<String> hdfsDirPaths) 批量统计文件夹内容摘要，包括文件的数量，文件夹的数量，文件变动时间，以及这个文件夹的占用存储等内容
HDFSContentSummary	getContentSummary(ISourceDTO source, String hdfsDirPath) 统计文件夹内容摘要，包括文件的数量，文件夹的数量，文件变动时间，以及这个文件夹的占用存储等内容
long	getDirSize(ISourceDTO source, String remotePath) 获取路径文件大小
IDownloader	getDownloaderByFormat(ISourceDTO source, String tableLocation, List<String> columnNames, String fieldDelimiter, String fileFormat) 根据文件格式获取对应的downlaoder
IDownloader	getFileDownloader(ISourceDTO source, String path) 文件下载器
IDownloader	getLogDownloader(ISourceDTO source, SqlQueryDTO queryDTO) 日志下载器
FileStatus	getStatus(ISourceDTO source, String location) 获取 HDFS 对应地址文件信息
boolean	isDirExist(ISourceDTO source, String remotePath) 路径目录是否存在
boolean	isFileExist(ISourceDTO source, String remotePath) 路径文件是否存在
List<String>	listAllFilePath(ISourceDTO source, String remotePath) 获取目录下所有文件
List<FileStatus>	listAllFiles(ISourceDTO source, String remotePath, boolean isIterate) 获取目录下所有文件的属性集
List<FileStatus>	listStatus(ISourceDTO source, String remotePath) 获取目录或者文件的属性
boolean	rename(ISourceDTO source, String src, String dist) 重命名
boolean	setPermission(ISourceDTO source, String remotePath, String mode) 设置路径权限
boolean	uploadInputStreamToHdfs(ISourceDTO source, byte[] bytes, String remotePath) 上传字节流到 HDFS
boolean	uploadLocalFileToHdfs(ISourceDTO source, String localFilePath, String remotePath) 上传文件到 HDFS
int	writeByName(ISourceDTO source, HdfsWriterDTO hdfsWriterDTO) 从文件中读取行,根据提供的分隔符号分割,再根据提供的hdfs分隔符合并,写入hdfs ---需要根据column信息判断导入的数据是否符合要求
int	writeByPos(ISourceDTO source, HdfsWriterDTO hdfsWriterDTO) 按位置写入

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

HdfsFileProxy

public HdfsFileProxy(IHdfsFile targetClient)

方法详细资料

getStatus

public FileStatus getStatus(ISourceDTO source,
                            String location)

从接口复制的说明: IHdfsFile

获取 HDFS 对应地址文件信息

指定者:

getStatus 在接口中 IHdfsFile

返回:

getLogDownloader

public IDownloader getLogDownloader(ISourceDTO source,
                                    SqlQueryDTO queryDTO)

从接口复制的说明: IHdfsFile

日志下载器

指定者:

getLogDownloader 在接口中 IHdfsFile

返回:

getFileDownloader

public IDownloader getFileDownloader(ISourceDTO source,
                                     String path)

从接口复制的说明: IHdfsFile

文件下载器

指定者:

getFileDownloader 在接口中 IHdfsFile

返回:

downloadFileFromHdfs

public boolean downloadFileFromHdfs(ISourceDTO source,
                                    String remotePath,
                                    String localDir)

从接口复制的说明: IHdfsFile

从 HDFS 上下载文件或文件夹到本地

指定者:

downloadFileFromHdfs 在接口中 IHdfsFile

返回:

uploadLocalFileToHdfs

public boolean uploadLocalFileToHdfs(ISourceDTO source,
                                     String localFilePath,
                                     String remotePath)

从接口复制的说明: IHdfsFile

上传文件到 HDFS

指定者:

uploadLocalFileToHdfs 在接口中 IHdfsFile

返回:

uploadInputStreamToHdfs

public boolean uploadInputStreamToHdfs(ISourceDTO source,
                                       byte[] bytes,
                                       String remotePath)

从接口复制的说明: IHdfsFile

上传字节流到 HDFS

指定者:

uploadInputStreamToHdfs 在接口中 IHdfsFile

返回:

createDir

public boolean createDir(ISourceDTO source,
                         String remotePath,
                         Short permission)

从接口复制的说明: IHdfsFile

创建 HDFS 路径

指定者:

createDir 在接口中 IHdfsFile

返回:

isFileExist

public boolean isFileExist(ISourceDTO source,
                           String remotePath)

从接口复制的说明: IHdfsFile

路径文件是否存在

指定者:

isFileExist 在接口中 IHdfsFile

返回:

checkAndDelete

public boolean checkAndDelete(ISourceDTO source,
                              String remotePath)

从接口复制的说明: IHdfsFile

文件检测并删除

指定者:

checkAndDelete 在接口中 IHdfsFile

返回:

delete

public boolean delete(ISourceDTO source,
                      String remotePath,
                      boolean recursive)

从接口复制的说明: IHdfsFile

直接删除目标路径文件

指定者:

delete 在接口中 IHdfsFile

参数:

source - 数据源信息

remotePath - 目标路径

recursive - 是否递归删除

返回:

删除结果

getDirSize

public long getDirSize(ISourceDTO source,
                       String remotePath)

从接口复制的说明: IHdfsFile

获取路径文件大小

指定者:

getDirSize 在接口中 IHdfsFile

返回:

deleteFiles

public boolean deleteFiles(ISourceDTO source,
                           List<String> fileNames)

从接口复制的说明: IHdfsFile

删除文件

指定者:

deleteFiles 在接口中 IHdfsFile

返回:

isDirExist

public boolean isDirExist(ISourceDTO source,
                          String remotePath)

从接口复制的说明: IHdfsFile

路径目录是否存在

指定者:

isDirExist 在接口中 IHdfsFile

返回:

setPermission

public boolean setPermission(ISourceDTO source,
                             String remotePath,
                             String mode)

从接口复制的说明: IHdfsFile

设置路径权限

指定者:

setPermission 在接口中 IHdfsFile

返回:

rename

public boolean rename(ISourceDTO source,
                      String src,
                      String dist)

从接口复制的说明: IHdfsFile

重命名

指定者:

rename 在接口中 IHdfsFile

返回:

copyFile

public boolean copyFile(ISourceDTO source,
                        String src,
                        String dist,
                        boolean isOverwrite)

从接口复制的说明: IHdfsFile

复制文件

指定者:

copyFile 在接口中 IHdfsFile

返回:

copyDirector

public boolean copyDirector(ISourceDTO source,
                            String src,
                            String dist)

从接口复制的说明: IHdfsFile

复制文件夹

指定者:

copyDirector 在接口中 IHdfsFile

参数:

source - 数据源信息

src - 原路径

dist - 目标路径

fileMerge

public boolean fileMerge(ISourceDTO source,
                         String src,
                         String mergePath,
                         FileFormat fileFormat,
                         Long maxCombinedFileSize,
                         Long needCombineFileSizeLimit)

从接口复制的说明: IHdfsFile

合并小文件

指定者:

fileMerge 在接口中 IHdfsFile

参数:

source - 数据源信息

src - 合并路径

mergePath - 目标路径

fileFormat - 文件类型 ： text、orc、parquet FileFormat

maxCombinedFileSize - 合并后的文件大小

needCombineFileSizeLimit - 小文件的最大值，超过此阈值的小文件不会合并

listStatus

public List<FileStatus> listStatus(ISourceDTO source,
                                   String remotePath)

从接口复制的说明: IHdfsFile

获取目录或者文件的属性

指定者:

listStatus 在接口中 IHdfsFile

返回:

listAllFilePath

public List<String> listAllFilePath(ISourceDTO source,
                                    String remotePath)

从接口复制的说明: IHdfsFile

获取目录下所有文件

指定者:

listAllFilePath 在接口中 IHdfsFile

返回:

listAllFiles

public List<FileStatus> listAllFiles(ISourceDTO source,
                                     String remotePath,
                                     boolean isIterate)

从接口复制的说明: IHdfsFile

获取目录下所有文件的属性集

指定者:

listAllFiles 在接口中 IHdfsFile

isIterate - 是否递归

返回:

copyToLocal

public boolean copyToLocal(ISourceDTO source,
                           String srcPath,
                           String dstPath)

从接口复制的说明: IHdfsFile

从hdfs copy文件到本地

指定者:

copyToLocal 在接口中 IHdfsFile

返回:

copyFromLocal

public boolean copyFromLocal(ISourceDTO source,
                             String srcPath,
                             String dstPath,
                             boolean overwrite)

从接口复制的说明: IHdfsFile

从本地copy到hdfs

指定者:

copyFromLocal 在接口中 IHdfsFile

overwrite - 是否重写

返回:

getDownloaderByFormat

public IDownloader getDownloaderByFormat(ISourceDTO source,
                                         String tableLocation,
                                         List<String> columnNames,
                                         String fieldDelimiter,
                                         String fileFormat)

从接口复制的说明: IHdfsFile

根据文件格式获取对应的downlaoder

指定者:

getDownloaderByFormat 在接口中 IHdfsFile

返回:

getColumnList

public List<ColumnMetaDTO> getColumnList(ISourceDTO source,
                                         SqlQueryDTO queryDTO,
                                         String fileFormat)

从接口复制的说明: IHdfsFile

获取hdfs上存储文件的字段信息

指定者:

getColumnList 在接口中 IHdfsFile

返回:

writeByPos

public int writeByPos(ISourceDTO source,
                      HdfsWriterDTO hdfsWriterDTO)

从接口复制的说明: IHdfsFile

按位置写入

指定者:

writeByPos 在接口中 IHdfsFile

返回:

writeByName

public int writeByName(ISourceDTO source,
                       HdfsWriterDTO hdfsWriterDTO)

从接口复制的说明: IHdfsFile

从文件中读取行,根据提供的分隔符号分割,再根据提供的hdfs分隔符合并,写入hdfs ---需要根据column信息判断导入的数据是否符合要求

指定者:

writeByName 在接口中 IHdfsFile

返回:

getContentSummary

public List<HDFSContentSummary> getContentSummary(ISourceDTO source,
                                                  List<String> hdfsDirPaths)

从接口复制的说明: IHdfsFile

批量统计文件夹内容摘要，包括文件的数量，文件夹的数量，文件变动时间，以及这个文件夹的占用存储等内容

指定者:

getContentSummary 在接口中 IHdfsFile

参数:

source - 数据源信息

hdfsDirPaths - hdfs上文件路径集合

返回:

文件摘要信息

getContentSummary

public HDFSContentSummary getContentSummary(ISourceDTO source,
                                            String hdfsDirPath)

从接口复制的说明: IHdfsFile

统计文件夹内容摘要，包括文件的数量，文件夹的数量，文件变动时间，以及这个文件夹的占用存储等内容

指定者:

getContentSummary 在接口中 IHdfsFile

参数:

source - 数据源信息

hdfsDirPath - hdfs上文件路径

返回:

文件摘要信息