com.aliyun.odps.datahub

类 DatahubClient

java.lang.Object

com.aliyun.odps.datahub.DatahubClient

public class DatahubClient
extends Object

嵌套类概要

嵌套类

限定符和类型	类和说明
static class	DatahubClient.ShardState shard的状态

构造器概要

构造器

构造器和说明
DatahubClient(Odps odps, String projectName, String tableName, String datahubEndpoint) Datahub服务入口类

方法概要

限定符和类型	方法和说明
String	getProjectName()
List<Long>	getShardList()
HashMap<Long,DatahubClient.ShardState>	getShardStatus() 查询DatahubClinet对应的table拥有的shard在服务端的状态
TableSchema	getStreamSchema()
String	getTableName()
void	loadShard(long shardNumber) 在ODPS hub服务上启用shard
DatahubReader	openDatahubReader(long shardId) 创建DatahubReader读取指定shard
DatahubReader	openDatahubReader(long shardId, String packId) 创建DatahubReader读取指定shard
DatahubWriter	openDatahubWriter() 创建DatahubWriter
DatahubWriter	openDatahubWriter(long shardId) 创建DatahubWriter写入指定shard
PackReader	openPackReader(long shardId)
PackReader	openPackReader(long shardId, String packId)
ReplicatorStatus	QueryReplicatorStatus(long shardId) 在ODPS hub查询非分区表拷贝到离线集群的状态
ReplicatorStatus	QueryReplicatorStatus(long shardId, PartitionSpec partitionSpec) 在ODPS hub查询partiton对应的拷贝到离线集群的状态
void	setEndpoint(String endpoint) 设置DatahubServer地址 没有设置DatahubServer地址的情况下, 自动选择
void	waitForShardLoad() 同步等待 load shard 完成 默认超时时间为 120000ms
void	waitForShardLoad(long timeout) 同步等待 load shard 完成 最大超时时间为 120000ms

从类继承的方法 java.lang.Object

equals, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

DatahubClient

public DatahubClient(Odps odps,
                     String projectName,
                     String tableName,
                     String datahubEndpoint)
              throws OdpsException

Datahub服务入口类

参数:

odps - odps对象

projectName - 对应project名称

tableName - 对应table名称

datahubEndpoint - datahub服务地址，公网用户使用 http://dh.odps.aliyun.com,ecs或内网用户请使用 http://dh-ext.odps.aliyun-inc.com

抛出:

OdpsException

方法详细资料

getProjectName

public String getProjectName()

getTableName

public String getTableName()

loadShard

public void loadShard(long shardNumber)
               throws OdpsException

在ODPS hub服务上启用shard

参数:

shardNumber - 需要启用的shard数量

抛出:

OdpsException

waitForShardLoad

public void waitForShardLoad()
                      throws OdpsException

同步等待 load shard 完成 默认超时时间为 120000ms

抛出:

OdpsException

waitForShardLoad

public void waitForShardLoad(long timeout)
                      throws OdpsException

同步等待 load shard 完成 最大超时时间为 120000ms

参数:

timeout - 超时时间,单位是毫秒 若该值超过 120000ms,将等待 120000ms

抛出:

OdpsException

getShardStatus

public HashMap<Long,DatahubClient.ShardState> getShardStatus()
                                                      throws OdpsException,
                                                             IOException

查询DatahubClinet对应的table拥有的shard在服务端的状态

返回:

返回key为shardid, value是ShardState的HashMap

抛出:

OdpsException, - IOException

OdpsException

IOException

QueryReplicatorStatus

public ReplicatorStatus QueryReplicatorStatus(long shardId,
                                              PartitionSpec partitionSpec)
                                       throws OdpsException

在ODPS hub查询partiton对应的拷贝到离线集群的状态

参数:

shardId - 需要查询的shardId

partitionSpec - 查询的分区，分区表必选, 非分区表可以为null

返回:

ReplicatorStatus

抛出:

OdpsException

setEndpoint

public void setEndpoint(String endpoint)
                 throws OdpsException

设置DatahubServer地址

没有设置DatahubServer地址的情况下, 自动选择

参数:

endpoint -

抛出:

OdpsException

QueryReplicatorStatus

public ReplicatorStatus QueryReplicatorStatus(long shardId)
                                       throws OdpsException

在ODPS hub查询非分区表拷贝到离线集群的状态

参数:

shardId - 需要查询的shardId

返回:

ReplicatorStatus

抛出:

OdpsException

getStreamSchema

public TableSchema getStreamSchema()

getShardList

public List<Long> getShardList()

openDatahubWriter

public DatahubWriter openDatahubWriter(long shardId)
                                throws OdpsException,
                                       IOException

创建DatahubWriter写入指定shard

参数:

shardId - 需要写入数据的shardId

返回:

DatahubWriter

抛出:

OdpsException, - IOException

OdpsException

IOException

openDatahubWriter

public DatahubWriter openDatahubWriter()
                                throws OdpsException,
                                       IOException

创建DatahubWriter

返回:

DatahubWriter

抛出:

OdpsException, - IOException

OdpsException

IOException

openDatahubReader

public DatahubReader openDatahubReader(long shardId)
                                throws OdpsException,
                                       IOException

创建DatahubReader读取指定shard

参数:

shardId - 需要读取数据的shardId

返回:

DatahubReader

抛出:

OdpsException, - IOException

OdpsException

IOException

openDatahubReader

public DatahubReader openDatahubReader(long shardId,
                                       String packId)
                                throws OdpsException,
                                       IOException

创建DatahubReader读取指定shard

参数:

shardId - 需要读取数据的shardId

packId - 指定读取的packId

返回:

DatahubReader

抛出:

OdpsException, - IOException

OdpsException

IOException

openPackReader

public PackReader openPackReader(long shardId)
                          throws OdpsException,
                                 IOException

抛出:

OdpsException

IOException

openPackReader

public PackReader openPackReader(long shardId,
                                 String packId)
                          throws OdpsException,
                                 IOException

抛出:

OdpsException

IOException