| 程序包 | 说明 |
|---|---|
| com.aliyun.odps.tunnel |
ODPS Tunnel服务用于上传、下载数据到ODPS
Examples:
Account account = new AliyunAccount("accessId", "accessKey");
Odps odps = new Odps(account);
odps.setDefaultProject("my_project");
DataTunnel tunnel = new DataTunnel(odps);
UploadSession session = tunnel.createUploadSession("my_project", "my_table");
.... |
| 限定符和类型 | 类和说明 |
|---|---|
class |
InvalidColumnTypeException
该异常在Schema的中列类型不被支持时抛出
|
class |
InvalidRecordSchema
该异常在Schema的格式不正确的时候抛出
|
| 限定符和类型 | 方法和说明 |
|---|---|
void |
TableTunnel.UploadSession.commit(Long[] blocks)
提交本次上传的所有数据块
blcoks表示用户记录的已经成功上传的数据块列表,用来与服务器端做完整性校验
|
void |
UploadSession.commit(Long[] blocks)
已过时。
提交本次上传的所有数据块
blcoks表示用户记录的已经成功上传的数据块列表,用来与服务器端做完整性校验
|
void |
VolumeTunnel.UploadSession.commit(String[] files)
提交本次上传的所有file
|
TableTunnel.DownloadSession |
TableTunnel.createDownloadSession(String projectName,
String tableName)
在非分区表上创建下载会话
|
DownloadSession |
DataTunnel.createDownloadSession(String projectName,
String tableName)
已过时。
在非分区表上创建下载会话
|
TableTunnel.DownloadSession |
TableTunnel.createDownloadSession(String projectName,
String tableName,
long shardId)
在shard表上创建下载会话
|
TableTunnel.DownloadSession |
TableTunnel.createDownloadSession(String projectName,
String tableName,
PartitionSpec partitionSpec)
在分区表上创建下载会话
|
DownloadSession |
DataTunnel.createDownloadSession(String projectName,
String tableName,
PartitionSpec partitionSpec)
已过时。
在分区表上创建下载会话
|
TableTunnel.DownloadSession |
TableTunnel.createDownloadSession(String projectName,
String tableName,
PartitionSpec partitionSpec,
long shardId)
在shard表上创建下载会话
|
VolumeTunnel.DownloadSession |
VolumeTunnel.createDownloadSession(String projectName,
String volumeName,
String partition,
String fileName)
构造一个新的
VolumeTunnel.DownloadSession对象。 |
StreamClient |
TableTunnel.createStreamClient(String projectName,
String tableName)
创建Stream上传Client
|
TableTunnel.UploadSession |
TableTunnel.createUploadSession(String projectName,
String tableName)
在非分区表上创建上传会话
|
UploadSession |
DataTunnel.createUploadSession(String projectName,
String tableName)
已过时。
在非分区表上创建上传会话
|
TableTunnel.UploadSession |
TableTunnel.createUploadSession(String projectName,
String tableName,
PartitionSpec partitionSpec)
在分区表上创建上传会话
注: 分区必须为最末级分区,如表有两级分区pt,ds, 则必须全部指定值, 不支持只指定其中一个值
|
UploadSession |
DataTunnel.createUploadSession(String projectName,
String tableName,
PartitionSpec partitionSpec)
已过时。
在分区表上创建上传会话
注: 分区必须为最末级分区,如表有两级分区pt,ds, 则必须全部指定值, 不支持只指定其中一个值
|
VolumeTunnel.UploadSession |
VolumeTunnel.createUploadSession(String projectName,
String volumeName,
String partition)
构造一个新的
VolumeTunnel.UploadSession对象。 |
Long[] |
TableTunnel.UploadSession.getBlockList()
获取当前会话已经上传成功的数据块列表
|
Long[] |
UploadSession.getBlockList()
已过时。
获取当前会话已经上传成功的数据块列表
|
TableTunnel.DownloadSession |
TableTunnel.getDownloadSession(String projectName,
String tableName,
long shardId,
String id)
获得在非分区表上创建的下载会话
|
TableTunnel.DownloadSession |
TableTunnel.getDownloadSession(String projectName,
String tableName,
PartitionSpec partitionSpec,
long shardId,
String id)
获得在shard表上创建的下载会话
|
TableTunnel.DownloadSession |
TableTunnel.getDownloadSession(String projectName,
String tableName,
PartitionSpec partitionSpec,
String id)
获得在分区表上创建的下载会话
|
DownloadSession |
DataTunnel.getDownloadSession(String projectName,
String tableName,
PartitionSpec partitionSpec,
String id)
已过时。
获得在分区表上创建的下载会话
|
TableTunnel.DownloadSession |
TableTunnel.getDownloadSession(String projectName,
String tableName,
String id)
获得在非分区表上创建的下载会话
|
DownloadSession |
DataTunnel.getDownloadSession(String projectName,
String tableName,
String id)
已过时。
获得在非分区表上创建的下载会话
|
VolumeTunnel.DownloadSession |
VolumeTunnel.getDownloadSession(String projectName,
String volumeName,
String partition,
String fileName,
String downloadId)
根据已有downloadId获取一个
VolumeTunnel.DownloadSession对象。 |
Long |
VolumeTunnel.UploadSession.getFileLength(String fileName) |
String[] |
VolumeTunnel.UploadSession.getFileList()
获取当前
UploadSession已成功上传的files |
HashMap<Long,StreamClient.ShardState> |
StreamClient.getShardStatus()
查询StreamClinet对应的table拥有的shard在服务端的状态
|
TableTunnel.UploadStatus |
TableTunnel.UploadSession.getStatus()
获取会话状态
|
TableTunnel.DownloadStatus |
TableTunnel.DownloadSession.getStatus()
获取会话状态
|
DownloadSession.Status |
DownloadSession.getStatus()
已过时。
获取会话状态
|
UploadSession.Status |
UploadSession.getStatus()
已过时。
获取会话状态
|
VolumeTunnel.UploadStatus |
VolumeTunnel.UploadSession.getStatus()
获取当前
UploadSession的Status |
VolumeTunnel.DownloadStatus |
VolumeTunnel.DownloadSession.getStatus()
获取当前
DownloadSession的Status |
TableTunnel.UploadSession |
TableTunnel.getUploadSession(String projectName,
String tableName,
PartitionSpec partitionSpec,
String id)
获得在分区表上创建的上传会话
|
UploadSession |
DataTunnel.getUploadSession(String projectName,
String tableName,
PartitionSpec partitionSpec,
String id)
已过时。
获得在分区表上创建的上传会话
|
TableTunnel.UploadSession |
TableTunnel.getUploadSession(String projectName,
String tableName,
String id)
获得在非分区表上创建的上传会话
|
UploadSession |
DataTunnel.getUploadSession(String projectName,
String tableName,
String id)
已过时。
获得在非分区表上创建的上传会话
|
VolumeTunnel.UploadSession |
VolumeTunnel.getUploadSession(String projectName,
String volumeName,
String partition,
String uploadId)
根据已有uploadId获取一个
VolumeTunnel.UploadSession对象。 |
void |
TunnelException.loadFromJson(InputStream is)
已过时。
|
void |
StreamClient.loadShard(int shardNumber)
在ODPS hub服务上启用shard
|
InputStream |
VolumeTunnel.DownloadSession.openInputStream()
创建
InputStream用来将指定File以数据流的形式输出。 |
InputStream |
VolumeTunnel.DownloadSession.openInputStream(boolean compress)
创建
InputStream用来将指定File以数据流的形式输出。 |
InputStream |
VolumeTunnel.DownloadSession.openInputStream(long start,
long length)
创建
InputStream用来将指定File以数据流的形式输出。 |
InputStream |
VolumeTunnel.DownloadSession.openInputStream(long start,
long length,
boolean compress)
创建
InputStream用来将指定File以数据流的形式输出。 |
OutputStream |
VolumeTunnel.UploadSession.openOutputStream(String fileName)
创建
OutputStream用来将数据流入到指定File。 |
OutputStream |
VolumeTunnel.UploadSession.openOutputStream(String fileName,
boolean compress)
创建
OutputStream用来将数据流入到指定File。 |
OutputStream |
VolumeTunnel.UploadSession.openOutputStream(String fileName,
boolean compress,
boolean append)
创建
OutputStream用来将数据流入到指定File。 |
com.aliyun.odps.tunnel.io.PackReader |
StreamClient.openPackReader(long shardId) |
com.aliyun.odps.tunnel.io.PackReader |
StreamClient.openPackReader(long shardId,
String packId) |
RecordReader |
TableTunnel.DownloadSession.openRecordReader(long start,
long count)
打开
RecordReader用来读取记录 |
RecordReader |
DownloadSession.openRecordReader(long start,
long count)
已过时。
打开
RecordReader用来读取记录 |
RecordReader |
TableTunnel.DownloadSession.openRecordReader(long start,
long count,
boolean compress)
打开
RecordReader用来读取记录 |
RecordReader |
DownloadSession.openRecordReader(long start,
long count,
boolean compress)
已过时。
打开
RecordReader用来读取记录 |
RecordReader |
TableTunnel.DownloadSession.openRecordReader(long start,
long count,
boolean compress,
List<Column> columns)
打开
RecordReader用来读取记录 |
RecordReader |
TableTunnel.DownloadSession.openRecordReader(long start,
long count,
com.aliyun.odps.tunnel.io.CompressOption compress)
打开
RecordReader用来读取记录 |
RecordReader |
TableTunnel.DownloadSession.openRecordReader(long start,
long count,
com.aliyun.odps.tunnel.io.CompressOption compress,
List<Column> columns)
打开
RecordReader用来读取记录 |
RecordWriter |
TableTunnel.UploadSession.openRecordWriter(long blockId)
打开
RecordWriter用来写入数据
BlockId是由用户选取的0~19999之间的数值,标识本次上传数据块
|
RecordWriter |
UploadSession.openRecordWriter(long blockId)
已过时。
打开
RecordWriter用来写入数据
BlockId是由用户选取的0~19999之间的数值,标识本次上传数据块
|
RecordWriter |
TableTunnel.UploadSession.openRecordWriter(long blockId,
boolean compress)
打开
RecordWriter用来写入数据 |
RecordWriter |
UploadSession.openRecordWriter(long blockId,
boolean compress)
已过时。
打开
RecordWriter用来写入数据 |
RecordWriter |
TableTunnel.UploadSession.openRecordWriter(long blockId,
com.aliyun.odps.tunnel.io.CompressOption compress)
打开
RecordWriter用来写入数据 |
com.aliyun.odps.tunnel.io.StreamReader |
StreamClient.openStreamReader(long shardId) |
com.aliyun.odps.tunnel.io.StreamReader |
StreamClient.openStreamReader(long shardId,
String packId) |
com.aliyun.odps.tunnel.io.StreamWriter |
StreamClient.openStreamWriter(long shardId) |
com.aliyun.odps.tunnel.io.StreamWriter |
StreamClient.openStreamWriter(String shardId)
已过时。
|
com.aliyun.odps.tunnel.io.ReplicatorStatus |
StreamClient.QueryReplicatorStatus(long shardId)
在ODPS hub查询非分区表拷贝到离线集群的状态
|
com.aliyun.odps.tunnel.io.ReplicatorStatus |
StreamClient.QueryReplicatorStatus(long shardId,
PartitionSpec partitionSpec)
在ODPS hub查询partiton对应的拷贝到离线集群的状态
|
| 构造器和说明 |
|---|
StreamClient(com.aliyun.odps.tunnel.Configuration conf,
String projectName,
String tableName) |
VolumeTunnel.DownloadSession(String projectName,
String volumeName,
String partitionSpec,
String fileName)
构造一个新的
DownloadSession。 |
VolumeTunnel.DownloadSession(String projectName,
String volumeName,
String partitionSpec,
String fileName,
String downloadId)
根据已有downloadId构造一个
DownloadSession对象。 |
VolumeTunnel.UploadSession(String projectName,
String volumeName,
String partitionSpec)
构造一个新的
UploadSession对象。 |
VolumeTunnel.UploadSession(String projectName,
String volumeName,
String partitionSpec,
String uploadId)
根据已有的uploadId构造一个
UploadSession对象。 |
Copyright © 2015 Alibaba Cloud Computing. All rights reserved.