com.aliyun.odps.tunnel

类 TableTunnel

java.lang.Object

com.aliyun.odps.tunnel.TableTunnel

public class TableTunnel
extends Object

Tunnel 是 ODPS 的数据通道，用户可以通过 Tunnel 向 ODPS 中上传或者下载数据。
TableTunnel 是访问 ODPS Tunnel 服务的入口类，仅支持表数据（非视图）的上传和下载。

对一张表或 partition 上传下载的过程，称为一个session。session 由一或多个到 Tunnel RESTful API 的 HTTP Request 组成。
session 用 session ID 来标识，session 的超时时间是24小时，如果大批量数据传输导致超过24小时，需要自行拆分成多个 session。
数据的上传和下载分别由 UploadSession 和 DownloadSession 这两个会话来负责。
TableTunnel 提供创建 UploadSession 对象和 DownloadSession 对象的方法.

• 典型表数据上传流程：
  1) 创建 TunnelTable
  2) 创建 UploadSession
  3) 创建 RecordWriter,写入 Record
  4）提交上传操作
  
  
• 典型表数据下载流程：
  1) 创建 TunnelTable
  2) 创建 DownloadSession
  3) 创建 RecordReader,读取 Record
  

示例代码(将一张表的数据导入到另一张表)：

 public class Sample {
    private static String accessID = "";
    private static String accessKey = "";
    private static String odpsURL = "";
    private static String tunnelURL = "";
    private static String project = "";
    private static String table1 = "";
    private static String table2 = "";

    public static void main(String args[]){
        Account account = new AliyunAccount(accessID, accessKey);
        Odps odps = new Odps(account);
        odps.setEndpoint(odpsURL);
        odps.setDefaultProject(project);

        TableTunnel tunnel = new TableTunnel(odps);
        tunnel.setEndpoint(tunnelURL);

        try {
            DownloadSession downloadSession = tunnel.createDownloadSession(project, table1);
            long count = downloadSession.getRecordCount();
            RecordReader recordReader = downloadSession.openRecordReader(0, count);
            Record record;

            UploadSession uploadSession = tunnel.createUploadSession(project, table2);
            RecordWriter recordWriter = uploadSession.openRecordWriter(0);

            while((record = recordReader.read()) != null){
                recordWriter.write(record);
            }

            recordReader.close();

            recordWriter.close();
            uploadSession.commit(new Long[]{0L});
        }catch (TunnelException e){
            e.printStackTrace();
        }catch (IOException e1) {
            e1.printStackTrace();
        }
    }
}
 

另请参阅:

UploadSession, DownloadSession

嵌套类概要

嵌套类

限定符和类型	类和说明
class	TableTunnel.DownloadSession DownloadSession 表示从 ODPS 表中下载数据的会话，一般通过TableTunnel来创建。
static class	TableTunnel.DownloadStatus 下载会话的状态 UNKNOWN 未知 NORMAL 正常 CLOSED 关闭 EXPIRED 过期
class	TableTunnel.UploadSession UploadSession 表示向ODPS表中上传数据的会话，一般通过TableTunnel来创建。
static class	TableTunnel.UploadStatus UploadStatus表示当前Upload的状态 UNKNOWN 未知 NORMAL 正常 CLOSING 关闭中 CLOSED 已关闭 CANCELED 已取消 EXPIRED 已过期 CRITICAL 严重错误

构造器概要

构造器

构造器和说明
TableTunnel(Odps odps) 构造此类对象

方法概要

方法

限定符和类型	方法和说明
TableTunnel.DownloadSession	createDownloadSession(String projectName, String tableName) 在非分区表上创建下载会话
TableTunnel.DownloadSession	createDownloadSession(String projectName, String tableName, long shardId) 在shard表上创建下载会话
TableTunnel.DownloadSession	createDownloadSession(String projectName, String tableName, PartitionSpec partitionSpec) 在分区表上创建下载会话
TableTunnel.DownloadSession	createDownloadSession(String projectName, String tableName, PartitionSpec partitionSpec, long shardId) 在shard表上创建下载会话
StreamClient	createStreamClient(String projectName, String tableName) 创建Stream上传Client
TableTunnel.UploadSession	createUploadSession(String projectName, String tableName) 在非分区表上创建上传会话
TableTunnel.UploadSession	createUploadSession(String projectName, String tableName, PartitionSpec partitionSpec) 在分区表上创建上传会话 注: 分区必须为最末级分区,如表有两级分区pt,ds, 则必须全部指定值, 不支持只指定其中一个值
TableTunnel.DownloadSession	getDownloadSession(String projectName, String tableName, long shardId, String id) 获得在非分区表上创建的下载会话
TableTunnel.DownloadSession	getDownloadSession(String projectName, String tableName, PartitionSpec partitionSpec, long shardId, String id) 获得在shard表上创建的下载会话
TableTunnel.DownloadSession	getDownloadSession(String projectName, String tableName, PartitionSpec partitionSpec, String id) 获得在分区表上创建的下载会话
TableTunnel.DownloadSession	getDownloadSession(String projectName, String tableName, String id) 获得在非分区表上创建的下载会话
TableTunnel.UploadSession	getUploadSession(String projectName, String tableName, PartitionSpec partitionSpec, String id) 获得在分区表上创建的上传会话
TableTunnel.UploadSession	getUploadSession(String projectName, String tableName, String id) 获得在非分区表上创建的上传会话
void	setEndpoint(String endpoint) 设置TunnelServer地址 没有设置TunnelServer地址的情况下, 自动选择

从类继承的方法 java.lang.Object

equals, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

TableTunnel

public TableTunnel(Odps odps)

构造此类对象

参数:

odps - Odps

方法详细资料

createUploadSession

public TableTunnel.UploadSession createUploadSession(String projectName,
                                            String tableName)
                                              throws TunnelException

在非分区表上创建上传会话

参数:

projectName - Project名称

tableName - 表名，非视图

返回:

TableTunnel.UploadSession

抛出:

TunnelException

createUploadSession

public TableTunnel.UploadSession createUploadSession(String projectName,
                                            String tableName,
                                            PartitionSpec partitionSpec)
                                              throws TunnelException

在分区表上创建上传会话

注: 分区必须为最末级分区,如表有两级分区pt,ds, 则必须全部指定值, 不支持只指定其中一个值

参数:

projectName - Project名

tableName - 表名，非视图

partitionSpec - 指定分区 PartitionSpec

返回:

TableTunnel.UploadSession

抛出:

TunnelException

getUploadSession

public TableTunnel.UploadSession getUploadSession(String projectName,
                                         String tableName,
                                         String id)
                                           throws TunnelException

获得在非分区表上创建的上传会话

参数:

projectName - Project名

tableName - 表名，非视图

id - 上传会话的ID TableTunnel.UploadSession.getId()

返回:

TableTunnel.UploadSession

抛出:

TunnelException

getUploadSession

public TableTunnel.UploadSession getUploadSession(String projectName,
                                         String tableName,
                                         PartitionSpec partitionSpec,
                                         String id)
                                           throws TunnelException

获得在分区表上创建的上传会话

参数:

projectName - Project名

tableName - 表名，非视图

partitionSpec - 上传数据表的partition描述 PartitionSpec

id - 上传会话ID TableTunnel.UploadSession.getId()

返回:

TableTunnel.UploadSession

抛出:

TunnelException

createDownloadSession

public TableTunnel.DownloadSession createDownloadSession(String projectName,
                                                String tableName)
                                                  throws TunnelException

在非分区表上创建下载会话

参数:

projectName - Project名称

tableName - 表名，非视图

返回:

TableTunnel.DownloadSession

抛出:

TunnelException

createDownloadSession

public TableTunnel.DownloadSession createDownloadSession(String projectName,
                                                String tableName,
                                                PartitionSpec partitionSpec)
                                                  throws TunnelException

在分区表上创建下载会话

参数:

projectName - Project名

tableName - 表名，非视图

partitionSpec - 指定分区 PartitionSpec

返回:

TableTunnel.DownloadSession

抛出:

TunnelException

createDownloadSession

public TableTunnel.DownloadSession createDownloadSession(String projectName,
                                                String tableName,
                                                long shardId)
                                                  throws TunnelException

在shard表上创建下载会话

参数:

projectName - Project名

tableName - 表名，非视图

shardId - 指定shardId

返回:

DownloadSession

抛出:

TunnelException

createDownloadSession

public TableTunnel.DownloadSession createDownloadSession(String projectName,
                                                String tableName,
                                                PartitionSpec partitionSpec,
                                                long shardId)
                                                  throws TunnelException

在shard表上创建下载会话

参数:

projectName - Project名

tableName - 表名，非视图

partitionSpec - 指定分区 PartitionSpec

shardId - 指定shardId

返回:

DownloadSession

抛出:

TunnelException

getDownloadSession

public TableTunnel.DownloadSession getDownloadSession(String projectName,
                                             String tableName,
                                             String id)
                                               throws TunnelException

获得在非分区表上创建的下载会话

参数:

projectName - Project名

tableName - 表名，非视图

id - 下载会话ID TableTunnel.DownloadSession.getId()

返回:

TableTunnel.DownloadSession

抛出:

TunnelException

getDownloadSession

public TableTunnel.DownloadSession getDownloadSession(String projectName,
                                             String tableName,
                                             long shardId,
                                             String id)
                                               throws TunnelException

获得在非分区表上创建的下载会话

参数:

projectName - Project名

tableName - 表名，非视图

id - 下载会话ID TableTunnel.DownloadSession.getId()

返回:

TableTunnel.DownloadSession

抛出:

TunnelException

getDownloadSession

public TableTunnel.DownloadSession getDownloadSession(String projectName,
                                             String tableName,
                                             PartitionSpec partitionSpec,
                                             String id)
                                               throws TunnelException

获得在分区表上创建的下载会话

参数:

projectName - Project名

tableName - 表名，非视图

partitionSpec - 指定分区 PartitionSpec

id - 下载会话ID TableTunnel.DownloadSession.getId()

返回:

TableTunnel.DownloadSession

抛出:

TunnelException

getDownloadSession

public TableTunnel.DownloadSession getDownloadSession(String projectName,
                                             String tableName,
                                             PartitionSpec partitionSpec,
                                             long shardId,
                                             String id)
                                               throws TunnelException

获得在shard表上创建的下载会话

参数:

projectName - Project名

tableName - 表名，非视图

partitionSpec - 指定分区 PartitionSpec

shardId - 指定shardId

id - 下载会话ID DownloadSession.getId()

返回:

DownloadSession

抛出:

TunnelException

createStreamClient

public StreamClient createStreamClient(String projectName,
                              String tableName)
                                throws TunnelException

创建Stream上传Client

参数:

projectName - Project名称

tableName - table名称

返回:

StreamClient

抛出:

TunnelException

setEndpoint

public void setEndpoint(String endpoint)

设置TunnelServer地址

没有设置TunnelServer地址的情况下, 自动选择

参数:

endpoint -