QingCloud 文档 – 新增数据源 - kaiyun官方网站下载手机网页

Bigdata: 新增 MySQL 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 MySQL 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 MySQL 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数	参数说明
JDBC 连接 URL（IP 地址:端口/Database）	JDBC 连接信息，格式为 jdbc:mysql://ip:port/database?useSSL=false。
用户名（User Name）	连接数据库的用户名。
密码（Password）	连接数据库的密码。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

Bigdata: 新增 PostgreSQL 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 PostgreSQL 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 PostgreSQL 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数	参数说明
JDBC 连接 URL（IP 地址:端口/Database）	JDBC 连接信息，格式为 jdbc:postgresql://ip:port/database?useSSL=false。
用户名（User Name）	连接数据库的用户名。
密码（Password）	连接数据库的密码。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

Bigdata: 新增 SQLServer 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 SQLServer 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 SQLServer 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数	参数说明
JDBC 连接 URL（IP 地址:端口;DatabaseName）	JDBC 连接信息，格式为 jdbc:sqlserver://ip:port;DatabaseName=Database。
用户名（User Name）	连接数据库的用户名。
密码（Password）	连接数据库的密码。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

Bigdata: 新增 Oracle 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 Oracle 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 Oracle 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数	参数说明
JDBC 连接 URL（IP 地址:端口/Database）	JDBC 连接信息，格式为 jdbc:oracle:thin:@ip:port:database。
用户名（User Name）	连接数据库的用户名。
密码（Password）	连接数据库的密码。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

Bigdata: 新增 DB2 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 DB2 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 DB2 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数	参数说明
JDBC 连接 URL（IP 地址:端口/Database）	JDBC 连接信息，格式为 jdbc:db2://ip:port/database?useSSL=false。
用户名（User Name）	连接数据库的用户名。
密码（Password）	连接数据库的密码。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

Bigdata: 新增 SPA HANA 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 SPA HANA 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 SPA HANA 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数	参数说明
JDBC 连接 URL（IP 地址:端口?SCHEMA）	JDBC 连接信息，格式为 jdbc:sap://ip:port?currentschema=SCHEMA。
用户名（User Name）	连接数据库的用户名。
密码（Password）	连接数据库的密码。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

Bigdata: 新增 ClickHouse 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 ClickHouse 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 ClickHouse 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数	参数说明
JDBC 连接 URL（IP 地址:端口/Database）	JDBC 连接信息，格式为 jdbc:clickhouse://ip:port/database。
用户名（User Name）	连接数据库的用户名。
密码（Password）	连接数据库的密码。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

Bigdata: 新增 Hive 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 Hive 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 Hive 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数	参数说明
主节点地址（NameNode 节点地址）	格式为 hdfs://ip:port。
Hive 元数据库的 JDBC URL（IP 地址:端口/Database）	JDBC 连接信息，格式为 jdbc:hive2://ip:port/database。
安全验证	您可以选择是否开启安全验证。开启安全验证：选择`用户名密码登录`，还需要输入用户名和密码。关闭安全验证：选择`匿名登录`。
用户名（User Name）	数据库用户名。当安全验证选择`用户名密码登录`时需要配置该参数。
密码（Password）	数据库密码。当安全验证选择`用户名密码登录`时需要配置该参数。
Hadoop 高级配置	Hadoop 相关的高级参数，比如 HA 配置。当安全验证方式选择`匿名登录`时可以配置该参数。集群 HA 模式时需要填写 core-site.xml 及 hdfs-site.xml 中的配置。开启 kerberos 时需要包含 kerberos 相关配置。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

Bigdata: 新增 FTP 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 FTP 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 FTP 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数	参数说明
协议（Protocol）	支持 `FTP` 和 `SFTP` 协议。
连接模式（Connection Mode）	支持 `被动模式`和`主动模式`。选择 FTP 协议时需要配置该参数。主动模式的 FTP 是指服务器主动连接客户端的数据端口。主动模式利于服务器安全管理。如果客户端开启了防火墙，或客户端处于内网，那么服务器对客户端端口发起的连接可能会失败。被动模式的 FTP 是指服务器被动地等待客户端连接自己的数据端口。被动模式通常用在处于防火墙之后的 FTP 客户端访问外界 FTP 服务器的情况。
私钥（Private Key）	SFTP 私钥文件内容。选择 SFTP 协议时需要配置该参数。
主机别名和端口（Host : Port）	FTP 服务器的名称和连接端口号，格式为 ftp://ip:port。选择 FTP 协议，端口默认为 `21`。选择SFTP协议，端口默认为 `22`。
用户名（User Name）	访问 FTP 服务的用户名。
密码（Password）	访问 FTP 服务的密码。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

Bigdata: 新增 HDFS 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 HDFS 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 HDFS 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数	参数说明
主节点地址（NameNode 节点地址）	格式为 hdfs://ip:port。
Hadoop 高级配置	Hadoop 相关的高级参数，比如 HA 配置。集群 HA 模式时需要填写 core-site.xml 及 hdfs-site.xml 中的配置。开启 kerberos 时需要包含 kerberos 相关配置。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

Bigdata: 新增 HBase 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 HBase 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 HBase 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

HBase集群提供给客户端连接的配置信息。

您可以转换 hbase-site.xml 为 JSON 格式，并补充 scan 的 cache、batch 等更多 HBase 客户端配置，以优化集群与客户端的交互。

示例如下：

{
   "hbase.zookeeper.property.clientPort": "2181",
   "hbase.rootdir": "hdfs://ns1/hbase",
   "hbase.cluster.distributed": "true",
   "hbase.zookeeper.quorum": "node01,node02,node03",
   "zookeeper.znode.parent": "/hbase"
}

参数	参数说明
hbase.zookeeper.property.clientPort	ZooKeeper 的连接端口号。
hbase.rootdir	ZooKeeper 的根目录。
hbase.cluster.distributed	是否为分布式集群。
hbase.zookeeper.quorum	ZooKeeper 的连接地址。
zookeeper.znode.parent	ZooKeeper 的父目录。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

Bigdata: 新增 ElasticSearch 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 ElasticSearch 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 ElasticSearch 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数	参数说明
连接地址	格式为 ip:port。端口号默认为 `9200`。
版本	ElasticSearch 的版本。
安全验证	您可以选择是否开启安全验证。开启安全验证：选择`用户名密码登录`，还需要输入用户名和密码。关闭安全验证：选择`匿名登录`。
用户名（User Name）	数据库用户名。当安全验证选择`用户名密码登录`时需要配置该参数。
密码（Password）	数据库密码。当安全验证选择`用户名密码登录`时需要配置该参数。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

Bigdata: 新增 MongoDB 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 MongoDB 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 MongoDB 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数	参数说明
访问地址	格式为 ip:port。支持批量输入和单条输入。批量输入时，多条配置换行输入。
数据库名称（Database Name）	数据库的名称，您需要在数据库实例中创建对应名称的数据库。
用户名（User Name）	连接数据库的用户名。
密码（Password）	数据库的密码。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

Bigdata: 新增 Kafka 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 Kafka 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 Kafka 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP 端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数参数说明

Kafka 集群地址（Bootstrap Servers） Kafka 的连接地址。格式为 ip:port。支持批量输入和单条输入。批量输入时，多条配置换行输入。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。

参数	参数说明
Kafka 集群地址（Bootstrap Servers）	Kafka 的连接地址。格式为 ip:port。支持批量输入和单条输入。批量输入时，多条配置换行输入。

Bigdata: 新增 Redis 数据源

Mon, 01 Jan 0001 00:00:00 +0000

数据源是大数据工作台用于数据处理的出入口。本小节主要介绍如何新增 Redis 数据源。

前提条件

数据源需要在网络连通的前提下才能进行数据同步，详情请参见网络连通方案。

操作步骤

登录管理控制台。
选择产品与服务 > 大数据服务 > 大数据工作台，进入大数据工作台概览页面。
在左侧导航选择工作空间，进入工作空间页面。
选择工作空间所在区域后，在目标工作空间点击数据源管理，进入数据源管理页面。
点击新增数据源，进入新增数据源页面。

选择 Redis 数据源类型，进入配置数据源页面。

配置数据源基本信息。

参数	参数说明
数据源连接方式	当前仅支持`连接串模式`，即通过 IP、端口、用户名密码进行连接。
数据源名称	新增数据源的名称，您可以自定义。
数据源描述	新增数据源的描述信息，您可以自定义。

配置数据源连接信息。

参数参数说明

访问地址格式为 ip:port。支持批量输入和单条输入。批量输入时，多条配置换行输入。

密码（Password） Redis 服务访问密码。

展开数据源可用性测试，点击开始测试，测试数据源的可用性。

也可以在数据源添加成功后，点击数据源操作列的可用性测试测试可用性。
点击新增，开始新增数据源。