QingCloud 文档 – 配置数据来源 - kaiyun官方网站下载手机网页

Bigdata: 配置 MySQL 数据来源

Mon, 01 Jan 0001 00:00:00 +0000

本文为您介绍 MySQL 作为数据来源时，需要配置的参数及配置示例。

前提条件

开始配置 MySQL 数据源前，请先添加数据源，详细操作请参见新增 MySQL 数据源。

类型转换列表

分类	支持的 MySQL 数据类型
整数类	TINYINT、SMALLINT、INT、BIGINT
浮点类	FLOAT、DOUBLE、DECIMAL
字符串类	STRING、VARCHAR、CHAR
日期时间类	TIMESTAMP、DATE
布尔型	BOOLEAN
二进制类	BINARY

参数说明

参数	类型	是否必填	描述
table	string	是	选择需要同步的表名称。一个数据集成作业只能同步数据到一个目标表。说明如果配置的表不存在，会导致作业运行失败。
where	string	否	where 过滤语句。说明需填写 SQL 合法 where 子句。不需要填写 where 关键字。
splitPk	string	否	如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步会启动并发任务进行数据同步，提高数据同步的效能。注意推荐使用表主键进行切分，仅支持整型数据切分。如果通道设置中 channel 大于 1，必须配置此参数。
column	list	是	配置所选表中需要同步的列名。说明如果读取的列不存在，会导致作业运行失败。

向导模式开发介绍

打开已创建的离线-批量同步作业，即可进行同步任务的配置。详细操作请参见创建离线-批量同步作业（向导模式）。

您需要在作业的开发页面进行以下配置：

参数	说明
数据源	选择已添加的数据源。
数据源表	即上述参数说明中的 `table`。
过滤条件	即上述参数说明中的 `where`。仅全量同步时需要配置该参数。
条件参数配置	配置需要同步数据的过滤条件。仅增量同步时需要配置该参数。
切分键	即上述参数说明中的 splitPk。建议使用主键作为切分键，仅支持类型为整型的字段。读取数据时，根据配置的字段进行数据分片，实现并发读取，可以提升数据同步效率。说明切分键与数据同步中的选择来源有关，配置数据来源时才显示切分键配置项。

条件参数配置

仅离线增量同步需要进行条件参数配置。

可视化方式

参数	说明
列名	选择需要过滤的列名。
开始条件	配置过滤的开始条件。
结束条件	配置过滤的结束条件。
生成条件参数	根据上述配置信息自动生成条件参数表达式。

表达式方式

条件参数配置默认使用可视化方式，您可以根据使用习惯切换为表达式方式。

Bigdata: 配置 PostgreSQL 数据来源

Mon, 01 Jan 0001 00:00:00 +0000

本文为您介绍 PostgreSQL 作为数据来源时，需要配置的参数及配置示例。

前提条件

开始配置 PostgreSQL 数据源前，请先添加数据源，详细操作请参见新增 PostgreSQL 数据源。

类型转换列表

分类	支持的 PostgreSQL 数据类型
整数类	SMALLINT、INT2、INT、INTEGER、INT4、BIGINT、INT8、SMALLSERIAL、SERIAL、BIGSERIAL、OID
浮点类	REAL、FLOAT4、FLOAT、DOUBLE、PRECISION、FLOAT8、NUMERIC、DECIMAL
字符串类	CHARACTER VARYING、VARCHAR、CHARACTER、CHAR、TEXT、NAME、BPCHAR
日期时间类	TIMESTAMP、TIMESTAMPTZ、DATE、TIME、TIMETZ
布尔型	BOOLEAN、BOOL
二进制类	BYTEA

参数说明

参数	类型	是否必填	描述
table	string	是	选择需要同步的表名称。一个数据集成作业只能同步数据到一个目标表。说明如果配置的表不存在，会导致作业运行失败。
where	string	否	where 过滤语句。说明需填写 SQL 合法 where 子句。不需要填写 where 关键字。
splitPk	string	否	如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步会启动并发任务进行数据同步，提高数据同步的效能。注意推荐使用表主键进行切分，仅支持整型数据切分。如果通道设置中 channel 大于 1，必须配置此参数。
column	list	是	配置所选表中需要同步的列名。说明如果读取的列不存在，会导致作业运行失败。

向导模式开发介绍

打开已创建的离线-批量同步作业，即可进行同步任务的配置。详细操作请参见创建离线-批量同步作业（向导模式）。

您需要在作业的开发页面进行以下配置：

参数	说明
数据源	选择已添加的数据源。
数据源表	即上述参数说明中的 `table`。
过滤条件	即上述参数说明中的 `where`。仅全量同步时需要配置该参数。
条件参数配置	配置需要同步数据的过滤条件。仅增量同步时需要配置该参数。
切分键	即上述参数说明中的 splitPk。建议使用主键作为切分键，仅支持类型为整型的字段。读取数据时，根据配置的字段进行数据分片，实现并发读取，可以提升数据同步效率。说明切分键与数据同步中的选择来源有关，配置数据来源时才显示切分键配置项。

条件参数配置

仅离线增量同步需要进行条件参数配置。

可视化方式

参数	说明
列名	选择需要过滤的列名。
开始条件	配置过滤的开始条件。
结束条件	配置过滤的结束条件。
生成条件参数	根据上述配置信息自动生成条件参数表达式。

表达式方式

条件参数配置默认使用可视化方式，您可以根据使用习惯切换为表达式方式。

Bigdata: 配置 SQLServer 数据来源

Mon, 01 Jan 0001 00:00:00 +0000

本文为您介绍 SQLServer 作为数据来源时，需要配置的参数及配置示例。

前提条件

开始配置 SQLServer 数据源前，请先添加数据源，详细操作请参见新增 SQLServer 数据源。

类型转换列表

分类	支持的 SQLServer 数据类型
整数类	INT、SMALLINT、TINYINT、BIGINT、INT IDENTITY
浮点类	REAL、FLOAT、DECIMAL、NUMERIC、MONEY、SMALLMONEY
字符串类	CHAR、VARCHAR、VARCHAR(MAX)、TEXT、XML、NCHAR、NVARCHAR、NVARCHAR(MAX)、NTEXT
日期时间类	TIME、DATE、DATETIME、DATETIME2、SMALLDATETIME、DATETIMEOFFSET、TIMESTAMP
二进制类	BIT、BINARY、VARBINARY、UNIQUEIDENTIFIER、IMAGE

参数说明

参数	类型	是否必填	描述
table	string	是	选择需要同步的表名称。一个数据集成作业只能同步数据到一个目标表。说明如果配置的表不存在，会导致作业运行失败。
where	string	否	where 过滤语句。说明需填写 SQL 合法 where 子句。不需要填写 where 关键字。
splitPk	string	否	如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步会启动并发任务进行数据同步，提高数据同步的效能。注意推荐使用表主键进行切分，仅支持整型数据切分。如果通道设置中 channel 大于 1，必须配置此参数。
column	list	是	配置所选表中需要同步的列名。说明如果读取的列不存在，会导致作业运行失败。

向导模式开发介绍

打开已创建的离线-批量同步作业，即可进行同步任务的配置。详细操作请参见创建离线-批量同步作业（向导模式）。

您需要在作业的开发页面进行以下配置：

参数	说明
数据源	选择已添加的数据源。
数据源表	即上述参数说明中的 `table`。
过滤条件	即上述参数说明中的 `where`。仅全量同步时需要配置该参数。
条件参数配置	配置需要同步数据的过滤条件。仅增量同步时需要配置该参数。
切分键	即上述参数说明中的 splitPk。建议使用主键作为切分键，仅支持类型为整型的字段。读取数据时，根据配置的字段进行数据分片，实现并发读取，可以提升数据同步效率。说明切分键与数据同步中的选择来源有关，配置数据来源时才显示切分键配置项。

条件参数配置

仅离线增量同步需要进行条件参数配置。

可视化方式

参数	说明
列名	选择需要过滤的列名。
开始条件	配置过滤的开始条件。
结束条件	配置过滤的结束条件。
生成条件参数	根据上述配置信息自动生成条件参数表达式。

表达式方式

条件参数配置默认使用可视化方式，您可以根据使用习惯切换为表达式方式。

Bigdata: 配置 ClickHouse 数据来源

Mon, 01 Jan 0001 00:00:00 +0000

本文为您介绍 ClickHouse 作为数据来源时，需要配置的参数及配置示例。

前提条件

开始配置 ClickHouse 数据源前，请先添加数据源，详细操作请参见新增 ClickHouse 数据源。

类型转换列表

分类	支持的 ClickHouse 数据类型
整数类	TINYINT、SMALLINT、INT、BIGINT
浮点类	FLOAT、DOUBLE、DECIMAL
字符串类	STRING、VARCHAR、CHAR、NULL
日期时间类	TIMESTAMP、DATE
布尔型	BOOLEAN
二进制类	BINARY

参数说明

参数	类型	是否必填	描述
table	string	是	选择需要同步的表名称。一个数据集成作业只能同步数据到一个目标表。说明如果配置的表不存在，会导致作业运行失败。
where	string	否	where 过滤语句。说明需填写 SQL 合法 where 子句。不需要填写 where 关键字。
splitPk	string	否	如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片，数据同步会启动并发任务进行数据同步，提高数据同步的效能。注意推荐使用表主键进行切分，仅支持整型数据切分。如果通道设置中 channel 大于 1，必须配置此参数。
column	list	是	配置所选表中需要同步的列名。说明如果读取的列不存在，会导致作业运行失败。

向导模式开发介绍

打开已创建的离线-批量同步作业，即可进行同步任务的配置。详细操作请参见创建离线-批量同步作业（向导模式）。

您需要在作业的开发页面进行以下配置：

参数	说明
数据源	选择已添加的数据源。
数据源表	即上述参数说明中的 `table`。
条件参数配置	配置需要同步数据的过滤条件。即上述参数说明中的 `where`。
切分键	即上述参数说明中的 splitPk。建议使用主键作为切分键，仅支持类型为整型的字段。读取数据时，根据配置的字段进行数据分片，实现并发读取，可以提升数据同步效率。说明切分键与数据同步中的选择来源有关，配置数据来源时才显示切分键配置项。

条件参数配置

仅离线增量同步需要进行条件参数配置。

可视化方式

参数	说明
列名	选择需要过滤的列名。
开始条件	配置过滤的开始条件。
结束条件	配置过滤的结束条件。
生成条件参数	根据上述配置信息自动生成条件参数表达式。

表达式方式

条件参数配置默认使用可视化方式，您可以根据使用习惯切换为表达式方式。