QingCloud 文档 – 客户端工具 - kaiyun官方网站下载手机网页

Storage: qsctl

Mon, 17 May 2021 10:08:56 +0800

概述

qsctl 是 QingStor 对象存储提供的客户端高级命令行工具，用于管理 QingStor 对象存储资源。qsctl 提供了强大的类 UNIX 命令，所有的 qsctl 命令均支持批量操作。

QingStor 对象存储建议用户下载使用最新版本的 qsctl，若您仍需查看 qsctl v1.x 版本的相关文档，请点击 qsctl v1 文档。

安装

下载安装

直接点击此处，根据客户端操作系统版本，下载相应安装包。若无特殊要求，QingStor 对象存储建议下载最新版本。

本地解压安装包后，即可运行：

修改配置

在正式使用 qsctl 工具前，用户需修改相应的配置文件，从而使其能正常工作。在载入配置文件时，qsctl 会按照如下顺序进行尝试，一旦读取成功便不再尝试下一个配置文件：

用户通过 -c 参数指定的配置文件
配置文件：~/.qingstor/config.yaml
配置文件：~/.config/qingstor/config.yaml
配置文件：/etc/qingstor/config.yaml

以上为类 Unix 系统下的配置文件路径，对于 Windows 用户而言，配置文件路径为 C:\User\{\%USERPROFILE\%}\.qingstor\config.yaml。

详细操作步骤如下：

在管理控制台申请 API 密钥，并下载保存。
根据前文信息，依次查看是否存在默认配置文件：

cat ~/.qingstor/config.yaml
cat ~/.config/qingstor/config.yaml
cat /etc/qingstor/config.yaml

若以上文件均不存在，即说明无默认配置文件，需按照如下步骤手动创建配置文件：

touch qsctl_config.yaml

按如下格式填写配置相关信息：

access_key_id: 'ACCESS_KEY_ID_EXAMPLE'
secret_access_key: 'SECRET_ACCESS_KEY_EXAMPLE'

zone: 'zone_name'
host: 'qingstor.com'
port: 443
protocol: 'https'

说明：

access_key_id 与 secret_access_key 根据步骤 1 中下载的 API 密钥进行填写。
zone，host，port 与 protocol 参数为待访问的 QingStor 对象存储的区域名，域名，端口号及协议类型。公有云维持默认即可，私有云环境需根据实际情况进行填写。
host 参数为待访问的 QingStor 对象存储域名，该域名 URL 不包含 Zone 字段。
配置文件默认使用 HTTPS 访问方式，若需修改为 HTTP 访问方式，可按照如下内容填写：
```
port: 80
protocol: 'http'
```

升级

变更日志

详见 qsctl changelog。

升级指南

QingStor 对象存储建议您升级至 qsctl 最新版本。详细操作步骤如下：

执行如下命令行，删除历史版本的 qsctl ：

sudo pip uninstall qsctl

参考上文安装配置 qsctl

兼容性说明

配置文件中，相关字段更新如下：

# 原字段
qs_access_key_id：
qs_secret_access_key：

# 更新为如下字段：
access_key_id：
secret_access_key：

qsctl 自 v2.4.3 不再从如下路径读取配置文件：

~/.qingcloud/config.yaml

对相关命令做出的变更说明如下：

命令	说明
cp，mv	暂时取消对 include，exclude，--rate-limit 和 workers 选项的支持
对本地文件夹的操作在路径结尾是否添加 `/` 时行为有所不同
sync	暂时取消对 include，exclude，--rate-limit 和 workers 选项的支持
暂未添加对 --delete 选项的支持
默认修改为非递归操作，如果需要递归同步子目录，请添加 -r 选项
ls	默认修改为只显示文件名的操作；如需显示详细信息，请添加 -l 选项
rm	暂时取消对 include，exclude，--rate-limit 和 workers 选项的支持

使用

qsctl v2.2.0 中移除了之前添加的交互式的配置程序。若您仍需要进行交互式配置，建议使用 v2.1.2 版本。 v2.1.2 版本中，在您首次使用 qsctl 且未在默认目录下检索到配置文件时，便会启动该交互配置。您只需要根据命令行的提示输入或选择配置内容即可。配置完成后，配置程序会根据您输入的信息，在系统中生成如下配置文件：

{主目录}/.qingstor/config.yaml

说明：

具体的配置文件的位置会根据您的系统而有所不同。
在类 Unix 操作系统下，配置文件会生成在 ~/.qingstor/config.yaml。
在 Windows 操作系统下，配置文件会生成在 C:\User\{\%USERPROFILE\%}\.qingstor\config.yaml。

命令列表

命令	描述
cat	输出远程对象内容至标准输出。
cp	复制本地文件至 QingStor 对象存储的 Bucket，或从 QingStor 对象存储的 Bucket 复制对象至本地。
ls	列出本用户下创建的所有 QingStor 对象存储的 Bucket，或列出给定 QingStor 对象存储的 Bucket 中给定前缀下的所有对象。
mb	在 QingStor 对象存储服务端创建一个新的 Bucket。
mv	移动本地文件至 QingStor 对象存储的 Bucket，或移动 QingStor 对象存储 Bucket 中的对象至本地。
presign	生成 QingStor 对象存储的 Bucket 指定对象的临时下载链接。
rb	从 QingStor 对象存储删除 Bucket。
rm	从 QingStor 对象存储 Bucket 删除一个对象或给定前缀下的所有对象。
stat	查看一个指定的 QingStor 对象存储的对象信息。
sync	同步本地目录和 QingStor 对象存储目录。
tee	从标准输入读取内容并上传至 QingStor 对象存储的 Bucket。

查看帮助文件

查看 qsctl 的命令列表和简易教程，可以通过 -h 参数打印出来:

qsctl -h

查看 qsctl 的某个命令的详细说明和示例，请运行:

qsctl <command> --help

上传文件

将本地文件上传至 QingStor 对象存储的 Bucket 中:

qsctl cp /path/to/file qs://mybucket/filename

说明：

若不指定 -c 参数，则使用默认配置文件。
命令行中 /path/to/file 为本地待上传文件，需根据实际情况进行修改。
命令行中 qs://mybucket/filename 为 QingStor 对象存储 Bucket 中文件路径，需根据实际情况进行修改。其中若不指定 filename，则上传后文件名根据源文件名创建；若指定 filename，则将源文件重命名为 filename 进行存储。

将本地文件夹上传至 QingStor 对象存储的 Bucket 中:

$ qsctl cp /path/to/folder qs://mybucket/parent/ -r

将本地文件夹下的所有文件上传至 QingStor 对象存储的 Bucket 中:

$ qsctl cp /path/to/folder/ qs://mybucket/parent/ -r

说明：

若待上传的对象是文件夹，则源文件为：/path/to/folder。
若待上传的对象是文件夹下的所有内容，则源文件为：/path/to/folder/。需注意两者的区别。
-r 参数用于递归地复制文件夹及其子文件夹。所以使用该参数时，源路径与目标路径必须都是目录。

下载文件

执行如下命令行，从 QingStor 对象存储的 Bucket 中下载文件至本地:

qsctl cp qs://mybucket/filename /path/to/file

说明：

与上传文件至 QingStor 对象存储 Bucket 的区别在于源路径与目标路径的位置不同。
其他用法均与上传文件至 QingStor 对象存储 Bucket 保持一致。

查看文件信息

ls 的结果不能保证有序，请勿依赖该命令来遍历显示顺序。

列出该用户的所有 Bucket:

qsctl ls

列出指定 Bucket mybucket 下的所有对象:

qsctl ls qs://mybucket -R

说明：

-R 参数用于递归地显示文件夹及其子文件夹下的对象。
若不指定-R 参数，Bucket 若有文件夹时，则仅显示文件夹名，不显示文件夹内的文件。
输出内容如下所示：

以列出指定 Bucket mybucket 下所有对象的详细信息:

qsctl ls qs://mybucket -lRh

说明：

-l 参数用于显示文件的详细信息。
-h 参数用于转换文件的大小。
输出内容如下所示：

移动文件

mv 操作与 cp 操作对文件夹与文件夹中的文件的处理逻辑相同，请参考 cp。

查看统计信息

查看指定 Bucket mybucket 的统计信息：

qsctl stat qs://mybucket

输出结果：

查看指定 QingStor 对象信息:

qsctl stat qs://mybucket/dir/to/test

输出结果：

查看指定 QingStor 对象信息，并自定义格式输出:

qsctl stat qs://mybucket/dir/to/test --format="name:%n, size:%s"

输出结果：

说明：format 参数用于传入格式化输出字符串。其中可用的有:

%F (文件类型)
%h (文件内容的 etag 信息)
%n (文件名)
%s (文件大小，单位为字节)
%y (最后一次数据修改的时间，显示为可读模式)
%Y (最后一次数据修改的时间，显示为 Unix 时间戳)

数据同步

sync 命令用于本地目录与 QingStor 对象存储目录的数据同步。故该操作的源路径与目标路径必须都是目录。由于 QingStor 对象存储没有目录概念，所以必须以 / 结尾。本地文件夹若为类 Unix 系统，须以 / 结尾；若为 Windows 系统请替换为 \。若本地文件夹不添加结尾字符，则系统会针对本地文件夹的父目录进行同步操作。

同步 QingStor 对象存储目录至本地文件夹:

qsctl sync qs://mybucket/test/ /path/to/dir/ -r

仅同步本地文件夹中更新的文件(不同步目标路径中不存在的文件):

qsctl sync . qs://mybucket/test/ -r --update --existing

说明：

--update 参数用于指定仅同步源路径中(比目标路径)更新的文件。
--existing 参数用于指定仅复制已存在于目标目录中的文件。对于目标目录中不存在的文件，不做同步。
--dry-run 参数可用于显示哪些文件将会被同步(但并不真正执行同步操作)，用于确认，避免误操作。

tee

从标准输入上传文件至 QingStor 对象存储。qsctl 将不会像 Linux tee 命令那样将内容绑定至标准输出。

cat /path/to/file | qsctl tee qs://mybucket/filename

qsctl shell

自 qsctl v2.2.0 版本以来，QingStor 对象存储新加入了交互式的 shell 界面，包含更多的引导和提示信息，推荐新用户使用。若用户需使用 qsctl 开发脚本，建议直接使用前文介绍的命令模式。

QingStor 对象存储将所有命令执行中的交互都移动至 shell 中，包括进度条，删除 bucket 时的确认输入，删除 object 时的确认等。并在命令行直接执行时移除了这些交互效果，以便更好的支持用户使用脚本进行操作。除此之外，用户在终端与 qsctl shell 中输入同样指令所得到的结果是一致的。

执行如下命令，进入命令行界面：

qsctl shell

命令行界面如下下图所示：

根据提示，进行相关操作即可。在命令行中，QingStor 对象存储新增了对历史命令和自动补全的支持。详细说明如下：

在行开头可以自动提示补全可用命令；
输入 qs:// 可以自动提示补全用户的 Bucket 信息；
空格后可以自动提示补全本地文件信息；
输入 - 可以自动提示补全当前命令可用 flag 信息。

Storage: qscamel

Tue, 10 Aug 2021 10:08:56 +0900

功能概述

qscamel 是一个用于在不同的端点 (Endpoint) 间高效迁移数据的工具。作为端点间数据迁移的工具，qscamel 有着如下特性：

简单，便于使用的任务管理
支持从任务中断处续传，从而节省用户的时间
提供完全自动化的重试机制，无须人工介入
基于 Goroutine 池实现的并发机制，提高迁移效率
支持 copy，fetch，delete 等迁移机制
支持数据校验

安装

在 releases 页面分别获取适用于 Linux，macOS 以及 Windows 操作系统的最新版本的 qscamel工具，并进行解压。
进入 qscamel 工具所在文件夹，执行如下命令查看 qscamel 版本信息：
```
./qscamel-xxxx version
```
命令行回显如下所示时，说明安装成功。
```
qscamel version xxxx
```
说明
- 需进入 qscamel 工具所在文件夹下执行命令使用该工具。
- qscamel-xxxx 为工具下载后解压的文件名称，可根据实际情况进行修改。
执行步骤2中命令后，会自动生成 qscamel.yaml 配置文件，修改配置文件可参考配置。

配置

执行如下命令，修改配置文件：

vim ~/.qscamel/qscamel.yaml

说明

qscamel 默认从 ~/.qscamel/qscamel.yaml 读取配置文件，用户也可以通过 -c 或者 --config 参数来指定配置文件的位置。

qscamel 配置示例：

concurrency: 0
log_level: info
pid_file: ~/.qscamel/qscamel.pid
log_file: ~/.qscamel/qscamel.log
database_file: ~/.qscamel/db

说明

concurrency 用于控制同时启用的任务并发数量。若没有设置，或者设置为 0， qscamle 将会使用 逻辑 CPU 数量 * 100 作为该项的值。

log_level 用于控制日志的级别。日志内容显示从多到少依次可设置为：debug，info，warn，error，fatal，panic。

pid_file 用于控制在何处创建 PID 文件。

log_file 用于控制在何处创建日志文件。

database_file 用于控制在何处创建数据库。

以上配置字段均有默认值，默认值如示例文件所示。用户可根据需求，修改相应参数。若无特殊需求，用户无需对其进行修改。

任务

用户可通过任务文件来定义一个数据迁移任务，支持如下命令新建任务文件：

vim example-task.yaml

任务文件配置示例：

type: copy

source:
  type: fs
  path: "/path/to/source"

destination:
  type: qingstor
  path: /aaa
  
  options:
    bucket_name: example_bucket
    access_key_id: example_access_key_id
    secret_access_key: example_secret_access_key

ignore_existing: last_modified

说明

type 用于定义该任务的类型。可选值: copy，fetch，delete。
copy 将会从 source 指定的端点读取文件，并写入到 destination 指定的端点；
fetch 将会从 source 指定的端点获取文件的下载链接，并使用 destination 指定的端点的 fetch 功能对其进行拉取；
delete 将会从 source 指定的端点获取文件的信息，并在 destination 指定的端点将其删除。

source： 标识后续字段为任务的源端点，即：source 端点信息。

destination 标识后续字段为任务的目标端点，即 destination 端点信息。

type 当前端点的类型。可选值: aliyun，azblob，cos，fs，filelist，gcs，hdfs，qingstor，qiniu，s3，upyun。

path 当前端点的路径。须为目录名。

options 标识后续字段为可选字段。不同端点的可选字段，会有区别，详情可参考端点信息。

ignore_existing 用于控制是否跳过已经存在的文件，为空或未配置时将会禁用该配置，即总是覆盖。可选值为：last_modified 与 md5sum。
last_modified 将会检查目标的 LastModified 是否比源站要大；
md5sum 将会对文件做完整的 MD5 计算，当 MD5 相同时会跳过。

使用

Run

qscamel 最主要的命令。用户可通过该命令来创建或者恢复一个迁移任务。

当使用该命令创建或恢复一个任务时，qscamel 会根据任务名查询数据库，检查任务文件内容是否有更新。若任务文件内容有更新，qscamel 会报错并退出；若无同名任务，qscamel 会对任务内容的 sha256 校验和进行计算，并将结果保存于数据库中；若有同名任务，且任务文件没有更新，qscamel 将恢复该任务，继续执行。

换句话说，数据迁移任务在创建成功后就不能修改。若用户需修改一个任务，请先删除该任务后，再创建一个新任务，或直接创建一个新任务。创建后的任务，无论执行完成或执行失败，均不会自动从数据库中删除，须人为执行删除或 Clean 操作。

详细操作步骤如下：

用户可执行如下命令行，查看 run 的使用教程：

./qscamel-xxxx run -h

说明

qscamel-xxxx为工具下载后解压的文件名称，可根据实际情况进行修改。

命令行回显：

Create or resume a task

Usage:
  qscamel run [task name or task path] [flags]

Flags:
  -h, --help          help for run
  -t, --task string   task path

Global Flags:
  -c, --config string   config path (default "~/.qscamel/qscamel.yaml")

用户如需创建一个新的数据迁移任务，可执行如下命令行：
```
./qscamel-xxxx run task-name -t /path/to/task/file
```
说明：

qscamel-xxxx 为工具下载后解压的文件名称，可根据实际情况进行修改。
- task-name 为新建数据迁移任务名，须唯一。若用户需修改该任务中的任务文件，请先删除该任务，再创建一个新任务，或直接创建一个新任务。
- -t 参数用于指定任务文件。
- /path/to/task/file 任务文件，可参考前文相关内容任务创建。
在任务文件没有更新的前提下，若用户需要恢复一个数据迁移任务，可执行如下命令行：
```
./qscamel-xxxx run task-name
```
说明：
- qscamel-xxxx 为下载后解压的文件名称，可根据实际情况进行修改。
- 由于该操作用于恢复一个历史任务，故 task-name 须为原任务名。
- 由于任务文件没有更新，故命令行中省略了任务文件，qscamel 会自动调用历史任务文件。
- 命令行中也可添加原任务文件 -t /path/to/task/file，若添加该参数，则须确保任务文件没有变更，否则该操作会报错。

更新任务文件后，再次创建该任务时，可执行如下操作：

# step 1：删除任务
./qscamel-xxxx delete task-name

# step 2：创建任务
./qscamel-xxxx run task-name -t /path/to/task/file

若需要同时进行多个任务，可执行如下命令行：
```
./qscamel-xxxx run task-name1 -t example1-task.yaml  -c example1-qscamel.yaml
./qscamel-xxxx run task-name2 -t example2-task.yaml  -c example2-qscamel.yaml
 ……
```
说明：
- qscamel-xxxx 为下载后解压的文件名称，可根据实际情况进行修改。
- 不同任务需指定不同任务文件和配置文件，创建任务文件请参考任务，创建配置文件请参考配置。 example1-qscamel.yaml 配置文件示例：
```
concurrency: 0
log_level: info
pid_file: ~/.example1-qscamel/qscamel.pid
log_file: ~/.example1-qscamel/qscamel.log
database_file: ~/.example1-qscamel/db
```

Delete

用户可使用该命令删除一个已经创建的任务。

./qscamel-xxxx delete task-name

Status

该命令用于查询展示所有任务的状态。

./qscamel-xxxx status

Clean

用户可通过该命令删除所有已经完成的任务。

./qscamel-xxxx clean

Version

Version 命令用于查询当前 qscamel 的版本信息。

./qscamel-xxxx version

快速入门

安装 qscamel 工具。
（可选）更新 qscamel 配置。

根据如下内容创建任务文件，并保存为 example-task.yaml：

type: copy

source:
  type: fs
  path: /path/to/source

destination:
  type: qingstor
  path: /path/to/destination
  options:
    bucket_name: example_bucket
    access_key_id: example_access_key_id
    secret_access_key: example_secret_access_key

说明

该任务即为：将本地目录 /path/to/source 下的文件 copy 至 QingStor 对象存储的 example_bucket 下的 /path/to/destination 目录。

access_key_id 与 secret_access_key 可参考获取 Access Key。

执行如下命令，创建数据迁移任务：

./qscamel-xxxx run example-task -t example-task.yaml -c /path/to/config/file

执行如下命令，查看数据迁移任务的状态：
```
./qscamel-xxxx status
```

端点信息

Endpoint qingstor

QingStor 是开·云app官方版下载提供的对象存储服务。能够用做 qscamel 数据迁移任务中的 source 与 destination 端点。

使用 qingstor 作为端点时，可添加如下配置内容:

source:
  type: qingstor
  path: /path/to/source
	options:
  	protocol: https
  	host: qingstor.com
 		port: 443
  	zone: pek3b
  	bucket_name: example_bucket
  	access_key_id: example_access_key_id
  	secret_access_key: example_secret_access_key
  	user_define_meta: true
  	storage_class: STANDARD
  	disable_uri_cleaning: false
  	timeout_config: 
    	connect_timeout: 30
    	read_timeout: 30
    	write_timeout: 30

multipart_boundary_size: 2147483648
ignore_existing: last_modified

说明

path 若迁移指定 bucket 内所有数据，该参数配置为 path:/；若迁移指定目录 /dir1/dir2 下的数据，该参数配置为 path:/dir1/dir2。若需迁移的数据较多，建议分成多个任务进行迁移，详细可参考 Run。

protocol 用于控制访问 QingStor 对象存储的协议类型。可选值: https, http；默认值: https。

host 标识访问 QingStor 对象存储的云服务器名。默认值: qingstor.com。

port 标识访问 QingStor 对象存储的端口号。默认值: 443。

zone 标识访问 QingStor 对象存储的区域。自动检测，无需手动配置。

bucket_name 标识操作的 QingStor 对象存储的 Bucket 名称。无默认值，须手动配置。

access_key_id QingStor 对象存储的 access_key_id。无默认值，须手动配置。

secret_access_key QingStor 对象存储的 secret_access_key。无默认值，须手动配置。

user_define_meta 用于控制 QingStor 对象存储在迁移数据时是否同步迁移自定义元数据。源端点与目标端点均配置为 true 时，表示是。v2.0.21及以后版本支持。

storage_class 标识 QingStor 对象存储所使用的存储级别。可选值: STANDARD, STANDARD_IA；默认值: STANDARD。

disable_uri_cleaning 是否自动清理 url，默认为 false，即转换 abc//bcd 为 abc/bcd。

timeout_config 请求过期时间.

connect_timeout 连接过期时间，默认30秒。

read_timeout 读过期时间，默认30秒。

write_timeout 写过期时间，默认30秒。

multipart_boundary_size 用于控制 QingStor 对象存储何时使用分段上传，单位为 Byte，当文件大于该数值时，将会使用分段上传。可选值: 1 ~ 5368709120 (5G)。默认值: 2147483648 (2G)。

ignore_existing 用于控制是否跳过已经存在的文件，为空或未配置时将会禁用该配置，即总是覆盖。可选值为：last_modified 与 md5sum。
last_modified 将会检查目标的 LastModified 是否比源站要大；
md5sum 将会对文件做完整的 MD5 计算，当 MD5 相同时会跳过。

综上，除 bucket_name，access_key_id 与 secret_access_key 以外，均有默认值，故除此三个参数外，其他参数均为可选参数。

Endpoint s3

S3 是 AWS 提供的对象存储服务。可作为 qscamel 数据迁移任务中的 source 和 destination 端点。

使用 s3 作为端点，可添加如下配置内容:

source:
  type: s3
  path: /path/to/source
	options:
  	bucket_name: example_bucket
  	endpoint: example_endpoint
  	region: example_region
  	access_key_id: example_access_key_id
  	secret_access_key: example_secret_access_key
  	disable_ssl: false
  	use_accelerate: false
  	path_style: false
  	enable_list_object_v2: false
  	enable_signatrue_v2: false
  	disable_uri_cleaning: false

说明

bucket_name S3 的 Bucket 名称。

endpoint S3 的接口端点地址。

region S3 bucket 所在的区域。

access_key_id 访问 S3 的 access_key_id。

secret_access_key 访问 S3 的 secret_access_key。

disable_ssl 是否禁用 SSL。

use_accelerate 是否启用加速。

path_style 是否强制请求使用路径样式寻址，即 http://s3.amazonaws.com/BUCKET/KEY。默认为 false，即使用 http://s3.amazonaws.com/BUCKET/KEY。

enable_list_object_v2 是否使用 ListObjectsV2。默认为 false，即使用 ListObjects。

enable_signature_v2 是否强制客户端使用 v2.SignRequestHandler。默认为 false，即使用 v4.SignRequestHandler。

disable_uri_cleaning 是否自动清理 url，默认为 false，即转换 abc//bcd 为 abc/bcd。

Endpoint aliyun

Aliyun 是阿里云提供的对象存储服务。可作为 qscamel 数据迁移任务中的 source 端点。

Aliyun 作为 source 端点时，须添加如下配置内容：

source:
  type: aliyun
  path: /path/to/source
	options:
  	endpoint: example_endpoint
  	bucket_name: example_bucket
  	access_key_id: example_access_key_id
  	access_key_secret: example_access_key_secret

说明

endpoint 用于标识访问的接口端点地址。无默认值，须手动配置。

bucket_name 标识操作的 Aliyun 的 Bucket 名称。无默认值，须手动配置。

access_key_id Aliyun 的 access_key_id。无默认值，须手动配置。

secret_access_key Aliyun 的 secret_access_key。无默认值，须手动配置。

Endpoint fs

fs 是指符合 POSIX 标准的文件系统 (local fs, nfs, s3fs 等)。可作为 qscamel 数据迁移任务中的 source 端点与 destination 端点。

fs 作为端点有着如下配置内容，用于控制遇到软连接时，是否上传指向的文件。默认值为 false:

source:
  type: fs
  path: /path/to/source
	options:
  	enable_link_follow: false

Endpoint azblob

Azure Blob 是 Microsoft 提供的存储服务。可作为 qscamel 数据迁移任务中的 source 端点。

azblob 作为 source 端点时，须添加如下配置内容：

source:
  type: azblob
  path: /path/to/source
	options:
  	account_name: example_account_name
  	account_key: example_account_key
  	bucket_name: example_bucket
  	endpoint: example_endpoint

说明

account_name 访问 Azure Blob 的账号。无默认值，须手动配置。

account_key 访问 Azure Blob 的密码。无默认值，须手动配置。

bucket_name 标识操作的 Azure Blob 的 Bucket 名称。无默认值，须手动配置。

endpoint 用于标识访问的接口端点地址。无默认值，须手动配置。

Endpoint cos

Tencent COS 是 Tencent 提供的对象存储服务。可作为 qscamel 数据迁移任务中的 source 端点。

COS 作为 source 端点时，须添加如下配置内容：

source:
  type: cos
  path: /path/to/source
	options:
  	bucket_url: example_bucket_url
  	secret_id: example_secret_id
  	secret_key: example_secret_key

说明

bucket_url Tencent COS 的 Bucket URL 地址。无默认值，须手动配置。

secret_id 访问 Tencent COS 的 secret_id。无默认值，须手动配置。

secret_key 访问 Tencent COS 的 secret_key。无默认值，须手动配置。

Endpoint filelist

filelist 是本地文件列表。可作为 qscamel 数据迁移任务中的 source 端点。

filelist 作为 source 端点时，须添加如下配置项，用于指定待迁移的文件列表，qscamel 将会逐行来读取该列表。

source:
  type: filelist
  path: /path/to/source
	options:
  	list_path: /path/to/list

Endpoint gcs

GCS(Google Cloud Storage) 是 Google 提供的对象存储服务。可作为 qscamel 数据迁移任务中的 source 端点。

使用 gcs 作为 source 端点时，须添加如下配置项，

source:
  type: gcs
  path: /path/to/source
	options:
  	api_key: example_api_key
  	bucket_name: exmaple_bukcet

说明

api_key 访问 GCS 的 api_key。无默认值，须手动配置。

bucket_name GCS 的 bucket 名。无默认值，须手动配置。

Endpoint hdfs

能够用做 source 端点。

hdfs 是 Hadoop 的分布式文件系统，可作为 qscamel 数据迁移任务中的 source 端点。

使用 hdfs 作为 source 端点时，须添加如下配置项，

source:
  type: hdfs
  path: /path/to/source
	options:
  	address: example_address

Endpoint qiniu

Qiniu 是 Qiniu 提供的对象存储服务。可用作 qscamel 数据迁移任务中的 source 端点。

使用 qiniu 作为 source 端点，须添加如下配置内容:

source:
  type: qiniu
  path: /path/to/source
	options:
  	bucket_name: example_bucket
  	access_key: example_access_key
  	secret_key: example_secret_key
  	domain: example_domain
  	use_https: false
  	use_cdn_domains: false

说明

bucket_name 标识 qiniu 的 bucket 名称。

access_key 标识 qiniu 的 access_key。

secret_key 标识 qiniu 的 secret_key。

domain 标识用于访问 qiniu bucket 的域名。

use_https 控制是否使用 https 来访问 qiniu。默认值： false。

use_cdn_domains 控制是否使用 CDN 加速域名来访问 qiniu。默认值： false。

Endpoint upyun

upyun 是 Upyun 提供的对象存储服务。可作为 qscamel 数据迁移任务中的 source 端点。

使用 upyun 作为 source 端点，须配置如下内容：

options:
  bucket_name: example_bucket
  operator: example_operator
  password: example_password

说明

bucket_name upyun 的 bucket 名称。

operator upyun 的 operator。

password upyun 的 password。

使用示例

将数据从 s3 迁移到 QingStor

安装 qscamel 工具。
（可选）更新 qscamel 配置。

根据如下内容创建任务文件，并保存为 example-task.yaml：

type: copy

source:
  type: s3
  path: /path/to/source
  options:
    bucket_name: bucket_name
    endpoint: s3.pek3b.qingstor.com
    region: pek3b
    access_key_id: s3_access_key_id
    secret_access_key: s3_secret_access_key
    disable_ssl: false
    use_accelerate: false
    path_style: false
    enable_list_object_v2: false
    enable_signatrue_v2: false
    disable_uri_cleaning: false

destination:
  type: qingstor
  path: /path/to/destination
  options:
    protocol: https
    host: qingstor.com
    port: 443
    zone: zone_id
    bucket_name: bucket_name
    access_key_id: qingstor_access_key_id
    secret_access_key: qingstor_secret_access_key
    storage_class: STANDARD
    disable_uri_cleaning: false
    timeout_config: 
      connect_timeout: 30
      read_timeout: 30
      write_timeout: 30

multipart_boundary_size: 2147483648
ignore_existing: last_modified

说明

该任务即为：将 s3 的 bucket_name 下 /path/to/source 下的文件 copy 至 QingStor 对象存储的 bucket_name 下的 /path/to/destination 目录。

options 标识后续字段为可选字段。详情可参考 Endpoint s3 及 Endpoint qingstor。

access_key_id 与 secret_access_key 可参考获取 Access Key。

执行如下命令，创建数据迁移任务：

./qscamel-xxxx run example-task -t example-task.yaml -c /path/to/config/file

执行如下命令，查看数据迁移任务的状态：
```
./qscamel-xxxx status
```

将数据从QingStor同区域不同账户间进行迁移

使用源账户的AK/SK和目标账户的AK/SK

安装 qscamel 工具。
（可选）更新 qscamel 配置。

根据如下内容创建任务文件，并保存为 example-task.yaml：

type: copy

source:
  type: qingstor
  path: /path/to/source
  options:
    protocol: https
    host: qingstor.com
    port: 443
    zone: zone_id
    bucket_name: source_bucket
    access_key_id: source_access_key_id
    secret_access_key: source_secret_access_key
    storage_class: STANDARD
    disable_uri_cleaning: false
    timeout_config: 
      connect_timeout: 30
      read_timeout: 30
      write_timeout: 30

destination:
  type: qingstor
  path: /path/to/destination
  options:
    protocol: https
    host: qingstor.com
    port: 443
    zone: zone_id
    bucket_name: destination_bucket
    access_key_id: destination_access_key_id
    secret_access_key: destination_secret_access_key
    storage_class: STANDARD
    disable_uri_cleaning: false
    timeout_config: 
      connect_timeout: 30
      read_timeout: 30
      write_timeout: 30

multipart_boundary_size: 2147483648
ignore_existing: last_modified

说明

该任务即为：将QingStor 对象存储源账户的 source_bucket 下 /path/to/source 下的文件 copy 至 QingStor 对象存储目标账户的 destination_bucket 下的 /path/to/destination 目录。

options 标识后续字段为可选字段。详情可参考 Endpoint qingstor。

access_key_id 与 secret_access_key 可参考获取 Access Key。source字段的access_key_id 与 secret_access_key填写源账户的AK/SK，destination字段的access_key_id 与 secret_access_key填写目标账户的AK/SK。

执行如下命令，创建数据迁移任务：

./qscamel-xxxx run example-task -t example-task.yaml -c /path/to/config/file

执行如下命令，查看数据迁移任务的状态：
```
./qscamel-xxxx status
```

仅使用目标账户的AK/SK

前提条件

源账户已授权目标账户可读访问权限。详细操作请参考存储空间访问控制 bucket-acl。

操作步骤

安装 qscamel 工具。
（可选）更新 qscamel 配置。

根据如下内容创建任务文件，并保存为 example-task.yaml：

type: copy

source:
  type: qingstor
  path: /path/to/source
  options:
    protocol: https
    host: qingstor.com
    port: 443
    zone: zone_id
    bucket_name: source_bucket
    access_key_id: destination_access_key_id
    secret_access_key: destination_secret_access_key
    storage_class: STANDARD
    disable_uri_cleaning: false
    timeout_config: 
      connect_timeout: 30
      read_timeout: 30
      write_timeout: 30

destination:
  type: qingstor
  path: /path/to/destination
  options:
    protocol: https
    host: qingstor.com
    port: 443
    zone: zone_id
    bucket_name: destination_bucket
    access_key_id: destination_access_key_id
    secret_access_key: destination_secret_access_key
    storage_class: STANDARD
    disable_uri_cleaning: false
    timeout_config: 
      connect_timeout: 30
      read_timeout: 30
      write_timeout: 30

multipart_boundary_size: 2147483648
ignore_existing: last_modified

说明

该任务即为：将 QingStor 对象存储源账户的 source_bucket 下 /path/to/source 下的文件 copy 至 QingStor 对象存储目标账户的 destination_bucket 下的 /path/to/destination 目录。

options 标识后续字段为可选字段。详情可参考 Endpoint qingstor。

access_key_id 与 secret_access_key 可参考获取 Access Key。source字段的access_key_id 与 secret_access_key，destination字段的access_key_id 与 secret_access_key均填写目标账户的AK/SK。

执行如下命令，创建数据迁移任务：

./qscamel-xxxx run example-task -t example-task.yaml -c /path/to/config/file

执行如下命令，查看数据迁移任务的状态：
```
./qscamel-xxxx status
```

Storage: qsftpd

Tue, 24 Nov 2020 10:08:56 +0900

qsftpd 是 QingStor 对象存储提供的 FTP Server。用户通过简单的配置，即可通过 FTP 协议使用 QingStor 对象存储服务。该工具已在 GitHub 开源，更多详情可参见 https://github.com/qingstor/qsftpd。

安装

qsftpd 支持 Linux、macOS 和 Windows 操作系统。用户可访问 GitHub 项目的 Releases 页面查看和下载相应版本。

配置

在正式使用 qsftpd 工具之前，需要创建并填写配置文件 qsftpd.yaml。详细操作步骤如下：

在终端执行如下命令，创建配置文件：

touch qsftpd.yaml

配置文件内容如下：

qingstor:
  access_key_id: access_key_id_example
  secret_access_key: secret_access_key_example
  host: qingstor.com
  port: 443
  protocol: https
  log_level: warn

bucket_name: bucket_name_example
zone: pek3a

listen_host: 127.0.0.1
listen_port: 21
public_host: 127.0.0.1
max_connections: 128
start_port: 6000 
end_port: 7000
log_level: error 

cache_path: /var/cache/qsftpd

# 认证设置，默认允许匿名用户登录，也可以指定特定的用户登录
#users:
#  username_example: password_example

说明：

qingstor 用于标识后续字段为 QingStor 对象存储的基本信息。
access_key_id 与 secret_access_key 用于访问 QingStor 对象存储的 AK 与 SK，须根据实际情况进行填写。具体可参照获取 Access Key。
host QingStor 对象存储的域名。公有云环境无需修改。
port 访问 QingStor 对象存储的端口号。公有云环境无需修改。
protocol 访问 QingStor 对象存储的协议。公有云环境无需修改。
log_level QingStor 对象存储的日志级别。日志内容显示从多到少依次可设置为：debug，info，warn，error，fatal，panic。
bucket_name 待访问的 QingStor 对象存储的 Bucket 名。须根据实际情况进行填写。
zone 待访问的 QingStor 对象存储的 Zone。
listen_host listen_port public_host max_connections FTP Server 配置，监听的端口号以及最大连接数。
start_port end_port FTP 数据连接建立方式为被动模式时，将会随机在 start_port 与 end_port 之间选择端口号进行数据传输。默认值是从 6000 至 7000。
log_level FTP Server 的日志等级。日志内容显示从多到少依次可设置为：debug，info，warn，error，fatal，panic。
cache_path 缓存路径，qsftpd 将会在每次启动时清除 cache_path 配置的目录。
users 认证设置，默认允许匿名用户登录，也可以指定的用户登录。若指定用户，须根据配置上文中的示例进行填写用户信息。
除 access_key_id，secret_access_key，bucket_name，zone 以外，其余字段均有默认值，用户可无需修改。
qsftpd 的配置文件可根据需要进行配置。模板可以查看。

使用说明

帮助信息

用户可执行如下命令行，查看帮助信息：

$ qsftpd -h
A FTP server that persists all data to QingStor Object Storage.

Usage:
  qsftpd [flags]

Flags:
  -c, --config string   Specify config file (default "qsftpd.yaml")
  -h, --help            help for qsftpd
  -v, --version         Show version

选项列表

根据前文可知，qsftpd 支持的常规命令选项如下所示:

参数简写	参数全名	类型	是否必须	说明
-c	–config	string	否	指定配置文件的路径，默认为 `qsftpd.yaml`
-h	–help	string	否	输出帮助信息
-v	–version	string	否	输出版本信息

使用示例

创建配置文件，如 qsftpd.yaml，按照前文的配置文件说明进行配置。参考配置
执行如下命令，启动 FTP Server，终端显示如下打印，即，说明服务端准备就绪:

$ qsftpd -c path/to/your/qsftpd.yaml
[2017-04-12T03:24:40.541Z #2527]  INFO -- : Listening... 127.0.0.1:21
[2017-04-12T03:24:40.541Z #2527]  INFO -- : Starting...
[2017-04-12T03:24:49.330Z #2527]  INFO -- : FTP Client connected: ftp.connected, id: 76e209d6a89448279e947a7babe0097d, RemoteAddr: 127.0.0.1:51788, Total: 1
......

在客户端，执行如下命令行，通过 FTP 客户端连接 FTP Server 进行测试:

$ ftp -a 127.0.0.1
Connected to 127.0.0.1.
220 Welcome to QSFTP Server
331 User name okay, need password.
230 Password ok, continue
Remote system type is UNIX.
Using binary mode to transfer files.
ftp>

客户端成功链接后，FTP 服务端显示如下打印:

[2017-04-12T03:24:49.330Z #2527]  INFO -- : FTP Client connected: ftp.connected, id: 76e209d6a89448279e947a7babe0097d, RemoteAddr: 127.0.0.1:51788, Total: 1
......

在客户端执行如下命令行，查看文件列表:

ftp> ls
229 Entering Extended Passive Mode (|||6081|)
150 Using transfer connection
d--------- 1 ftp ftp            0  Nov 30 00:00  test-output

226 Closing transfer connection

在客户端执行如下命令行，上传文件:

ftp> put AUTHORS
local: AUTHORS remote: AUTHORS
229 Entering Extended Passive Mode (|||6887|)
150 Using transfer connection
100% |***********************************|   146       91.68 KiB/s    00:00 ETA
226 Closing transfer connection
146 bytes sent in 00:00 (2.19 KiB/s)
ftp>

Storage: Docker Registry 后端对接 S3 存储

Thu, 12 Aug 2021 10:08:56 +0900

概述

官方的 Docker hub 是一个用于管理公共镜像的地方，用户可以从这里获取相应的镜像，也可以将自己的镜像推送上去。当用户的使用场景需要拥有一个私有的镜像仓库用于管理自己的镜像。这个时候，可以通过开源软件 Registry 来达成目的。

Docker Registry 是一个无状态，高度可扩展的服务器端应用程序，它存储并允许用户分发 Docker 映像。

环境搭建

用户在客户端服务器上，参考如下步骤可完成 Docker Registry 环境的搭建。详细操作步骤如下：

CentOS 可执行如下命令，使用官方安装脚本自动安装 docker：

# curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

备注： 也可使用国内 daocloud 一键安装命令：curl -sSL https://get.daocloud.io/docker | sh 进行安装。

启动 docker：

step 1: 启动 docket
# systemctl start docker

step 2: 查看 docker 是否安装成功
# docker version

step 3: 测试
# docker run hello-world

备注： 输出 Hello from Docker! 即为正常。

执行如下命令行，安装 docker-compose

# curl -L https://get.daocloud.io/docker/compose/releases/download/1.29.2/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose

修改 docker-compose 的权限

# chmod +x /usr/local/bin/docker-compose

新建工作目录 my_registry 并进入该目录：

# mkdir my_registry && cd my_registry

说明： 用户可根据实际情况，修改相应参数，创建工作目录。

在工作目录 my_registry 下创建配置文件 docker-compose.yml，内容如下：

# vi docker-compose.yml
registry:
  restart: always
  image: "registry:2"
  ports:
    - 127.0.0.1:5000:5000
  volumes:
    - ./auth:/auth
 
  environment:
    - REGISTRY_STORAGE=s3
    - REGISTRY_STORAGE_S3_ACCESSKEY=YOUR_ACCESSKEY
    - REGISTRY_STORAGE_S3_SECRETKEY=YOUR_SECRETKEY 
    - REGISTRY_STORAGE_S3_BUCKET=YOUR_BUCKET_NAME  
    - REGISTRY_STORAGE_S3_REGION=YOUR_REGION_NAME   //pek3b
    - REGISTRY_STORAGE_S3_REGIONENDPOINT=s3.YOUR_REGION_NAME.qingstor.com    //example:s3.pek3b.qingstor.com
    - REGISTRY_STORAGE_S3_chunksize=67108864

说明：

REGISTRY_STORAGE_S3_ACCESSKEY 填写用户的 access_key。
REGISTRY_STORAGE_S3_SECRETKEY 填写用户的 secret_key。
REGISTRY_STORAGE_S3_BUCKET 填写用户的 Bucket 名。
REGISTRY_STORAGE_S3_REGION 填写 Bucket 所在的 Zone ID。可参考QingStor 对象存储 Zone 列表。
REGISTRY_STORAGE_S3_REGIONENDPOINT 填写 Bucket 域名。根据示例填写。
REGISTRY_STORAGE_S3_chunksize 建议尽量往大设置，以避免上传分段数为 200 的超大镜像失败。如设置为 67108864，即 64M，则可以成功上传 12G 以内文件。

启动 registry 服务：

# docker-compose up -d

环境验证

Docker Registry 环境搭建完成后，用户可对该环境进行测试验证，以确认能正常上传镜像。

创建新镜像

step 1: 创建一个 1G 的文件
# dd if=/dev/urandom of=test count=1024 bs=1M

step 2: 编写 Dockerfile
# vim Dockerfile
FROM centos:7
ADD test test
CMD /bin/bash

step 3: 创建镜像
# docker build -t 1g
# docker tag 1g 127.0.0.1:5000/1g

执行如下命令，上传该镜像

# docker push 127.0.0.1:5000/1g

常见问题

不断重传

问题描述：

当上传大镜像时，会出现不断重传的现象。Console 界面显示结果如下：

原因分析：

Registry 默认分段大小为 10M，当发现最后一段大小异常时，终端显示如下内容：

查看相关日志信息，错误日志如下所示：

由上可知，当前错误信息如下：

upload resumed at wrong offest: 1048576000 != 1074069675

当分段数大于 200 均会发生上传失败，报 upload resumed at wrong offest: 2157152000 != 2175259408。

解决方法：

修改配置文件 docker-compose.yml 中如下字段内容，尽量往大了设置，使得上传分段数在 200 以内的超大镜像能成功上传：

    - REGISTRY_STORAGE_S3_chunksize=67108864

说明：

设置为：33554432，即 32M，可以成功上传大小为 6G 以内的文件。
设置为：67108864，即 64M，可以成功上传大小为 12G 以内文件。
根据带宽尽量填写较大的值。

Storage: Mountain Duck

Thu, 12 Aug 2021 10:08:56 +0900

概述

Mountain Duck 是 Windows 平台上用于挂载访问对象存储的第三方客户端软件。目前也支持 MAC 平台。

QingStor 对象存储推荐用户使用 Mountain Duck 来挂载由 QingStor 对象存储为其提供的无限容量的在线文件存储空间，从而节省本地磁盘空间。用户通过 Mountain Duck 可以像操作本地磁盘(例如 C 盘、D 盘等)一样方便、快捷地访问或存取 QingStor 对象存储 Bucket 中的各种类型文件。

目前支持以下平台：

Windows 7、Windows 8、Windows 10 的 32/64 位平台。
MAC OS 10.12 及以后版本。

安装

用户可下载 Mountain Duck 安装包，解压缩后直接运行安装即可完成。

使用

通过 Mountain Duck 成功挂载 QingStor 对象存储中的 Bucket 后，用户即可像操作本地磁盘一样对 QingStor 对象存储 Bucket 中的文件进行读写、存取等操作，同时可通过托盘菜单对缓存设置、版本更新、帐户信息等进行查看或操作。

Windows 平台

详细操作步骤如下：

点击 Mountain Duck – > 新建链接，如下图所示：

弹出新建链接对话框，根据提示信息输入相关字段，点击连接即可：

说明：

协议下拉框里，选择 Amazon S3，如上图所示。
服务器名，填写 QingStor 对象存储的域名，格式为：s3.<zone_id>.qingstor.com。其中 zone_id 须根据实际情况进行修改。公有云环境，可参考公有云开放区域。
访问密钥 ID 与 访问私钥，即 AK/SK 须根据实际情况进行填写。具体可参考获取 Access Key。
盘符 即 QingStor 对象存储 Bucket 成功挂载至本地后的磁盘盘符。

成功挂载后，本地可直接查看 QingStor 对象存储的 Bucket，如下图所示：

说明：

成功挂载的 QingStor 对象存储 Bucket，可像本地磁盘一样进行操作。
由于新建链接时，没有指定路径，故这里显示了根目录下的所有 Bucket。
若用户须操作指定 Bucket，可在新建链接时，指定对应的目录即可。

Mountain Duck 挂载成功后，用户可通过设置菜单对该工具进行相关操作设置。设置菜单如下图所示：

MAC 平台

详细操作步骤如下：

点击 Mountain Duck > Open Connection，如下图所示：
弹出新建链接对话框，根据提示信息输入相关字段，点击连接即可：
说明：
- 协议下拉框里，选择 Amazon S3，如上图所示。
- 服务器名，填写 QingStor 对象存储的域名，格式为：s3.<zone_id>.qingstor.com。其中 zone_id 须根据实际情况进行修改。公有云环境，可参考公有云开放区域。
- 访问密钥 ID 与 访问私钥，即 AK/SK 须根据实际情况进行填写。具体可参考获取 Access Key。
成功挂载后，本地可直接查看 QingStor 对象存储的 Bucket，如下图所示：

升级

当 Mountain Duck 新版本发布后，用户在登录 Mountain Duck 时将会收到版本的更新提示，用户根据需求进行更新即可。当然，用户也可在使用过程中，通过托盘菜单中的检查更新入口主动更新最新版本。