QingCloud 文档 – 最佳实践 - kaiyun官方网站下载手机网页

Storage: 数据迁移方案

Fri, 28 Feb 2020 10:08:56 +0900

QingStor 对象存储推出了无缝数据迁移方案，帮助用户将业务数据从自建平台或者其他对象存储平台高效完整地迁移至 QingStor 对象存储服务。

本方案提供两种迁移方式：

被动触发迁移
用户主动迁移

综合运用两种迁移方式，可以在不中断业务的前提下，平滑完整地进行迁移。本方案首先介绍 QingStor 对象存储提供的两种迁移方式，再对迁移步骤进行详细说明。

被动触发迁移 - 外部镜像

对于已经设置了外部镜像的 QingStor 对象存储的 Bucket，当请求的 Object 在 Bucket 中不存在时，QingStor 对象存储服务端会把 Object Key 拼接在外部镜像源站后作为抓取的源链接，然后自动从源站抓取（回源），并写入到 Bucket 当中。在回源过程中，请求这个 Object 的客户端，有可能会下载到源站文件，也有可能收到重定向到源站相应路径的 302 请求。在回源完成后，客户端能够直接从 QingStor 对象存储的 Bucket 中获取这个 Object。QingStor 对象存储建议用户可先使用 Head Object 返回 200 成功来确认 Object 存在。

下面结合示意图，说明外部镜像的工作原理:

假设用户的外部镜像源站为 http://img.example.com，在 QingStor 对象存储的 Bucket 的默认域名为 http://bucketname.pek3a.qingstor.com。

示意图左侧为首次请求:

用户发起获取 Object 的请求，如 http://bucketname.pek3a.qingstor.com/blog.png；
Object 在 QingStor 对象存储的 Bucket 中不存在，且用户已经为该 Bucket 设置了外部镜像源站，此时，QingStor 对象存储服务端会将 Object Key blog.png 拼接到源站，生成源链接 http://img.example.com/blog.png；
QingStor 对象存储服务端从该源链接抓取；
在抓取过程中，请求该 Object 的客户端，有可能会下载到源站文件，也有可能收到重定向到源站相应路径的 302 请求。

示意图右侧为抓取完成后，再次发起请求:

用户发起获取 Object 的请求；
Object 在 QingStor 对象存储的 Bucket 中已存在，直接返回。

备注：

外部镜像 API 请参考 Bucket External Mirror
外部镜像，需要源站在提供下载文件时能返回 Content-Length 头，否则回源失败。

用户主动迁移 - Fetch API

如果需要迁移单个源站资源，可以使用 PUT Object - Fetch 接口。该接口通过请求头 x-qs-fetch-source 附带源链接。QingStor 对象存储会从该链接抓取资源，保存到指定的 Object 中，并且在抓取时能够自动处理源链接服务器返回的 301/302/307 等重定向请求。该接口同步下载文件，完成后才会返回结果。

使用该接口，根据不同场景，QingStor 对象存储服务端会返回如下错误信息：

409 ：fetch_in_process，表明同一时间相同源链接的 Fetch 请求正在进行，或者被动触发的外部镜像功能正在抓取该源链接对应的文件；
404 ：object_not_exists，获取的 Object 不存在；
503 ：upstream_failed，无法与 Fetch 请求的源链接或者外部镜像的源站建立链接，或源站服务器返回 200，3xx，404 范围之外的错误代码，或链接中断；
其他错误码，可参考：错误信息

当 Object 特别大或源站下载速度比较慢时，该 API 请求有可能会导致客户端 TCP 超时。针对这种情形，QingStor 对象存储建议用户可以先使用 Head Object 获取并比较源站文件和 Bucket 中 Object 的大小与时间戳，如果 Head Object 返回 404，客户端需重复调用一次 Fetch Object 接口；请求若返回 409 则说明抓取已经开始。

备注：

Fetch API 请参考 PUT Object - Fetch；
Fetch 功能，需要源站在提供下载文件时能返回 Content-Length 头，否则回源失败；
QingStor 对象存储建议用户使用本文介绍的 qscamel 工具，便捷的实现迁移。

用户主动迁移 - qscamel

qscamel 是把 HTTP(s) 形式的数据高效地批量迁移到 QingStor 对象存储的命令行工具。其输入可以是包含源链接的文件，也可以是其他对象存储平台的 Bucket 名称。更多介绍请参考 qscamel

qscamel 有如下特点:

支持并行迁移，即同时迁移多个对象。
支持给迁移任务命名，用来继续迁移未完成的迁移任务。qscamel 会记录本次迁移任务中成功迁移的源站。在退出后、重新执行时，qscamel 会跳过已经成功迁移的源站资源，迁移剩下未完成的源站资源。
支持灵活的覆盖模式。qscamel 默认进行增量迁移，即通过比较源站资源和 QingStor 对象存储的 Bucket 中 Object 的最后修改时间，仅同步 QingStor 对象存储的 Bucket 中已存在但非最新的 Object，及 QingStor 对象存储的 Bucket 中不存在的 Object。
除了默认的增量迁移外，qscamel 还支持参数 --ignore-existing，即：不覆盖 QingStor 对象存储的 Bucket 中已存在的 Object；以及参数 --overwrite ，强制覆盖 QingStor 对象存储的 Bucket 中已存在的 Object。
支持指定日志文件。qscamel 默认输出到标准输出，也可以指定输出到日志文件。

FAQ

请问回源过程下载数据会产生费用吗？

会按照请求次数收费。内网下载请求不收流量费。假如是外网下载请求，若已经回源成功到 QingStor 对象存储的 Bucket 中，会收取下载流量费用；假如返回 302 重定向到源站，则不收取流量费用。
请问被动迁移有什么限制 ?

源站方面需要返回文件的长度 Content-Length，并且从源站下载不能要求用户认证。QingStor 对象存储会最大限度保证客户端请求成功。

Storage: 实时增量数据备份解决方案

Fri, 28 Feb 2020 10:08:56 +0900

实时且增量地对数据进行备份是用户的普遍需求，本方案将描述如何在 Linux 下将本地业务数据实时备份至 QingStor 对象存储的 Bucket 中。

本方案采用 lsyncd 实时地监控指定目录在文件系统层次的变化，当该目录下发生文件创建、重命名、删除等操作时，qsctl 便会被自动调用以将数据同步至指定的 QingSor 对象存储的 Bucket 中。因为 qsctl 支持增量同步，所以整个方案可以做到实时且增量的数据备份。

下面介绍完整的配置步骤。

环境要求

本方案仅支持 Linux Kernel 2.6.13 及其以后的版本，且要求 Kernel 编译选项 CONFIG_INOTIFY_USER 为开启状态。用户可以使用如下命令来确认自己的系统是否支持该方案:

本地终端输入如下命令行：

grep INOTIFY_USER /boot/config-$(uname -r)

返回结果：

CONFIG_INOTIFY_USER=y

则说明可以采用该方案。

软件配置

安装 lsyncd，使用系统对应的包管理器进行安装即可

Debian、Ubuntu 等系统：
```
sudo apt install lsyncd
```
CentOS、Fedora 等系统：
```
sudo yum install epel-release && yum makecache
sudo yum install lsyncd
```
使用 pip 安装并配置 qsctl，qsctl 的详细配置可以参考 qsctl 的文档
```
pip install qsctl -U
```

使用方法

假设需要同步的目录为 /tmp/example，待同步的 QingStor 对象存储的 Bucket 为 example-bucket，lsyncd 的配置文件为 ~/qingstor-backup.conf

编辑配置文件

lsyncd 配置文件

settings {
   logfile    = "/tmp/lsyncd.log",
   statusFile = "/tmp/lsyncd.status",
   maxDelays = 10,
}

bash = {
   delay = 5,
   maxProcesses = 1,
   onCreate = "/path/to/qsctl sync ^source ^target --delete",
   onModify = "/path/to/qsctl sync ^source ^target",
   onDelete = "/path/to/qsctl sync ^source ^target --delete",
   onMove   = "/path/to/qsctl sync ^source ^target --delete",
   onStartup = "/path/to/qsctl sync ^source ^target --delete",
}

sync {
bash,
source = "/tmp/example",
target = "qs://example-bucket"
}

qsctl 配置文件

若不知道 qsctl 的完整路径，可以使用 which qsctl 以获取。配置文件中，各配置项含义说明如下：

logfile: 日志文件配置。
statusFile: 状态文件配置。
maxDelays: 当延时的事件到达此限制后将会直接运行，即使还没有到达延时的事件，单位为秒。
delay: 延时设置，事件触发后将会等待对应时间再运行，单位为秒。
maxProcesses: 最大进程数配置，最多允许同时运行的进程数。

测试配置

由于 lsyncd 没有默认的配置文件，运行 lsyncd 时，需在命令行中通过参数的形式给出。
```
$ lsyncd -nodaemon ~/qingstor-backup.conf
```

创建一个文件并等待五秒左右

$ echo "Hello, QingStor!" > /tmp/example/

查看 “hello.txt” 是否在 Bucket “example-bucket” 中存在
```
$ qsctl ls qs://example-bucket/hello.txt
```
若存在，则表示配置成功，否则表示配置存在问题。

后台运行 lsyncd

当测试配置没有问题，且测试时运行结果符合预期时，可以将 lsyncd 放入后台运行
```
$ lsyncd ~/qingstor-backup.conf
```

查看配置文件中指定的状态文件以了解 lsyncd 的运行状态

$ cat /tmp/lsyncd.status
Lsyncd status report at Mon Jan 16 02:31:48 2017

Sync1 source=/tmp/incron/
There are 0 delays
Excluding:
nothing.

Inotify watching 2 directories
1: /tmp/incron/
2: /tmp/incron/test/

查看配置文件中指定的日志文件地址以查看 lsyncd 的运行日志

$ cat /tmp/lsyncd.log
Mon Jan 16 02:10:49 2017 Normal: Event Init spawns action "/home/xuanwo/.pyenv/shims/qsctl"
Mon Jan 16 02:10:51 2017 Error: Failure on startup of "/tmp/incron/".
......
Mon Jan 16 02:31:38 2017 Normal: Startup of "/tmp/incron/" finished.
Mon Jan 16 02:33:46 2017 Normal: --- TERM signal, fading ---

Storage: 移动 App 接入方案

Fri, 28 Feb 2020 10:08:56 +0900

伴随着移动互联网的浪潮，移动应用 App 的开发需求越来越多样化，无论何种功能都离不开文件存储。在以前，应用开发者需要自行开发构建文件服务器，用于保存数据文件，并面向互联网提供访问，例如社交网络中的用户照片，视频网站中的影音内容，电商平台中的商品图片。

然而这些数据通常由终端用户直接生产和消费，伴随着用户增长，服务器的压力也会日益增大，开发者很难构建一个兼具高可用性、高扩展性和低成本的文件服务器。QingStor 对象存储刚好填补了这方面的需求，可为移动开发者提供一站式的文件存储解决方案。

QingStor 对象存储提供 HTTP RESTful 风格的访问接口，并辅助于编程语言相关的 SDK 工具，帮助开发者用极少的开发成本，将移动应用 App 对接到 QingStor 对象存储。本文将介绍三种不同使用场景下，与 QingStor 对象存储对接的方案：

使用 QingStor 对象存储 SDK
开发者实现签名服务器
表单 POST 上传

最后再介绍一种特殊的签名认证方式：请求参数签名，用于当 Bucket 为私有权限时，在用户之间分享 Bucket 中的文件链接。

准备工作

创建 Bucket

使用 QingStor 对象存储之前，用户需创建相应的 Bucket，用于储存 Object。详细操作可参考创建 Bucket。

创建 Access Key

详细操作可参考创建 Access Key。

使用 QingStor SDK

QingStor 对象存储目前已提供多种语言的 SDK，包括开发 iPhone App 使用的 Swift 语言，以及开发 Android App 使用的 Java 语言。App 开发者将 SDK 嵌入到客户端程序中，通过调用 SDK 提供的方法和接口与 QingStor 对象存储服务端通信。

这里将以开发一个上传照片的 iPhone App 为例，讲解如何使用 QingStor 对象存储的 SDK for Swift 将 App 接入到 QingStor 对象存储。

配置 CocoaPods

如果你还没有安装 CocoaPods，可以执行以下命令来安装，版本需为：CocoaPods 1.1.0+

gem install cocoapods

在项目工程根目录下，输入以下命令来初始化 CocoaPods

pod init

打开 Podfile，增加 pod 'QingStorSDK' 至对应的 Target，内容参考如下：

target '' do
  use_frameworks!
  pod 'QingStorSDK'
end

最后，输入以下命令来安装 QingStor 对象存储 SDK 的依赖包

pod install

开始编码

本文目的是学习 QingStor 对象存储的 SDK，而不是花费时间来研究 UI，关于例子中用到的页面大概讲解如下：

Main.storyboard UI结构图：

使用一个 BucketListController 显示当前的 Bucket 列表，一个 ObjectListController 显示 Bucket 下面的对象列表。

创建一个 Config.plist，并添加到工程。在 plist 文件里面填写申请的 API 密钥信息，内容参考如下

access_key_id
ACCESS_KEY_ID
secret_access_key
SECRET_ACCESS_KEY

打开工程的 AppDelegate.swift 文件，在文件的顶部添加如下代码，导入 SDK：

import QingStorSDK

在程序的启动入口，添加全局的注册操作，代码如下：

func application(_ application: UIApplication, didFinishLaunchingWithOptions launchOptions: [UIApplicationLaunchOptionsKey: Any]?) -> Bool {
    // Register QingStorSDK
    let url = URL(fileURLWithPath: Bundle.main.path(forResource: "Config", ofType: "plist")!)
    try! Registry.registerFrom(plist: url)

    return true
}

打开 BucketListController，在 viewDidLoad 方法里面初始化我们的 QingStor 对象存储服务：

fileprivate var qsService: QingStor!

override func viewDidLoad() {
    super.viewDidLoad()

    qsService = QingStor()

    setupView()
}

为了灵活使用，除了上述初始化 QingStor 对象存储服务的方法之外，SDK 也支持在服务初始化的时候传入配置信息：

首先修改 Config.plist 内容如下：

    access_key_id
    ACCESS_KEY_ID
    secret_access_key
    SECRET_ACCESS_KEY
    protocol
    https
    host
    qingstor.com
    port
    443

修改 qsService 的初始化方式：

let url = URL(fileURLWithPath: Bundle.main.path(forResource: "Config", ofType: "plist")!)
let context = try! APIContext(plist: url)
qsService = QingStor(context: context)

有了 qsService 实例，我们可以用它来获取 Bucket 列表，请求操作代码如下，并把得到的响应数据存储到 listBucketsOutput：

private func requestBucketList() {
    qsService.listBuckets(input: ListBucketsInput()) { response, error in
        if let response = response {
            if response.output.errMessage == nil {
                self.listBucketsOutput = response.output
                self.tableView.reloadData()
            } else {
                print("error: \(response.output.errMessage)")
            }
        } else {
            print("error: \(error)")
        }

        self.refreshControl?.endRefreshing()
    }
}

刷新 TableView 的时候根据输出显示对应的内容，最终效果如下图所示：

说明：

mobile-bucket-test 是之前为了测试创建的 Bucket。
点击该列表项，会跳转至 ObjectListController 页面，并把当前列表项的 Bucket 数据传递过去。

打开 ObjectListController 文件，在监听 bucketModel 的事件里，初始化 Bucket 服务：

fileprivate var bucketService: Bucket!
var bucketModel: BucketModel! {
    didSet {
        title = bucketModel.name
        bucketService = QingStor().bucket(bucketName: bucketModel.name!, zone: bucketModel.location!)
    }
}

增加 requestObjectList 方法来请求 Object 列表，并把得到的响应数据存储到 listObjectsOutput：

private func requestObjectList() {
    bucketService.listObjects(input: ListObjectsInput()) { response, error in
        if let response = response {
            if response.output.errMessage == nil {
                self.listObjectsOutput = response.output
                self.tableView.reloadData()
            } else {
                print("error: \(response.output.errMessage)")
            }
        } else {
            print("error: \(error)")
        }

        self.refreshControl?.endRefreshing()
    }
}

刷新 TableView 的时候根据输出显示对应的内容，最终效果如下图所示：

说明：

点击右上角 + 符号，会触发选择图片事件
使用 UIImagePickerController 来做图片选择器

当选择完图片时会触发 UIImagePickerController 的回调方法，可以在该方法做一些图片上传的处理，代码如下

func imagePickerController(_ picker: UIImagePickerController, didFinishPickingMediaWithInfo info: [String : Any]) {
    dismiss(animated: true, completion: nil)

    var contentType: String? = nil
    if let UTI = info[UIImagePickerControllerMediaType], let type = UTTypeCopyPreferredTagWithClass(UTI as! CFString, kUTTagClassMIMEType)?.takeRetainedValue() {
        contentType = type as String
    } else {
        contentType = "image/jpeg"
    }

    var pathExtension = "jpg"
    if let url = info[UIImagePickerControllerReferenceURL] as? URL {
        pathExtension = url.pathExtension.lowercased()
    }

    if let image = info[UIImagePickerControllerEditedImage] as? UIImage {
        let originRightBarButtonItem = navigationItem.rightBarButtonItem

        spinner.startAnimating()
        navigationItem.rightBarButtonItem = UIBarButtonItem(customView: spinner)

        let data = UIImageJPEGRepresentation(image, 0.8)!
        let input = PutObjectInput(contentLength: data.count, contentType: contentType, bodyInputStream: InputStream(data: data))
        let key = "\(Int(Date().timeIntervalSince1970)).\(pathExtension)"
        bucketService.putObject(objectKey: key, input: input) { response, error in
            if let response = response {
                if response.output.errMessage == nil {
                    self.beginRefresh()
                } else {
                    print("error: \(response.output.errMessage)")
                }
            } else {
                print("error: \(error)")
            }

            self.navigationItem.rightBarButtonItem = originRightBarButtonItem
        }
    }
}

代码有点长，不过我们应该关注的地方只有下面这一段代码

let data = UIImageJPEGRepresentation(image, 0.8)!
let input = PutObjectInput(contentLength: data.count, contentType: contentType, bodyInputStream: InputStream(data: data))
let key = "\(Int(Date().timeIntervalSince1970)).\(pathExtension)"
bucketService.putObject(objectKey: key, input: input) { response, error in
    if let response = response {
        if response.output.errMessage == nil {
            self.beginRefresh()
        } else {
            print("error: \(response.output.errMessage)")
        }
    } else {
        print("error: \(error)")
    }

    self.navigationItem.rightBarButtonItem = originRightBarButtonItem
}

说明：

首先把图片信息转换成 Data，方便后续转成 InputStream，也可以将 Image 存到本地文件，再转成 InputStream。
再把文件的一些信息传给 Input 对象，比如 ContentLength 和 ContentType。
key 值是存储的文件名，用于后续的删除下载操作，这里只是简单的获取了一下时间戳当做文件名。
最后用 bucketService 来把文件上传到 QingStor 对象存储，通过调用 putObject 方法来实现。

这个简单的教程到这里就告一段落了，例子里面还加了一个侧滑删除的操作，大家有兴趣可以下载源码看看。

开发者实现签名服务器

上文中介绍的使用 SDK 对接 QingStor 对象存储服务，适用于 Bucket 被个人用户所拥有的情况。如果 Bucket 为 App 开发者所拥有，由于需要将签名密钥内置到客户端程序中，会带来安全方面的隐患。为了保证签名密钥的安全，开发者可以根据 QingStor 对象存储签名方法，自己搭建并实现一个签名服务器。用于签名的密钥只需要在服务端保存，客户端不需要拿到，从而避免了认证信息泄漏的隐患。

QingStor 对象存储提供了一个签名服务器的样例供 App 开发者参考。网页端使用 JavaScript SDK 配合签名服务器进行上传可以参考官方提供的 Demo 项目。

注意事项

若用户需自己开发签名服务，需要注意：

签名服务需要考虑 JavaScript 客户端的特例
签名服务需要把计算签名时所有的时间戳，返回给客户端，客户端根据这个时间戳设置 Date 头字段（一般客户端）或 x-qs-date 头字段（JavaScript客户端）
由于没有权限验证，该样例不适合直接运行在生产环境，若暴露在公网上，任何人都可以访问并进行签名认证。

样例的使用步骤如下：

安装签名服务器

git clone https://github.com/yunify/qingstor-demo-auth-server.git
cd qingstor-demo-auth-server
pip install -r requirements

配置认证信息

export ACCESS_KEY_ID="ACCESS_KEY_ID_EXAMPLE"
export SECRET_ACCESS_KEY="SECRET_ACCESS_KEY_EXAMPLE"
export ZONE="pek3a"

其中 ZONE 可以在服务器端进行配置，也可以在每一次请求中指定。如果都没有的话，服务器将会抛出异常。

运行认证服务器

python demo.py

获得请求签名

从客户端发送签名请求

curl -H "Content-Type: application/json" -d '{"method":"GET", "url":"/", "headers":{"Date":"Wed, 10 Dec 2014 17:20:31 GMT"}}' 127.0.0.1:5000

客户端将会获得如下的返回结果

QS PLLZOBTTZXGBNOWUFHZZ:vIWg/qAxvXlcFRb9uzYmdIM9tiF6EuM6SC3i13yLzH8=

将该结果附加到请求头中，作为最终发送给 QingStor 对象存储的请求

GET /mybucket/music.mp3 HTTP/1.1
Authorization: QS PLLZOBTTZXGBNOWUFHZZ:vIWg/qAxvXlcFRb9uzYmdIM9tiF6EuM6SC3i13yLzH8=
Host: pek3a.qingstor.com
Date: Mon, 14 Nov 2016 14:05:00 GMT

SDK 参考例子：Java 使用服务端签名

表单 POST 上传

表单上传是专门为浏览器设计的一种文件上传方式，表单上传分为以下几步：

用户通过浏览器请求开发者的 Web Server
Web Server 生成包含 signature 字段的表单返回给浏览器，例如

    Upload
    .pek3a.qingstor.com" method="POST" enctype="multipart/form-data">

用户通过表单上传文件以及 Signature 给 QingStor 对象存储。表单上传的具体方法，请见表单上传

请求参数签名

最后我们介绍一种不同于请求头签名的认证方式，该方法适用于 Bucket 为私有权限，但是需要分享文件下载链接给其它用户，或者其它设置请求头签名不方便的客户端。如果开发者想要生成一个 QingStor 对象存储的访问链接，并将链接分享给其他用户，可以使用该签名方式，即请求参数签名。下面是一个请求示例

GET /music.mp3?access_key_id=PLLZOBTTZXGBNOWUFHZZ&expires=1479107162&signature=tuXu/KcggHWPAfEmraUHDwEUdiIPSXVRsO%2BT2rxomBQ%3D HTTP/1.1
Host: mybucket.pek3a.qingstor.com
Date: Mon, 14 Nov 2016 14:05:00 GMT

参数签名使用的场合较为广泛，它所能达成的效果跟请求头签名完全一样，只是让附带签名的过程更加方便和易于使用。具体方法请见签名验证

Storage: Linux 使用对象存储作为本地盘

Mon, 01 Jan 0001 00:00:00 +0000

本文介绍如何通过 goofys 将 QingStor 对象存储挂载到文件系统使用。项目地址：Github 项目。

操作步骤

创建 Bucket，若已经有可使用的 Bucket，可略过该步骤。详细操作可参考创建 Bucket。
申请 API 密钥。详细操作可参考创建 Access Key。
安装 goofys (以 Ubuntu 为例)

mkdir /usr/local/goofys
cd /usr/local/goofys
wget https://github.com/kahing/goofys/releases/latest/download/goofys
chmod +x goofys
echo "PATH=\$PATH:/usr/local/goofys" >> /etc/profile
source /etc/profile

挂载 Bucket

cd ~
vim .aws/credentials

[default]
#API密钥ID
aws_access_key_id = qy_access_key_id
#API密钥密码
aws_secret_access_key = qy_secret_access_key

goofys --endpoint https://s3.<zone>.qingstor.com <bucket_name> <mount_point>

df -Th 查看结果

Storage: 静态网站托管方案

Fri, 28 Feb 2020 10:08:56 +0900

静态网站托管（Bucket Web Hosting），是 QingStor 对象存储，面向静态网页内容（包含音频和视频等文件）提供的一种托管服务，是对静态网站的文件存储、数据访问权限、 CDN 分发加速，以及安全保障等一站式的解决方案。网页内容包含音频和视频等文件。可帮助用户快速构建并托管基于静态内容的网站，并提供高可靠与高可用的服务保障，大幅简化用户建站的操作流程，同时大幅降低网站的日常运营与维护成本。

主要优势

高可靠、高可用

继承 QingStor 对象存储高可靠高可用特性。
存储容量可无限水平扩展。
提供完善的 API 接口与管理功能。
用户可便捷地上传与管理托管的静态内容。

操作简便

配合 QingStor 对象存储提供的 qsctl 文件上传工具，可实现对托管内容的快速实时更新，保障用户对网站内容的快速更新。
用户可以通过 QingStor 对象存储完善的功能，实现对所托管网站的访问权限控制、流量监控、安全防护等功能。

无缝衔接 CDN 加速及 HTTPS 证书

整合了开·云app官方版下载 QingCloud CDN 加速服务，并支持对网站开启 HTTPS 证书认证，以满足用户对网站访问的更高需求。
在控制台与静态网站托管功能进行无缝衔接，使用户在一致的操作体验中完成操作。

使用成本大幅降低

QingStor 对象存储成本低廉，无需采购、部署和运维，可按量付费。并且支持用户通过存储分层及对象生命周期管理，将成本降至更低。

应用场景

静态网站托管

QingStor 对象存储静态网站托管可为企业官网、新闻站点、自媒体站点、个人博客及文档汇编等大量使用静态内容的网站提供一套使用简便、成本低廉、高效可靠的面向静态网页的托管方案。

三步完成网站上线，省去繁杂的基础设施运维：

将所有静态网站文件上传至 QingStor 对象存储 Bucket，并点选相应的配置；
设置网站访问域名，选择是否开启 CDN 或 HTTPS 证书（证书需用户自行提前准备好）；
开启静态网站托管。

静态网站托管使用流程：

设置 Bucket 为公开可读：

将网站内容上传至 Bucket。

推荐使用 QingStor 对象存储提供的命令行工具 qsctl 进行上传，使用方法可以参考 qsctl 文档。如使用 sync 命令上传整个网站，操作命令行为：

qsctl sync /path/to/website qs://test-bucket

绑定自定义域名并开启静态网站设置，请参考控制台指南并操作。
在浏览器中访问刚才绑定的自定义域名，即可查看网站内容。

大型动态网站动静分离

将静态内容单独拆分出来进行托管，是目前普遍的网站优化手段，QingStor 对象存储静态网站托管可帮助提升网站的整体运行效率，并降低使用成本。

降低 Web 服务器负载，静态文件访问负载全部通过 CDN
通过 QingStor 对象存储可与 QingCloud 大数据平台无缝集成，高效进行网站各项数据分析应用
Web 服务可直接将海量非结构化数据存储至对象存储，降低存储成本
配合 CDN 使用，降低流量成本，提高静态内容响应速度
无限水平扩展的海量存储空间，无需考虑存储架构升级

Web 服务静态化拆分样例

原有 Web 服务架构

例如，有如上图的 Web 服务架构。客户端和浏览器通过统一的 Web 服务网关访问网页、多媒体文件、软件安装包、API 等，同时 API Server 还依赖数据库（如 MySQL）、缓存（如 Redis）、大数据平台（如 Hadoop、Spark 等）等其他后端服务。

这种服务架构的缺点是所有访问请求都经由网关，如果 Web 服务的静态内容的访问量大，则会影响到 API Server 请求的响应速度。

优化后 Web 服务架构

优化过的 Web 服务架构如上图。引入 QingStor 对象存储之后，网页、多媒体文件、软件包等静态文件存储至 Bucket。Bucket 可以开启静态网站托管服务，同时也可以使用 CDN 来提高访问速度。客户端或浏览器只有访问 API 时才会请求 Web 服务网关，能够去除静态文件的负载压力。 API Server 可将非结构化数据统一存储至 Bucket。Web 应用的数据也可以定时打包备份至 Bucket，大数据平台也能够接触对象存储实现计算与数据存储分离。

这样一来，可以让 QingStor 对象存储支撑起整个 Web 服务的存储，无需再考虑存储容量和存储架构升级问题，同时也能降低使用云服务成本。

对比传统部署方式

网站的访问体验是站长以及开发者最关心的一点，通过上面小节的介绍，相比过去自主购买服务器并部署上线网站的标准流程（如上图），使用静态网站除了能够节省成本之外，还帮助用户省去了面向服务器的所有繁杂的配置与部署操作，并且不需要考虑服务器的选型购买与维护更新。

相比绝大多数类似服务，QingStor 对象存储提供的静态网站托管整合了 CDN 加速服务，并支持对网站开启 HTTPS 证书认证，对用户的访问效率和访问安全提供了保证，使静态网站的上线发布和更新维护流程变的简单高效。如上图所示。

Storage: Bucket Policy 白名单和黑名单使用实例

Fri, 28 Feb 2020 10:08:56 +0900

ACL 提供了 Bucket 级别的读写权限设置，包括可读、可写和可读写。用户可以将不同的访问权限分别授予不同的开·云app官方版下载用户，也可以选择所有用户整体设置。Bucket Policy 允许用户更细粒度的控制 Bucket 的访问。其语义主要由用户、资源、动作及条件运算符组合定义。例如仅允许指定用户以指定站点为 Referer 以下载 Bucket 中的某单个 Object，或者防止外链等。

ACL 过于广域，对于一些更细粒度的控制无法实现，需要用 Policy 来实现数据访问权限的控制。

以下是 Policy 规则分别使用白名单和黑名单实现相同结果的两个案例，从案例中熟悉 Policy 黑白名单的使用。最终实现的效果都是一样，即头字段里的 referer 必须匹配 *.baidu.com，才能允许访问。详细操作如下：

案例一：ACL无任何规则

进入 访问控制 设置页面，清除所有 ACL 规则，详细操作可参考 Bucket ACL：

进入 存储空间策略 设置页面，创建规则，设置 Referer 匹配 *.baidu.com 访问，也就是设置访问白名单。详细操作可参考 Bucket Policy：

测试结果如下，直接 curl 访问提示无权限，添加 --referer 参数，指定 www.baidu.com 之后可以正常访问:

可见，ACL 不做任何规则限制，此时默认都无权访问，但是由于 Policy 优先级更高，可以直接越过 ACL 的限制。

案例二：ACL限制所有人可读

进入 访问控制 设置页面，添加所有用户可读的 ACL 规则，详细操作可参考 Bucket ACL：

进入 存储空间策略 设置页面，创建规则，设置 Referer 不匹配 *.baidu.com 访问，也就是添加访问黑名单。详细操作可参考 Bucket Policy：

测试结果如下，直接 curl 访问提示无权限，添加 --referer 参数，指定 www.baidu.com 之后可以正常访问:

可见，实现的结果和 案例一 是一致的。

QingCloud 文档 – 最佳实践 - kaiyun官方网站下载手机网页

Storage: 数据迁移方案

被动触发迁移 - 外部镜像

用户主动迁移 - Fetch API

用户主动迁移 - qscamel

推荐使用步骤

FAQ

Storage: 实时增量数据备份解决方案

环境要求

软件配置

使用方法

编辑配置文件

测试配置

后台运行 lsyncd

Storage: 移动 App 接入方案

准备工作

创建 Bucket

创建 Access Key

使用 QingStor SDK

配置 CocoaPods

开始编码

开发者实现签名服务器

注意事项

安装签名服务器

配置认证信息

运行认证服务器

获得请求签名

表单 POST 上传

请求参数签名

Storage: Linux 使用对象存储作为本地盘

操作步骤

Storage: 静态网站托管方案

主要优势

高可靠、高可用

操作简便

无缝衔接 CDN 加速及 HTTPS 证书

使用成本大幅降低

应用场景

静态网站托管

大型动态网站动静分离

对比传统部署方式

Storage: Bucket Policy 白名单和黑名单使用实例

案例一：ACL无任何规则

案例二：ACL限制所有人可读