QingCloud 文档 – 数据处理 - kaiyun官方网站下载手机网页 /storage/object-storage/manual/console/data_process/ Recent content in 数据处理 on QingCloud 文档 Hugo -- gohugo.io Fri, 28 Feb 2020 10:08:56 +0900 Storage: 图片处理 /storage/object-storage/manual/console/data_process/image_process/ Fri, 28 Feb 2020 10:08:56 +0900 /storage/object-storage/manual/console/data_process/image_process/ <h2 id="概述">概述</h2> <p>QingStor 对象存储提供了格式转换、旋转、添加水印等多种图片处理功能。用户可以根据需求在控制台配置处理参数,并将生成的处理参数代码拼接至图片的 URL 后面,以获得经过处理的图片。</p> <p>QingStor 对象存储目前暂不支持对加密图片进行处理,且处理的单张图片最大尺寸为 10MB。</p> <h2 id="操作步骤">操作步骤</h2> <ol> <li>进入 QingStor 对象存储的主页面,点击对应的 Bucket 名:</li> </ol> <p><img src="/storage/object-storage/_images/console_main.png" alt=""></p> <ol start="2"> <li>进入 Bucket 详情页面,点击 <strong>数据处理</strong>,选择 <strong>图片处理</strong>,点击 <strong>打开</strong>:</li> </ol> <p><img src="/storage/object-storage/_images/data_image_pro1.png" alt=""></p> <ol start="3"> <li>进入 <strong>图片处理</strong> 详情页面,图片处理详情界面分为预览、操作面板以及处理参数三个部分。各部分操作简单直观,如下图所示:</li> </ol> <p><img src="/storage/object-storage/_images/data_image_pro2.png" alt=""></p> <p><strong>各部分功能说明:</strong></p> <ul> <li>预览:显示经过当前操作处理后得到的示例图片以及该图片的基本信息,目前提供三张常用尺寸的示例图片,用户可根据需要切换不同的示例图片。</li> <li>操作面板:目前提供五种基本图片处理操作,用户可对其进行搭配,图片处理将按照操作顺序生成处理参数代码。</li> <li>处理参数:图片处理最终将生成一段处理参数代码,将该代码拼接至图片的 URL 后面,以获得经过处理的图片。同时可以将处理参数保存在浏览器本地,方便再次编辑使用。</li> </ul> <p><strong>操作面板说明:</strong></p> <ul> <li>裁剪:指定裁剪区域尺寸和位置在图片中裁剪出不同尺寸的图片。</li> <li>旋转:对图片进行旋转。</li> <li>缩放:将图片缩放到指定尺寸,可选择是否保持原有比例进行缩放。</li> <li>水印:增加文字或图片水印。</li> <li>格式:将图片转换成指定格式。</li> </ul> Storage: 图普鉴黄 /storage/object-storage/manual/console/data_process/tupu_porn/ Tue, 28 Jul 2020 10:08:56 +0900 /storage/object-storage/manual/console/data_process/tupu_porn/ <h2 id="概述">概述</h2> <p>图普科技鉴黄服务可以帮助用户判断存储在 QingStor 对象存储 Bucket 中的图片是否包含有色情信息。该服务由广州图普网络科技有限公司提供。QingStor 对象存储通过无缝对接图谱科技的图像智能审核功能,为用户提供面向图像文件的高精度鉴黄服务,实现对违规内容的有效甄别与管理,帮助用户大幅度提高业务运营效率及合规性。</p> <p>图普鉴黄服务使用深度学习算法,帮助用户识别存储在 QingStor 对象存储 Bucket 中的图片是否涉黄,并将识别结果划分为确定部分和复审部分,其中确定部分的准确率超过 99.5%;复审部分不超过鉴别数据总量的 5% 。</p> <p>开启该服务后,每当有图片成功上传至 QingStor 对象存储的 Bucket 时,匹配指定规则的图片将会触发鉴黄,鉴黄结果会以 HTTP POST 请求的方式推送至用户所配置的接收结果地址。QingStor 对象存储不会对图普科技鉴黄的结果进行修改。</p> <p>图普科技的鉴黄服务可参考 <a href="http://cloud.doc.tuputech.com/zh/API/image/">官网相关文档</a>。</p> <h2 id="操作步骤">操作步骤</h2> <h3 id="开启服务">开启服务</h3> <p>开启图谱鉴黄服务只需点击 <strong>点击开启</strong> 按钮,并在弹出框中输入参数即可。详细操作步骤如下:</p> <ol> <li>进入 QingStor 对象存储的主页面,点击对应的 Bucket 名:</li> </ol> <p><img src="/storage/object-storage/_images/console_main.png" alt=""></p> <ol start="2"> <li>进入 Bucket 详情页面,点击 <strong>数据处理</strong>,选择 <strong>图谱鉴黄</strong>,点击 <strong>点击开启</strong>:</li> </ol> <p><img src="/storage/object-storage/_images/data_yellow_pro1.png" alt=""></p> <ol start="3"> <li>弹出参数设置对话框,根据对话框提示信息,输入对应参数后,点击 <strong>确认</strong>:</li> </ol> <p><img src="/storage/object-storage/_images/data_yellow_pro2.png" alt=""></p> <p><strong>说明:</strong></p> <ul> <li>接收结果地址:当数据处理完成后,QingStor 对象存储会将处理结果以 HTTP POST 方式向接收结果地址发送。要求该地址在接受成功后返回状态码 200 至 QingStor 对象存储。</li> <li>接收结果地址返回其他状态码至 QingStor 对象存储时,QingStor 对象存储会发起重试,重试次数为 3 次,重试时间间隔为 500ms。该请求超时时间为 5s。</li> <li>文件名匹配规则:用于设置需要进行数据处理的文件名的规则。匹配规则是基于 Glob Pattern 的模式,多个规则之间使用逗号 <code>,</code> 进行分割。</li> </ul> <h3 id="查看详情">查看详情</h3> <p>点击图谱鉴黄,进入详情页面。在这里可以根据需求查看结果说明,价格,消费记录以及配置等四个选项,可以对图谱鉴黄服务进行精确管理。</p> <ol> <li>进入 QingStor 对象存储的主页面,点击对应的 Bucket 名:</li> </ol> <p><img src="/storage/object-storage/_images/console_main.png" alt=""></p> <ol start="2"> <li>进入 Bucket 详情页面,点击 <strong>数据处理</strong>,选择 <strong>图谱鉴黄</strong>,点击 <strong>打开</strong>:</li> </ol> <p><img src="/storage/object-storage/_images/data_yellow_pro3.png" alt=""></p> <ol start="3"> <li>进入 <strong>图谱鉴黄</strong> 详情页面,查看 <strong>结果说明</strong>,用户通过这个页面,可以查看接收到的识别结果中的各个字段的含义:</li> </ol> <p><img src="/storage/object-storage/_images/data_yellow_pro4.png" alt=""></p> <ol start="4"> <li>在 <strong>图谱鉴黄</strong> 详情页面,点击 <strong>价格</strong>,用户可查看该功能的收费标准,详细说明与计费示例参考下图:</li> </ol> <p><img src="/storage/object-storage/_images/data_yellow_pro5.png" alt=""></p> <ol start="5"> <li>在 <strong>图谱鉴黄</strong> 详情页面,点击 <strong>消费记录</strong>,用户可通过选择查询时间段查看各个月份对应的消费记录,结果用堆叠条形图表示,并将监控点的数据呈现在表格中:</li> </ol> <p><img src="/storage/object-storage/_images/data_yellow_pro6.png" alt=""></p> <ol start="6"> <li>在 <strong>图谱鉴黄</strong> 详情页面,点击 <strong>配置</strong>,用户可在该页面设置接收结果地址与文件匹配规则,详情参考下图:</li> </ol> <p><img src="/storage/object-storage/_images/data_yellow_pro7.png" alt=""></p> <h2 id="鉴黄结果">鉴黄结果</h2> <h3 id="结果示例">结果示例</h3> <div class="highlight"><pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-json" data-lang="json"><span style="display:flex;"><span>{ </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;bucket&#34;</span>: <span style="color:#e6db74">&#34;fakebucket&#34;</span>, </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;object&#34;</span>: <span style="color:#e6db74">&#34;porn.jpeg&#34;</span>, </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;result&#34;</span>: { </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;code&#34;</span>: <span style="color:#ae81ff">0</span>, </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;message&#34;</span>: <span style="color:#e6db74">&#34;success&#34;</span>, </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;54bcfc6c329af61034f7c2fc&#34;</span>: { </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;fileList&#34;</span>: [ </span></span><span style="display:flex;"><span> { </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;label&#34;</span>: <span style="color:#ae81ff">2</span>, </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;name&#34;</span>: <span style="color:#e6db74">&#34;porn.jpeg&#34;</span>, </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;rate&#34;</span>: <span style="color:#ae81ff">0.9836746454238892</span>, </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;review&#34;</span>: <span style="color:#66d9ef">false</span> </span></span><span style="display:flex;"><span> } </span></span><span style="display:flex;"><span> ] </span></span><span style="display:flex;"><span> }, </span></span><span style="display:flex;"><span> </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;nonce&#34;</span>: <span style="color:#e6db74">&#34;0.2297668219538047&#34;</span>, </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;reviewCount&#34;</span>: <span style="color:#ae81ff">0</span>, </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;statistic&#34;</span>: [ </span></span><span style="display:flex;"><span> <span style="color:#ae81ff">0</span>, </span></span><span style="display:flex;"><span> <span style="color:#ae81ff">0</span>, </span></span><span style="display:flex;"><span> <span style="color:#ae81ff">1</span> </span></span><span style="display:flex;"><span> ], </span></span><span style="display:flex;"><span> <span style="color:#f92672">&#34;timestamp&#34;</span>: <span style="color:#ae81ff">1498647797834.0</span> </span></span><span style="display:flex;"><span> } </span></span><span style="display:flex;"><span>} </span></span></code></pre></div><h3 id="参数说明">参数说明</h3> <table> <thead> <tr> <th>字段名</th> <th>类型</th> <th>说明</th> <th>是否必须</th> </tr> </thead> <tbody> <tr> <td>bucket</td> <td>String</td> <td>图片在 QingStor 对象存储中的 Bucket 名。</td> <td>是</td> </tr> <tr> <td>object</td> <td>String</td> <td>图片在 QingStor 对象存储中的 Object 名。</td> <td>是</td> </tr> <tr> <td>result</td> <td>Object</td> <td>图普科技鉴黄服务所返回的结果。</td> <td>是</td> </tr> <tr> <td>code</td> <td>Int</td> <td>处理状态:<br>0:调用成功;<br>1:授权失败;<br>2:模型 ID 错误;<br>3:没有上传文件;<br>4:API 版本号错误;<br>5:API 版本已弃用;<br>6:secretId 错误;<br>7:任务 Id 错误,secretId 不能调用该任务;<br>8:secretId 状态异常;<br>9:尚未上传证书;<br>100:服务器错误;<br>101:未知错误。</td> <td>是</td> </tr> <tr> <td>message</td> <td>String</td> <td>与 code 对应的具体状态描述信息。</td> <td>是</td> </tr> <tr> <td>54bcfc6c329af61034f7c2fc</td> <td>String</td> <td>图普科技定义的作为鉴黄任务的 TaskID 。</td> <td>是</td> </tr> <tr> <td>fileList</td> <td>Array</td> <td>具体的处理结果列表。</td> <td>是</td> </tr> <tr> <td>rate</td> <td>Float</td> <td>介于 0 ~ 1 之间的浮点数,表示该图像被识别为某个分类的概率值。概率越高,识别准确度越高。可参考此值确定需要人工复审的界限。</td> <td>是</td> </tr> <tr> <td>label</td> <td>Int</td> <td>介于 0 ~ 2 之间的整数,表示该图像被判定为哪个分类,其中:<br>0:色情<br>1:性感<br>2:正常</td> <td>是</td> </tr> <tr> <td>review</td> <td>Boolean</td> <td>是否需要人工复审该图片。<br>true:需要 <br>false:不需要</td> <td>是</td> </tr> <tr> <td>statistic</td> <td>Array</td> <td>图像机器判定结果统计数组,分别对应判定 label 为 0 ~ 2 的数据总量。</td> <td>否</td> </tr> <tr> <td>reviewCount</td> <td>Int</td> <td>需要人工复审的图片数量。</td> <td>否</td> </tr> <tr> <td>nonce</td> <td>String</td> <td>随机数。</td> <td>是</td> </tr> <tr> <td>timestamp</td> <td>Float</td> <td>当前鉴黄服务器的 Unix 时间戳。</td> <td>是</td> </tr> </tbody> </table>