Upload
others
View
38
Download
0
Embed Size (px)
Citation preview
QingStor™ 对象存储场景化应⽤用实践 宁安 | QingStor 对象存储研发⼯工程师
► QingStor 对象存储产品核⼼心价值
► QingStor 对象存储系统架构
► API & SDK
► QingStor 对象存储应⽤用场景
► QingStor 对象存储产品体系
Agenda
QingStor 对象存储产品核⼼心价值
海海量量弹性
通⽤用Web Oriented
平台⽣生态
扁平 ⾮非结构化
Global
Zone
Zone
Zone
Bucket
Bucket
Bucket
Bucket
Zone
Bucket
Object
Object
Object
Object
Object
Object
Object
QingStor 对象存储全局架构
https://bucketname.zonename.qingstor.com/object_name
QingStor 对象存储⾼高度可扩展的区域架构
接⼊入⼦子系统 缓存 调度⼦子系统
⽂文件上传、下载、查询
索引⼦子系统 监控⼦子系统
⾃自动管理理机器器⼈人
⽀支持⽔水平扩展,⽆无节点数量量限制
⽀支持⽔水平扩展,⽆无节点数量量限制
数据三副本保护,⽀支持⽔水平扩展,⽆无节点数量量限制
存储⼦子系统
集群 0
……
集群 1 集群 2
集群 3 集群 N
对象存储是云服务的存储引擎
QingCloud 数据平台服务
QingStor对象存储
⻘青云基础架构云服务
PaaS 层框架(计算资源调度、监控、备份)
QingCloud ⼤大数据平台
MySQL PostgreSQL
MongoDB Memcached
Redis
Hadoop Spark
HBase Kafka
Elasticsarch Storm
►
►
►
►
►
►
负载均衡
应⽤用服务器器 应⽤用服务器器 应⽤用服务器器
数据库 数据库从节点 对象存储
对象存储作为应⽤用数据的持久化存储
对象存储直接与⽤用户交互
►
A
企业各类数据的备份和归档
商业数据备份软件
Commvault
英⽅方 i2dot
LSYNCD/CRON + qsctl
QingStor对象存储备份
⾼高级命令⾏行行⼯工具 qsctl
► 类 UNIX 命令
► 命令包括:cp、ls、rm、mv、mb、rb 和sync
► 所有的命令⾏行行都⽀支持批量量操作且⽀支持通配符,include 和 exclude 过滤器器
如复制本地 /tmp/foo 下的所有⾮非 abc 开头的⽂文件到对象存储,但 abc 开头的 jpg ⽂文件同样需要被复制,则 qsctl 命令可以为:
$ qsctl cp /tmp/foo/ qs://mybucket/ -r --exclude “abc*.*” --include “*.jpg”
⼀一个⾮非常有⽤用的命令为 sync,可以实现本地⽬目录和远端对象存储内的对象⽂文件保持同步,如下⾯面命令保持 /tmp/foo 和云端对象存储 mybucket 中的 /foo 下的⽂文件保持同步:
$ qsctl sync /tmp/foo qs://mybucket/foo
企业⽹网盘和⽂文档管理理的存储后端
企业⽹网盘和⽂文档管理理的存储后端
* Nextcloud 服务架构
* Nextcloud 数据访问⽅方式
对象存储和 CDN 加速服务的整合
QingStor 对象存储CDN
⼚厂商 0 ⼚厂商 1 ⼚厂商 2 ⼚厂商 N ⾃自建……
⼴广东电信 昆明联通 陕⻄西移动 ⽢甘肃联通 ……🌝
⼀一键开启 Bucket CDN 加速
静态⽹网站托管
Browser
Gateway
Static Files
Services
Bucket
Application
CDN
静态⽹网站托管
视频存储和处理理
视频服务器
视频服务器
实时视频
实时视频 QingStor对象存储
视频⽂文件
视频查看
► 没有⽂文件数量量限制
► 存储空间海海量量扩展
► 数据可靠性 99.9999%
► 快速⽂文件检索和查看
对象存储和⼤大数据平台⽆无缝集成
QingStor 对象存储
QingStor RESTful API
Hadoop Spark Elasticsearch HIVE HDW
对象存储作为舆情系统的海海量量数据保存场所
对象存储数据迁移⽅方案
源站
Object Storage
Client
qscamel请求源站数据
获取源站数据
请求数据
触发迁移
主动抓取数据
命令⾏行行⼯工具 qscamel► qscamel 是把 HTTP(s) 形式的数据⾼高效地批量量迁移到 QingStor 对象存储的命令
⾏行行⼯工具
► 输⼊入可以是包含源链接的⽂文件,也可以是其他对象存储平台的Bucket名称
如从 S3 迁移数据⾄至 QingStor 对象存储
$ qscamel -t s3 -s s3-bucket-name -z us-east-1 -a "S3ACCESSKEYID" -S "S3SECRETACCESSKEY" -b qingstor-bucket-name -d "migrate data"
► QingStor Scala SDK
► QingStor Plugin for WordPress
开源
► S3FS
► QSFTP
Legacy 应⽤用
QingStor 对象存储产品体系
QingStor对象存储
Event Bus
存储⽹网关
数据处理理
点播/直播
SDK/Utilities
CDN
⼤大数据
Portal AppCenter
Open Source
数据迁移 (软/硬)