22
云计算推动金融业IT架构变革 BoCloud博云 花磊

云计算推动金融业 I T 架构变革

Embed Size (px)

Citation preview

Page 1: 云计算推动金融业 I T 架构变革

云计算推动金融业 I T架构变革

BoCloud博云 花磊

Page 2: 云计算推动金融业 I T 架构变革

关于BoCloud博云

BoCloud博云,为金融客户提供针对互联网化、去IOE化(X86服务器规模化应用)的底层云架构和智能云运维平台。 BoCloud博云团队来自微软、华为、中科院等,研发超过150人,与中科院软件所战略合作,专注服务金融机构。

BoCloud博云以创新云技术支撑金融核心业务,构建基于互联网架构的金融应用创新平台。

金融云平台 金融云运维

Page 3: 云计算推动金融业 I T 架构变革

云计算技术快速演进和逐步成熟

关键词

虚拟化

资源池

大数据 容器

微服务

DevOps 软件定义

DC

核心产品(技术)

云计算技术的发展已经经历过了第一代虚拟化、第二代资源池化,正向第三代云计算技术前进—

—以容器、微服务、DevOps为关键技术和特征,能够满足金融业新型业务对快速部署、弹性扩

展、自动化运维等核心需求。

Page 4: 云计算推动金融业 I T 架构变革

金融创新和支撑技术的相互推动

客户定制 渠道运营 数据分析 金融服务

私人银行

交易银行

直销银行

消费银行

柜台渠道

电子银行

社交网络

电子商务

客户画像

金融舆情

实时征信

个性推荐

事件营销

业务托管

分支机构

金融服务

运营优化

金融应用

支撑技术

资源池化技术

容量规划 资源调整

负载检测负载预测

应用

容器资源

+

伸缩重配置操作

数据流

控制流

Web应用性能模型 资源调整引擎

QoS

应用属性

面向服务高并发架构 大数据分析 自动化运营

haproxy

keepalived

haproxy

keepalived

nginx keepalived

nginx keepalived

Web Server

Web Server

consul

Consul template

Consul-haproxy

Consul-nginx

Consul-f5

F5负载均衡

虚拟化

大数据

微服务

DevO

ps

Page 5: 云计算推动金融业 I T 架构变革

互联网化是金融创新的主要趋势

互联网化特征:创新主动化、交付移动化、峰值极限化、响应及时化,应用部署便

捷性,运维响应及时性,本质是IT架构敏捷性

创新主动化 交付移动化 峰值极限化 响应及时化

反映出开发迭代频繁,如何高效部署 移动化应用开发通常每周需更新版本

反映运维支撑复杂,如何及时响应 峰值突发要求运维响应及时,保连续性

Page 6: 云计算推动金融业 I T 架构变革

OpenStack推动银行IAAS平台建设

1. IBM/HP等公司放弃私有云管理平台,转向开放架构

2. 开源云管理平台四大主流:Openstack、CloudStack、OpenNebula、Eucalyptus,其中OpenStack架构活跃度最高

3. 各大主流云计算厂商都转向支持Openstack,获取广泛的生态支持

1. 云管理平台转向开放化、开源化架构

1. 支持广泛的虚拟化平台:KVM 、Xen、Vmware、Hyper-V

2. 支持多种的网络设备接入:思科、华为、H3C、博科 3. 支持多种存储设备接入:HDS、华为、EMC、IBM 4. 支持标准x86服务器

2. 云管理平台有广泛的接入兼容性

• 云平台从私有平台逐步过渡到开放平台 • 云平台服务从基础的计算、块存储服务演进到弹性计算、应用部署服务、对象存储等更高级的数据服务

• OpenStack聚集所有IT和云计算巨头,成为开源云平台的事实标准

Page 7: 云计算推动金融业 I T 架构变革

Docker技术加速PAAS平台的落地

VM虚拟机:基础设施云化 容器:应用云化

目前,Google每秒大约会启动7000个容

器,每周超过20亿个

在2015年的618活动,京东线上共运行了

超过了11000个Docker实例以及几百个

KVM虚拟机来支持

截止2015年3月份,腾讯已使用了大概

15000个常驻的Docker容器,来实现对其服

务的支持

启动速度快:通常在一秒内可以启动应用

在独立沙箱内运作,相互不影响

性能开销小:几乎没有额外资源开销

Docker容器技术:

在一台物理机上启动多个在独立沙箱内运作的应用,相互不影响,无Guest OS,资源利用率更高;

Page 8: 云计算推动金融业 I T 架构变革

DevOps&运维自动化已经成为现实

管理基础设施中的多个环境分区,并各个环境中的调度环境进行集中管理

服务治理

对业务服务进行发布、弹性伸缩、健康检查等管理管控,形成业务服务平台

业务编排

对应用、虚拟机、容器、中间件、服务等进行组件封装和编排服务

应用管理

对业务应用进行版本管理、升级、灰度发布、回滚、可用性、弹性等管理

运营支撑

建设日志、安全审计、权限管理、流程对接、数据同步等运营支撑平台

开发测试 发布运行 运维保障 流程对接

开发测试 子系统

应用发布 子系统

云运维 子系统

流程 子系统

IAAS

基础设施

PAAS 运维保障

服务对接

金融 平台

环境管理

Page 9: 云计算推动金融业 I T 架构变革

金融互联网化对IT架构的三个典型需求

满足新一代云平台三个方面的需求:

●统一化管理虚拟化资源池 ●应用快速部署上线和应用弹性伸缩 ●统一运维及自动化管理

基于Openstack的统一虚拟化平台 以开放架构的Openstack构建虚拟化资源池,统一管理各类虚拟化资源

一体化、自动化云运维平台 固化优秀的运维过程,实现资源管理、虚拟化资源分配、应用容器的统一管控

基于Docker的应用发布与部署平台 基于Docker构建容器化应用打包、部署、编排、升级平台

Page 10: 云计算推动金融业 I T 架构变革

金融应用系统与对应IT架构

大数据类应用

非高性能 单体式应用

高性能IT开放平台 分布式架构&云平台

智慧的大数据平台

泛在便捷的服务渠道 网上银行 手机银行 电话银行 远程银行 网点 移动营销

开放弹性的IT基础设施

核心业务

信贷 核心账务

信用 卡

经营管理

风险 管控

营销管理

财务 管理 …

中间业务

代收代付

理财 贵金属 …

高性能物理机架构

高性能应用 高性能物理机架构

虚拟机架构

互联网类 分布式应用

容器架构

Page 11: 云计算推动金融业 I T 架构变革

案例:某股份制银行互联网业务金融云

实现应用 的快速迭代

支持快速 弹性伸缩

随着直销银行业务的不断

推进,系统要承担大规模

批量开户、促销活动等高

并发交易量的场景。需要

由传统的IOE架构改造成分

布式系统架构,解决应用

本身的容量瓶颈。

互联网用户访问难以预

计,推出营销活动后,

服务的规模可快速伸缩,

以自动适应业务负载的

动态变化。用户使用的

资源同业务的需求相一

致,避免因为服务器性

能过载或冗余而导致的

服务质量下降或资源浪

费。

直销银行通过互联网直

接为客户提供服务,那

就要参考业界的互联网

公司产品的推出速度,

预计最少1-2周更新一

次。

应对千万级用户 支持百万级并发

应用的互联网架构

改造

Page 12: 云计算推动金融业 I T 架构变革

业务驱动 - 银行应用具备快速部署和弹性扩展能力

• 上午提的需求下午要上线怎么办?

• 系统进行升级后遇见故障怎么办?系统进行升级想进行多版本对比测试怎么办?

自动创建新版本系统/DB容

自动修改F5/Nginx

配置

自动停止并删除原版本系统容器

完成

开始 设置部 署参数

自动部 署验证

回滚

Docker实现快速部署 与版本管理

快速部署:虚拟机可以通过镜像实现环境交付的一致性,但镜像分发无法体系化;Docker在Dockerfile中记录了容器构建过程,在集群中实现快速分发和快速部署,并且开发、测试、部署能保证高度一致的环境与配置。

弹性扩展:在异构环境下,虚拟机的迁移较为复杂;Docker容器可以在任何平台上迁移,公有云、虚拟机或物理机,都可以轻松跨平台迁移。

版本管理:虚拟化软件借助工具,向虚拟机推送安装、升级应用软件补丁包; Docker的更新是迭代式的,可增量式对内容进行分发、存储、传输、节点启动和回滚。

技术复杂度:虚拟机的方式难以提供以下三种能力:1. 基础的语言运行环境。2. 服务能力(存储、计算等)的动态扩展。3. 通用基础服务的能力,比如消息中间件,分布式缓存等基础服务。以Docker为代表的容器技术使得开发和运维都变得简单,Docker 像集装箱一样将应用及其相关依赖进行整体打包,移植到任何支持 Docker 的环境中运行。

VM虚拟机 容器 VS

Page 13: 云计算推动金融业 I T 架构变革

架构创新:基于容器的新一代银行互联网应用发布平台

基于OpenStack和Vmware的虚拟机方案难以满足

容器是适合互联网场景的新技术,部分场景可完全替代虚拟机方案

资源管理:将多台物理机抽象成单台“逻辑大服务器”

应用管理:以应用为逻辑单位,管理应用部署、运行和维护状态

Swarm更适合企业IT架构场景,资源管理性能比kubernetes快10倍

应用管理满足企业IT个性化需求,弥补kubernetes难以应用管理定制的不足

监控管理:预警和报警资源和应用的不健康状态

监控具备互操作能力,可通过编程方法满足容器动态性要求

互联网要求企业IT架构具有敏捷性

基于容器的新一代企业IT架构包括

关键技术

Page 14: 云计算推动金融业 I T 架构变革

DevOps:大象也会跳舞,开发运维一体突出敏捷性

• 资源管理强调多租户,体现行业规范关于应用与物理资源部署约束

• 开发运维一体突出敏捷,适应互联网场景下频繁应用部署的的需求

容器机群管理

持续集成

开发阶段

可视编排

运维阶段

离线分析 和实时处理

物理机群管理

异构机群管理

开发者 测试者

持续集成

源代码 缓存集群

负载均衡

对象存储集群

关系型数据库集群

应用组件

应用组件

分布式事务

服务注册

机群1

机群2

Page 15: 云计算推动金融业 I T 架构变革

应用服务化:基于配置中心的金融应用服务化

服务化引起驱动创建应用,刻画应用构成。基于配置中心的应用实例化和

自配置方法,添加监测项

监测管理 配置中心

查询

配置

自动 添加

服务化引擎

Page 16: 云计算推动金融业 I T 架构变革

应用发布:持续集成,可视编排

围绕SVN、Jenkins构造持续集成方案

基于Docker Compose实现可视编排能力

代码 编译

集成 测试

可视编排

持续集成与分析

代码 仓库

镜像 仓库

安装 配置

负载 测试

应用监测

数据分析

代码开发

重配

除错/重构

应用镜像

应用镜像

项目构建

容器

Page 17: 云计算推动金融业 I T 架构变革

多租户管理:开放和隔离并重的资源管理模式

客户-租户-用户三层:

(1)要求租户资源隔离,用户共享租户资源;(2)定制用户可访问的视图样式

权限管理需求:用户根据角色看到界面内容 资源管控需求:客户-租户-用户概念模型,满足用户共享租户资源,租户资源隔离需求

用户 用户

银行 部门N

(租户N)

物理资源

租户资源独占 用户归属租户 共享租户资源

客户独占资源 且含多个租户

用户 用户

第三方 部门A

(租户N)

第三方何用 物理资源A

租户资源独占 用户归属租户 共享租户资源

用户 用户

第三方 部门B

(租户N)

第三方何用 物理资源B

租户资源独占 用户归属租户 共享租户资源

实习手段:采用权限管理和资源管控手段; 前者采用角色访问监控,控制用户与视图样式关联关系; 后者采用租户上下文访问控制,控制用户可访问的资源集合

Tomcat

开发 调试 集成 发布 运维

具体实现逻辑

过滤器 (Session)

分发器 (Pattem,U

rl)

视图样式 (html,css

,js)

业务逻辑 预处理器

业务逻辑 处理器

Spring MVC

用户 角色 Urls集合

权限管理(控制用户可访问的视图样式-URL)

Qutput:Yes/No Input:<User,Url>

用户

租户上下文

Hosts集合

资源管控(控制用户可访问的物理资源-Host)

Qutput:Yes/No

Input:<User,Host>

Page 18: 云计算推动金融业 I T 架构变革

仓库负载

CPU压力

内存压力

磁盘IO性能

网络性能

Push镜像到仓库中,平均上传速度达到20~30Mbps

100并发场景,Apache的每秒处理请求为26左右 CPU和内存负载无明显变化

虚拟机网卡的传输速度达到78MBps 容器未出现网络延时情况

容器内存使用率接近容器使用限制时,不影响容器中应用的访问性能

单个容器的io性能和docker主机的io性能无明显差别 随机读/顺序读/重读的性能在docker主机中和在容器中几乎没有差别

通过部署DevOps云平台,与原架构相比,性能提升6倍

弹性伸缩:并发处理能力提升6倍

Page 19: 云计算推动金融业 I T 架构变革

金融互联网架构: 开源和IOE的融合 从资源为核心到应用视角

资源管理 (IAAS)

Amazon/Aliyun

VMWare/OpenStack

物理机

容器 容器网络 容器镜像库

容器集群调度

关系型数据库 缓存服务

分库分表+读写分离 离线统计 实时处理

服务注册 数据分发 消息分发

Web集群 Web集群 Web集群 Web集群

持续集成 自动部署 可视编排 智能运维

日志收集

定时调度

系统监控

维护规则

系统配置

系统报表

分布式事务

应用管理 (PAAS)

Page 20: 云计算推动金融业 I T 架构变革

互联网发布平台总结:快速部署 弹性伸缩 自动运维

根据银行的快速业务发展状况,实施DevOps管理系统,能够有效的解决应用自动化部署、运行和维护管理难的问题。一键极速部署,提升了开发和部署效率,大幅度降低了新应用开发或已有应用向金融云移植的成本和风险。

1 2 3

通过弹性伸缩,实现了直销银行系统的分布式水平扩展。并且将资源进行池化, 解决硬件资源与应用“烟囱式”建设,将应用与平台之间有效解耦,大大提升资源利用率。弥补基础资源与应用系统间的技术鸿沟,具备大并发、高可用的特性。

为银行业务系统互联网化提供强大的技术基础、自动化与可视化的管理,一体化监控、以及可靠性的保障。为大数据经营战略提供强有力的支撑,从而提高基金代销和理财产品的服务效益。

Page 21: 云计算推动金融业 I T 架构变革

总结:云计算技术成为金融创新强大动力

天下武功 唯快不破

1 2 3

业务驱动 科技引领

兼容并包 自主可控

Page 22: 云计算推动金融业 I T 架构变革

Thanks !