49
数据库超体 digoal 阿里云

digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

  • Upload
    others

  • View
    7

  • Download
    0

Embed Size (px)

Citation preview

Page 1: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

数据库超体

digoal阿里云

Page 2: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引
Page 3: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

10%

• 增

• 删

• 改

• 查

Page 4: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

20%

Page 5: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

20%

• 一、物联网、金融、日志、运营商网关、行为轨迹类数据

appendonly

堆存储线性相关

时序 量大

区间查找 分析 插入快压缩

节约空间

数据特征

需求

Page 6: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

20%

• PostgreSQL 块级别索引 - BRIN

Page 7: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

20%

• PostgreSQL 块级别索引 - BRIN

Page 8: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

20%

• PostgreSQL 块级别索引 - BRIN

单步插入测试

Page 9: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

20%• 时序类数据有损压缩 - 旋转门压缩

• 时序类数据无损压缩 - 列存储(瓦片式\内置\FDW\IMCS)

Page 10: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

20%• 二、搜索类、多维度交互类场景

1. GIN 复合(倒排+聚集)索引2. 分词索引3. bloom复合索引4. pg_trgm, fuzzymatch

任意字段组合查询

行级模糊匹配

JSON内容模糊查询

正则查询

全文检索

文本相似查询

语音相似查询

Page 11: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

20%• 三、高效率范围查询

智能DNS

物联网传感器

聚类分析

Page 12: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

20%• 三、高效率范围查询

智能DNS

物联网传感器

聚类分析

Page 13: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

20%• 四、悬殊数据求差、树型数据查询、收敛加速

递归查询

ltree类型

族谱网站内容归类

ERP

Page 14: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

20%• 四、悬殊数据求差、树型数据查询、收敛加速

递归查询

ltree类型

Page 15: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

40%

Page 16: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

40%

• 一、

• 数

• 据

• 库

• 端

• 编

• 程

Page 17: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

40%

• 一、

• 数

• 据

• 库

• 端

• 编

• 程

Page 18: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

40%

• 一、

• 数

• 据

• 库

• 端

• 编

• 程

Page 19: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

40%

• 二、

• 异

• 步

• 消

• 息

notify:channel

listen:channel

listen:channel

......

Page 20: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

40%

• 二、

• 异

• 步

• 消

• 息

Page 21: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

40%

• 三、数据泵

Page 22: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

40%

• 四、天文、地理

Page 23: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

40%

Page 24: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

40%

Page 25: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

40%

Page 26: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

40%

• 五、C嵌入式开发(金融)– 与Oracle的Pro*C功能对齐

ECPG

Page 27: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

60%

Page 28: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

60%• 一、流式处理

Page 29: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

60%• 二、网状关系搜索应用、金融风控、公安刑侦、社会关系、人脉分析

最短路径

N度人脉

Page 30: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

60%• 三、相似内容判定

淘宝内容平台

导购网站

导购文章ID1: [ 商品ID数组 ]导购文章ID2: [ 商品ID数组 ].....导购文章IDn: [ 商品ID数组 ]

smlar插件GIN索引

导购文章审核

threshorld-bitmap过滤

根据过滤后的BLOCKID扫描堆表

性能:亿级文章,亿级商品,毫秒响应

Page 31: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

60%• 三、相似内容判定

Page 32: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

60%• 四、图像识别、AR红包

图片相似度判断

地理位置处理

Page 33: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

60%

Page 34: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

60%• 五、real sharding (无限制sharding)

pushdown 跨节点JOIN 跨库事务

扩容、缩容

一致性备份、恢复

管理便捷

(agg\where\sort\JOIN\group by\insert\update\delete\select)

Page 35: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

60%• 六、资源控制

DaaS 多租户一库多业

用户级 库级内存、

IOPS、CPU

HOOK cgroup\backend进程

Page 36: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

60%• 七、任意多副本、事务级弹性选择

Page 37: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

80%

Page 38: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

80%• 一、机器学习库(MADlib)

(标签)聚类分析

(关键词)文本分析

(预测)线性分析

......

Page 39: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

80%• 二、实时用户画像、按标签圈人;文本关键词分析、相似文本分析

GIN索引

分词

RUM索引

电商 公安 广告商

bitpackRDS

Page 40: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

80%• 三、基因数据处理(存、取、检索; 类型、索引、操作符、函数、UDF)

Page 41: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

80%• 四、化学数据处理(存、取、检索; 类型、索引、操作符、函数、UDF)

Page 42: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

80%• 五、融合

MySQL

Oracle

NoSQL

File

www

hadoop

anyservice

graph

Page 43: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

80%• 五、融合

Page 44: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

80%• 五、融合

Page 45: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

100%

• 一切皆可扩展

Page 46: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引
Page 47: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引
Page 48: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引
Page 49: digoal 阿里云 - pic.huodongjia.compic.huodongjia.com/ganhuodocs/2017-06-15/1497516898.61.pdf · 20% • 二、搜索类、多维度交互类场景 1. GIN 复合(倒排+聚集)索引

2017 金秋 PostgreSQL 10.0

• https://github.com/digoal/blog/blob/master/README.md