Upload
amazon-web-services-latam
View
201
Download
4
Embed Size (px)
Citation preview
Servicios de Bases de Datos de AWS
Damián Traverso, AWS Solutions Architect
Agosto, 2017
¿Qué esperar de esta sesión?
• Aprender la estrategia y visión general de nuestros
servicios de datos
• Conocer nuestra arquitectura y los clientes clave por
servicio
• Entender cuándo utilizar qué servicios para sus
aplicaciones
Estrategia
• Comenzar desde el cliente y retroceder.
• Ofrecer servicios administrados.
• Aprovechar la arquitectura de la nube.
• Soportar la migración de aplicaciones y datos de/hacia sus centrosde datos locales
• Múltiples servicios, cada uno optimizado para diferentes casos de uso.
Portafolio de Productos
Traditional Apps
Relational Databases
NoSQL & In-MemoryBig
Data
RDS
Aurora
Database Migration Service
Bases de Datos Relacionales
DynamoDB
ElastiCache
NoSQL y En Memoria
Amazon Redshift
EMR
Data Pipeline
Athena
Big Data
QuickSight
Elasticsearch
Amazon ML
Analítica
Uso de servicios de Base de Datos
• Amazon Aurora es el servicio de más rápido crecimiento en la
historia de AWS
• Se han migrado más de 20,000 bases de datos utilizando AWS
Database Migration Service
• En el “Prime Day” DynamoDB sirvió a más de 56,000 millones de
solicitudes adicionales en todo el mundo en comparación con el
mismo día de la semana anterior.
Clientes de Bases de Datos en AWS
Bases de Datos
Relacionales
Amazon RDS
Amazon Aurora
Database Migration Service
• Soporte de varios motores: Aurora, MySQL, MariaDB,
PostgreSQL, Oracle, SQL Server
• Aprovisionamiento automatizado, corrección, escalabilidad,
respaldo/restauración, recuperación en caso de fallo
• Uso con almacenamiento GP2 o con IOPS aprovisionados
• Alta disponibilidad con RDS Multi-AZ
– SLA de 99,95% para implementaciones de Multi-AZ
Amazon RDS
Amazon Aurora
Punto clave: las bases de datos relacionales
son complejas
• Nuestra experiencia con Amazon.com nos enseñó que
las bases de datos relacionales pueden ser complicadas
de gestionar y operar con alta disponibilidad
• ¡Las bases de datos relacionales mal administradas son
una de las causas principal de caídas en sistemas y por
tanto de pérdida de sueño en el mundo de la tecnología!
• Menor TCO porque tenemos mejor control
• Obtenga más apalancamiento de sus equipos de trabajo
• Concéntrese en las cosas que lo diferencian
• Alta disponibilidad y replicación en múltiples centros de datos incorporada.
• Disponible en todos los motores, incluidas las ediciones básicas/estándar, no sólo para las ediciones empresariales
• Cualquiera puede aprovechar múltiples centros de datos para diseñar aplicaciones con alta disponibilidad
Hemos hecho las cosas más baratas, más
fáciles y mejores
Solución de tolerancia a fallos de nivel
empresarial para Bases de Datos
en producción
Recuperación de fallo automático
Replicación síncrona
Económico y habilitado con un solo clic
Multi-AZ: Alta Disponibilidad
Clientes de Amazon RDS
Reinventando las Bases de Datos
Relacionales
Preguntas claves
• ¿Qué pasaría si partiéramos de cero con la única limitación de que
la base de datos fuera una base de datos relacional?
• ¿Un rendimiento mucho mejor aprovechando la escala masiva de
nuestra nube?
• ¿Durabilidad diseñada indistinguible del 100% y disponibilidad del
99.99%?
• ... ¿Mejores y más baratos que las bases de datos comerciales de
30 años de antigüedad en uso hoy en día?
Sí podemos. Respuesta: Amazon Aurora
• Un nuevo motor de base de datos relacional,
construido desde cero para aprovechar AWS
• Para todas las nuevas aplicaciones que requieren
lenguaje SQL, recomendamos Amazon Aurora
• Rendimiento de calidad comercial y
disponibilidad a precios de código abierto
• Conserva la compatibilidad con MySQL 5.6
Amazon RDS para Aurora
• Compatible con MySQL con hasta 5 veces mejor
rendimiento en el mismo hardware: 100,000
escrituras/seg. y 500,000 lecturas/seg.
• Escalable hasta 64 TB en una sola base de datos, hasta
15 réplicas de lectura
• Capa de almacenamiento SSD de alta disponibilidad,
duradera y tolerante a fallos: replicada 6 veces en 3
zonas de disponibilidad
• Cifrado transparente para datos en reposo utilizando
AWS KMS
• Procedimientos almacenados en Amazon Aurora pueden
invocar funciones AWS Lambda
Servicio con el crecimiento
más rápido en la historia
de AWS
Clientes de Amazon Aurora
Amazon Aurora ahora compatible con
PostgreSQL
• Compatibilidad con PostgreSQL 9.6 con soporte para PostGIS
• Todas las características que espera de Amazon Aurora incluyendo
15 réplicas de lectura con <10ms de retraso, almacenamiento
compartido, recuperación en caso de errores sin pérdida de datos,
6 veces replicada en 3 Zonas de disponibilidad, encriptación con
AWS KMS
• Disponible ahora en ”Preview”
Simplifique el monitoreo desde la
consola de administración de AWS
Carga de la base de datos:
identifica los cuellos de
botella de la base de datos
Fácil
Poderoso
Identifica la fuente del cuello de
botella
“Top SQL”
Periodo de tiempo ajustable
Hora, día, semana y más
Max CPU
Información de rendimiento para Amazon RDS
AWS Database Migration Service
• Servicio totalmente administrado para la migración
desde el centro de datos local hasta la nube de AWS
con un tiempo de inactividad mínimo
• Migra datos desde y hacia todos los motores
comerciales y de código abierto más utilizados
• Herramienta de conversión de esquemas que convierte
esquemas de base de datos, procedimientos
almacenados y código de aplicación a un formato de
destino diferente.
• Soporta reproducción homogénea y heterogénea de
datos
• Una base de datos de terabytes puede ser migrada por
tan solo unos $3
Capacidades de conversión de bases de datos
en SCT
Base de Datos Origen Base de Datos Destino
Microsoft SQL Server Amazon Aurora, MySQL, PostgreSQL
MySQL PostgreSQL
Oracle Amazon Aurora, MySQL, PostgreSQL
Oracle Data Warehouse Amazon Redshift
PostgreSQL Amazon Aurora, MySQL
Teradata, Netezza, Greenplum Amazon Redshift
NoSQL y En MemoriaDynamoDB
ElastiCache
Rápido, Flexible, Escalable
NoSQLAmazon
DynamoDB
Historia de NoSQL en Amazon
Preguntas claves
• Aurora fue diseñada con una sola restricción• Compatibilidad con SQL y semántica de la base de datos relacional
• ¿Y si dijéramos no a esta restricción?• No a SQL = NoSQL
• ¿Podríamos eliminar las cosas que no nos gustan de las
bases de datos relacionales?
Sí podemos. Respuesta = Amazon DynamoDB
• Base de datos que puede escalamiento ilimitado
• Puede comenzar de forma pequeña. No hay límite para el éxito de la
aplicación.
• Su aplicación se ejecuta rápidamente 10, 100, 1M, 10M o 100M de usuarios
usando su aplicación.
• Ofrece disponibilidad y durabilidad indistinguibles del 100%.
• 99.99% y 60 segundos recuperación en caso de error no son lo
suficientemente buenos
• No tienes que administrar nada. Ni siquiera necesita saber qué es una
instancia de base de datos. Solo crea una tabla
• No hay esquema. Todo lo que necesitas para decirnos es el número de
lecturas/seg. y escrituras/seg. que quieres ejecutar.
• Nosotros hacemos el resto
Clientes con Amazon DynamoDB
In-memory key-value store
Alto Rendimiento
Memcached y Redis
Totalmente administradoAmazon
ElastiCache
Capa de Caching para incrementar rendimiento o
optimizar costos de una base de datos
Almacenamiento de datos efímeros key-value
Patrones en aplicaciones de alto rendimiento,
como tableros de lideres (usuarios en juegos),
manejo de sesiones, contadores de eventos, listas
en memoria
Casos de uso comunes
* Throughput determined by Requests per Second. Commands: Average% across SET, GET, INCR, LPUSH, RPUSH, LPOP, RPOP, SADD, SPOP, LPUSH, LRANGE_100, LRANGE_300, LRANGE_500, MSET was used. Load: 1 Million Requests with Pipelined commands, Payload 3 bytes; Redis Instance compared: cache.m4.xlarge, cache.m3.xlarge; Same instance used to issue requests ( c4.xlarge with Redis Client/benchmark tool installed).
33
Passion for delivering constant innovation
ElastiCache for Redis delivers 34% greater throughput across various Redis commands using M4 instances vs. M3 instances.*
Amazon Web Services and Intel
Big Data
Amazon Redshift
Amazon EMR
Amazon Athena
Data Pipeline
Amazon Redshift
• Almacenamiento de datos relacional, MPP, y que
soporta Petabytes de información
• Totalmente administrado con plataformas SSD y
HDD
• Seguridad integrada de extremo a extremo,
incluidas las claves gestionadas por el cliente
• $1,000/TB/año; inicia en $0.25USD/hora
¿Por qué creamos Amazon Redshift?
• Los clientes estaban generando datos en la nube, pero
moviéndolos a su centro de datos local para analizarlos.
• Los clientes habían migrado todo a AWS, excepto sus
almacenes de datos locales.
• Querían cerrar estos centros de datos pero no podían hasta que
les ofreciéramos una solución en la nube
Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011
IDC: Worldwide Business Analytics Software 2012–2016 Forecast and 2011 Vendor Shares
Disponibles para análisis
Datos generados
1990 2000 2010 2020
Puntos claves: La mayoría de los datos caen
al piso
90% de los datos en una
compañía nunca son
analizados
Los altos costos y la
complejidad de un almacén de
datos tradicional hace
complicado justificar el capital
necesario que se debe invertir.
Preguntas claves
• ¿Podríamos diseñar un sistema barato y
suficientemente escalable para permitirle analizar todos
sus datos?
• ¿Podríamos construir un servicio que fuera más rápido,
más barato y más fácil de usar que los sistemas de
almacenamiento de datos tradicionales?
Sí podemos. Respuesta = Amazon Redshift
• Un sistema de procesamiento masivamente paralelo (MPP) con hasta 128 nodos de poder
de cómputo para almacenar y procesar hasta 2PB de datos comprimidos
• A $1,000/TB/año, es tan barato que puedes analizar todos tus datos
• Puede aprovisionar un petabyte en menos de tres minutos y pagar por hora
• 10x de rendimiento y 1/10 del precio de otras soluciones
• Totalmente administrado con el aprovisionamiento automatizado, la aplicación de parches,
la seguridad, la copia de seguridad, la restauración y la tolerancia a errores integrada
Clientes de Amazon Redshift
Amazon EMR
• Hadoop, Hive, Presto, Spark, Tez, Impala etc.
• Versión 5.2: Hadoop 2.7.3, Hive 2.1, Spark 2.02, Zeppelin, Presto,
HBase 1.2.3 and HBase on S3, Phoenix, Tez, Flink
• Nuevas aplicaciones agregadas dentro de los 30 días de su versión
de código abierto
• Completamente administrado, escalando automáticamente los
clústeres con soporte para precios On-Demand y Spot
• Soporte para sistemas de archivos HDFS y S3 que permiten el
cálculo y almacenamiento de forma separada; Varios clústeres
pueden ejecutarse sobre los mismos datos en S3
• Soporte para encriptación de extremo a extremo, IAM / VPC,
encriptación de S3 con claves gestionadas por el cliente y AWS
KMS
¿Por qué construimos Amazon EMR?
• Los clientes querían utilizar los últimos recursos analíticos de
código abierto para analizar y transformar sus datos
• Los clientes querían utilizar tecnologías como Spark y Presto
en conjunto con servicios de AWS como Amazon S3 y
funciones como EC2 Spot Instances
• Los clientes querían beneficiarse de la elasticidad que AWS
ofrece
Clientes de Amazon EMR
Amazon Athena
• Servicio para consultar datos en S3 sin necesidad de
administrar infraestructura
• No se requiere carga de datos; consulta directamente
desde Amazon S3
• Utilice consultas SQL ANSI estándar con soporte para
joins, JSON y funciones de window.
• Soporte para múltiples formatos incluyendo texto, CSV,
TSV, JSON, Avro, ORC, Parquet
• Pague por consulta sólo cuando esté ejecutando
consultas; $5/TB escaneado; si comprime sus datos, sus
consultas cuestan menos.
¿Por qué construimos Amazon Athena?
• Los clientes querían una forma fácil de ejecutar consultas
sobre datos en Amazon S3 sin infraestructura que administrar
• Los clientes querían un servicio que pudiera complementar el
uso de Amazon Redshift y Amazon EMR
• Los clientes querían dar esta capacidad a cualquier persona
en su empresa y sólo pagar por consulta
Analítica QuickSight
Amazon ES
Amazon ML
Como servicio nativo en la nube,
QuickSight combina la velocidad, la
escalabilidad y la facilidad de
implementación de la que nuestros
clientes han llegado a depender con el
valor y la rentabilidad que usted espera
de AWS.
Amazon QuickSight
Servicio de analítica de negocios rápido y fácil de usar a
1/10 del costo de las soluciones de BI tradicionales.
Amazon QuickSight
• Reconocimiento automático de fuentes de datos AWS como Redshift de
Amazon, RDS y S3
• Conectividad con recursos fuente de terceros como Excel, Salesforce, y
otras bases de datos (en nube o en los centros de datos locales)
• Rendimiento super rápido con SPICE
• Visualizaciones instantáneas con Autograph
• Comparte y colabora en análisis, paneles e historias de forma segura
• Experiencia iPhone nativa y basado en web desde todos los demás
dispositivos
• Conjuntos de datos gobernados
• Controles de acceso de usuario
• Integración de Directorio Activo
¿Qué servicio debería usar?
Situación Solución
Aplicación existente
Use el motor actual en RDS• MySQL Amazon Aurora, RDS para MySQL
• PostgreSQL RDS para PostgreSQL
• Oracle, SQL Server RDS para Oracle, RDS para SQL
Server
Aplicación nueva• Si puede evitar características relacionales DynamoDB
• Si necesita características relacionales Amazon Aurora
Almacén de datos (DWH) y BI • Amazon Redshift y Amazon QuickSight
Análisis ad hoc de datos en S3 • Amazon Athena y Amazon QuickSight
Spark, Hadoop, Hive, HBase • Amazon EMR
Análisis de bitácoras, monitoreo
operacional y búsqueda• Amazon Elasticsearch Service
Remember to complete
your evaluations!Recuerde completar
sus evaluaciones