Upload
amazon-web-services-latam
View
594
Download
0
Embed Size (px)
Citation preview
© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Servicios de Storage en AWS
Damián Traverso, AWS Solutions [email protected]
Mayo 2016 | Santiago de Chile
Opciones de almacenamiento en AWS
Amazon EFS
Amazon EBS
Amazon EC2Instance storage
AmazonS3
Amazon Glacier
AWS StorageGateway
Archivos Bloques Objetos Híbrido
Integración con otros servicios
Amazon EC2
Amazon VPC
Amazon CloudFront
AWS CloudTrail
Amazon CloudWatc
h
alarms
AWS Trusted Advisor
AWS IAM
AWS LambdaAmazon Redshift
Amazon EMR
Amazon Kinesis
Amazon SQS
AWS CloudFormationAmazon SNS
Acelera el acceso a tu información
AWS Import\Export Snowball• Accelerate PBs with AWS
provided appliances
AWS Storage Gateway• Up to 120 MB/s cloud upload rate
(4x improvement), and • 10 Gb networking for VMware
Amazon Kinesis Firehose• Ingest data streams directly into
AWS data stores (S3, Redshift)
AWS Direct Connect2015
20152015
Demanda de uso
201220122012201220122012201220122012201220122012201220132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201520152015201520152015201520152015
102% de crecimiento por año en transferencia de/hacia S3
Paga solo por lo que uses
1 PB espacio crudo
800 TB espacio usable
600 TB espacio asignado
400 TB datos de la aplicación
Esquema tradicional Amazon S3
S3-IA (Infrequent Access)
11 9’s de durabilidad Diseñado para99.9% disponibilidad
Durabilidad DisponibilidadMismo desempeño que
S3 Standard
Desempeño
• Encripción en el servidor• Usa tus llaves de encripción• Llaves administradas desde
KMS
Seguro• Reglas de transición• Control de versiones• Notificación de eventos• Métricas
Integración• Misma experiencia de
usuario• REST API simple
Fácil de usar
Notificaciones por Eventos
Notificaciones a Amazon SNS, Amazon SQS, AWS Lambda cuando un evento ocurre en S3
Events
SNS topic
SQS queue
Lambda function
Control de versiones
• Mantén, recupera y restaura cada versión de cada objecto almacenado en tus buckets
• S3 automáticamente agrega nuevas versiones y matiene los objetos borrados with marcadores
• Controla fácilmente el número de versiones a guardar usando políticas de expiración
• Fácil configuración desde la consola
Replicación entre regiones
Replicación asíncrona de datos automatizada, rápida y confiable entre regiones
• Replicación de nuevas peticiones PUT únicamente
• Replicación 1:1 entre 2 regiones
• Versioning requerido
Beneficios
• Bajos costos para archivado a largo plazo• Capacidad de almacenamiento ilimitada• Mejora la durabilidad• Sustitución de Cintas
Long Term Archive
Amazon S3
S3 In-frequent Access
Amazon Glacier
Life
Cyc
le P
olic
ies
Near-line Storage
Frequently Accessed Todas las capas
son accesibles desdeuna única API
El contenido mas antiguo se mueve a Glacier para reducir costos automaticamente
Políticas de Ciclo de Vida (Lifecycle Policies)
S3 Standard• Primary data
• 11 9’s of durability
• 2.75c – 3c per GB/month, $338 - 369 per TB/year
S3 – Infrequent Access• Active Archives• Mezzanine files
• 11 9’s of durability
• 1.25c per GB/month, $154 per TB/year
• 1c per GB for retrievals
Glacier• Deep/offline archives• WORM-compliant
data• 11 9’s of durability
• 0.7c per GB/month, $86 per TB/year
Data tiering using Life Cycle Policies
Ciclo de Vida de los Objetos
Ejemplo de una Lifecycle Policy
→<LifecycleConfiguration> <Rule> <ID>archive-in-30-days</ID> <Prefix>logs/</Prefix> <Status>Enabled</Status> <Transition> <Days>30</Days> <StorageClass>GLACIER</StorageClass> </Transition> <Expiration> <Days>365</Days> </Expiration> </Rule></LifecycleConfiguration
Glacier – Vault Lock
• Almacenamiento para cumplimiento de normas• No permite sobre escritura, registro no borrables• Retención por tiempo <ArchiveAgeInDays>• Bloqueo de política• Retención basada en etiquetas
Ejemplo: Retención por tiempo
{ "Version" : "2012-10-17", "Statement" : [ { "Effect" : "Deny", "Principal" : { "AWS" : "*" }, "Action" : "glacier:DeleteArchive", "Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical", "Condition" : { "NumericLessThanEquals" : { "glacier:ArchiveAgeInDays" : 365 } } } ]}
Política
Ejemplo: Retención por etiqueta
{ "Version" : "2012-10-17", "Statement" : [ { "Effect" : "Deny", "Principal" : { "AWS" : "*" }, "Action" : "glacier:DeleteArchive", "Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical", "Condition" : { "StringEquals" : { "glacier:ResourceTag/LegalHold" : "True" } } } ]}
Política
Almacenamiento no persistente
• Almacenamiento temporal• Persistente durante el
tiempo de vida de la instancia (encendida, reinicio)
• Se destruye si la instancia se detiene o se destruye
Almacenamiento persistente
• Almacenamiento de bloque persistente
• Volúmen replicado dentro de las AZ’s para protección contra fallas
• Escalamiento vertical hacia arriba y hacia abajo
Baja latencia, alto desempeño
General Purpose (SSD)
Up to 16 TB
10,000 IOPS
Up to 160 Mbps
Provisioned IOPS (SSD)
Up to 16 TB
20,000 IOPS
Up to 320 Mbps
Variedad para cualquier tipo de carga
Precio Desempeño
Magnético Propósito General
IOPS Provisionados
Caso de uso Acceso a información no tan frecuente
Volúmenes de BootPeq. a Med. BDs Des y Pruebas
I/O Intensivo BDs Relacionales
BDs NoSQL
Medio Disco Magnético SSD SSD
Max IOPS 40–200 IOPS 10,000 IOPS 20,000 IOPS
Latencia (escrituras aleatorias)
20–40 ms 1–2 ms 1–2 ms
Disponibilidad Diseñado para 99.999%Diseñado para 99.999% Diseñado para 99.999%
EBS Snapshots
• Regresa a una versión anterior
• Almacenados en S3• Útiles para protección
contra fallas, restauración en otra region, redimensionamiento de volúmenes actuales
Qué es AWS Storage Gateway ?
Trabaja con aplicaciones existentes
Seguro, gran durabilidad
Baja latencia para datos frecuentes
Escalable y de bajo costo
Servicio que conecta almacenamiento de nube con un dispositivo de software ubicado en un centro de datos local
Configuraciones
iSCSI Bloque
Gateway-stored volumesBaja latencia para todos tus datos con respaldos en AWS
Sustitución de librerías físicas con AWS para respaldos y archivado
Gateway-cached volumes
Gateway-virtual tape library (VTL)
Baja latencia para los datos usados frecuentemente con toda la información en almacenada en AWS
iSCSI VTL
Gateway-stored Volumes (GW-Stored)• Datos primarios almacenados on-prem• Respaldo asíncrono hacia AWS• Respaldos almacenados como EBS Snapshots
Gateway-cached Volumes (GW-Cached)• Datos primarios almacenados en AWS• Datos accesados frecuentemente almacenados on-prem• Respaldos almacenados como EBS Snapshots
Gateway-Virtual Tape Library (GW-VTL)• Cintas virtuales almacenadas en AWS• Datos accesados frecuentemente “cacheados” on-prem• Cintas ilimitadas en VTS (Virtual Tape Shelf)
Qué es EFS ?
• FS administrado para instancias• Escalabilidad hasta 1PB• Desempeño para diferentes cargas• Altamente disponible y durable
simple elastic scalable
1 2 3
Diseñado para diferentes casos de uso
• Repositorio de contenido• Ambientes de desarrollo• Directorios de usuario• Big Data
Cómo funciona ?
• Para accesar a FS dentro de la VPC, se crean “Mount Targets”
• Un “Mount Target” es un punto de acceso NFSv4 dentro de la VPC
• Un “Mount Target” consiste de una IP y un nombre de DNS
AVAILABILITY ZONE 1
REGION
AVAILABILITY ZONE 2
AVAILABILITY ZONE 3
VPC
EC2EC2
EC2
EC2
Mount target
Cómo funciona ?
AVAILABILITY ZONE 1
REGION
AVAILABILITY ZONE 2
AVAILABILITY ZONE 3
VPC
EC2EC2
EC2
EC2
Customer’s file system
EFS es simple
• Totalmente administrado• No hardware, red
• Integración transparente con herramientas y aplicaciones
• NFSv4• Funciona con APIs de
archivos de Sistemas Operativos estándares
EFS es elástico
• FS crecen y decrecen automáticamente conforme se agregan o remueven archivos
• No es necesario asignar espacio
• Costo por uso, sin cuota mínima inicial
EFS es escalable
• Pueden crecer a PB• Rendimiento y IOPS
escalan automáticamente conforme crece el FS
• Latencia baja, consistente, sin importar el tamaño del archivo
• Soporta miles de conexiones NFS concurrentes
EFS es altamente disponible y durable
• Cada objeto del FS (directorio, archivo, link) es almacenado redundantemente en múltiples AZ’s dentro de la región
AVAILABILITY ZONE 1
REGION
AVAILABILITY ZONE 2
AVAILABILITY ZONE 3
Amazon EFS
EFS es consistente
• Las instancias se pueden conectar al FS desde cualquier AZ de la región
• Todas las lecturas y escrituras son consistentes en todas las AZ’s (Ej. una lectura en una AZ garantiza que tendrá la información más reciente, aún si los datos son escritos en otra AZ
AVAILABILITY ZONE 1
REGIONVPC
EC2EC2EC2
AVAILABILITY ZONE 2
AVAILABILITY ZONE 3
EC2Write
Read
Resumen: Portafolio de Almacenamiento en AWS
S3
EFS
Glacier
Storage Gateway
EBS
• Almacenamiento de Objetos: datos representados por buckets/objects• Acceso usando APIs sobre internet
• Almacenamiento de archivado: datos representados por vaults/archives• Almacenamiento de bajo costo, acceso usando APIs sobre internet
• Almacenamiento de bloque (tipo SAN): datos representados como volúmenes• Baja latencia de acceso desde las instancias EC2
• Almacenamiento de archivo (tipo NAS): datos representados como file system• Baja latencia de acceso compartido entre múltiples instancias EC2
• Almacenamiento de respaldos y archivado en S3 y Glacier