© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Servicios de Storage en AWS

Damián Traverso, AWS Solutions Architecttraverso@amazon.com

Mayo 2016 | Santiago de Chile

En el mundo …… constantemente generamos más datos

En AWS …… constantemente innovamos

Opciones de Almacenamiento

Opciones de almacenamiento en AWS

Amazon EFS

Amazon EBS

Amazon EC2Instance storage

AmazonS3

Amazon Glacier

AWS StorageGateway

Archivos Bloques Objetos Híbrido

Integración con otros servicios

Amazon EC2

Amazon VPC

Amazon CloudFront

AWS CloudTrail

Amazon CloudWatc

h

alarms

AWS Trusted Advisor

AWS IAM

AWS LambdaAmazon Redshift

Amazon EMR

Amazon Kinesis

Amazon SQS

AWS CloudFormationAmazon SNS

Cumplimiento con certificaciones importantes

Acelera el acceso a tu información

AWS Import\Export Snowball• Accelerate PBs with AWS

provided appliances

AWS Storage Gateway• Up to 120 MB/s cloud upload rate

(4x improvement), and • 10 Gb networking for VMware

Amazon Kinesis Firehose• Ingest data streams directly into

AWS data stores (S3, Redshift)

AWS Direct Connect2015

20152015

Amazon S3Simple Storage Service

Demanda de uso

201220122012201220122012201220122012201220122012201220132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201520152015201520152015201520152015

102% de crecimiento por año en transferencia de/hacia S3

99.999999999%durability

Buen intento!

S3 Buckets / Objetos

S3 Sitio Web : Contenido estático

Paga solo por lo que uses

1 PB espacio crudo

800 TB espacio usable

600 TB espacio asignado

400 TB datos de la aplicación

Esquema tradicional Amazon S3

Reducción continua de precios

8 reducciones de precio desde su lanzamiento

Amazon S3Nuevas características

S3-IA (Infrequent Access)

11 9’s de durabilidad Diseñado para99.9% disponibilidad

Durabilidad DisponibilidadMismo desempeño que

S3 Standard

Desempeño

• Encripción en el servidor• Usa tus llaves de encripción• Llaves administradas desde

KMS

Seguro• Reglas de transición• Control de versiones• Notificación de eventos• Métricas

Integración• Misma experiencia de

usuario• REST API simple

Fácil de usar

Notificaciones por Eventos

Notificaciones a Amazon SNS, Amazon SQS, AWS Lambda cuando un evento ocurre en S3

Events

SNS topic

SQS queue

Lambda function

Control de versiones

• Mantén, recupera y restaura cada versión de cada objecto almacenado en tus buckets

• S3 automáticamente agrega nuevas versiones y matiene los objetos borrados with marcadores

• Controla fácilmente el número de versiones a guardar usando políticas de expiración

• Fácil configuración desde la consola

Replicación entre regiones

Replicación asíncrona de datos automatizada, rápida y confiable entre regiones

• Replicación de nuevas peticiones PUT únicamente

• Replicación 1:1 entre 2 regiones

• Versioning requerido

Amazon GlacierServicio de archivado

$0.007Por GB / al mes

Última actualización: Marzo 2016Región: US East

$84Por TB / al año

Última actualización: Marzo 2016Región: US East

99.999999999 %Durabilidad

3 – 5 horasRecuperación de datos

Beneficios

• Bajos costos para archivado a largo plazo• Capacidad de almacenamiento ilimitada• Mejora la durabilidad• Sustitución de Cintas

Integración S3 - Glacier

→

Long Term Archive

Amazon S3

S3 In-frequent Access

Amazon Glacier

Life

Cyc

le P

olic

ies

Near-line Storage

Frequently Accessed Todas las capas

son accesibles desdeuna única API

El contenido mas antiguo se mueve a Glacier para reducir costos automaticamente

Políticas de Ciclo de Vida (Lifecycle Policies)

S3 Standard• Primary data

• 11 9’s of durability

• 2.75c – 3c per GB/month, $338 - 369 per TB/year

S3 – Infrequent Access• Active Archives• Mezzanine files

• 11 9’s of durability

• 1.25c per GB/month, $154 per TB/year

• 1c per GB for retrievals

Glacier• Deep/offline archives• WORM-compliant

data• 11 9’s of durability

• 0.7c per GB/month, $86 per TB/year

Data tiering using Life Cycle Policies

Ciclo de Vida de los Objetos

Ejemplo de una Lifecycle Policy

→<LifecycleConfiguration> <Rule> <ID>archive-in-30-days</ID> <Prefix>logs/</Prefix> <Status>Enabled</Status> <Transition> <Days>30</Days> <StorageClass>GLACIER</StorageClass> </Transition> <Expiration> <Days>365</Days> </Expiration> </Rule></LifecycleConfiguration

Amazon GlacierNuevas características

Glacier – Vault Lock

• Almacenamiento para cumplimiento de normas• No permite sobre escritura, registro no borrables• Retención por tiempo <ArchiveAgeInDays>• Bloqueo de política• Retención basada en etiquetas

Ejemplo: Retención por tiempo

{ "Version" : "2012-10-17", "Statement" : [ { "Effect" : "Deny", "Principal" : { "AWS" : "*" }, "Action" : "glacier:DeleteArchive", "Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical", "Condition" : { "NumericLessThanEquals" : { "glacier:ArchiveAgeInDays" : 365 } } } ]}

Política

Ejemplo: Retención por etiqueta

{ "Version" : "2012-10-17", "Statement" : [ { "Effect" : "Deny", "Principal" : { "AWS" : "*" }, "Action" : "glacier:DeleteArchive", "Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical", "Condition" : { "StringEquals" : { "glacier:ResourceTag/LegalHold" : "True" } } } ]}

Política

Amazon EBSAlmacenamiento de Bloque

Almacenamiento no persistente

• Almacenamiento temporal• Persistente durante el

tiempo de vida de la instancia (encendida, reinicio)

• Se destruye si la instancia se detiene o se destruye

Almacenamiento persistente

• Almacenamiento de bloque persistente

• Volúmen replicado dentro de las AZ’s para protección contra fallas

• Escalamiento vertical hacia arriba y hacia abajo

Reasigna el volúmen a otra instancia

Agrupa múltiples volúmenes

Baja latencia, alto desempeño

General Purpose (SSD)

Up to 16 TB

10,000 IOPS

Up to 160 Mbps

Provisioned IOPS (SSD)

Up to 16 TB

20,000 IOPS

Up to 320 Mbps

Variedad para cualquier tipo de carga

Precio Desempeño

Magnético Propósito General

IOPS Provisionados

Caso de uso Acceso a información no tan frecuente

Volúmenes de BootPeq. a Med. BDs Des y Pruebas

I/O Intensivo BDs Relacionales

BDs NoSQL

Medio Disco Magnético SSD SSD

Max IOPS 40–200 IOPS 10,000 IOPS 20,000 IOPS

Latencia (escrituras aleatorias)

20–40 ms 1–2 ms 1–2 ms

Disponibilidad Diseñado para 99.999%Diseñado para 99.999% Diseñado para 99.999%

Amazon EBSSnapshots

EBS Snapshots

• Regresa a una versión anterior

• Almacenados en S3• Útiles para protección

contra fallas, restauración en otra region, redimensionamiento de volúmenes actuales

AWS Storage Gateway

Qué es AWS Storage Gateway ?

Trabaja con aplicaciones existentes

Seguro, gran durabilidad

Baja latencia para datos frecuentes

Escalable y de bajo costo

Servicio que conecta almacenamiento de nube con un dispositivo de software ubicado en un centro de datos local

Configuraciones

iSCSI Bloque

Gateway-stored volumesBaja latencia para todos tus datos con respaldos en AWS

Sustitución de librerías físicas con AWS para respaldos y archivado

Gateway-cached volumes

Gateway-virtual tape library (VTL)

Baja latencia para los datos usados frecuentemente con toda la información en almacenada en AWS

iSCSI VTL

Gateway-stored Volumes (GW-Stored)• Datos primarios almacenados on-prem• Respaldo asíncrono hacia AWS• Respaldos almacenados como EBS Snapshots

Gateway-cached Volumes (GW-Cached)• Datos primarios almacenados en AWS• Datos accesados frecuentemente almacenados on-prem• Respaldos almacenados como EBS Snapshots

Gateway-Virtual Tape Library (GW-VTL)• Cintas virtuales almacenadas en AWS• Datos accesados frecuentemente “cacheados” on-prem• Cintas ilimitadas en VTS (Virtual Tape Shelf)

Amazon EFSElastic File System

Qué es EFS ?

• FS administrado para instancias• Escalabilidad hasta 1PB• Desempeño para diferentes cargas• Altamente disponible y durable

simple elastic scalable

1 2 3

Diseñado para diferentes casos de uso

• Repositorio de contenido• Ambientes de desarrollo• Directorios de usuario• Big Data

Cómo funciona ?

• Para accesar a FS dentro de la VPC, se crean “Mount Targets”

• Un “Mount Target” es un punto de acceso NFSv4 dentro de la VPC

• Un “Mount Target” consiste de una IP y un nombre de DNS

AVAILABILITY ZONE 1

REGION

AVAILABILITY ZONE 2

AVAILABILITY ZONE 3

VPC

EC2EC2

EC2

EC2

Mount target

Cómo funciona ?

AVAILABILITY ZONE 1

REGION

AVAILABILITY ZONE 2

AVAILABILITY ZONE 3

VPC

EC2EC2

EC2

EC2

Customer’s file system

EFS es simple

• Totalmente administrado• No hardware, red

• Integración transparente con herramientas y aplicaciones

• NFSv4• Funciona con APIs de

archivos de Sistemas Operativos estándares

EFS es elástico

• FS crecen y decrecen automáticamente conforme se agregan o remueven archivos

• No es necesario asignar espacio

• Costo por uso, sin cuota mínima inicial

EFS es escalable

• Pueden crecer a PB• Rendimiento y IOPS

escalan automáticamente conforme crece el FS

• Latencia baja, consistente, sin importar el tamaño del archivo

• Soporta miles de conexiones NFS concurrentes

EFS es altamente disponible y durable

• Cada objeto del FS (directorio, archivo, link) es almacenado redundantemente en múltiples AZ’s dentro de la región

AVAILABILITY ZONE 1

REGION

AVAILABILITY ZONE 2

AVAILABILITY ZONE 3

Amazon EFS

EFS es consistente

• Las instancias se pueden conectar al FS desde cualquier AZ de la región

• Todas las lecturas y escrituras son consistentes en todas las AZ’s (Ej. una lectura en una AZ garantiza que tendrá la información más reciente, aún si los datos son escritos en otra AZ

AVAILABILITY ZONE 1

REGIONVPC

EC2EC2EC2

AVAILABILITY ZONE 2

AVAILABILITY ZONE 3

EC2Write

Read

Tres opciones de administración

AWSConsole

AWSCLI

AWSSDK

Resumen: Portafolio de Almacenamiento en AWS

S3

EFS

Glacier

Storage Gateway

EBS

• Almacenamiento de Objetos: datos representados por buckets/objects• Acceso usando APIs sobre internet

• Almacenamiento de archivado: datos representados por vaults/archives• Almacenamiento de bajo costo, acceso usando APIs sobre internet

• Almacenamiento de bloque (tipo SAN): datos representados como volúmenes• Baja latencia de acceso desde las instancias EC2

• Almacenamiento de archivo (tipo NAS): datos representados como file system• Baja latencia de acceso compartido entre múltiples instancias EC2

• Almacenamiento de respaldos y archivado en S3 y Glacier

Muchas Graciastraverso@amazon.com