servicios de storage de aws
Post on 16-Apr-2017
430 Views
Preview:
TRANSCRIPT
© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Servicios de Storage en AWS
Damián Traverso, AWS Solutions Architect
traverso@amazon.com
Mayo 2016 | Santiago de Chile
En el mundo …
… constantemente generamos más datos
En AWS …
… constantemente innovamos
Opciones de Almacenamiento
Opciones de almacenamiento en AWS
Amazon
EFS
Amazon
EBS
Amazon EC2
Instance
storage
Amazon
S3Amazon
Glacier
AWS
Storage
Gateway
Archivos Bloques Objetos Híbrido
Integración con otros servicios
Amazon EC2
Amazon VPC
Amazon
CloudFront
AWS CloudTrail
Amazon
CloudWatch
alarms AWS Trusted
Advisor
AWS
IAM
AWS LambdaAmazon Redshift
Amazon
EMR
Amazon
Kinesis
Amazon SQS
AWS
CloudFormationAmazon SNS
Cumplimiento con certificaciones importantes
Acelera el acceso a tu información
AWS Import\Export Snowball
• Accelerate PBs with AWS
provided appliances
AWS Storage Gateway
• Up to 120 MB/s Cloud upload rate
(4x improvement)
• 10 Gbps Networking for VMware
Amazon Kinesis Firehose
• Ingest data streams directly into
AWS data stores (S3, Redshift)
AWS Direct Connect2015
20152015
Amazon S3Simple Storage Service
Demanda de uso
2012 2013 2014 2015
102% de crecimiento por año en
transferencia de/hacia S3
99.999999999%durability
Buen intento!
S3 Buckets / Objetos
S3 Sitio Web : Contenido estático
Paga solo por lo que uses
1 PB espacio crudo
800 TB espacio usable
600 TB espacio asignado
400 TB datos de la aplicación
Amazon S3
Reducción continua de precios
8 reducciones de precio desde su lanzamiento
Amazon S3Nuevas características
S3-IA (Infrequent Access)
11 9’s de durabilidad Diseñado para
99.9% disponibilidad
Durabilidad Disponibilidad
Mismo desempeño que
S3 Standard
Desempeño
• Encripción en el servidor
• Usa tus llaves de encripción
• Llaves administradas desde KMS
Seguro
• Reglas de transición
• Control de versiones
• Notificación de eventos
• Métricas
Integración
• Misma experiencia de
usuario
• REST API simple
Fácil de usar
Notificaciones por Eventos
Notificaciones a Amazon SNS, Amazon SQS, AWS
Lambda cuando un evento ocurre en S3
Events
SNS topic
SQS queue
Lambda
function
Control de versiones
• Mantén, recupera y restaura cada versión de
cada objecto almacenado en tus buckets
• S3 automáticamente agrega nuevas versiones
y matiene los objetos borrados with
marcadores
• Controla fácilmente el número de versiones a
guardar usando políticas de expiración
• Fácil configuración desde la consola
Replicación entre regiones
Replicación asíncrona de datos automatizada, rápida y
confiable entre regiones
• Replicación de nuevas peticiones
PUT únicamente
• Replicación 1:1 entre 2 regiones
• Versioning requerido
Amazon GlacierServicio de archivado
$0.007Por GB / al mes
Última actualización: Marzo 2016
Región: US East
$84Por TB / al año
Última actualización: Marzo 2016
Región: US East
99.999999999 %Durabilidad
3 – 5 horasRecuperación de datos
Beneficios
• Bajos costos para archivado a largo plazo
• Capacidad de almacenamiento ilimitada
• Mejora la durabilidad
• Sustitución de Cintas
Integración S3 - Glacier
→
Archivamientode largoplazo
Amazon S3
S3 In-frequent Access
Amazon Glacier
Life
Cyc
le P
olic
ies
InfrecuentementeAccedido(Near-line)
FrecuentementeAccedido
Todas las capasson accesibles desdeuna única API
El contenido mas antiguo se mueve a Glacier para reducircostosautomaticamente
Políticas de Ciclo de Vida (Lifecycle Policies)
S3 Standard
• Datos primarios
• 99,999999999% de
durabilidad
• 2.75c – 3c por
GB/mes,
$338 - $369 por
TB/año
Glacier
• Archivados frios
• 99,999999999% de
durabilidad
• WORM-compliant
• 0.7c por GB/mes, $86
por TB/año
Data tiering usando Políticas de Ciclo de Vida
Ciclo de Vida de los Objetos
S3 – Infrequent Access
• Archivados activos
• 99,999999999% de
durabilidad
• 1,25c por GB/mes,
$154 por TB/año
• 1c por GB/recuperado
Ejemplo de una Lifecycle Policy
→<LifecycleConfiguration><Rule>
<ID>archive-in-30-days</ID><Prefix>logs/</Prefix><Status>Enabled</Status><Transition>
<Days>30</Days><StorageClass>GLACIER</StorageClass>
</Transition><Expiration>
<Days>365</Days></Expiration>
</Rule></LifecycleConfiguration
Amazon GlacierNuevas características
Glacier – Vault Lock
• Almacenamiento para cumplimiento de normas
• No permite sobre escritura, registro no borrables
• Retención por tiempo <ArchiveAgeInDays>
• Bloqueo de política
• Retención basada en etiquetas
Ejemplo: Retención por tiempo
{
"Version" : "2012-10-17",
"Statement" : [
{
"Effect" : "Deny",
"Principal" : {
"AWS" : "*"
},
"Action" : "glacier:DeleteArchive",
"Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical",
"Condition" : {
"NumericLessThanEquals" : {
"glacier:ArchiveAgeInDays" : 365
}
}
}
]
}
Política
Ejemplo: Retención por etiqueta
{
"Version" : "2012-10-17",
"Statement" : [
{
"Effect" : "Deny",
"Principal" : {
"AWS" : "*"
},
"Action" : "glacier:DeleteArchive",
"Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical",
"Condition" : {
"StringEquals" : {
"glacier:ResourceTag/LegalHold" : "True"
}
}
}
]
}
Política
Amazon EBSAlmacenamiento de Bloques
Almacenamiento persistente
• Almacenamiento de bloque
persistente
• Volúmen replicado dentro
de las AZ’s para protección
contra fallas
• Escalamiento vertical hacia
arriba y hacia abajo
Reasigne el volúmen a otra instancia
Agrupe múltiples volúmenes
Baja latencia, alto desempeño
General Purpose (SSD)
Hasta 16 TB
10,000 IOPS
Hasta 160 Mbps
Provisioned IOPS (SSD)
Hasta 16 TB
20,000 IOPS
Hasta 320 Mbps
Variedad para cualquier tipo de cargaSolid State Drives (SSD) Hard Disk Drives (HDD)
----------------------------------------------------------------- Generation Actual ------------------------------------------------------------------- ----- Gen. Prévia ----
Tipo de VolúmenProvisioned IOPS SSD
(io1)
General Purpose SSD
(gp2)
Throughput Optimized
HDD (st1)
Cold HDD
(sc1)
Magnetic
Caso de uso
I/O-intensivo: NoSQL
and bases de datos
relacionales
Volúmenes boot,
Apps de baja
latencia, DBs
pequeñas a medianas
Big data, DW,
procesamiento de
logs
Almacemaniento
secundario: logs,
archivado, backups
Datos accedidos con
baja frecuencia
Tamaño por
Volúmen4 GB - 16 TB 1 GB - 16 TB 500 GB - 16 TB 500 GB - 16 TB Up to 1TB
Max IOPS*/
Volúmen20,000 10,000 500 250 40 - 200
Max Throughput/
Volúmen320 MB/s 160 MB/s 500 MB/s 250 MB/s 40 - 90MBps
Max Throughput
/instancia800 MB/s 800 MB/s 800 MB/s 800 MB/s 800MBps
Precio**
$0.125/GB-mes
$0.065/provisioned
IOPS
$0.10/GB-month $0.045/GB-month $0.025/GB-month$.05/GB - Month
$.05/million I/O
Nuevos!
EBS Volumes available in all regions
* io1/gp2 based on 16K I/O size, st1/sc1 based on 1 MB I/O size
** Pricing is for US East-1 as of 4/19/2016, for the latest see Amazon EBS Pricing
Amazon EBSSnapshots
EBS Snapshots
• Regresa a una versión
anterior
• Almacenados en S3
• Útiles para protección
contra fallas, restauración
en otra region,
redimensionamiento de
volúmenes actuales
AWS Storage Gateway
Qué es AWS Storage Gateway ?
Trabaja con aplicaciones existentes usando iSCSI
Seguro, gran durabilidad
Baja latencia para datos frecuentes
Escalable y de bajo costo
VM hospedada on-premises que entrega
almacenamiento de nube de manera transparente
Configuraciones
iSCSI
Bloque
Gateway-stored volumesBaja latencia para todos tus datos con respaldos
en AWS
Sustitución de librerías físicas con AWS para
respaldos y archivado
Gateway-cached volumes
Gateway-virtual tape library (VTL)
Baja latencia para los datos usados
frecuentemente con toda la información en
almacenada en AWS
iSCSI
VTL
Gateway-stored Volumes (GW-Stored)
• Datos primarios almacenados on-prem
• Respaldo asíncrono hacia AWS
• Respaldos almacenados como EBS Snapshots
Gateway-cached Volumes (GW-Cached)
• Datos primarios almacenados en AWS
• Datos accesados frecuentemente almacenados on-prem
• Respaldos almacenados como EBS Snapshots
Gateway-Virtual Tape Library (GW-VTL)
• Cintas virtuales almacenadas en AWS
• Datos accesados frecuentemente “cacheados” on-prem
• Cintas ilimitadas en VTS (Virtual Tape Shelf)
Amazon EFSElastic File System
Qué es EFS ?
• FS administrado para instancias
• Escalabilidad hasta 1PB
• Desempeño para diferentes cargas
• Altamente disponible y durable
simple elastic scalable
1 2 3
Diseñado para diferentes casos de uso
• Repositorio de contenido
• Ambientes de desarrollo
• Directorios de usuario
• Big Data
Cómo funciona ?
• Para accesar a FS dentro
de la VPC, se crean “Mount
Targets”
• Un “Mount Target” es un
punto de acceso NFSv4
dentro de la VPC
• Un “Mount Target” consiste
de un nombre de DNS
AVAILABILITY ZONE 1
REGION
AVAILABILITY ZONE 2
AVAILABILITY ZONE 3
VPC
EC2EC2
EC2
EC2
Mount
target
Cómo funciona ?
AVAILABILITY ZONE 1
REGION
AVAILABILITY ZONE 2
AVAILABILITY ZONE 3
VPC
EC2EC2
EC2
EC2
Customer’s file
system
EFS es simple
• Totalmente administrado
• Sin necesidad de
administrar hardware ni
red
• Integración transparente
con herramientas y
aplicaciones
• NFSv4
• Funciona con APIs de
archivos de Sistemas
Operativos estándares
EFS es elástico
• Los File Systems crecen y
decrecen automáticamente
conforme se agregan o
remueven archivos
• No es necesario asignar
espacio
• Costo por uso, sin cuota
mínima inicial
EFS es escalable
• Pueden crecer hasta 1 PB
• Rendimiento y IOPS
escalan automáticamente
conforme crece el FS
• Latencia baja, consistente,
sin importar el tamaño del
FS
• Soporta miles de
conexiones NFS
concurrentes
EFS es altamente disponible y durable
• Cada objeto del
FS (directorio,
archivo, link) es
almacenado
redundantemente
en múltiples AZ’s
dentro de la
región
AVAILABILITY
ZONE 1
REGION
AVAILABILITY
ZONE 2
AVAILABILITY
ZONE 3
Amazon
EFS
EFS es consistente
• Las instancias se pueden conectar al FS desde cualquier AZ de la región
• Todas las lecturas y escrituras son consistentes en todas las AZ’s (Ej. una lectura en una AZ garantiza que tendrá la información más reciente, aún si los datos son escritos en otra AZ
AVAILABILITY
ZONE 1
REGIONVPC
EC2EC2
EC2
AVAILABILITY
ZONE 2
AVAILABILITY
ZONE 3
EC2
Write
Read
Tres opciones de administración
AWS
Console
AWS
CLI
AWS
SDK
Resumen: Portafolio de Almacenamiento en AWS
S3
EFS
Glacier
Storage
Gateway
EBS
• Almacenamiento de Objetos: datos representados por buckets/objects
• Acceso usando APIs sobre internet
• Almacenamiento de archivado: datos representados por vaults/archives
• Almacenamiento de bajo costo, acceso usando APIs sobre internet
• Almacenamiento de bloque (tipo SAN): datos representados como volúmenes
• Baja latencia de acceso desde las instancias EC2
• Almacenamiento de archivo (tipo NAS): datos representados como file system
• Baja latencia de acceso compartido entre múltiples instancias EC2
• Almacenamiento de respaldos y archivado en S3 y Glacier
top related