facultad de ingeniería universidad de buenos...

19
Facultad de Ingeniería Universidad de Buenos Aires 75-08 Sistemas Operativos Lic. Ing. Osvaldo Clúa Lic Adrián Muccio Clustered File Systems Clustered File Systems

Upload: others

Post on 01-Oct-2020

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

Facultad de IngenieríaUniversidad de Buenos Aires

75-08 Sistemas OperativosLic. Ing. Osvaldo Clúa

Lic Adrián Muccio

Clustered File SystemsClustered File Systems

Page 2: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

275-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 2

Clustered file systemClustered file system

● Es un file system que va ser accedido simultáneamente desde mas de un cliente.

– En general NO es usado por los clusters.– Proveen un mecanismo de control de

concurrencia y de serialización.● A nivel de bloques como RAID y SANs● A nivel de Archivo/Registro como en NASs.

Page 3: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

375-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 3

RAIDRAID

● Redundant Array of (Inexpensive/ Independent) Disks.

– Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy Katz en la University of California, Berkeley en 1987.

● Hoy es un término “paraguas” para replicar y dividir datos entre varios discos.

– Pero vistos como un solo disco por el Sistema Operativo.

Page 4: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

475-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 4

Principios del RAIDPrincipios del RAID

● Combinar varios discos físicos en una única unidad lógica.

– Por Software o Hardware● Provee varios esquemas de:

– Mirror o redundancia de datos– Stripping o distribución de bloques de

datos– Corrección de errores.

Page 5: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

575-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 5

Niveles de RAIDNiveles de RAID

RAID 0 Stripping de bloques (hasta de 1 byte)

RAID 1 MirroringRAID 0 Stripping de bloques (hasta de 1 byte)

RAID 3 Byte Stripping con disco de paridad

RAID2 Stripping de bits

Page 6: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

675-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 6

Niveles de RAIDNiveles de RAID

RAID 4 Block Stripping con disco de paridad

RAID 5 Block Stripping con paridad distribuida

Page 7: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

775-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 7

Niveles de RAIDNiveles de RAID

RAID 6 Block Stripping con doble paridad distribuida

Intel Matrix RAID

Page 8: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

875-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 8

Raid AnidadosRaid Anidados

● Muchos de estos niveles están en software.

– Raid 01 (ó 0+1)– Linux Raid 10 md.

● Multiple Devices, creados a partir de uno o mas dispositivos independientes

– Disponible a partir del Kernel 2.6

Page 9: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

975-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 9

Software RaidsSoftware Raids

● El procesador debe usar su tiempo para las operaciones de RAID.

● En una capa entre el File System y el Device Driver.

● Grub lee RAID 1Sistema Operativo Raids

MAC OSX Server RAID 0, 1, 1+0

Linux Raid 0,1,2,3,4,5,6 y combinaciones

Windows Server RAID 0, 1, 5

Page 10: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

1075-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 10

Hardware RAIDHardware RAID● Requiere de un controlador dedicado.

– Debe tener un Back End hacia los discos ATA (PATA o EIDE), SATA, SCSI, Fibre Channel (que no necesariamente requiere fibra óptica) o SAS.

– Un front end hacia el Host (usando un Host Adapter)● Que puede ser uno de los anteriores y ofrecer

transparencia al acceso.● Algunos mas específicos como FICON,ESCON,

iSCSI, HyperSCSI, ATA_over_Ethernet o InfiniBand

Page 11: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

1175-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 11

Disk Array ControllersDisk Array Controllers

NEC-expressSun Storage-TekEMC Clariion

Page 12: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

1275-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 12

“Fake-Raid”“Fake-Raid”

● Es un controlador de firmware que toma las funciones de raid durante el boot.

– Una vez que el kernel de un SO está cargado, el control pasa al SO.

– Se debe a que Windows no puede bootear de software RAID.

● Es un software raid y carga al procesador.– Con un controlador de múltiples canales ATA

Page 13: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

1375-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 13

NAS y SANNAS y SAN

● Network Attached Storage conecta un file-sytem remoto a una red, proveyendo el acceso a clientes heterogéneos.

● Storage Area Network conecta dispositivos remotos que el SO ve como locales (e implementa el file system).

Page 14: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

1475-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 14

NAS y SANNAS y SAN

Page 15: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

1575-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 15

NASNAS

● Provee servicios basados en archivos.● Generalmente es una versión reducida

empotrada de algún Sistema Operativo.– Nexenta, FreeNAS, OpenFiler, TurnKey– Ofrecen SMB/CIFS, NFS o AFP.– Y acceso FTP,ssh, Web y WEBDAV.

Page 16: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

1675-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 16

SANSAN

● Consolida las “islas de discos” con conexiones de red.

– Pueden ser discos o RAIDs o alguna arquitectura no RAID

– Usan protocolos como iSCSI, HyperSCSI, ATA_over_Ethernet o InfiniBand.

– Requieren de un software de administración.

– Algunas proveen capacidades RAID.

Page 17: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

1775-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 17

Almacenamiento de RedAlmacenamiento de Red

● Las plataformas existentes cubren un arco grande de prestaciones, tanto de bloques como de archivos.

– Apple Xsan, IBM SVC, HP OpenVIew– Algunas usan Clustered File Systems o

Shared Disk File Systems

Page 18: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

1875-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 18

Otras Configuraciones de Almacenamiento

Otras Configuraciones de Almacenamiento

● Just a Bunch of Drives (JBOD) que permite expandir volúmenes.

● Massive array of idle disks (MAID) para aplicaciones 'Write Once, Read Occasionally' (WORO) con no mas del 25% de los discos simultáneamente activos.

● Configuraciones para Nearline Storage como Jukebox o CintoTecas

Page 19: Facultad de Ingeniería Universidad de Buenos Airesmaterias.fi.uba.ar/7508/Slides/08-Clust-Files.pdf · – Concepto desarrollado por David A. Patterson, Garth A. Gibson, and Randy

1975-08 Sistemas Operativos Prof. Lic. Ing. Osvaldo Clúa

Lic. Adrián MuccioFIUBA 19