Arquitectura yescalabilidad

José Carrasco Senior Solution Engineer

Barcelona 14 Nov 2012

Qué hay en este webinar ?

10 % 0verview de las novedades de la plataforma

50 % Mejoras en la escalabilidad

40 % Las 1001 formas de escalar Alfresco

NOVEDADES ARQUITECTÓNICAS10 % 0verview de las novedades de la plataforma

La plataforma

AP

Is

CMIS

SOA - Webservices

RESTful

Webscripts

Bulkloading API

Pro

tocolo

s

WebDAV

FTP

CIFs - Sharepoint

Len

gu

aje

s

Java

.net

Php

Python

C++

Qué hay de nuevo en Alfresco 4 ?

NewWebScripts

OpenCMIS Server

Foundation Services

DatabaseContentStore

Search CannedQueries

Share Services

Social Services

NodeLocator

Home Folder 2

CIFS Driver 2

Peer Associations

Publishing

Index Control

Caching Content

Store

EncryptedProperties

Android APP

CannedQueries

MEJORAS EN LA ESCALABILIDAD

50 % Mejoras en la escalabilidad7

Mejoras en el rendimiento

• 10x más rápido en Queries al User Dashboard

• 4x más rápido en la subida de contenidos• 25% más rápido cargando la librería de

documentos• 50% más rápido cargando los detalles del

documento• Mejoras significativas búscando y

indexando

Mejoras en la Arquitectura

• Subsistema de indexación• Cloud Híbrida• Servidor de transformación• Clustered Filesystems• FSTR

Subsistema de Indexación1

Subsistema de indexación

• El sistema de indexación ahora esta en un subsistema separado

• Alfresco nos ofrece una capa opcional de indexación independiente basada en Apache Solr

• El funcionamiento del repositorio ahora es

independiente de los servicios de búsqueda.

El gran cambio en la 4.01. Alfresco Repository

– alfresco.war = alfresco/

2. Alfresco Share– share.war = share/

3. Third party applications– OpenOffice, convert, pdf2swf

4. Database– JDBC supported database

5. Content Store– alf_data/contentstore and alf_data/contentstore.deleted

6. Indexes– alf_data/lucene-indexes and alf_data/backup-lucene-indexes

ESCALABLE

ESCALABLE

ESCALABLE

ESCALABLE

ESCALABLE

ESCALABLE AHORA env4.0

Las 3 opciones del subsistema

• lucene– Librerías de Lucene embebidas dentro

del repositorio.

• solr– Habilita la integración con Solr

• noindex:– No se habilita ningún buscador.

Sistema Push

Lucene

Eventual consistency (Solr)

Control de ACLs

Ventajas

• Distribución de las cargas del repositorio y de la capa de indexación en diferentes capas

Tomcat

Share

Alfresco

Repository Tier Index Tier

Tomcat

Solr

Ventajas

• Mejora de la escalabilidad horizontal y vertical de la solución

Tomcat

Share

Alfresco

Repository Tier

Index Tier

Load

Bala

nce

r Tomcat

Solr

Alfresco

Tomcat

Solr

Alfresco

Solr vs. Lucene

• Solr mejora los rendimientos de Lucene en todos los escenarios

• El rendimiento de Solr escala bien a medida que escalamos usuarios

Despliegue híbrido2

Alfresco Cloud

• Hosted service• Multitenant

– Red Privada– Invitación Privada

• Free 10GB storage• Cuentas Premium

– Almacenamiento– Caracteristicas Admin

• Sincronización con On Premise

Nuevo paradigma ECM

Silo

Repositorio central

Despliegue hibrido

del SILO a la NUBE™

Nube Hibrida

Alfresco in the cloud

EU Division

US ProfServices

OffshoreDevelopment

Sync

Sync Sync

Consultant

Anno

tate

Workflow

Workflow

Workflow

Wor

kflow

CustomerApprove

This is Cloud Connected Content

Alfresco Enterprise Sync1

2

3

4

Alfresco EnterpriseOn-Premise

Alfresco in the cloud

The Alfresco API & SDK

www.alfresco.com/develop

Servidor de transformación3

Transformaciones ?

• Convertir de un formato a otro• Usado para previsualizaciones• Ejemplos:

– Miniaturas– Previsualizaciones

• Lanzadas por reglas

Cómo se hace?

• Utiliza un conjunto de herramientas:– Open Office para ofimática– ImageMagick para imágenes– SWF Tools para Flash

• Se puede extender ( es un framework)

• Se pueden encadenar (composición)• Transformaciones existentes ?:

– http://localhost:8081/alfresco/s/mimetypes

Servidor de Transformación

• Transformación perfectas a nivel de Pixel• Alto grado de corrección en transformaciones

de Office complejas • Transformation Tier• Sistema avanzado de gestión de errores de

transformación• Del orden de 2 a 3 veces más rápido

transformando grandes documentos (+1Mb) de office.

• En el roadmap: conversiones avanzadas de video

Requerimientos de Software

• Microsoft Windows 2008 Server R2 SP1 x64 con los últimos parches (English)

• Microsoft Office 2010 SP1 x86 (English)

• Consultar http://support.alfresco.com para último stack

Clustered File Systems4

Clustered File Systems (4.1.2)

• Para usar CIFS, FTP o NFS en un entorno clúster

• Soporte gracias a las librerías Hazelcast

FSTR5

FSTR

FILE SYSTEM TRANSFER SERVICE

• FSTR ha sido reescrito para la versión 4.0

• FSTR ahora utiliza los Transfer Services

• Incluido como una parte del DM (en lugar de AVM)

• Configurable via SHARE

• Nos ofrece la posibilidad de publicar contenido desde el DM a cualquier file system sin la necesidad de utilizar un custom script o pasar por el AVM.

• FSTR funciona en su propia instancia de tomcat

Caching Content Store6

Caching Content Store

• Permite encapsular un determinado Store para mejorar el rendimento

• Es un wrapper pensado para implementaciones lentas.

Mejorar lo existente7

Políticas de Almacenamiento

• AKA Information Lifecycle Management (ILM)

• Almacenamiento dinámico basado en políticas de negocio / ciclo de vida

• Reduce el costo sin reducir el performance necesario

– Políticas de Backup– Seguridad– Coste por documento

SSD$$$

FC Drives$$

SATADrive$

Policy Rules

Policy Rules

XAM Content Connector

• Una buena solución para contenido que no va a cambiar

• Soporte para almacenamiento compatible con XAM

• Diseñado para trabajar con soluciones como EMC, HP, IBM, Hitachi, Sun, etc.

• Solo para Alfresco Enterprise

MODELOS DE DESPLIEGUE40 % Las 1001 formas de escalar Alfresco

1. Definiendo el CASO de uso

Modo Repositori

o

Plataforma de

colaboración

Servicios de

contenidos web

Scanning

SolutionsCorporate

Systems Liferay

DrupalJive

SAPPeopleSoft

ArchiveRecords

Management

Content Distribution

ContentDeployment

Web sites

Share

Project

Team DepartmentCollaboration

Intranet

Knowledge Repository

2. Analizando la carga

• Usuarios concurrentes• Tamaño del repositorio• Ratio de ingesta de documentos• Ratio de escritura / lectura• Operaciones de búsqueda• Usuarios y grupos• Protocolos• Operaciones Batch• Adaptaciones

Único Servidor

Tomcat

Share

Alfresco

Storage Layer

Solr

Tomcat

Share

Alfresco

Storage Layer

Embedded Solr No Index

Tomcat

Share

Alfresco

Storage Layer

Lucene

Activo - Activo

Tomcat

Share

Alfresco

Solr

Tomcat

Share

Alfresco

Solr

Load Balancer

Storage Layer

Database Cluster SAN Failover

Escalando SHARE

Tomcat

Alfresco

Solr

Storage Layer

Tomcat

Alfresco

Solr

Repository Tier

Client Tier

Load Balancer

Tomcat

Share

Tomcat

Share

Load Balancer

Capa de Indexación

• Sin Alfresco dedicado a Tracking )

Tomcat

Share

Alfresco

Tomcat

Solr

Storage Layer

Tomcat

Share

Alfresco

Index Tier

Repository Tier

Tomcat

Solr

Load Balancer

Capa de Indexación

Tomcat

Share

Alfresco

Tomcat

Solr

Alfresco

Load Balancer

Storage Layer

Tomcat

Solr

Alfresco

Tomcat

Share

Alfresco

Index Tier

RepositoryTier Load

Balancer

• Con Alfresco dedicado a Tracking )

Ventajas de Alfresco dedicado

• Recibe la carga del seguimiento de la indexación

• Se genera menos tráfico de red a las instancias productivas de Alfresco.

• Mejora el rendimiento general del index tracking

DESventajas de Alfresco dedicado

• El Alfresco dedicado al index tracking ocupa recursos del servidor Solr. Esto puede afectar a los tiempos de respuesta.

• En estos escenarios, puede ser necesario mover el alfresco a otra máquina.

Capa de Transformación

Tomcat

Share

Alfresco

Tomcat

Solr

Alfresco

Load Balancer

Storage Layer

Tomcat

Solr

Alfresco

Tomcat

Share

Alfresco

Index Tier

RepositoryTier Load

Balancer

Tomcat

Transformation

Server

Transformation Tier

Con servidor de ingesta

Tomcat

Share

Alfresco

Tomcat

Solr

Alfresco

Load Balancer

Storage Layer

Tomcat

Solr

Alfresco

Tomcat

Share

Alfresco

Index Tier

RepositoryTier Load

Balancer

Tomcat

Alfresco

CMIS

Solo Repositorio

Tomcat

Solr

Alfresco

Load Balancer

Storage Layer

Tomcat

Solr

Alfresco

Index Tier

RepositoryTier Load

Balancer

Tomcat

Alfresco

Tomcat

Alfresco

CMIS

Separación funcional

Tomcat

Share

Alfresco

Solr

Tomcat

Share

Alfresco

Solr

Load Balancer

Storage Layer

Tomcat

Share

Alfresco

Storage Layer

Enterprise Collaboration Documentation Department

Replication Job

Web Content Services

Tomcat

Share

Alfresco

Solr

Tomcat

Share

Alfresco

Solr

Load Balancer

Storage Layer

Tomcat

Alfresco

Storage Layer

Replication Job

Drupal

CMIS

Solr

Despliegue Hibrido

Tomcat

Share

Alfresco

Solr

Tomcat

Share

Alfresco

Solr

Load Balancer

Storage Layer

Enterprise Collaboration

Cloud

SYNC

VERSIÓN 4.1.1BENCHMARKS3-4 x veces más rápido en la mayoría de operaciones(comparado con la 3.4)

Resultados

• Dos nodos de Alfresco con 3 CPU cada uno y alrededor de 12Gb de Heap con 2 nodos de Solr pueden soportar hasta 1080 usuarios concurrentes en un escenario de colaboración que alcance 10 millones de contenidos sin ningún problema de degradación de performance.

• Share es un cliente ligero que apenas afecta al performance.

• El repositorio ya no es el cuello de botella

• En un escenario con un 48% de búsquedas, Solr es una capa critica.

• Un Alfresco dedicado para Index Trackers es beneficioso en un conjunto amplio de escenarios.

Benchmark Server Architecture

MongoDBMongoDB

MongoDB

Test Run Event QueuesTest Run ResultsData Mirror Collections

ZooKeeper

Server configurationTest DefinitionsTest run definitions

Client

Configuration

Reporting

Benchmark Server 1

Thread PoolCommon Libraries eg. WebDriver

Benchmark Server N

Thread PoolCommon Libraries e.g. WebDriver

Test Target