dev ops infraestructura agil con open source

#rsgecu2015DevOps: Infraestructura Agil con Open Source

DevOps:Infraestructura Agil con Open Source

Ricardo ArguelloCEOSoporte Libre@ricardoarguello


Acerca de

● Casi 20 años de experiencia en Desarrollo/Infra● Colaborador del proyecto Fedora● Ex-colaborador de JBoss.org● Desarrollador o Sysadmin?● CEO de Soporte Libre: Software Libre y Open

Source


Acerca de ustedes

● Desarrolladores?● Sysadmins?● Software Libre / Open Source?


He escuchado mucho acerca de DevOps ultimamente!

Qué es?


El problema


Por qué?


Como luce I.T. dentro demuchas organizaciones hoy?


DESARROLLO OPERACIONES

Aplicación versión X


Operaciones está bajo mucha presión


Los entornos suelen estar fuera de control


Los devs quieren las últimas herramientas


El negocio demanda más!


La ventana de mantenimiento pasa de la medianoche

LA ULTIMA ACTUALIZACIÓN A UNA APLICACIÓN CRÍTICA



La base de datos de producción se corrompe durante la actualización





El sitio web está abajo






No hay ventas






No hay ventas

No se logran las metas del trimestre



AGILE SOFTWARE DEVELOPMENT


AGILE SOFTWARE DEVELOPMENT

Conceptos clave:•Cambios pequeños → Menor riesgo•Fallar rápido y recuperarse vs. Nunca fallar•Cambio cultural: Aceptar la falla


Qué es DevOps?


Podemos transformar a Operaciones y Desarrollo en

DevOps?PEOPLE

PROCESS TECHNOLOGY

DEVOPS

“DevOps es una metodología de desarrollo de software que se centra en la comunicación, colaboración e integración entre desarrolladores de software y profesionales en las tecnologías de la información (IT).”


Cómo habilitar DevOps?

The Three Ways: The Principles Underpinning DevOps(Gene Kim)

http://itrevolution.com/the-three-ways-principles-underpinning-devops/



Entornos operacionales estandarizados Aprovisionamiento automático



Continuous Integration Continuous Delivery


Self-service Prototipaje rápido



DevOps

Idea ProductoFuncionalidad

SELFPROVISIONING

ENVIRONMENTSTANDARDIZATION

AUTOSCALING

CENTERALIZEDOPS MANAGEMENT

DEV QA UAT PROD

IDE CONFIGURATIONMANAGEMENT

CONTINUOUSINTEGRATION MONITORING

CYCLE TIME

PRODUCTMANAGER

DEVELOPERS TESTENGINEERS

OPERATIONS

CONTINUOUS DELIVERY


Standard Operation Environment

Sistema Operativo:● Linux:

– CentOS– Fedora– Red Hat Enterprise Linux– Ubuntu

● Mac OS X– Muy popular en desarrollo!

● Windows– No


Open Source Software

Evite costos excesivos

Siempre se puede hacer un 'fork'

Las cajas negras generan lock-in


Sin Open Source no habría DevOps


Virtualización o Cloud?

● Las arquitecturas modernas suelen tener cierta parte de su infraestructura en virtualización tradicional y otra en la nube

● Cómo saber cuál usar?– Mascotas vs. Ganado



MASCOTA:● Le pones un nombre:

mail.soportelibre.com● Es única, amada y cuidada● Cuando se enferma la llevas al veterinario● Nombres? http://namingschemes.com

GANADO:● Le pones nombres como: vm0372-uio.lab.soportelibre.com● Son casi idénticos entre si● Cuando uno se enferma consigues otro!



scale-up

scale-out


Instalación de Infraestructura


Instalación de Infraestructura: Hoy


Instalación desatendida

● Fedora / CentOS / RHEL:● Instalación desatendida: Kickstart

installurl --url=http://satellite.soportelibre.com/rhel/rhel-server-6.6-x86_64/lang en_US.UTF-8keyboard usnetwork --onboot yes --device eth0 --bootproto dhcp --hostname minimal.soportelibre.comfirewall --service=sshtimezone --utc America/Guayaquilclearpart --allzerombrpart /boot --fstype=ext4 --size=256part swap --size=2048part / --fstype=ext4 --size=1 --grow%packages@basehttpdphp%end


Instalación desatendida

● Fedora / CentOS / RHEL:● Instalación desatendida: Kickstart

installurl --url=http://satellite.soportelibre.com/rhel/rhel-server-6.6-x86_64/lang en_US.UTF-8keyboard usnetwork --onboot yes --device eth0 --bootproto dhcp --hostname minimal.soportelibre.comfirewall --service=sshtimezone --utc America/Guayaquilclearpart --allzerombrpart /boot --fstype=ext4 --size=256part swap --size=2048part / --fstype=ext4 --size=1 --grow%packages@basehttpdphp%end

Tada!


Virtualización

● VirtualBox: Virtualización limitada en varias plataformas con emulación de dispositivos.

● KVM: Soportada en Linux, necesita hardware virtualization.


VirtualBox

● Plataforma de virtualización de Oracle● No es Open Source● Rendimiento menor a KVM● Multiples plataformas soportadas● Muy popular entre usuarios Mac OS X


Virtualización con KVM

● Fedora + KVM en el desktop es posible, gracias a GNOME Boxes en Fedora


Sistema Operativo

● Virtualizamos en el Desktop (Linux)● Desplegamos en la nube o en nuestros

servidores (Linux)● La versión utilizada en desarrollo debe ser la

misma que en producción!● DevOps: Estandarizar y automatizar el

despliegue de la plataforma


Vagrant

● Herramienta para crear y configurar entornos virtuales

Soporta múltiples plataformas:- VirtualBox- KVM- VMWare

Soporta gestores de configuración:- Puppet- Chef- Ansible

http://vagrantup.com


Vagrant

● Finalmente disponible en Fedora con soporte a KVM!

Fedora 21/22:

$ sudo yum install vagrant-libvirt$ vagrant box add {title} {url}$ vagrant init {title}$ vagrant up


Infraestructura como código

● Entorno Operativo Estandarizado:– Sistema Operativo

– Lenguaje

– Librerías

– Servidor de aplicaciones


Idempotencia

Estado A

Provisioning

Estado B


Idempotencia

Estado B

Provisioning

Estado B


Puppet

● Herramienta para gestión de configuración.

● Permite manejar la configuración de sistemas operativos Unix/Linux en forma declarativa.

● A información de la configuración se guarda en Manifests.

● Utiliza un DSL para describir la configuración.

http://puppetlabs.com


Puppet

● Manifests: Archivos de configuración escritos en un DSL.

● Infraestructura como código:– Especificar que un paquete esté instalado:

package { 'openssh-server': ensure => present,}


Puppet

● Modelo declarativo– Se define el estado, no el proceso

– Para definir que un servicio esté arriba:

service { 'ntp': name => 'ntpd', ensure => running,}


Puppet

● Arquitectura– Maestro – Agente

– Esquema tipo Pull

– Identificación usando SSL


Puppet

● manifests/site.pp

class 'dave' { user { 'dave': ensure => present, uid => '507', gid => 'admin', shell => '/bin/zsh', home => '/home/dave', managehome => true, } file {'/tmp/test1': ensure => present, content => "Hi.", }}


Puppet

● Nodes:

node 'auth.soportelibre.com' { class { 'dave': }}


Puppet


Foreman

● Una forma de manejar Puppet en forma escalable:– Provisioning

– Configuration

– Monitoring

Foreman

http://theforeman.org


Foreman


Git

● Control de versionamiento● Dado que la configuración es código, este debe

estar versionado


Git Repository

http://gitlab.com http://gitblit.com


Ansible

● Simple● Sin agentes● Se ejecuta desde la

maquina del administrador● Usa Python y SSH● Modelo Push

http://ansible.com


Ansible


Mejores Prácticas

● No utilizar templates de máquinas virtuales● Separar el aprovisionamiento de la instalación● Usar llaves SSH, no passwords● Usar un SOE● Automatizar todo● Usar control de versionamiento


Docker


Docker

Plataforma para construir, desplegar y ejecutar aplicaciones distribuidas utilizando Containers

http://docker.com


Problema

x


Solución

● Separación de responsabilidades● El usuario empaqueta● El transporte mueve el container

● Interface estándar


Docker Containers

Preocupación del desarrollador:● Código● Librerias● Servicios● Configuración● Datos

Todos los servidores lucen iguales

Interface estandarizada para un contenedor de software

Preocupación del administrador:● Mover contenedores● Levantar / detener contenedores● Logging● Monitoreo● Configuración de redes

Todos los contenedores lucen iguales


Docker

Máquinas Virtuales:Cada aplicacion incluye no solo la aplicación sino los binarios y librerias, pero además todo el sistema operativo

Docker:Solo se incluye la aplicación y sus dependencias. Cada sistema está aislado y correm procesos en forma separada. Mucho más eficiente.


Docker


Docker

# docker pull centos# docker run -it centos /bin/bash$ cat /etc/redhat-releaseCentOS Linux release 7.0.1406 (Core)


Kubernetes

http://kubernetes.io/


Kubernetes

● Orquestación de aplicaciones Docker● Servicios altamente disponibles● Configuración de containers en forma

declarativa


Project Atomic

● Distribución de Linux pensada para correr contenedores Docker:– Basada en Fedora

– Versión soportada por Red Hat: RHEL Atomic Host

– Seguridad: SELinux

http://projectatomic.io


Project Atomic


Cloud:

Almacenamiento(RHS)

Hardware(x86)

Virtualización(RHEV)

Sistema Operativo(Linux)

Plataforma de aplicaciones(JBoss, PHP, Ruby, etc)

Aplicación

Automatizado y manejado por un Cloud Público o Privado

Manejado y controlado por el cliente (IT, Desarrollo, un usuario)

IaaS PaaS SaaS

Mayor Control

● Mayor Automatización


OpenShift

origin

Public Cloud Service

Private Cloud Software

Open Source Project


Multi-lenguaje,Auto-escalable,Auto-servicio,

Elastico,Cloud Application Platform

OpenShift es un

PaaS Open Source


ALMACENAMIENTO(RHS)

HARDWARE(x86)

VIRTUALIZACIÓN(RHEV)

SISTEMA OPERATIVO(Linux)

PLATAFORMA APP(JBoss, PHP, Ruby, etc)

APLICACION

● Public Cloud Private Cloud

Desarro-llador

controla

Desarro-llador controla

Operado por Openshift

IT provee

OpenShift automatiza, IT controla


POWERED BY

OPENSHIFT


Amazon / OpenStack (IaaS) / RHEV (Virt) / Servidores Físicos


Linux Linux Linux

OpenShift esta formado por instancias de Linux

Linux



Nodes: donde las aplicaciones residen.Brokers: mantienen a OpenShift corriendo.

Brokers Node Node Node

Linux Linux LinuxLinux



Linux Linux

SELinux divide en forma segura cada instancia de un Node

Broker Node Node Node

Linux



Linux Linux

Un Gear representa un contenedor seguro en Linux


Linux



Flujo de trabajode desarrollador

Linux Linux

Un desarrollador crea una nueva aplicación OpenShift crea un Gear

Web ConsoleEclipse IDECmd Line


Linux

OpenShiftGear



OpenShift automatiza laconfiguración de un Gearmediante Cartuchos

Linux Linux

Cartridges: Es como OpenShift instala lenguajes y servidores

Web ConsoleEclipse IDECmd Line


Linux


JBoss MySQL


OpenShift tiene algunosCartridges incluídos

Se pueden añadir más...

CustomEtc.

Etc.

Ruby

Python

PHP

Java

Postgres

MySQL

OpenShift Default

Cartridges



Code and Push

Linux Linux

El desarrollador empuja (push) sus cambios mediante Git

Git Protocol / ssh


Linux

Push


JBoss

Code

GitRepo MySQL


OpenShift automatiza:compila, prueba,publica

Linux Linux


Linux


Jenkins(CI)

Maven(Builds) Apache

(HTTP)

CodeJBoss

GitRepo MySQL


OpenShift automatizael escalamiento dela aplicación


Linux

HA-Proxy MySQLJava

CodeJava

CodeJava

X



Los desarrolladores pueden escoger como trabajar con OpenShift

● Integración con IDE

Web BrowserConsole

Command LineTooling

REST APIs


El desarrollador escoge el lenguaje, framework y plataforma


Apache 2.0 LicenseDisponible como:

• Source, RPMs• .ISO, LiveCD

IRC, email, forums

Versión Open Source para despliegue en Nube Privada:

https://github.com/openshift

OpenShift Origin


Como usar OpenShift?

http://www.openshift.com


DevOps en la vida real


Usando Ansible en la vida real

● Cliente financiero, aplicación bancaria altamente disponible

● Arquitectura n-capas, Disaster Recovery, ambientes Intranet e Internet

● Desplegado sobre Linux, servidores de aplicaciones JBoss

● Versionamiento Git



● Plataformas:– JBoss EWS (load balancers)

– JBoss EAP 6 (app servers)

– JBoss Fuse Service Works 6 (integration)



● 3 ambientes:– Desarrollo

– Pre-producción

– Producción

● Dos escenarios:– Internet

– Intranet



● 50+ máquinas virtuales– Red Hat Enterprise Virtualization

– Storage: IBM Storwize v7000

– Disaster Recovery: Guayaquil



● Virtualización: Red Hat Enterprise Virtualization● Sistema Operativo: Red Hat Enterprise Linux



● Configuration Management:– Ansible:

– Repetible

– Versionamiento (Git)

– 45 minutos para reinstalar toda la infraestructura



---

# Despliegue de toda la infraestructura

- name: Aplicar configuracion comun a todos los servidores

hosts: all

roles:

- common

- name: Configurar y desplegar servidores RHEL + Balancer Add-On

hosts: lb

roles:

- lb



---

- name: Configurar DNS

copy: src=resolv.conf

dest=/etc/resolv.conf

roles/common/task/main.yml



- name: Instalar paquetes comunes

yum: name={{ item }}

state=installed

with_items:

- elinks

- libselinux-python

- nc

- ntp

- openssh-clients

- rsync

- screen

- unzip

- vim-enhanced

- wget




- name: Configurar NTP

template: src=ntp.conf.j2

dest=/etc/ntp.conf

owner=root

group=root

mode=0644

notify: restart ntpd

tags: ntp




- name: Iniciar servicio ntpd

service: name=ntpd

state=started

enabled=yes

tags: ntp


- name: Crear usuario rarguello user: name=rarguello



- name: Crear usuario rarguello

user: name=rarguello

- name: Configurar authorized_key para usuario rarguello

authorized_key: user=rarguello

key="ssh-rsa AAAAB3NzaC1yc2..."





- name: Iniciar servicio ntpd

service: name=ntpd

state=started

enabled=yes

tags: ntp







dest=/etc/ntp.conf

owner=root

group=root

mode=0644


tags: ntp




- name: Install JBoss Enterprise Web Server


state=present

with_items:

- httpd

- mod_ssl

- mod_jk-ap22

- mod_cluster-native

tags: httpd

- name: Create the mod_cluster.conf file

template: src=mod_cluster.conf.j2

dest=/etc/httpd/conf.d/mod_cluster.conf

owner=root

group=root

mode=0644

notify: restart httpd

tags: httpd






dest=/etc/ntp.conf

owner=root

group=root

mode=0644


tags: ntp




- name: Instalar paquetes comunes


state=installed

with_items:

- elinks

- libselinux-python

- nc

- ntp

- openssh-clients

- rsync

- screen

- unzip

- vim-enhanced

- wget




diff --git a/roles/ews/tasks/main.yml b/roles/ews/tasks/main.yml

index b3edb03..a160b3e 100644

--- a/roles/ews/tasks/main.yml

+++ b/roles/ews/tasks/main.yml

@@ -7,6 +7,7 @@

- mod_ssl

- mod_jk-ap22

- mod_cluster-native

+ - php

tags: httpd

- name: Create the mod_cluster.conf file

$ git diff


Ricardo Arguello

[email protected]

@ricardoarguello

dev ops infraestructura agil con open source

Technology