Creative Commons Reconocimiento-NoComercial-CompartirIgual 2.1

© 1999-2011 Joel Barrios Dueñas. Usted es libre de copiar, distribuir y comunicar públicamente la obra y hacer obras derivadas bajo las condiciones siguientes: a) Debe reconocer y citar al autor original. b) No puede utilizar esta obra para fines comerciales (incluyendo su publicación, a través de cualquier medio, por entidades con fines de lucro). c) Si altera o transforma esta obra o genera una obra derivada, sólo puede distribuir la obra generada bajo una licencia idéntica a ésta. Al reutilizar o distribuir la obra, tiene que dejar bien claro los términos de la licencia de esta obra. Alguna de estas condiciones puede no aplicarse si se obtiene el permiso del titular de los derechos de autor. Los derechos derivados de usos legítimos u otras limitaciones no se ven afectados por lo anterior. Licencia completa en castellano. La información contenida en este documento y los derivados de éste se proporcionan tal cual son y los autores no asumirán responsabilidad alguna si el usuario o lector hace mal uso de éstos.

Introducción.

Este documento describe los procedimientos de configuración de un agrupamiento (cluster) de alta disponibilidad utilizando Heartbeat.

Se asume que se dispone de dos equipos o máquinas virtuales, las cuales serán los dos nodos del agrupamiento y tiene las siguientes características:

Acerca de Heartbeat.

Heartbeat es un servicio que provee servicios de infraestructura de agrupamiento (cluster) a clientes. Permite a los clientes saber si uno de los nodos está presente o ausente, intercambiado fácilmente mensajes entre éstos. Está específicamente diseñado para funcionar como agrupamiento de alta disponibilidad para cualquier tipo de servicio.

Sitio de Internet: http://www.linux-ha.org/

Procedimientos.

Servicios que deben desactivarse.

En ambos nodos, si estuviesen presentes, deben estar desactivados los servicios avahi-daemon y avahi-dnsconfd, así como cualquier otro servicio que intente utilizar la interfaz eth1, misma que debe estar completamente dedicada a las comunicaciones de Heartbeat.

service avahi-daemon stop
service avahi-dnsconfd stop
chkconfig avahi-daemon off
chkconfig avahi-dnsconfd off

Es importante también desactivar el cortafuegos predeterminando del sistema en ambos nodos, debido a que éste interfiere con la comunicación entre los nodos de heartbeat:

service iptables stop
service ip6tables stop
chkconfig iptables off
chkconfig ip6tables off

El muro cortafuegos de ambos nodos puede ser fácilmente gestionado a través de Shorewall, como se explica más adelante.

SELinux y Heartbeat.

Lamentablemente, de modo predeterminado la implementación de SELinux incluida en CentOS 5.x carece de políticas que permitan funcionar al servicio heartbeat, a menos que se generen manualmente las necesarias o bien se ponga SELinux en modo permisivo o se desactive por completo éste.

Configuración del sistema con SELinux activo.

Particularmente recomiendo crear las políticas necesarias para SELinux. Es relativamente simple. El siguiente procedimiento deberá realizarse en ambos nodos.

Lo primero es cambiarse al directorio /usr/share/selinux/packages.

cd /usr/share/selinux/packages

Se crea un subdirectorio que será denominado heartbeat:

mkdir heartbeat

Se cambia a este nuevo subdirectorio:

cd heartbeat

Suponiendo que se van a configurar los servicios shorewall (o bien iptables), httpd, named y vsftpd, descargue el archivo heartbeat1.te desde Alcance Libre:

wget -N http://www.alcancelibre.org/linux/secrets/heartbeat1.te

El edite el archivo heartbeat1.te que se acaba de descargar:

vim heartbeat1.te

Y verifique que tenga el siguiente contenido:

module heartbeat1 1.0;

require {
        type proc_t;
        type urandom_device_t;
        type ftpd_t;
        type httpd_t;
	type iptables_t;
        type ndc_t;
        type initrc_t;
        type named_t;
        class unix_stream_socket { read write };
        class file read;
        class chr_file read;
}

#============= ftpd_t ==============
allow ftpd_t initrc_t:unix_stream_socket { read write };

#============= httpd_t ==============
allow httpd_t initrc_t:unix_stream_socket { read write };

#============= iptables_t ==============
allow iptables_t initrc_t:unix_stream_socket { read write };

#============= named_t ==============
allow named_t initrc_t:unix_stream_socket { read write };

#============= ndc_t ==============
allow ndc_t initrc_t:unix_stream_socket { read write };
allow ndc_t proc_t:file read;
allow ndc_t urandom_device_t:chr_file read;

Lo anterior, que fue obtenido de la salida del mandato dmesg|grep audit|audit2allow -m heartbeat1>heartbeat1.te en un sistema donde SELinux impedía a Heartbeat iniciar los servicios anteriormente mencionados. En si, define que se permite el modo de lectura y escritura cuando los servicios del directorio /etc/init.d sean iniciados por un zócalo generado por Heartbeat.

A continuación, se genera un el archivo de módulo para SELinux (heartbeat1.mod) utilizando el mandato checkmodule de la siguiente forma:

checkmodule -M -m -o heartbeat1.mod heartbeat1.te

Luego, se procede a empaquetar el archivo heartbeat1.mod como el archivo heartbeat1.pp:

semodule_package -o heartbeat1.pp -m heartbeat1.mod

Finalmente se vincula el archivo heartbeat1.pp obtenido con las políticas actuales de SELinux y se cargan éstas en el núcleo en ejecución:

semodule -i /usr/share/selinux/packages/heartbeat/heartbeat1.pp

Una vez cargadas las nuevas políticas, se pueden eliminar los archivos heartbeat1.te y heartbeat1.mod, pues sólo será necesario que exista el archivo binario heartbeat1.pp.

Todo lo anterior se puede repetir utilizando otro nombre de archivo distinto para poder añadir más servicios. Es decir, si se van a añadir más servicios par a ser gestionados por Heartbeat, configurar éstos en el archivo /etc/ha.d/haresources, como se describe más adelante en este mismo documento, reiniciar el servicio y realizar el siguiente procedimiento:

cd /usr/share/selinux/packages/heartbeat/
dmesg|grep audit|audit2allow -m heartbeat2>heartbeat2.te
checkmodule -M -m -o heartbeat2.mod heartbeat2.te
semodule_package -o heartbeat2.pp -m heartbeat2.mod
semodule -i /usr/share/selinux/packages/heartbeat/heartbeat2.pp
rm -f heartbeat2.te heartbeat2.mod
service heartbeat restart

Configuración del sistema con SELinux en modo permisivo.

Si se desea, puede ponerse SELinux en modo permisivo en ambos nodos con el fin de evitarse tener que realizar los procedimientos anteriores. Edite el archivo /etc/sysconfig/selinux:

vim /etc/sysconfig/selinux

Cambie SELINUX=enforcing por SELINUX=permissive, a fin de mantener funcionado SELinux y preservar todos los contextos de éste en el sistema de archivos, pero sin interferir con el funcionamiento de Heartbeat:

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#       enforcing - SELinux security policy is enforced.
#       permissive - SELinux prints warnings instead of enforcing.
#       disabled - SELinux is fully disabled.
SELINUX=permissive
# SELINUXTYPE= type of policy in use. Possible values are:
#       targeted - Only targeted network daemons are protected.
#       strict - Full SELinux protection.
SELINUXTYPE=targeted

# SETLOCALDEFS= Check local definition changes
SETLOCALDEFS=0

Reinicie el sistema en ambos nodos.

reboot

Realmente es poco recomendable desactivar por completo SELinux, siendo que las políticas necesarias pudieran aparecer en alguna actualización del paquete selinux-policy-targeted o bien pudiera ser necesario recurrir a la protección que brinda esta implementación en un futuro a fin de evitar potenciales incidentes de seguridad que normalmente se evitarían utilizando SELinux.

En versiones recientes de Fedora, es posible evitar los problemas con SELinux, de manera fácil, ejecutando lo siguiente para permitir a heartbeat trabajar en modo sin confinar:

semanage fcontext -a -t unconfined_exec_semanaget /usr/lib/heartbeat/heartbeat

El contexto unconfined_exec_semanaget es inexistente en CentOS 5 y Red Hat Enterprise Linux 5.

Configuración del Nodo 1

Ingresar como root o bien cambiar al usuario root.

su -l

Editar el archivo /etc/hosts:

vim /etc/hosts

Y definir los nombres asociados a la dirección IP pública del agrupamiento (cluster) y las direcciones IP de las interfaces eth0, las cuales corresponden a las interfaces publicas de los nodos:

# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost
::1		localhost6.localdomain6 localhost6
192.168.1.100	nombre.publico.cluster.com
192.168.1.101	nombre.publico.nodo1.com
192.168.1.102	nombre.publico.nodo2.com

Para complementar lo anterior, debe haber un DNS que se encargue de resolver estos nombres para la red local y/o hacia Internet.

Editar el archivo /etc/hosts y definir los nombres asociados a las direcciones IP de las interfaces eth1, las cuales corresponden a las interfaces privadas del cluster, a través de la cual se comunican los nodos:

# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost
::1		localhost6.localdomain6 localhost6
192.168.1.100	nombre.publico.cluster.com
192.168.1.101	nombre.publico.nodo1.com
192.168.1.102	nombre.publico.nodo2.com
192.168.2.1	nombre.privado.nodo1.com
192.168.2.2	nombre.privado.nodo2.com

Instalar los servicios que se van a gestionar a través del agrupamiento (cluster):

yum -y install httpd php vsftpd wget

Utilizando un editor de texto simple, crear el archivo /var/www/html/index.php:

vim /var/www/html/index.php

Y añadir el siguiente contenido:

Crear el archivo /etc/httpd/conf.d/cluster.conf con el siguiente contenido:

# Definir valores con el nombre público y la dirección
# IP pública del cluster
NameVirtualHost 192.168.1.100:80
<VirtualHost 192.168.1.100:80>
	ServerName nombre.publico.cluster.com
	DocumentRoot /var/www/html
	ErrorLog logs/cluster-error_log
	CustomLog logs/cluster-access_log combined
	ServerAdmin alguien@algo.com
</VirtualHost>

Utilice cualquier editor de texto sobre el archivo /etc/vsftpd/vsftpd.conf:

vim /etc/vsftpd/vsftpd.conf

Y añadir al final de éste lo siguiente:

ftpd_banner=Bienvenido al servicio FTP del Nodo 1.
chroot_local_user=YES
chroot_list_enable=YES
chroot_list_file=/etc/vsftpd/chroot_list

Genere con el mandato touch el archivo /etc/vsftpd/chroot_list:

touch /etc/vsftpd/chroot_list

Instale el depósito YUM de Alcance Libre que incluye Shorewall:

cd /etc/yum.repos.d/
wget http://www.alcancelibre.org/al/server/AL-Server.repo

Instale Shorewall:

yum -y install shorewall

Cambie al directorio /etc/shorewall:

cd /etc/shorewall

Edite con vim el archivo /etc/shorewall/shorewall.conf y cambie STARTUP_ENABLED=No por STARTUP_ENABLED=yes:

STARTUP_ENABLED=Yes

A fin de que exista una comunicación sin restricciones entre ambos nodos cuando el cortafuegos esté detenido, defina el siguiente contenido en el archivo /etc/shorewall/routesstoped:

eth0		192.168.1.102		critical
eth1		192.168.2.2		critical
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE

Defina las zonas del mudo cortafuegos en el archivo /etc/shorewall/zones:

fw	firewall
net	ipv4
loc	ipv4
#LAST LINE - ADD YOUR ENTRIES ABOVE THIS ONE - DO NOT REMOVE

Defina que interfaces de red corresponden a las zonas establecidas en el archivo /etc/shorewall/interfaces:

net	eth0		detect		dhcp,blacklist
loc	eth1		detect
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE

Defina las siguientes políticas en el archivo /etc/shorewall/policy:

fw		all		ACCEPT
loc		fw		ACCEPT
loc		net		REJECT		info
net		all		DROP		info
#LAST LINE -- DO NOT REMOVE

Considerando que se están configurando los servicios shorewall, vsftpd y httpd, se administrarán ambos servidores a través de SSH, limitando los pings desde cualquier zona a 5 conexiones por segundo con ráfagas de 2, defina las siguientes reglas para el archivo /etc/shorewall/rules:

ACCEPT	all		fw		tcp	20,21
ACCEPT	all		fw		tcp	80,443
ACCEPT	all		fw		tcp	3306
ACCEPT	all		fw		tcp	22
ACCEPT	all		fw		icmp	8	-	-	5/sec:2
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE

Debido a un error en el guión %pre (pre-instalación) de los paquetes de heartbeat que son distribuidos a través de los depósitos YUM de CentOS, es importante crear previamente el usuario y grupo que utilizará heartbeat o de otro modo fallará la instalación:

groupadd -g 496 haclient
useradd -M -g haclient -u 498 -d /var/lib/heartbeat/cores/hacluster hacluster

Instalar el paquete heartbeat. Se instalarán automáticamente como dependencias los paquetes heartbeat-stonith y heartbeat-pils:

yum -y install heartbeat

Cambiarse al directorio /etc/ha.d

cd /etc/ha.d

Copiar los archivos de ejemplo para configuración de heartbeat.

cp /usr/share/doc/heartbeat-*/ha.cf ./ha.cf
cp /usr/share/doc/heartbeat-*/haresources ./haresources
cp /usr/share/doc/heartbeat-*/authkeys ./authkeys

Añadir al final del archivo authkeys algo similar a lo siguiente:

# Define el esquema de autenticación por SHA1 y una clave de acceso.
auth 2
2 sha1 p0n3r-aqu1-un4-clav3-d3-acceso-s3gur4

Puede generar el contenido del archivo /etc/ha.d/authkeys, con un criptograma adecuado, utilizando el siguiente guión:

( echo -ne "auth 2\n2 sha1 "; \
dd if=/dev/urandom bs=512 count=1 | openssl md5 ) > /etc/ha.d/authkeys

Por motivos de seguridad, este archivo sólo debe tener permisos de lectura y escritura para el usuario root. Cambiar el permiso de éste ejecutando lo siguiente:

chmod 600 authkeys

Editar el archivo ha.cf:

vim ha.cf

Añadir al final del archivo ha.cf lo siguiente:

logfile /var/log/ha-log
logfacility local0
keepalive 2
# Tiempo de espera para iniciar servicios si nodo principal deja de
# responder. Puede ajustarse a cualquier tiempo razonable. Ejemplo: 10 segundos.
deadtime 20
initdead 90
# interfaz de comunicación ente nodos
bcast eth1
udpport 694
auto_failback on
# Nombres de los nodos que participarán en el cluster.
# Deben ser diferentes a los nombres de anfitrión utilizados para las IP
# públicas de la las interfaces eth0. Sólo son para uso interno.
# Los nombres deben estar resueltos en el archivo /etc/hosts
# con direcciones IP privadas en las interfaces eth1, la cuales corresponden a
# las interfaces privadas del cluster, a través de la cual se comunican los
# nodos del cluster.
node nombre.privado.nodo1.com
node nombre.privado.nodo2.com

Editar el archivo haresources:

vim haresources

Añadir al final del archivo haresources lo siguiente, donde se define el nombre del nodo 1, dirección IP que utilizará Heartbeat para servir los recursos, máscara de subred en formato de bits, nombre de interfaz de red donde se creará la interfaz virtual, dirección de difusión de la red (broadcast) y los servicios a controlar:

# En el ejemplo a continuación:
# nombre.privado.nodo1.com = nombre de anfitrión del nodo principal
# 192.168.1.100 = dirección IP pública del cluster
# 24 = máscara en formato de bits
# eth0 = interfaz pública del cluster
# 192.168.1.101 = dirección IP del nodo principal a supervisar
# vsftpd httpd = servicios a brindar a través del cluster
nombre.privado.nodo1.com  192.168.1.100/24/eth0/192.168.1.255 shorewall vsftpd httpd

Desactivar los servicios que se van a gestionar a través del agrupamiento (cluster):

chkconfig httpd off
chkconfig vsftpd off
chconfig shorewall off

Iniciar el servicio heartbeat:

service heartbeat start

Añadir el servicio heartbeat al arranque del sistema:

chkconfig heartbeat on

Los servicios shorewall, httpd y vsftpd iniciarán automáticamente poco después de iniciar el servicio heartbeat.

Configuración del Nodo 2

Ingresar como root o bien cambiar al usuario root.

su -l

Instalar los servicios que se van a gestionar a través del agrupamiento (cluster):

yum -y install httpd php vsftpd

Utilizando un editor de texto simple, crear el archivo /var/www/html/index.php:

vim /var/www/html/index.php

Y añadir el siguiente contenido:

A través de SCP, copiar desde el nodo 1 el archivo /etc/httpd/conf.d/cluster.conf dentro del directorio /etc/httpd/conf.d/ local:

scp -p 192.168.1.101:/etc/httpd/conf.d/cluster.conf /etc/httpd/conf.d/

Utilice cualquier editor de texto sobre el archivo /etc/vsftpd/vsftpd.conf:

vim /etc/vsftpd/vsftpd.conf

Y añadir al final de éste lo siguiente:

ftpd_banner=Bienvenido al servicio FTP del Nodo 2.
chroot_local_user=YES
chroot_list_enable=YES
chroot_list_file=/etc/vsftpd/chroot_list

Genere con el mandato touch el archivo /etc/vsftpd/chroot_list:

touch /etc/vsftpd/chroot_list

Instale Shorewall:

yum -y install shorewall

Cambie al directorio /etc/shorewall:

cd /etc/shorewall

Edite con vim el archivo /etc/shorewall/shorewall.conf y cambie STARTUP_ENABLED=No por STARTUP_ENABLED=yes:

STARTUP_ENABLED=Yes

A fin de que exista una comunicación sin restricciones entre ambos nodos cuando el cortafuegos esté detenido, defina el siguiente contenido en el archivo /etc/shorewall/routesstoped:

eth0		192.168.1.101		critical
eth1		192.168.2.1		critical
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE

Defina las zonas del mudo cortafuegos en el archivo /etc/shorewall/zones:

fw	firewall
net	ipv4
loc	ipv4
#LAST LINE - ADD YOUR ENTRIES ABOVE THIS ONE - DO NOT REMOVE

Defina que interfaces de red corresponden a las zonas establecidas en el archivo /etc/shorewall/interfaces:

net	eth0		detect		dhcp,blacklist
loc	eth1		detect
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE

Defina las siguientes políticas en el archivo /etc/shorewall/policy:

fw		all		ACCEPT
loc		fw		ACCEPT
loc		net		REJECT		info
net		all		DROP		info
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE

Defina las siguientes reglas para el archivo /etc/shorewall/rules:

ACCEPT	all		fw		tcp	20,21
ACCEPT	all		fw		tcp	80,443
ACCEPT	all		fw		tcp	3306
ACCEPT	all		fw		tcp	22
ACCEPT	all		fw		icmp	8	-	-	5/sec:2
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE

Crear el usuario y grupo que utilizará heartbeat:

groupadd -g 496 haclient
useradd -M -g haclient -u 498 -d /var/lib/heartbeat/cores/hacluster hacluster

Instalar el paquete heartbeat:

yum -y install heartbeat

A través de SCP, copiar desde el nodo 1 el archivo /etc/hosts para reemplazar el archivo /etc/hosts local:

scp -p 192.168.1.101:/etc/hosts /etc/hosts

A través de SCP, copiar desde el nodo 1 el contenido completo del directorio /etc/ha.d dentro de /etc

scp -p 192.168.1.101:/etc/ha.d/* /etc/ha.d/

Desactivar los servicios que se van a gestionar a través del agrupamiento (cluster):

chkconfig httpd off
chkconfig vsftpd off
chkconfig shorewall off

Iniciar el servicio heartbeat:

service heartbeat start

Añadir el servicio heartbeat al arranque del sistema:

chkconfig heartbeat on

Los servicios shorewall, httpd y vsftpd iniciarán automáticamente sólo cuando heartbeat detecte que ha fallado el nodo 1 o se ha perdido conectividad con éste.

Verificando el agrupamiento (cluster).

La mejor forma de verificar que todo funciona correctamente es acceder con el navegador hacia http://nombre.publico.cluster.com/ o http://192.168.1.100/ o bien acceder a través de un cliente FTP hacia nombre.publico.cluster.com o 192.168.1.100. Deberá de responder el nodo 1.

Apague el nodo 1 o detenga el servicio heartbeat en el nodo 1, espere 20 a 30 segundos e intente acceder hacia las direcciones anteriores. Deberá de responder el nodo 2. Volviendo a encender el nodo 1 o iniciando de nuevo el servicio heartbeat, espere 20 a 30 segundos e intente acceder nuevamente hacia las direcciones. Deberá de responder el nodo 1.

Mantener sincronizados los directorios.

Es importante resaltar que las interfaces eth1 de ambos nodos deben ser excluidas para realizar cualquier actividad. Deben ser utilizadas exclusivamente por el servicio de heartbeat. Utilice las interfaces eth0 para realizar sincronización de datos.

En le caso del nodo 2, se puede generar una tarea programada para que se ejecute cada cierto tiempo, utilizando rsync y configurando la cuenta de root de ambos nodos para utilizar SSH sin clave de acceso. En el siguiente ejemplo para entrada el archivo /etc/crontab, se sincroniza cada hora el /var/ftp/pub del nodo 2, a partir del directorio /var/ftp/pub del nodo 1:

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/

# run-parts
01 * * * * root run-parts /etc/cron.hourly
02 4 * * * root run-parts /etc/cron.daily
22 4 * * 0 root run-parts /etc/cron.weekly
42 4 1 * * root run-parts /etc/cron.monthly
00 * * * * root rsync -avz \
	--exclude '*log' --exclude '*tmp/*' -e ssh --delete-after \
	root@192.168.1.101:/var/ftp/pub /var/ftp/pub

En el caso de el nodo 1, se asume que si este falla y es apagado, al iniciar sincroniza con el nodo 2, el cual estuvo trabajando y funcionando en ausencia del nodo 1. Puede agregarse el siguiente ejemplo al archivo /etc/rc.local, lo que corresponde a la sincronización de datos del los directorios /var/ftp/pub a partir de el nodo 2 hacia el nodo 1 que se asume acaba de iniciar:

#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local
rsync -avz \
	--exclude '*log' --exclude '*tmp/*' -e ssh --delete-after \
	root@192.168.1.102:/var/ftp/pub /var/ftp/pub