Si algunos de nuestros foros, manuales, ALDOS, paquetería o proyectos te han resultado de ayuda, apreciaremos mucho nos apoyes con un donativo.
Cómo configurar un agrupamiento (cluster) de alta disponibilidad con Heartbeat en CentOS 5.
Correo electrónico: darkshram en gmail punto com Sitio de Red: http://www.alcancelibre.org/
Jabber ID: darkshram@jabber.org
Creative Commons Reconocimiento-NoComercial-CompartirIgual 2.1
© 1999-2011 Joel Barrios Dueñas. Usted es libre de copiar, distribuir y comunicar públicamente la obra y hacer obras derivadas bajo las condiciones siguientes: a) Debe reconocer y citar al autor original. b) No puede utilizar esta obra para fines comerciales (incluyendo su publicación, a través de cualquier medio, por entidades con fines de lucro). c) Si altera o transforma esta obra o genera una obra derivada, sólo puede distribuir la obra generada bajo una licencia idéntica a ésta. Al reutilizar o distribuir la obra, tiene que dejar bien claro los términos de la licencia de esta obra. Alguna de estas condiciones puede no aplicarse si se obtiene el permiso del titular de los derechos de autor. Los derechos derivados de usos legítimos u otras limitaciones no se ven afectados por lo anterior. Licencia completa en castellano. La información contenida en este documento y los derivados de éste se proporcionan tal cual son y los autores no asumirán responsabilidad alguna si el usuario o lector hace mal uso de éstos.
Introducción.
Este documento describe los procedimientos de configuración de un agrupamiento (cluster) de alta disponibilidad utilizando Heartbeat.
Se asume que se dispone de dos equipos o máquinas virtuales, las cuales serán los dos nodos del agrupamiento y tiene las siguientes características:
Nodo 1: Nodo 2: Ambos nodos pueden ser diferentes en cuanto a arquitectura, capacidad y componentes. Ambos nodos formarán un agrupamiento (cluster) de alta disponibilidad que responderá por la dirección IP 192.168.1.100/255.255.255.0, asociada al nombre nombre.publico.cluster.com. |
Acerca de Heartbeat.
Heartbeat es un servicio que provee servicios de infraestructura de agrupamiento (cluster) a clientes. Permite a los clientes saber si uno de los nodos está presente o ausente, intercambiado fácilmente mensajes entre éstos. Está específicamente diseñado para funcionar como agrupamiento de alta disponibilidad para cualquier tipo de servicio.
Sitio de Internet: http://www.linux-ha.org/
Procedimientos.
Servicios que deben desactivarse.
En ambos nodos, si estuviesen presentes, deben estar desactivados los servicios avahi-daemon y avahi-dnsconfd, así como cualquier otro servicio que intente utilizar la interfaz eth1, misma que debe estar completamente dedicada a las comunicaciones de Heartbeat.
service avahi-daemon stop
service avahi-dnsconfd stop
chkconfig avahi-daemon off
chkconfig avahi-dnsconfd off
|
Es importante también desactivar el cortafuegos predeterminando del sistema en ambos nodos, debido a que éste interfiere con la comunicación entre los nodos de heartbeat:
service iptables stop
service ip6tables stop
chkconfig iptables off
chkconfig ip6tables off
|
El muro cortafuegos de ambos nodos puede ser fácilmente gestionado a través de Shorewall, como se explica más adelante.
SELinux y Heartbeat.
Lamentablemente, de modo predeterminado la implementación de SELinux incluida en CentOS 5.x carece de políticas que permitan funcionar al servicio heartbeat, a menos que se generen manualmente las necesarias o bien se ponga SELinux en modo permisivo o se desactive por completo éste.
Configuración del sistema con SELinux activo.
Particularmente recomiendo crear las políticas necesarias para SELinux. Es relativamente simple. El siguiente procedimiento deberá realizarse en ambos nodos.
Lo primero es cambiarse al directorio /usr/share/selinux/packages.
cd /usr/share/selinux/packages
|
Se crea un subdirectorio que será denominado heartbeat:
mkdir heartbeat
|
Se cambia a este nuevo subdirectorio:
cd heartbeat
|
Suponiendo que se van a configurar los servicios shorewall (o bien iptables), httpd, named y vsftpd, descargue el archivo heartbeat1.te desde Alcance Libre:
wget -N http://www.alcancelibre.org/linux/secrets/heartbeat1.te |
El edite el archivo heartbeat1.te que se acaba de descargar:
vim heartbeat1.te
|
Y verifique que tenga el siguiente contenido:
|
Lo anterior, que fue obtenido de la salida del mandato dmesg|grep audit|audit2allow -m heartbeat1>heartbeat1.te en un sistema donde SELinux impedía a Heartbeat iniciar los servicios anteriormente mencionados. En si, define que se permite el modo de lectura y escritura cuando los servicios del directorio /etc/init.d sean iniciados por un zócalo generado por Heartbeat.
A continuación, se genera un el archivo de módulo para SELinux (heartbeat1.mod) utilizando el mandato checkmodule de la siguiente forma:
checkmodule -M -m -o heartbeat1.mod heartbeat1.te
|
Luego, se procede a empaquetar el archivo heartbeat1.mod como el archivo heartbeat1.pp:
semodule_package -o heartbeat1.pp -m heartbeat1.mod
|
Finalmente se vincula el archivo heartbeat1.pp obtenido con las políticas actuales de SELinux y se cargan éstas en el núcleo en ejecución:
semodule -i /usr/share/selinux/packages/heartbeat/heartbeat1.pp
|
Una vez cargadas las nuevas políticas, se pueden eliminar los archivos heartbeat1.te y heartbeat1.mod, pues sólo será necesario que exista el archivo binario heartbeat1.pp.
Todo lo anterior se puede repetir utilizando otro nombre de archivo distinto para poder añadir más servicios. Es decir, si se van a añadir más servicios par a ser gestionados por Heartbeat, configurar éstos en el archivo /etc/ha.d/haresources, como se describe más adelante en este mismo documento, reiniciar el servicio y realizar el siguiente procedimiento:
cd /usr/share/selinux/packages/heartbeat/
dmesg|grep audit|audit2allow -m heartbeat2>heartbeat2.te
checkmodule -M -m -o heartbeat2.mod heartbeat2.te
semodule_package -o heartbeat2.pp -m heartbeat2.mod
semodule -i /usr/share/selinux/packages/heartbeat/heartbeat2.pp
rm -f heartbeat2.te heartbeat2.mod
service heartbeat restart
|
Configuración del sistema con SELinux en modo permisivo.
Si se desea, puede ponerse SELinux en modo permisivo en ambos nodos con el fin de evitarse tener que realizar los procedimientos anteriores. Edite el archivo /etc/sysconfig/selinux:
vim /etc/sysconfig/selinux
|
Cambie SELINUX=enforcing por SELINUX=permissive, a fin de mantener funcionado SELinux y preservar todos los contextos de éste en el sistema de archivos, pero sin interferir con el funcionamiento de Heartbeat:
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - SELinux is fully disabled.
SELINUX=permissive
# SELINUXTYPE= type of policy in use. Possible values are:
# targeted - Only targeted network daemons are protected.
# strict - Full SELinux protection.
SELINUXTYPE=targeted
# SETLOCALDEFS= Check local definition changes
SETLOCALDEFS=0
|
Reinicie el sistema en ambos nodos.
reboot
|
Realmente es poco recomendable desactivar por completo SELinux, siendo que las políticas necesarias pudieran aparecer en alguna actualización del paquete selinux-policy-targeted o bien pudiera ser necesario recurrir a la protección que brinda esta implementación en un futuro a fin de evitar potenciales incidentes de seguridad que normalmente se evitarían utilizando SELinux.
En versiones recientes de Fedora, es posible evitar los problemas con SELinux, de manera fácil, ejecutando lo siguiente para permitir a heartbeat trabajar en modo sin confinar:
semanage fcontext -a -t unconfined_exec_semanaget /usr/lib/heartbeat/heartbeat
|
El contexto unconfined_exec_semanaget es inexistente en CentOS 5 y Red Hat Enterprise Linux 5.
Configuración del Nodo 1
Ingresar como root o bien cambiar al usuario root.
su -l
|
Editar el archivo /etc/hosts:
vim /etc/hosts
|
Y definir los nombres asociados a la dirección IP pública del agrupamiento (cluster) y las direcciones IP de las interfaces eth0, las cuales corresponden a las interfaces publicas de los nodos:
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
192.168.1.100 nombre.publico.cluster.com
192.168.1.101 nombre.publico.nodo1.com
192.168.1.102 nombre.publico.nodo2.com
|
Para complementar lo anterior, debe haber un DNS que se encargue de resolver estos nombres para la red local y/o hacia Internet.
Editar el archivo /etc/hosts y definir los nombres asociados a las direcciones IP de las interfaces eth1, las cuales corresponden a las interfaces privadas del cluster, a través de la cual se comunican los nodos:
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
192.168.1.100 nombre.publico.cluster.com
192.168.1.101 nombre.publico.nodo1.com
192.168.1.102 nombre.publico.nodo2.com
192.168.2.1 nombre.privado.nodo1.com
192.168.2.2 nombre.privado.nodo2.com
|
Instalar los servicios que se van a gestionar a través del agrupamiento (cluster):
yum -y install httpd php vsftpd wget
|
Utilizando un editor de texto simple, crear el archivo /var/www/html/index.php:
vim /var/www/html/index.php
|
Y añadir el siguiente contenido:
<html>
|
Crear el archivo /etc/httpd/conf.d/cluster.conf con el siguiente contenido:
# Definir valores con el nombre público y la dirección
|
Utilice cualquier editor de texto sobre el archivo /etc/vsftpd/vsftpd.conf:
vim /etc/vsftpd/vsftpd.conf
|
Y añadir al final de éste lo siguiente:
ftpd_banner=Bienvenido al servicio FTP del Nodo 1.
|
Genere con el mandato touch el archivo /etc/vsftpd/chroot_list:
touch /etc/vsftpd/chroot_list |
Instale el depósito YUM de Alcance Libre que incluye Shorewall:
cd /etc/yum.repos.d/
|
Instale Shorewall:
yum -y install shorewall
|
Cambie al directorio /etc/shorewall:
cd /etc/shorewall
|
Edite con vim el archivo /etc/shorewall/shorewall.conf y cambie STARTUP_ENABLED=No por STARTUP_ENABLED=yes:
STARTUP_ENABLED=Yes
|
A fin de que exista una comunicación sin restricciones entre ambos nodos cuando el cortafuegos esté detenido, defina el siguiente contenido en el archivo /etc/shorewall/routesstoped:
eth0 192.168.1.102 critical
eth1 192.168.2.2 critical
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE
|
Defina las zonas del mudo cortafuegos en el archivo /etc/shorewall/zones:
fw firewall
net ipv4
loc ipv4
#LAST LINE - ADD YOUR ENTRIES ABOVE THIS ONE - DO NOT REMOVE
|
Defina que interfaces de red corresponden a las zonas establecidas en el archivo /etc/shorewall/interfaces:
net eth0 detect dhcp,blacklist
loc eth1 detect
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE
|
Defina las siguientes políticas en el archivo /etc/shorewall/policy:
fw all ACCEPT
loc fw ACCEPT
loc net REJECT info
net all DROP info
#LAST LINE -- DO NOT REMOVE
|
Considerando que se están configurando los servicios shorewall, vsftpd y httpd, se administrarán ambos servidores a través de SSH, limitando los pings desde cualquier zona a 5 conexiones por segundo con ráfagas de 2, defina las siguientes reglas para el archivo /etc/shorewall/rules:
ACCEPT all fw tcp 20,21
ACCEPT all fw tcp 80,443
ACCEPT all fw tcp 3306
ACCEPT all fw tcp 22
ACCEPT all fw icmp 8 - - 5/sec:2
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE
|
Debido a un error en el guión %pre (pre-instalación) de los paquetes de heartbeat que son distribuidos a través de los depósitos YUM de CentOS, es importante crear previamente el usuario y grupo que utilizará heartbeat o de otro modo fallará la instalación:
groupadd -g 496 haclient
useradd -M -g haclient -u 498 -d /var/lib/heartbeat/cores/hacluster hacluster
|
Instalar el paquete heartbeat. Se instalarán automáticamente como dependencias los paquetes heartbeat-stonith y heartbeat-pils:
yum -y install heartbeat
|
Cambiarse al directorio /etc/ha.d
cd /etc/ha.d
|
Copiar los archivos de ejemplo para configuración de heartbeat.
cp /usr/share/doc/heartbeat-*/ha.cf ./ha.cf
cp /usr/share/doc/heartbeat-*/haresources ./haresources
cp /usr/share/doc/heartbeat-*/authkeys ./authkeys
|
Añadir al final del archivo authkeys algo similar a lo siguiente:
# Define el esquema de autenticación por SHA1 y una clave de acceso.
auth 2
2 sha1 p0n3r-aqu1-un4-clav3-d3-acceso-s3gur4
|
Puede generar el contenido del archivo /etc/ha.d/authkeys, con un criptograma adecuado, utilizando el siguiente guión:
( echo -ne "auth 2\n2 sha1 "; \
|
Por motivos de seguridad, este archivo sólo debe tener permisos de lectura y escritura para el usuario root. Cambiar el permiso de éste ejecutando lo siguiente:
chmod 600 authkeys
|
Editar el archivo ha.cf:
vim ha.cf
|
Añadir al final del archivo ha.cf lo siguiente:
logfile /var/log/ha-log
logfacility local0
keepalive 2
# Tiempo de espera para iniciar servicios si nodo principal deja de
# responder. Puede ajustarse a cualquier tiempo razonable. Ejemplo: 10 segundos.
deadtime 20
initdead 90
# interfaz de comunicación ente nodos
bcast eth1
udpport 694
auto_failback on
# Nombres de los nodos que participarán en el cluster.
# Deben ser diferentes a los nombres de anfitrión utilizados para las IP
# públicas de la las interfaces eth0. Sólo son para uso interno.
# Los nombres deben estar resueltos en el archivo /etc/hosts
# con direcciones IP privadas en las interfaces eth1, la cuales corresponden a
# las interfaces privadas del cluster, a través de la cual se comunican los
# nodos del cluster.
node nombre.privado.nodo1.com
node nombre.privado.nodo2.com
|
Editar el archivo haresources:
vim haresources
|
Añadir al final del archivo haresources lo siguiente, donde se define el nombre del nodo 1, dirección IP que utilizará Heartbeat para servir los recursos, máscara de subred en formato de bits, nombre de interfaz de red donde se creará la interfaz virtual, dirección de difusión de la red (broadcast) y los servicios a controlar:
# En el ejemplo a continuación:
# nombre.privado.nodo1.com = nombre de anfitrión del nodo principal
# 192.168.1.100 = dirección IP pública del cluster
# 24 = máscara en formato de bits
# eth0 = interfaz pública del cluster
# 192.168.1.101 = dirección IP del nodo principal a supervisar
# vsftpd httpd = servicios a brindar a través del cluster
nombre.privado.nodo1.com 192.168.1.100/24/eth0/192.168.1.255 shorewall vsftpd httpd
|
Desactivar los servicios que se van a gestionar a través del agrupamiento (cluster):
chkconfig httpd off
chkconfig vsftpd off
chconfig shorewall off
|
Iniciar el servicio heartbeat:
service heartbeat start
|
Añadir el servicio heartbeat al arranque del sistema:
chkconfig heartbeat on
|
Los servicios shorewall, httpd y vsftpd iniciarán automáticamente poco después de iniciar el servicio heartbeat.
Configuración del Nodo 2
Ingresar como root o bien cambiar al usuario root.
su -l
|
Instalar los servicios que se van a gestionar a través del agrupamiento (cluster):
yum -y install httpd php vsftpd
|
Utilizando un editor de texto simple, crear el archivo /var/www/html/index.php:
vim /var/www/html/index.php
|
Y añadir el siguiente contenido:
<html>
<head>
<title>Este es el nodo 2</title>
</head>
<body>
<h1>Este es el nodo 2</h1>
<p>Este es el servidor secundario que se presenta cuando falla o se apaga el <b>nodo 1</b>.</p>
</body>
</html>
|
A través de SCP, copiar desde el nodo 1 el archivo /etc/httpd/conf.d/cluster.conf dentro del directorio /etc/httpd/conf.d/ local:
scp -p 192.168.1.101:/etc/httpd/conf.d/cluster.conf /etc/httpd/conf.d/
|
Utilice cualquier editor de texto sobre el archivo /etc/vsftpd/vsftpd.conf:
vim /etc/vsftpd/vsftpd.conf
|
Y añadir al final de éste lo siguiente:
ftpd_banner=Bienvenido al servicio FTP del Nodo 2.
chroot_local_user=YES
chroot_list_enable=YES
chroot_list_file=/etc/vsftpd/chroot_list
|
Genere con el mandato touch el archivo /etc/vsftpd/chroot_list:
touch /etc/vsftpd/chroot_list |
Instale Shorewall:
yum -y install shorewall
|
Cambie al directorio /etc/shorewall:
cd /etc/shorewall
|
Edite con vim el archivo /etc/shorewall/shorewall.conf y cambie STARTUP_ENABLED=No por STARTUP_ENABLED=yes:
STARTUP_ENABLED=Yes
|
A fin de que exista una comunicación sin restricciones entre ambos nodos cuando el cortafuegos esté detenido, defina el siguiente contenido en el archivo /etc/shorewall/routesstoped:
eth0 192.168.1.101 critical
eth1 192.168.2.1 critical
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE
|
Defina las zonas del mudo cortafuegos en el archivo /etc/shorewall/zones:
fw firewall
net ipv4
loc ipv4
#LAST LINE - ADD YOUR ENTRIES ABOVE THIS ONE - DO NOT REMOVE
|
Defina que interfaces de red corresponden a las zonas establecidas en el archivo /etc/shorewall/interfaces:
net eth0 detect dhcp,blacklist
loc eth1 detect
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE
|
Defina las siguientes políticas en el archivo /etc/shorewall/policy:
fw all ACCEPT
loc fw ACCEPT
loc net REJECT info
net all DROP info
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE
|
Defina las siguientes reglas para el archivo /etc/shorewall/rules:
ACCEPT all fw tcp 20,21
ACCEPT all fw tcp 80,443
ACCEPT all fw tcp 3306
ACCEPT all fw tcp 22
ACCEPT all fw icmp 8 - - 5/sec:2
#LAST LINE -- ADD YOUR ENTRIES BEFORE THIS ONE -- DO NOT REMOVE
|
Crear el usuario y grupo que utilizará heartbeat:
groupadd -g 496 haclient
useradd -M -g haclient -u 498 -d /var/lib/heartbeat/cores/hacluster hacluster
|
Instalar el paquete heartbeat:
yum -y install heartbeat
|
A través de SCP, copiar desde el nodo 1 el archivo /etc/hosts para reemplazar el archivo /etc/hosts local:
scp -p 192.168.1.101:/etc/hosts /etc/hosts
|
A través de SCP, copiar desde el nodo 1 el contenido completo del directorio /etc/ha.d dentro de /etc
scp -p 192.168.1.101:/etc/ha.d/* /etc/ha.d/
|
Desactivar los servicios que se van a gestionar a través del agrupamiento (cluster):
chkconfig httpd off
chkconfig vsftpd off
chkconfig shorewall off
|
Iniciar el servicio heartbeat:
service heartbeat start
|
Añadir el servicio heartbeat al arranque del sistema:
chkconfig heartbeat on
|
Los servicios shorewall, httpd y vsftpd iniciarán automáticamente sólo cuando heartbeat detecte que ha fallado el nodo 1 o se ha perdido conectividad con éste.
Verificando el agrupamiento (cluster).
La mejor forma de verificar que todo funciona correctamente es acceder con el navegador hacia http://nombre.publico.cluster.com/ o http://192.168.1.100/ o bien acceder a través de un cliente FTP hacia nombre.publico.cluster.com o 192.168.1.100. Deberá de responder el nodo 1.
Apague el nodo 1 o detenga el servicio heartbeat en el nodo 1, espere 20 a 30 segundos e intente acceder hacia las direcciones anteriores. Deberá de responder el nodo 2. Volviendo a encender el nodo 1 o iniciando de nuevo el servicio heartbeat, espere 20 a 30 segundos e intente acceder nuevamente hacia las direcciones. Deberá de responder el nodo 1.
Mantener sincronizados los directorios.
Es importante resaltar que las interfaces eth1 de ambos nodos deben ser excluidas para realizar cualquier actividad. Deben ser utilizadas exclusivamente por el servicio de heartbeat. Utilice las interfaces eth0 para realizar sincronización de datos.
En le caso del nodo 2, se puede generar una tarea programada para que se ejecute cada cierto tiempo, utilizando rsync y configurando la cuenta de root de ambos nodos para utilizar SSH sin clave de acceso. En el siguiente ejemplo para entrada el archivo /etc/crontab, se sincroniza cada hora el /var/ftp/pub del nodo 2, a partir del directorio /var/ftp/pub del nodo 1:
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/
# run-parts
01 * * * * root run-parts /etc/cron.hourly
02 4 * * * root run-parts /etc/cron.daily
22 4 * * 0 root run-parts /etc/cron.weekly
42 4 1 * * root run-parts /etc/cron.monthly
00 * * * * root rsync -avz \
--exclude '*log' --exclude '*tmp/*' -e ssh --delete-after \
root@192.168.1.101:/var/ftp/pub /var/ftp/pub
|
En el caso de el nodo 1, se asume que si este falla y es apagado, al iniciar sincroniza con el nodo 2, el cual estuvo trabajando y funcionando en ausencia del nodo 1. Puede agregarse el siguiente ejemplo al archivo /etc/rc.local, lo que corresponde a la sincronización de datos del los directorios /var/ftp/pub a partir de el nodo 2 hacia el nodo 1 que se asume acaba de iniciar:
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.
touch /var/lock/subsys/local
rsync -avz \
--exclude '*log' --exclude '*tmp/*' -e ssh --delete-after \
root@192.168.1.102:/var/ftp/pub /var/ftp/pub
|