Self-healing model for distributed environments based on artificial life techniques

Abstract

Nowadays, distributed systems are a fundamental part of cloud-based systems, such as Google and cyber-physical systems like smart cities and electric grids. Achieving robustness and providing failure detection and recovery in distributed systems is a difficult problem because they are subject to local conditions and can fail unexpectedly. The main goal of this research is to define algorithms to achieve robustness and self-healing for solving the problem of failure detection and recovery in distributed systems. This research integrates different approaches inspired from nature: it improves robustness for distributed data-collection tasks performed by failure-prone mobile agents employing techniques inspired from animal foraging and swarm intelligence. Results show how agents are able to collect and replicate data from the entire target space despite agent failures. Then, the performance and robustness of the pheromone-based algorithm and random exploration are studied for data collection in complex networks, with different topologies (Lattice, Small-world, Community and Scale-free). Experimental results show that network topologies impact data collection and synchronisation and that the proposed pheromone-based approach can improve performance and success rates across most networks. Next, a replication based self-healing mechanism is proposed. The proposed replication approach uses communication time-outs to determine agent failure, and learns time-outs automatically to minimise false positives. Finally, a model to self-heal the structure of a complex network from node failures is proposed. This model differs from existing approaches in the creation of replicas from existing failing nodes and its links instead of rewiring the network to recover its functionality. Experimental results show that it is possible to recover failures in nodes if nodes know the topology. However, in some cases the topology is unknown or changes dynamically. To solve this problem, the data-collection strategies studied previously are applied to synchronise the network topology. Results show the benefits of this approach with respect to a reference multicast-based solution. By using mobile agents, a good part of the network is maintained with lesser overloads in terms of number of messages compared with multicast. Additionally, the strategy to replicate failing mobile agents is extended to deal with failures in nodes, making possible for agents to synchronise the topology data and to enable nodes holding this information to recover failed agents and neighbouring nodes at the same time. The obtained results provide key information that may help to design distributed systems covering applications like sensor networks, swarm robotics, server clusters, clouds and Internet of Things (IoT).

Resumen: Actualmente, los sistemas distribuidos son una parte fundamental de sistemas basados en la nube, tales como Google y sistemas ciber físicos como ciudades inteligentes y redes eléctricas. Obtener robustez y proveer detección y recuperación de fallas en sistemas distribuidos es un problema difícil porque dichos sistemas están sujetos a condiciones locales y pueden fallar inesperadamente. El objetivo principal de esta investigación es definir algunos algoritmos para lograr robustez y auto-recuperación para resolver el problema de detección y recuperación de fallas en sistemas distribuidos. Esta investigación integra diferentes enfoques inspirados en la naturaleza: mejora la robustez en una tarea de recopilación de datos distribuidos usando agentes móviles propensos a fallas basados en la búsqueda de alimento de animales y especialmente en la inteligencia de enjambres. Los resultados muestran cómo los enjambres recogen y replican información de todo el espacio incluso cuando ocurren fallas. A continuación, se estudia el rendimiento y la robustez del modelo basado en feromonas y la exploración aleatoria para recopilar datos en redes complejas con diferentes topologías (Lattice, Small-world, Community y Scale-free). Los resultados experimentales muestran cómo las topologías de red impactan en la recopilación y sincronización de datos y cómo el enfoque de enjambres propuesto puede mejorar el rendimiento y las tasas de éxito en la mayoría de las redes. A continuación, se define una técnica de auto-curación que crea réplicas de agentes anómalos que les permite completar una tarea de sincronización de datos incluso para altas tasas de fallas. El enfoque de replicación propuesto aprende y estima los tiempos límite del movimiento de agentes minimizando los falsos positivos. Finalmente, se propone un modelo para auto-curar la estructura de una red compleja a partir de fallas en los nodos. Una diferencia con otros trabajos revisados, es que el modelo crea réplicas de los nodos que fallan y sus enlaces en lugar de reconectar la red para recuperar la funcionalidad. Los resultados experimentales muestran que es posible recuperar fallas en los nodos si los nodos conocen la topología. Sin embargo, hay casos en que la topología es desconocida o cambia dinámicamente. Para resolver este problema, las estrategias estudiadas para recopilar datos se aplican para sincronizar la topología de la red y compararlas con respecto a una solución de multidifusión de referencia. Mediante el uso de agentes móviles, una buena parte de la red se mantiene con menos sobrecargas en términos de cantidad de mensajes en comparación con multidifusión. Además, la estrategia para replicar los agentes móviles que fallan se amplía para tratar las fallas en los nodos haciendo posible que los agentes sincronicen los datos de topología y logrando que los nodos puedan recuperar los agentes móviles y otros nodos al mismo tiempo. Los resultados obtenidos proveen información clave que puede ayudar a diseñar sistemas distribuidos cubriendo aplicaciones como redes de sensores, robótica de enjambres, clústeres de servidores, nubes e Internet de las cosas.