An adaptable workload-agnostic flow scheduling mechanism for Data Center Networks

Abstract

Cloud applications are an important phenomenon on the modern use of Internet. Search engines, social networks, content delivery and retail and e-commerce sites belong to this group of applications. These applications run on specialized facilities called data centers. An important element in the architecture of data centers is the communication infrastructure, commonly known as data center network (DCN). One of the challenges that DCN have to address is the satisfaction of service requirements of the applications expressed in terms of high responsiveness and high performance. In order to address this challenge, the traffic associated to these applications needs an special handling due to its properties which makes it essentially different to the traffic of other Internet applications such as mail or multimedia services. In order to contribute to the achievement of the previously mentioned performance goals, DCN should be able to prioritize the short flows (a few KB) over the long flows (several MB). However, given the time and space variations that the traffic presents, the information about flow sizes is not available in advance in order to plan the flow scheduling. In this thesis we present an adaptable workload-agnostic flow scheduling mechanism called AWAFS. It is an adaptable approach capable to agnostically adjust the scheduling configuration within DCN switches. This agnostic adjustment contributes to reduce the Flow Completion Time (FCT) of those short flows representing around 85 % of the traffic handled by cloud applications. Our results show that AWAFS can reduce the average FCT of short flows up to 24 % when compared to an agnostic non-adaptable state-of-the-art solution. Indeed, it can provide improvements of up to 60 % for medium flows and 39 % for long flows. Also, AWAFS can improve the FCT for short flows in scenarios with high heterogeneity in the traffic present in the network with a reduction of up to 35 %.

Resumen: Las denominadas aplicaciones en nube son un fenómeno importante en el uso moderno de internet. Los motores de búsqueda, las redes sociales, los sistemas de distribución de contenido y los sitios de comercio electrónico, entre otros, pertenecen a este tipo de aplicaciones. Éstas corren en instalaciones especializadas denominadas centros de datos. Un elemento importante en la arquitectura de los centros de datos es la infraestructura de comunicaciones, conocida como la red del centro de datos. Un desafio crı́tico que la red de centro de datos tiene que abordar es el procesamiento del tráfico de las aplicaciones, el cual debido a sus propiedades es esencialmente diferente de el de otras aplicaciones de Internet tales como el correo electrónico o los servicios multimediales. Para contribuir al logro de las metas de desempeño de alta capacidad de respuesta y alto desempeño, la red del centro de datos deberı́a ser capaz de diferenciar y priorizar adecuadamente los flujos pequeños (Unos cuantos Kilobytes) con respecto a los flujos grandes (Varios Megabytes). Sin embargo, dadas las variaciones espacio temporales que presenta el tráfico de las aplicaciones, la información de los tamaños de los flujos no está disponible de antemano para poder programar la tranmisión de los mismos. En esta tesis presentamos un mecanismo de conmutación de flujos adaptable y agnóstico con respecto a las cargas de trabajo presentes en la red denominado AWAFS por su sigla en inglés. AWAFS plantea un enfoque adaptable, capaz de ajustar de manera agnóstica la configuración de conmutación al interior de los suiches de la red del centro de datos. Este ajuste agnóstico contribuye a reducir el tiempo de completación de los flujos pequeños, los cuales representan entre un 85 % y un 95 % del tráfico manejado por las aplicaciones. Nuestros resultados muestran que AWAFS puede reducir hasta en un 24 % el tiempo promedio de completación de los flujos cuando se compara con una técnica agnóstica no adaptable presentada en el estado del arte, sin inducir inanicción en los flujos grandes. En efecto, AWAFS puede proporcionar mejoras de hasta un 60 % para los flujos medios y 39 % para los flujos grandes. Por su adaptabilidad, AWAFS también logra obtener esta mejora en escenarios con alta heterogeneidad en el tráfico presente en la red, ofreciendo una reducción de hasta 35 % en el tiempo promedio de completación para los flujos pequeños.