Qos improvement within distributed environments through the use of SLAs
Conejero Bañón, Francisco Javier · Dialnet (Universidad de la Rioja) · 2014
Los entornos distribuidos permiten el uso compartido de recursos a gran escala para afrontar retos muy variados y cada vez mas grandes, entre los que se encuentran retos de investigacion, ingenieria o negocio. Los entornos Grid [1] y Cloud [2], representan dos de los entornos mas eminentes de computacion distribuida, los cuales se caracterizan por una gran cantidad de recursos, de naturaleza muy variada y dispersa. Los entornos Grid aparecieron basados en la idea de compartir recursos entre diferentes organizaciones y/o personas, fomentando la heterogeneidad y dispersion geografica de los recursos. Alternativamente, los entornos Cloud aparecieron posteriormente con la misma filosofia, pero centrada en la explotacion eficiente de grandes centros de calculo, atenuando los problemas de heterogeneidad y gestion mediante tecnicas de virtualizacion [3]. Los intereses de negocio han crecido ultimamente en ambos entornos [4], y por lo tanto surge la necesidad de establecer contratos formalmente (entre proveedores de servicio y clientes) [5]. Esto se realiza mediante los acuerdos de nivel de servicio (SLAs) [6, 7], gracias a los que es posible especificar los terminos relacionados con la calidad de servicio (QoS) esperados por los clientes (ej., tiempo de respuesta, disponibilidad, etc.). Sin embargo, ambos entornos presentan una alta variabilidad, lo que dificulta la provision de QoS en la practica. Esto es un gran problema cuando se trata de garantizar los terminos acordados mediante SLAs, puesto que su objetivo es establecer contractualmente los requisitos que los clientes esperan obtener, implicando legalmente a ambos participantes en los resultados de negociacion y aprovisionamiento de la QoS. Consecuentemente, la garantia de que las peticiones son procesadas con la QoS solicitada representa un problema que debe ser afrontado, mejorando la confiabilidad de estos sistemas. Una posible solucion para mejorar la QoS en entornos Grid, puede ser la explotacion de multiples mecanismos de aprovisionamiento de QoS que pueden estar disponibles en los recursos del Grid, de forma eficiente y coordinada. Esto implica utilizar multiples mecanismos, tales como planificacion [8] y reservas por adelantado [9, 10], asi como tecnicas de replanificacion [11]. De forma que se exploten las ventajas de los distintos mecanismos con el objetivo de mejorar, tanto la utilizacion de los recursos, como la garantia de que los usuarios reciben la QoS adecuada. Alternativamente, una solucion para mejorar la QoS en entornos Cloud, puede ser la aplicacion de planificacion por adelantado en conjuncion con el conocimiento del comportamiento de determinados servicios en la gestion de los recursos virtuales dedicados para los usuarios, como por ejemplo, el consumo energetico, las politicas de despliegue o el dimensionamiento de recursos en funcion de los requisitos de los usuarios [12, 13]. El objetivo principal de esta Tesis es la mejora de los sistemas subyacentes para ofrecer cierta QoS, garantizando la satisfaccion de los terminos acordados mediante SLAs, en entornos Grid y Cloud reales, mediante el uso eficiente de los mecanismos existentes. CONTENIDO DE LA INVESTIGACION En la presente Tesis se propone una arquitectura capaz de manejar diferentes mecanismos de planificacion de forma simultanea, ofreciendo diferentes QoS en funcion de las peticiones de los usuarios y de los mecanismos disponibles en entornos Grid. Esta arquitectura esta basada en la explotacion simultanea de tres mecanismos: planificacion por adelantado, reservas por adelantado y replanificacion. Los resultados experimentales muestran como el uso inteligente de estos mecanismos es capaz de ofrecer un alto nivel de QoS a los usuarios, al mismo tiempo que se hace un uso eficiente de los recursos. En cuanto a los entornos Cloud, se ha disenado una nueva capa denominada Nacreous. Nacreous es capaz de gestionar la infraestructura subyacente dependiendo de diferentes politicas, aplicando planificacion por adelantado. Ademas, ha sido mejorado con el conocimiento del consumo energetico y rendimiento en funcion del despliegue de aplicaciones de Big?Data (Hadoop) [14]. Para ello, ambos ambitos han sido caracterizados. Finalmente, y con el objetivo de mejorar la adaptabilidad, se ha desarrollado un heuristico para el dimensionamiento dinamico de recursos virtuales para Hadoop, provisto como servicio en entornos Cloud mediante el modelo infraestructura como servicio (IaaS). Mas especificamente, esta Tesis presenta las siguientes contribuciones: - Desarrollo de una arquitectura para el soporte de SLAs en entornos Grid reales. - Explotacion de multiples mecanismos de planificacion de forma coordinada. - Soporte de multiples niveles de QoS en entornos Grid, mediante la confiabilidad que cada mecanismo de planificacion provee. - Desarrollo de una arquitectura para el soporte de SLAs en entornos Cloud reales. - Extraccion del modelo de consumo energetico de un entorno Cloud para aplicaciones de Big?Data, Hadoop en particular. - Analisis del comportamiento de Hadoop en entornos Cloud distribuidos. - Analisis e impacto de las metricas de consumo energetico y localidad en los SLAs. - Gestion autonoma de los servicios Cloud para mejorar la eficiencia de estos entornos mediante la explotacion de la planificacion por adelantado, dimensionamiento adaptativo y eficiencia energetica. CONCLUSION Los entornos Grid y Cloud representan dos de los entornos computacionales mas eminentes, caracterizados por una gran cantidad de recursos, diferentes entre si y geograficamente dispersos. Sin embargo, proveer garantias de calidad de servicio a los usuarios de estos entornos es una tarea muy dificil y compleja. Su naturaleza distribuida y altamente variable, junto con la gran variedad de recursos y mecanismos de gestion disponibles, dificulta la explotacion optima de estas infraestructuras. Para afrontar este reto en entornos Grid, los mecanismos de calidad de servicio actuales disponibles en los recursos (e.g., metaplanificadores, reservas, seguridad, etc.), estan disenados para actuar a diferentes niveles, de forma independiente y con propositos diferentes. Sin embargo, los recursos asociados a entornos Cloud pertenecen al proveedor del Cloud, permitiendo un mayor control y gestion sobre la infraestructura, pero existen dificultades para proveer calidad de servicio debido fundamentalmente a la variabilidad experimentada. La implantacion de SLAs en estos entornos implica afrontar estos problemas, y por este motivo se ha tratado en la Tesis. El resultado de este trabajo han sido dos arquitecturas y softwares, uno para cada entorno, capaz de proveer garantias de QoS y un servicio de SLAs eficiente y compatible con el estandar WS-Agreement. Mas en detalle, se ha estudiado y conseguido la gestion de multiples mecanismos de planificacion y reservas por adelantado de forma conjunta y organizada, junto con tecnicas de prediccion, para tratar este problema en entornos Grid. La gestion de estos mecanismos se ha mejorado con la inclusion de tecnicas de replanificacion, reduciendo la fragmentacion del sistema, maximizando la cantidad de SLAs procesados y minimizando la cantidad de SLAs violados, asi como mejorando el ratio de trabajos con mayores requisitos de QoS procesados. Ademas, la utilizacion de los diferentes mecanismos se ha realizado para ofrecer diferentes niveles de QoS (con terminos de alto nivel basados en la confianza en el SLA). En cuanto a los entornos Cloud, la variabilidad del sistema ha sido afrontada mediante el analisis del consumo energetico y los modelos de despliegue, considerando multiples aplicaciones Hadoop y entornos virtuales, con el objetivo de mejorar el conocimiento de su comportamiento, y de esta manera poder mejorar la QoS. Este conocimiento ha demostrado ser util para potenciar la utilizacion de SLAs en entornos Cloud mediante la mejora de las garantias del servicio. Ademas, se ha disenado y evaluado un algoritmo novedoso y eficiente para el aprovisionamiento de clusters virtuales para Hadoop en entornos Cloud. Todas estas propuestas han sido evaluadas en entornos Grid y Cloud reales. Los resultados muestran que la QoS general puede mejorarse significativamente (ofreciendo mejoras en las garantias de ejecucion de los trabajos asociados a los SLAs), se incrementa tanto el numero de SLAs aceptados como los procesados satisfactoriamente haciendo uso de mecanismos de planificacion eficientes. Para ello se tiene en cuenta el modelo de consumo energetico obtenido y la caracterizacion realizada sobre los modelos de despliegue. Ademas, la informacion extraida de las operaciones y comportamiento del servicio ofrecido es util para determinar la cantidad de recursos necesarios para satisfacer una determinada peticion de SLA (en este caso para Hadoop). Esta informacion permite a los proveedores de servicios Cloud mejorar la QoS provista y mejorar la utilizacion de los recursos fisicos.