0006/2011 - Threats to Validity in Search-based Software Engineering Empirical Studies
Márcio de Oliveira Barros, Arilo Claudio Dias‐Neto · RelaTe-DIA · 2011
O uso de experimentos para avaliar e comparar algoritmos tem sido uma tendencia recente na area de computacao. O mesmo pode ser dito para a area de engenharia de software, onde os principais estudos experimentais nesta area foram publicados, normalmente, a menos de vinte anos. Experimentos em search-based software engineering (SBSE), ou engenharia de software baseada em buscas, compartilham as limitacoes provenientes da imaturidade de ambas suas areas de origem (engenharia de software e otimizacao combinatoria). Uma dessas limitacoes esta relacionada a carencia de uma lista de ameacas a validade que podem afetar experimentos em SBSE. Neste trabalho, e proposta uma lista de ameacas a validade para experimentos em SBSE baseada em um framework proposto na area de Engenharia de Software Experimental (ESE). Ainda e apresentada uma abordagem sistematica para avaliar quao abrangentes um artigo cientifico e em relacao a descricao de tais ameacas. Ao aplicar esta abordagem a artigos cientificos publicados nas duas primeiras edicoes do International Symposium on Search-Based Software Engineering (SSBSE), percebeu-se que as principais limitacoes do projeto experimental dos experimentos descritos nesses artigos estao relacionadas a descricao de ameacas a validade internas, externas e de constructo, enquanto que ameacas a validade de conclusao sao mais bem abordadas por estes artigos.