Investigating reproducibility of no-code autoML-driven research papers
Gatternig, Elias · Unipub UB Graz (Universität Graz) · 2024
Die ML-Gemeinschaft ist zunehmend besorgt über die Reproduzierbarkeit veröffentlichter Studien. Frühere Studien haben gezeigt, dass es No-Code AutoML-Plattformen, die ML für Laien zugänglich machen, oft an der für die Reproduzierbarkeit notwendigen Transparenz mangelt. Diese Masterarbeit untersucht die Reproduzierbarkeit von No-Code AutoML-basierten Studien mit dem Ziel, Dokumentationsanforderungen zu identifizieren, die die Reproduzierbarkeit solcher Studien unterstützen. Eine systematische Literaturrecherche wurde durchgeführt, um die minimalen Dokumentationsanforderungen traditioneller ML-basierter Studien zu identifizieren und einen Leitfaden für die Bewertung der Dokumentation ML-basierter Studien zu entwickeln. Explorative Reproduzierbarkeitsexperimente wurden an Studien durchgeführt, die Vertex AI als Teil ihres Workflows verwenden, um Hindernisse für die Reproduzierbarkeit zu identifizieren und Empfehlungen für die Dokumentation zur Unterstützung der Reproduzierbarkeit zu geben. Die Dokumentation der ausgewählten Forschungsarbeiten wurde mit Hilfe des entwickelten Leitfadens untersucht. Die Ergebnisse zeigten, dass aktuelle No-Code AutoML-basierte Studien keine ausreichende Dokumentation bieten, um Reproduzierbarkeit zu ermöglichen. Es zeigte sich auch, dass kommerzielle No-Code Plattformen wie Vertex AI nicht die notwendigen Informationen und Unterstützung für die Reproduzierbarkeit bieten. Diese Masterarbeit trägt zum Diskurs über wissenschaftliche Transparenz bei, indem sie Dokumentationsempfehlungen zur Verbesserung der Reproduzierbarkeit von No-Code AutoML-basierten Studien gibt. Zukünftige Forschung ist notwendig, um diese Ergebnisse in verschiedenen Bereichen und mit verschiedenen Werkzeugen zu validieren.