Methods for increasing Apache Spark performance on heterogeneous memory systems
Свешникова Светлана Юрьевна, Svetlana Sveshnikova · Research Repository Saint Petersburg State University (Saint Petersburg State University) · 2018
Фреймворк Apache Spark и соответствующая ему экосистема становятся все более популярна и не только в больших коммерческих фирмах. Все больший интерес к использованию фреймворка проявляют научные организации. Фреймворк разрабатывался с учетом запросов бизнеса, которому требовалось недорогое, но при этом хорошо масштабируемое решение, использующее недорогие и стандартные компоненты. У научных организаций своя специфика задач, и требования к оборудованию отличаются. Интерес к технологии побуждают использовать фреймворк на нестандартном для него оборудовании. В работе рассматриваются способы повышения производительности Apache Spark на конфигурациях, отличных от общепринятых. Анализируются преимущества и недостатки рассмотренных методов.