Fairness Analysis of Multi-tenant Applications on Multi-Instance GPUs
Jane Rhee, Myung Kuk Yoon · Journal of the Institute of Electronics and Information Engineers · 2023
최근 클라우드 서비스 등이 증가함에 따라 하나의 그래픽 프로세싱 유닛에서 여러 애플리케이션이 한정된 리소스를 분할하여 사용하는 멀티 테넌트 연산 환경이 보편화되고 있다. 이에 따라 각 애플리케이션이 얼마나 공정하게 리소스를 할당 받는지에 대한 관심이 높아지고 있다. 본 연구는 Multi-Instance 그래픽 프로세싱 유닛을 사용하여, 스트리밍 멀티프로세서 슬라이스 및 메모리 슬라이스 개수에 따른 애플리케이션의 성능 패턴을 분석하였다. 이를 기반으로, 동일한 패턴을 가지는 두 애플리케이션이 하나의 그래픽 프로세싱 유닛에서 동시에 실행될 때와 서로 다른 패턴을 가지는 두 애플리케이션이 하나의 그래픽 프로세싱 유닛에서 동시에 실행될 때, 각 애플리케이션에게 할당한 슬라이스 개수에 따른 공정성을 분석하였다. 그 결과 슬라이스 개수를 절반씩 분할하거나, 특정 애플리케이션의 성능이 포화되는 지점을 기준으로 슬라이스 개수를 분할하는 경우에 공정성이 가장 높다는 사실을 확인하였다. 본 논문의 기여는 다음과 같이 정리할 수 있다. (i) 슬라이스의 개수에 따른 성능 패턴을 분석하여 애플리케이션을 세 가지 형태로 분류하였고, (ii) 동일한 성능 패턴을 가지는 애플리케이션이 하나의 그래픽 프로세싱 유닛에서 동시에 실행될 때 가장 높은 공정성을 도출하는 방법을 제시하였으며, (iii) 서로 다른 성능 패턴을 가지는 애플리케이션이 동시에 실행될 때 가장 높은 공정성을 도출하는 알고리즘을 제시하였다.