Design and Implementation of JNI Interface of PCIe NTB Interconnect Network for RDMA-based HDFS
Min-Jae Ji, Byeong-Hyun Ko, Dong-Ryeol Sin, S. Kim, Seung‐Ho Lim · The Journal of Korean Institute of Information Technology · 2021
다중의 노드를 연결하여 Cluster로 구성하는 HPC 시스템은 인터커넥트 네트워크 성능이 전체 시스템의 성능에 영향을 많이 미친다. 이러한 Infiniband, PCIe NTB와 같은 PCIe 인터페이스로 연결된 인터커넥트 네트워크에서는 RDMA(Remote Direct Memory Access) 기반 데이터 전송이 널리 활용된다. 한편, 최근에는 VM 기반 언어인 Java가 HPC에서 주로 사용되었던 컴파일 기반 언어와의 성능 격차가 점차 감소 되면서 HDFS(Hadoop Distributed File System)와 같이 Java로 구현된 HPC 시스템이 널리 활용되고 있다. PCIe 표준에 기반한 인터커넥트 네트워크 인터페이스인 PCIe NTB 인터커넥트 장치가 개발되었지만, Java에서 RDMA를 직접 사용할 수 있는 인터페이스가 제공되지 않는다. 본 논문에서는 Dolphin 사의 PCIe NTB 기반의 인터커넥트 네트워크에서 네이티브 API로 제공되는 RDMA 통신을 JNI(Java Native Interface)를 통해 자바에서 구현하고, 이를 이더넷 소켓과 비교함으로써 실제 시스템에서 활용 가능성과 성능을 고찰해 본다.