A novel secure deep ensemble learning protocol based on Conjugacy search problem homomorphic encryption scheme
Luong The Dung, Hoang Duc Tho, Nguyễn Hoàng Anh, Tran Anh Tu · Journal of Science and Technology on Information security · 2022
Abstract—Nowadays, machine learning and deep learning have been widely employed. User privacy is an issue to consider in problems such as medicine, and finance. Machine learning models not only require accurate predictions but also ensure the privacy and security of data for users. In this paper, we propose a method to ensure the privacy for training and using deep learning models that employs a homomorphic encryption scheme based on the conjugate search problem. This method implements encryption on the data before transferring them to a cloud server, which stores local deep learning models from participants to predict the encrypted data, then the encrypted prediction results are sent back to users, and they perform decryption to get the model’s prediction result. These results can also be assembled to create a new training dataset for a model from the client. It is evident that our proposed model on the MNIST dataset produces an accuracy over 98% with some very simple network architectures and approximates the accuracy of centralized complex models, which does not ensure privacy. Tóm tắt— Hiện nay, học máy và học sâu nói chung đã và đang được ứng dụng rất rộng rãi. Tuy nhiên, trong nhiều bài toán như y tế, tài chính, dữ liệu riêng tư của người dùng là một vấn đề cần xem xét. Các mô hình học máy không chỉ yêu cầu dự đoán chính xác mà còn cần đảm bảo được tính riêng tư và bảo mật của dữ liệu cho người dùng. Trong bài báo này, nhóm tác giả trình bày một phương pháp đảm bảo tính riêng tư cho việc huấn luyện và sử dụng các mô hình học máy đặc biệt là học sâu sử dụng hệ mã hóa đồng cấu dựa trên bài toán tìm kiếm liên hợp. Phương pháp pháp mã hóa đồng cấu này thực hiện mã hóa dữ liệu trước khi gửi lên các máy chủ đám mây, nơi lưu trữ mô hình học học sâu cục bộ của các bên tham gia để đưa ra các dự đoán tương ứng trên dữ liệu đầu vào ở dạng mã hóa, sau đó kết quả dự đoán sẽ được trả về người dùng và người dùng thực hiện giả mã để nhận được kết quả dự đoán của mô hình. Các kết quả này cũng có thể được xây dựng thành một bộ dữ liệu huấn luyện để thực hiện quá trình xây dựng và huấn luyện lại một mô hình cho máy khách. Nhóm tác giả chỉ ra rằng, mô hình đề xuất của nhóm tác giả trên bộ dữ liệu chuẩn MNIST cho độ chính xác lên tới gần 99% với kiến trúc mạng rất đơn giản và gần như có độ chính xác xấp xỉ với các mô hình phức tạp tập trung không đảm bảo tính riêng tư cho dữ liệu.