Model Extraction in the Context of Audio Classifiers
Lucas Bourtoule · TSpace (University of Toronto) · 2021
Model extraction is the process of reverse-engineering the parameters of a machine learning model exposed through a query interface. Prior work on this class of attacks focuses on the vision domain for the most part. We demonstrate that subtle, yet crucial, distinctions between learning from audio and vision preclude us from directly applying existing model extraction attacks to audio. A key example is that the discriminative features learned by raw audio models appear to be more task-dependent. To extract audio models we thus need to carefully query the victim model to expose these task-specific or difficult-to-learn representations. To this end, we propose a simple task-dependent extraction approach using generative models to synthesize a diverse pool of candidate queries. Our experimentation shows this approach makes it possible to extract a victim model trained on LibriSpeech using a surrogate dataset, Voxceleb with a test accuracy of 76.51% given a budget of 3M queries. L'extraction de modèles correspond au processus visant à reconstruire par rétro-ingénierie les paramètres d'un modèle d'apprentissage automatique accessible via une interface de requête. Les travaux antérieurs menés sur cette classe d'attaques se sont concentrés pour la plupart sur le domaine de la vision. Nous démontrons l'existence de différences subtiles mais cruciales entre les domaines de l'audio et de la vision qui empêchent l'application des techniques existantes dans le cadre de l'audio. Un exemple marquant nous est donné par le fait que les caractéristiques discriminantes apprises par les modèles travaillant sur des données audio brutes semblent plus dépendantes de la tâche à résoudre qu'en vision. L'extraction de modèles d'audio nécessite ainsi l'utilisation de requêtes bien choisies qui exposent les représentations apprises. Dans ce but, nous proposons une approche d'extraction simple et dépendante de la tâche à résoudre qui utilise des modèles génératifs afin de synthétiser un ensemble divers de signaux candidats pour les requêtes. Nos expériences montrent que notre approche permet d'extraire un modèle cible entraîné sur LibriSpeech à l'aide d'un jeu de données de substitution, Voxceleb, avec une précision de 76,51 % et un budget de 3 millions de requêtes.