Iterative design in DMIs and AMIs: expanding and embedding a high-level gesture vocabulary for T-Stick and GuitarAMI
Eduardo Meneses · eScholarship@McGill (McGill) · 2022
Les instruments de musique numériques et augmentés (IMN/IMA) sont créés à l'aide de capteurs, d'actionneurs et d'unités de production sonore (synthèse). Maîtriser les techniques instrumentales est l'une des exigences pour développer une expertise pour tout instrument, y compris les IMN/IMA.Une différence critique entre les IMN/IMA et les instruments conventionnels est que les commandes de l'utilisateur et la production sonore ne sont pas couplées acoustiquement.Pour cette raison, les mappages IMN/IMA entre les gestes instrumentaux et les unités de synthèse sont arbitraires, et les interprètes ne peuvent pas s'appuyer sur le son pour créer et pratiquer des techniques instrumentales IMN/IMA transférables entre interprètes ou pièces. Une solution possible consiste à créer un ensemble de techniques basées sur des descripteurs gestuels de haut niveau, ce qui mène à construire des couches de mappage intermédiaires pour exposer le vocabulaire gestuel des IMN/IMA. Ce vocabulaire gestuel de haut niveau est créé à partir des données de capteurs traitées et organisées par mouvement plutôt que par sortie sonore.Cette thèse se focalise sur deux questions de recherche liées à la performance et au développement de l'expertise avec les IMN/IMA : 1) comment les concepteurs d'instruments, les compositeurs et les interprètes développent et étendent les vocabulaires gestuels pour IMN/IMA ; 2) comment ce vocabulaire impacte-t-il la performance et l'enseignement avec les IMN/IMA ?Nous avons étudié par conception itérative les aspects de l'exploration des instruments directement liés à la conception, la fiabilité, la contrôlabilité et la jouabilité des IMN/IMA. Un vocabulaire gestuel de haut niveau a émergé des paramètres identifiés et de l'exploration gestuelle et a été intégré dans nos IMN/IMA.Nous avons proposé deux projets de recherche-création pour explorer comment les compositeurs et les interprètes apprennent à jouer des IMN/IMA spécifiques, créent des techniques instrumentales basées sur le geste et, comment l'accessibilité du vocabulaire gestuel de haut niveau impacte l'engagement des interprètes.A travers des observations, nous avons vérifié le rôle d'un vocabulaire gestuel déjà établi pour l'engagement des interprètes et l'impact du vocabulaire sur le processus d'apprentissage. Nous avons constaté qu'intégrer des descripteurs gestuels de haut niveau dans le micrologiciel du contrôleur et exposer leurs paramètres de mappage facilite l'accès aux techniques instrumentales et la communication pendant les performances d'ensemble.Cette thèse aide les interprètes, les compositeurs, les concepteurs et les chercheurs en technologie musicale à comprendre comment les utilisateurs interagissent avec les IMN/IMA.Les contributions de la thèse s'étendent à la façon dont les concepteurs peuvent faciliter l'utilisation de ces instruments en fournissant et en favorisant la création d'un vocabulaire gestuel de haut niveau