Polyspring : a Python Toolbox to Manipulate 2-D Sound Database Representations

Victor Paredes (1, 2) , Frédéric Bevilacqua (1) , Jules Françoise (3, 4, 5)

1 Interaction Son Musique Mouvement
2 STMS - Sciences et Technologies de la Musique et du Son
3 AMI - Architectures et Modèles pour l'Interaction - LISN
4 LISN - Laboratoire Interdisciplinaire des Sciences du Numérique
5 AMI - Architecture et Modèles pour l'Interaction

Corpus-based concatenative sound synthesis is typically used with a projection or reduction of the sound parameter space to a 2-dimensional map where sound segments form point clouds that can be visualized and explored with a mouse or a touch interfaces. While this is satisfying with visual feedback, where possibly sparse and heterogeneous sound spaces can be easily controlled, this remains chal- lenging or impractical without visual feedback and using whole-body movements. We present polyspring, a Python toolbox dedicated to manipulating the distribution of a set of points in a 2- Dimensional plane. This package implements an algorithm based on a spring network simulation that can redistribute points according to a density target within a given bounded region while preserving the initial order between points. We made several modifications and additions to the previously published unispring algorithm to allow for concurrently in- teracting with the dataset and manipulating the distribution in real time. The toolbox is open-source and can be used with Max/MSP. We also present different applications of this toolbox in movement-based sound interaction.

La synthèse sonore concaténative basée sur un corpus est généralement utilisée avec une projection ou une réduction de l'espace des paramètres sonores en une carte bidimensionnelle où les segments sonores forment des nuages de points qui peuvent être visualisés et explorés à l'aide d'une souris ou d'une interface tactile. Bien que cela soit satisfaisant avec un retour visuel, où des espaces sonores éventuellement épars et hétérogènes peuvent être facilement contrôlés, cela reste difficile ou peu pratique sans retour visuel et en utilisant des mouvements du corps entier. Nous présentons polyspring, une boîte à outils Python dédiée à la manipulation de la distribution d'un ensemble de points dans un plan à deux dimensions. Cette boîte à outils implémente un algorithme basé sur la simulation d'un réseau de ressorts qui peut redistribuer des points selon un objectif de densité dans une région limitée donnée tout en préservant l'ordre initial entre les points. Nous avons apporté plusieurs modifications et ajouts à l'algorithme unispring publié précédemment pour permettre d'interagir simultanément avec l'ensemble de données et de manipuler la distribution en temps réel. La boîte à outils est open-source et peut être utilisée avec Max/MSP. Nous présentons également différentes applications de cette boîte à outils dans l'interaction sonore basée sur le mouvement.

Domaines: Interface homme-machine [cs.HC]; Musique, musicologie et arts de la scène

Victor Paredes, Frédéric Bevilacqua, Jules Françoise. Polyspring : a Python Toolbox to Manipulate 2-D Sound Database Representations. Sound Music Computing, KMH Royal College of Music; KTH Royal Institute of Technology, Jun 2023, Stockholm, Sweden. ⟨10.5281/zenodo.8399016⟩. ⟨hal-04195875⟩