Menü
Toolkits
Kollektive Hörpraxis und Experimentieren: Motion Tracking und Feinanpassung interaktiver Soundsysteme im Studio-Kontext.
Zwischen Spiel und Forschung: Studierende erproben sensorische Interfaces (Oddball) und performative Ansätze.
Klangliche Improvisation mit Alltagsobjekten und modifizierten Instrumenten – Sensoren erweitern Musikinstrumente und die taktile Klangwahrnehmung.
Klang und Bewegung im Dialog – choreografische Exploration mit dem interaktiven soundKIT.
Sensorbasierte Klangsteuerung in Echtzeit: Körperliche Bewegung als musikalisches Interface.
Workshop mit dem soundKIT: Gemeinsames Experimentieren zwischen KI-gestützter Klanggenerierung und performativer Praxis.
Individuelle Betreuung im Stable Audio-Workshop – Klangerzeugung und Codierung verschmelzen zu einer forschenden Lernumgebung.
Von InKüLe entwickelte grafische Oberfläche zur Generierung von Audiodateien mit Stable Audio Open.
Mit dem soundKIT lassen sich eigene Audiomodelle trainieren, um spezifische Klänge zu erzeugen.

soundKIT

Das soundKIT vereint zwei technisch und ästhetisch unterschiedliche Tools zur klanglichen Gestaltung, Forschung und Lehre im Bereich von Sound & Technologie: das interaktive Sound Tool, das aus mobilen Sensoren, Interfaces und Softwarelösungen zur bewegungsbasierten Klangsteuerung besteht und sich besonders für explorative Formate, Installationen, Bühnenarbeiten oder partizipative Vermittlungsszenarien eignet; und das Stable Audio Open Tool, das auf einem von Stability AI veröffentlichten Open-Source-Modell für KI-gestützte Audiogenerierung basiert. Es erlaubt die Erzeugung von Klängen und musikalischen Strukturen auf Grundlage von Text- oder Audio-Prompts und ist lokal auf einem leistungsstarken Laptop mit GPU lauffähig. Beide Systeme eröffnen Perspektiven auf zeitgenössische klangliche Praxis von direkter Interaktion bis zu algorithmisch erzeugter Klangsynthese. Hierzu bildet das soundKIT eine mobile und flexible Einheit für klangliche Gestaltung mit verschiedenen Quellen, Eingangsformaten und Arbeitsweisen.

 

soundKIT– Basic Facts

 
WER

Nutzer:innen des soundKIT sind Lehrende, Studierende und Künstler:innen aus den Bereichen Klangkunst, Performance, Komposition und Medientechnologie.

WIE

Das soundKIT ist unmittelbar einsatzbereit: Ein vorkonfigurierter Rechner mit installierter Software und Soundkarte ermöglicht einen schnellen Start – ganz ohne Programmierkenntnisse. In der Anwendung zeigt sich das System äußerst flexibel: Bewegungen können über Sensorik direkt auf Klangparameter gemappt oder KI-basierte Prompts eingegeben werden, um neue Klangmaterialien zu erzeugen. Die Ergebnisse lassen sich sofort anhören, aufnehmen und in gängigen Produktionsumgebungen weiterverarbeiten. Dank seines mobilen und offline-fähigen Aufbaus kann das soundKIT sowohl im Seminarraum als auch im Studio oder auf der Bühne genutzt werden – unabhängig von Cloud-Diensten und mit voller Datensouveränität.

WAS

Das soundKIT bildet ein modulares Toolkit, das zwei Systeme anbietet: ein interaktives Kit für die direkte Verbindung von Körperbewegung und Klang und ein Stable Audio Open Kit für KI-gestützte Audiogenerierung und das Training eigener Modelle.

WARUM

Das soundKIT fördert neue Wege des Lernens, Gestaltens und Forschens an der Schnittstelle von Körper, Klang und künstlicher Intelligenz. Es schafft mobile, leicht zugängliche Infrastrukturen, die individuelle Experimente und kollaborative Szenarien gleichermaßen ermöglichen – von Live-Performances bis zu forschungsorientierten Workshops.

 

Technologien

Das soundKIT bietet interaktive Klangsteuerung mit algorithmischer Klangerzeugung an. Beide Systeme sind unabhängig nutzbar und lassen sich kombinieren, etwa indem die KI-generierte Audiofiles durch Bewegungssensoren moduliert oder transformiert werden. Das gesamte System ist mobil, offline-fähig und für den Einsatz in Studios, Laboren, Bühnen und Lehrveranstaltungen geeignet. Dank vorkonfigurierter Softwareumgebungen können Nutzende sofort starten, ohne tiefere Programmierkenntnisse zu benötigen.  

Als Hardwarekomponenten gehören zum soundKIT:
  • Laptop mit RTX-4070-GPU, Dual-Boot (Linux / Windows)
  • Audiointerface (Focusrite 4i4 4th Gen oder Focusrite 18i6 3rd Gen)
  • Kopfhörer oder Monitorlautsprecher
Softwarekomponenten für das interaktives soundKIT sind:
  • Ableton Live (mit Max for Live) oder SuperCollider
  • OSC-fähige Mappings für Sensorintegration. Verfübare Sensoren: Webkamera, Smartphone (Beschleunigungssensoren), Oddball, Kontaktmikrophone
Softwarekomponenten für das Stable Audio Open soundKIT sind:
  • stable-audio-tools (Python-basierte Umgebung)
  • Stableaudio GUI für Prompting, Modellverwaltung und Training.

Für eine gute Konnektivität stehen Wireless-Sensoren (Bluetooth/Wi-Fi) und OSC-Kommunikation für Echtzeit-Datenübertragung zur Verfügung.

 

Interaktives soundKIT

Das Interaktive soundKIT wurde im Rahmen des Workshops „Sound in Motion“ entwickelt. Es ermöglicht die Umwandlung von Körperbewegung in Klang durch mobile Sensoren, die Beschleunigung und Gestik erfassen. Die Sensordaten werden über OSC an einen Computer gesendet und in Softwareumgebungen wie Ableton Live (mit Max/MSP) oder SuperCollider eingebunden.

Eine flexible Mapping-Umgebung erlaubt es, Bewegungen mit unterschiedlichen Klangparametern zu verknüpfen: Die Dynamik einer Bewegung wird mit der Dynamik des Klanges verbunden – schnelle oder kraftvolle Gesten erzeugen lautere, dichtere Sounds, sanfte Bewegungen erzeugen weichere Texturen. Richtungen, Rotationen und Impulse können Filter, Effekte oder rhythmische Strukturen steuern.

Die Qualitätsmerkmale sind:
  • intuitiv erfahrbare und unmittelbare Verbindung zwischen Bewegung und Klang
  • flexibel einsetzbar für Performances, Installationen und in der Lehre
  • einfach anpassbar an unterschiedliche Körper, Räume und Formate
  • mobil und niederschwellige Bedienung
  • Mappings leicht und schnell veränderbar
  • Zusammenspiel von Sensorik und Software erfordert Einarbeitungszeit
  • Empfindlich gegenüber unpräzisen Bewegungen oder Störungen im Raum

 

Stable Audio Open soundKIT

Das Stable Audio Open-Modell von Stability AI erweitert den interaktiven Ansatz durch KI-basierte Klanggenerierung und kann auf Basis von Text- oder Audio-Prompts realistische Audiobeispiele erzeugen. Die erarbeitete InKüLe-Version Stableaudio GUI läuft lokal auf einem vorinstallierten, leistungsstarken Laptop und erlaubt eine intuitive Nutzung ohne Programmierkenntnisse.

Die Qualitätsmerkmale sind:
  • Generierung von Klang, Loops und musikalischen Texturen aus Prompts
  • Verwaltung und Auswahl mehrerer Modelle
  • Export von Ergebnissen in WAV Format für gängige DAWs
  • Offline-Nutzung ohne Cloud-Verbindung

Das Kit erlaubt zudem die lokale Feinabstimmung mit eigenen Audiomaterial. Datensätze werden vorbereitet (Mono / 44,1 kHz / 10 s), in Text- und Audio-Embeddings umgewandelt (T5 / Encodec) und durch ein Diffusionsmodell trainiert. Alle notwendigen Skripte und Konfigurationen sind auf dem Laptop vorinstalliert. Damit ist ein Training eigener Modelle möglich.

Mögliche Einsatzbereiche sind:
  • Künstlerische Forschung zu KI-Ästhetik und maschinellem Hören
  • Sonifikation von Bewegung und multisensorische Wahrnehmung
  • Training eigener KI-Modelle für künstlerische Fragestellungen
  • Kritische Auseinandersetzung mit Datenqualität, Ästhetik und Ethik von KI
  • Generative Musik- und Sounddesign-Projekte
  • Sensorbasierte Performances und bewegungsgesteuerte Klanglandschaften
  • Kombination von Interaktion und algorithmischer Komposition
  • Lehre zu Prompting, Modellverständnis und Datenpolitik
Weitere Qualitätsmerkmale sind:
  • Einfache, grafische Bedienung – auch ohne Programmierkenntnisse nutzbar
  • Offline und datensouverän einsetzbar in Lehre, Studio oder Forschung
  • Eröffnet neue kreative Ansätze durch KI-gestützte Klangerzeugung
  • Generierung und Training benötigen Zeit und Konzentration
  • Klangresultate können je nach Prompt oder Datensatz stark variieren

 

Experimente und Szenarien

 

Sound in Motion – Setup-Anleitung

Stable Audio Open – User Guide

 

Experimente und Szenarien