Gesture Mapping Lab
Wann
19. / 20. Juni 2025
Wo
Salzufer 13–14, Studio von Mathilde ter Hejine/Performance Art
Format
Zweitägiger Workshop
Lehrender
Tristan Wheeler
Studierende / Studiengänge
Studierende aller Fachrichtungen (transdisziplinär)
Beteiligung InKüLe
Technische Unterstützung und Beratung
Begleitet von
Anastasia Putsykina, Fang Tsai
Text
Sabine Huschka, Anastasia Putsykina
Workshop zur Entwicklung expressiver Interaktionen mit TouchDesigner und Bewegungssensoren
Der Workshop Gesture Mapping Lab wurde im Sommersemester 2025 von Tristan Wheeler konzipiert und gemeinsam mit Anastasia Putsykina und Fang Tsai im Rahmen des Room to Expand Festivals durchgeführt, einem transdisziplinären Festival für performative, zeitbasierte und kollaborative Kunstprojekte an der UdK Berlin. Ein weiterer InKüLe-Workshop in diesem Rahmen war Körper als Interface.
Als studentischer Mitarbeiter im Projekt InKüLe brachte Tristan Wheeler seine Expertise in experimenteller Mediendidaktik, Motion Design und sensorbasierter Interaktion ein, die auch seine eigene künstlerische Praxis von audiovisueller Performance charakterisieren. Seine Arbeiten befassen sich mit Technologien in Installationen, experimentellen Animationen und dynamischen Systemen, die tief in gesellschaftliche Strukturen eingebettet sind. Aktuelle Projekte konzentrieren sich auf Vision-Modelle, maschinelle Wahrnehmung und sensorbasierte Interfaces.
Leitfragen und kreative Interface-Erkundungen
Der zweitägige Workshop richtete sich transdisziplinär an Studierende aller Fachrichtungen der UdK und eröffnete einen praxisorientierten Zugang zur Arbeit mit Bewegung, digitalen Schnittstellen und generativen Bildprozessen. Dabei widmete sich das Gesture Mapping Lab der Frage, wie Gesten, Körperbewegungen und Ausrichtungen als Schnittstellen für audiovisuelle Systeme genutzt werden können. Die Teilnehmenden entwickelten interaktive Setups, die mithilfe von Smartphonesensoren (Beschleunigungsmesser, Gyroskop) Bewegungsdaten in Echtzeit über das OSC-Protokoll an einen Computer übertrugen. Diese Daten wurden in TouchDesigner integriert und für die Erstellung generativer Bildelemente genutzt.
- Wie lassen sich kleine körperliche Impulse – etwa ein Drehen, Neigen oder Gehen – auf digitale Bilder und Klänge abbilden?
- Welche Strategien des „Mappings“ ermöglichen ein intuitives Verhältnis zwischen Bewegung und Medienausgabe?
- Wie kann ein spielerischer, experimenteller Zugang den Aufbau eigener interaktiver Systeme unterstützen?
Die Studierenden arbeiteten mit Open Source Tools, verarbeiteten Sensordaten kreativ und übertrugen Prinzipien aus Musik- und Signalverarbeitung auf visuelle Medien. Im Zentrum stand das sogenannte Prototyping expressiver Interfaces – also die Entwicklung kleiner Experimente, die Bewegungen unmittelbar in Bild- oder Klangreaktionen übersetzen und digitale Rückkopplungen nicht nur technisch, sondern auch ästhetisch erfahrbar machen.
Workshop-Erfahrungen: Vom ersten Setup zur eigenen Gestaltung
Zu Beginn richteten die Teilnehmenden ihre Smartphones mit den Apps ZigSim (iOS) oder Sensors2OSC (Android) ein und übertrugen Sensordaten via Netzwerk an den Laptop. Mit der Software Protokol konnten sie die eingehenden Datenströme sichtbar machen. Tristan Wheeler führte in die Grundlagen visueller Rückkopplung ein. Hierfür nutzte die Gruppe eine vorbereitete Arbeitsdatei in TouchDesigner – ein Feedback-DEMO und Patch, das wie ein Bauplan für visuelle Systeme funktioniert. Ein Feedback erscheint als Kreislauf, in dem ein Bild wiederholt in sich selbst zurückgespielt wird. Schritt für Schritt entstand so ein einfaches Bildfeedback-System mit Operatoren wie Null, Feedback, Composite, Level, Transform und Blur TOP. Schon kleine Gesten – ein Kippen oder Drehen des Smartphones – führten zu unmittelbaren Veränderungen in den generativen Bildern. Am Ende des ersten Tages hatten alle Teilnehmenden ein funktionierendes System aufgebaut, das Körperbewegung in visuelle Dynamik übersetzte.
Der zweite Workshoptag begann mit einer Reflexionsrunde und einer Vertiefung zu Mapping-Strategien. Anschließend entwickelten die Teilnehmenden eigene Projektskizzen und setzten diese mit individueller Betreuung der Lehrenden um. Dabei entstanden sehr unterschiedliche Ansätze: Einige Studierende erweiterten das visuelle „Waterfall“-Patch, experimentierten mit Effekten wie Edge Detection, Slope oder Displace und bauten eigene Feedback-Strukturen. Andere arbeiteten performativ mit am Körper befestigten Smartphones, um Bewegungsdaten unmittelbar in die Projektion einzuspeisen und die eigene Präsenz im Raum sichtbar werden zu lassen. Am Ende präsentierten die Teilnehmenden ihre Ergebnisse, teilten Herausforderungen und diskutierten, wie die entwickelten Ansätze in zukünftigen Projekten weitergeführt werden könnten.
Die Teilnehmenden suchten sich verschiedene Techniken wie Nähen, Häkeln oder Stricken mit der I-Cord-Maschine aus und erstellten zudem eigene Sensoren, indem sie leitfähige Fasern in flexible Stoffe einnähten, bestickten oder einstrickten. Diese weichen Sensoren erfassten Druck- und Dehnungsveränderungen und wandelten taktile Bewegungen in elektrische Signale um. Indem die digitale Interaktion in handwerkliche Arbeit eingebettet wurde, erfuhren die Teilnehmenden Elektronik als etwas Greifbares und Verkörpertes – als reaktives Material statt als verborgenen Mechanismus.
Reflexion und Ausblick
Das Gesture Mapping Lab machte deutlich, wie niedrigschwellige Werkzeuge – Smartphones, Open-Source-Apps, TouchDesigner – zu Ausgangspunkten für verkörperte digitale Interaktion werden können. Entscheidend war weniger technisches Vorwissen, sondern eine Haltung des Ausprobierens und der Aufmerksamkeit für Feedbackprozesse. Die Studierenden entwickelten ein eigenes künstlerisch-technisches Vokabular, das sowohl durch praktische Übung als auch durch performative Körperarbeit entstand. Damit eröffnete der Workshop einen experimentellen Lernraum, in dem Technik, Körper und künstlerischer Ausdruck gleichwertig miteinander verknüpft wurden.
Privatsphären-Einstellungen
Weitere Informationen finden Sie in der Datenschutz-Erklärung.
Historie anzeigen
Plugins und Drittanbieter-Tools
YouTube Momentan inaktiv Momentan aktiv