Wie lassen sich digitale Medien-Workflows für Produktionskontexte unterrichten?
Welche Bedeutung kommt hierbei einem projektbasierten, kollaborativen Ansatz zu?
Hacking der 360°-Kamera und Transformation der verschwommenen Ansicht. Student. Arbeit von Simina Oprescu 'Solar Wind' (Teil von 'Bicameral Mind– Inner Universe' in Zusammenarbeit mit Jane Arnison, Interaktive Installation
3D-Scan-Punktwolken als kreative Ressource. Student. Arbeit von Kim R. Martins ‘HOUSE MUSIC’, Fixed media
Verschiedene Arten von VR-Vorlagen und ein sorgfältig abgestimmter Schwierigkeitsgrad halfen den Studierenden, sich in der komplexen Oberfläche der Unreal Engine zurechtzufinden. Hier ein Beispiel der „Blueprints"-Oberfläche und eine 360°-Ansicht einer VR-Umgebung. Martin Sulzer, Unreal engine ‘blueprint’ node graph / Martin Sulzer, 360° scene - panorama still frame, 'Immersive Environments' workshop
Aufbrechen des Frontalunterrichts: In Lehreinheiten praktischer Experimente geben die Tutoren den Studierenden einzeln Feedback zu ihren Arbeiten und zum Umgang mit den digitalen Medien.
Den Prozess erkunden und genießen: Die Studierenden wurden oft dazu ermutigt, von ihren Stationen aufzustehen und sich im Lernraum zu bewegen, während sie ihre Arbeit mit ihren Peers teilten.
SoundS [AV] Cluster:
Synergien in audiovisueller Kunst
Wann
Sommersemester 2023, 5 Termine, 8 Std./Tag
Wo
Sound Studies & Sonic Arts, Lietzenburger Straße 45, Berlin Abschlußpräsentationen am Fraunhofer Heinrich Hertz Institut (HHI)
TiME Lab. am 12.07.23
Lehrende
Prof. Daisuke Ishida, Thomas Koch, Martin Sulzer
Veranstaltungsformat
Seminar- & Workshop-Reihe: [AV] Seminar: „Immersive Audio“ / [AV] Workshop: „Immersive Environments“
Studierende / Studiengänge
Sound Studies (ZIW)
Begleitet / reflektiert von
Maria Kyrou
Lektorat
Sabine Huschka
Kontext und Lernziele
Ein kollaborativer Ansatz für die Vermittlung fortgeschrittener digitaler Kompetenzen
Verschiedene Lehrende des Masterstudiengangs Sound Studies haben ihre Seminare zu einem gemeinsamen Audio-Visual [AV]-Cluster zusammengeführt, eine Kooperation, die von Martin Sulzer (SoundS Lehrbeauftragter/interdisziplinärer Künstler), Thomas Koch (Fraunhofer Heinrich-Hertz-Institut - HHI) und Daisuke Ishida (Gastprofessor für Klangkunst an der UdK Berlin) koordiniert wurde. Das [AV]-Cluster integrierte thematisch verschiedene Unterrichtsfächer, um sowohl didaktische Formate zu erforschen als auch gemeinsam an einem digitalen Workflow zu arbeiten. Komplexe und technisch ausgereifte Projektarbeiten der Studierenden für eine gemeinsame Präsentationsform zu entwickeln, markierte das Ziel dieser Zusammenarbeit.
Hierzu kooperierte das Sound Studies Programm mit Thomas Koch vom Fraunhofer HHI und initiierte eine Zusammenarbeit mit dem Zeiss-Großplanetarium als ein tatsächlich besonderes Präsentationsforum für die entstehenden studentischen Arbeiten. Unter dem Titel „VirtuArium: Container for Artistic Audiovisual Exploration“ wird der SoundS [AV] Cluster im Wintersemester 23-24 dort mit einer Reihe studentischer Performances seinen Höhepunkt erreichen: das Planetarium wird sich damit in ein Experimentierfeld für zeitgenössische audiovisuelle Kunst verwandeln.
Lernen durch die Kombination verschiedenster Quellen
Zur Umsetzung des Gesamtprojekts erarbeiteten die teilnehmenden Lehrenden eine Struktur zur Verzahnung der Lernfächer. Das Sommersemester bildete die Vorbereitungsphase im [AV] Cluster mit zwei Praxis- und zwei Theorieseminaren, inhaltlich weiter zusammengeführt in dem Intensiv-Praxisworkshop von Martin Sulzer, in dem das Know-how der vorherigen Kurse vertieft wurde. Im folgenden Wintersemester (2023/24) ist eine Umsetzungsphase projektiert, in der die Studierenden ihre bisherigen Arbeiten für das Planetarium ausdifferenzieren und anpassen. Das im Sommersemester stattgefundene [AV] Praxisseminar „Immersive Audio“ von Prof. Daisuke Ishida und Thomas Koch sowie der [AV] Workshop „Immersive Umgebungen“ von Martin Sulzer vermittelten hierfür grundlegende Fähigkeiten im Umgang mit AV und verstanden sich als voraussetzende Grundlage für die Planetarium-Projektphase. Beide Lehrformate wurden vom InKüLe-Projekt technisch unterstützt (z.B. durch das von InKüLe entwickelte VR-Kit).
Inhalt und Lernformat
Von 360° Video- & Audioformate über Game Engine hinein ins Planetarium
Das Praxisseminar „Immersive Audio“ führte in die Arbeit mit 360°-Video- und Audioaufnahmen ein und eröffnete für die Studierenden ein spielerisches Experimentalfeld mit verschiedenen räumlichen Aufnahmemodi von Bewegungen, Richtungen und deren Transformationen. So wurde etwa die 360°-Kamera „gehackt", indem sie mit einer dünnen Schicht Vaseline bestrichen wurde. Die Sicht verschwamm – ein digitaler Effekt von blurred – erzeugt durch physische Manipulation. Die Experimente kulminierten in der Entwicklung erster räumlichen audio-visueller Konzeptionen für den weiteren Arbeitsverlauf.
In Zusammenarbeit mit Martin Sulzer konnten diese ersten Konzeptionsideen in die Unreal Game Engine eingefügt werden, um sie mit Hilfe vorbereiteter Vorlagen weiter zu erforschen. Eine Game Engine ist ein in sich geschlossenes Software-Framework, das für die Entwicklung von Computerspielen konzipiert ist. Sie ist eine integrierte Umgebung, deren Werkzeuge und Funktionen es ermöglichen, verschiedene Aspekte eines Computerspiels zu definieren, wie z. B. den Spielverlauf (Spielmechanik) oder die visuelle Darstellung. Die Fähigkeit, verschiedene kreative Elemente innerhalb eines gemeinsamen digitalen Rahmens interaktiv zu kombinieren, hat Game-Engines zu einem vielversprechenden und leistungsstarken kreativen Medium für Neue Medien und digitale Kunst gemacht. Die Unreal Engine wurde zudem im Virtual Reality-Modus eingesetzt und dienten als zentrales Medium, den Übergang zwischen digitalen 360°-Konzepten und einem tatsächlich gegebenen physischen Raum zu erarbeiten, wie er später durch das Planetarium gegeben ist. Die Lehrenden ermutigten die Studierende, ihre visuellen Ideen in VR zu betrachten und zu reflektieren, wie sie audiovisuell für das Planetariums kreativ anzupassen wären.
Die Unreal Spiel-Engine schuf Übergänge zwischen virtuellem 360°-Konzept und physischem Raum.
Diese VR-Experimente in der Unreal Game-Engine wurden im abschließenden Praxis-Workshop „Immersive Umgebungen“ weiter vertieft. Die vorgefertigten Vorlagen konnten durch „Blueprints“ ersetzt werden, so dass eine Art konfigurierbares, knotenbasiertes Interface entstand, das die individuelle Erstellung von Spielszenen ermöglichte. Diese Spielszenen boten wiederum raffinierte Möglichkeiten, 360°-Videos mit 360°-Audio zu kombinieren und mit anderem visuellem Material wie etwa 3D-Scans oder computergenerierte Grafiken zu verknüpfen. Im Workshop selbst konnten die Studierenden einen detaillierten Arbeitsablauf in der Unreal Engine kennenlernen, der die kreativen Potenziale des tools aufzeigte, um sie für eine interaktive Planetarium-Aufführung zu konfigurieren.
Das [AV]-Cluster vermittelte damit ein avanciertes Know-how für die Schaffung von performativen Kunstwerken mit verschiedenen digitalen Medien für physische Räume. Sicht- und erfahrbar wurde dies in der Abschlusspräsentation des Clusters im TiME Lab des Fraunhofer HHI. Hierzu wurden die einzelnen studentischen Projekte für eine raumgroße 180° gebogene Leinwand adaptiert. Die Präsentation bot für die Studierenden ein praxisnahes Lernerfahrungsfeld, da ihre Arbeiten schon hier für einen hochauflösenden 180° gekrümmten Bildschirm angepasst wurden und zum ersten Mal im Raum wahrgenommen werden konnten. In einer abschließenden Diskussionsrunde reflektierten die Studierenden ihre Erfahrungen.
Mediendidaktische Reflexion
Verflechtung technischer und sozialer Aspekte im Lernen
Die Erfahrung dieses Projekts zeigte auf, dass die Vermittlung avancierter digitaler Werkzeuge zu einer angenehmen und höchst kreativen Erfahrung für die Studierenden werden kann, wenn der Unterricht auf einer gründlichen Vorbereitung und bewusst investiertem Engagement seitens erfahrener Lehrkräfte gründet. Insbesondere bei der Verknüpfung der Unreal-Engine mit VR-Headsets zeigte sich, wie wichtig sorgfältig strukturierte Vorlagen und Dokumentationsformate sind. Entscheidend war überdies, dass das Material keineswegs statisch entwickelt war, sondern situativ an den Bedürfnissen der Studierenden angepasst im Laufe des Projekts weiterentwickelt wurde.
Beide Kurse luden die Studierenden zum Mitgestalten als aktive Gesprächspartner ein. Sie betrachteten und kommentierten während der Unterrichtseinheiten die Arbeitsstationen anderer Studierender, wodurch Situationen des Frontalunterrichts immer wieder aufgelöst wurden. Der großformatige Nahfeld-Beamer, den InKüLe zur Verfügung stellte, unterstützte diesen Prozess, da die jeweiligen Software-Oberflächen auf eine ganze Wand projiziert werden konnten und das kryptische Innenleben von Unreal mit der sozialen Erfahrung im physischen Lernraum verschmolz. In allen Phasen waren Feedback und Meinungen wie Ideen der Studierenden gefragt. Die Seminar und Workshop-Atmosphäre war geprägt durch ein nicht-hierarchisches und gemeinschaftliches Arbeiten. Erst kollektive Zusammenarbeit ermöglicht – so wurde es deutlich – , ein dergestalt großes Projekt zu realisieren.
Förderung des Lernens als eine Vielzahl von kreativen Bereichen und digitalen Praktiken
Zusammenarbeit und Austausch zwischen verschiedenen digitalen Praktiken und avancierten Medien bildeten als Strukturmerkmal den Arbeitsfokus des [AV]-Clusters und seines eröffneten Lernfeldes. Beide Praxisseminare „Immersive Audio“ und „Experimentalfilm“ fanden im Semesterverlauf jeweils am gleichen Tag statt, so dass die Studierenden, die an beiden teilnahmen, ihre Ideen fließend von einem Lernkontext zu dem anderen entwickeln konnten. Parallel dazu basierte das transdisziplinäre Format auf einer institutsübergreifenden Zusammenarbeit, bei der sowohl das Fraunhofer HHI als auch das Zeiss-Großplanetarium integraler Bestandteil des Lernprozesses waren. Dieser dynamische Ansatz ermöglichte es den Studierenden, Erfahrungen in verschiedenen professionellen, sonst kaum zugänglichen Umgebungen zu sammeln und bot eine beeindruckende Bühne, ihre kreative Arbeit zu präsentieren. Diese Lernerfahrung erwies sich besonders für Anfänger/innen als inspirierend: Die Idee, „das Planetarium zu bespielen,“ verwandelte sich in ein starkes Motiv, die neuen digitalen Medien zu erlernen und die Unsicherheit der ersten Schritte zu überwinden.