Kinect
Der Begriff Kinect bezieht sich auf eine Reihe von Microsoft-Sensoren, die zwischen 2009 und 2023 entwickelt wurden. Ursprünglich zur Bewegungssteuerung von Xbox-Spielkonsolen entwickelt, eignen sich die Kinect v1 und Kinect v2 hervorragend als 3D-Scanner für zuhause. Sie vereinen eine Farbkamera, einen Tiefensensor sowie ein 3D-Mikrofon in einem kompakten Gehäuse. Sie sind weit verbreitet und einfach zu nutzen. In der Zeit von 2009 bis 2017 produziert können sie derzeit relativ günstig auf dem Gebrauchtmarkt gefunden werden.
Diese ersten Versionen von Kinect dienten zwar als Sensor-Erweiterung der Xbox-Konsole, können aber auch unabhängig davon verwendet werden. Das Potenzial solcher unabhängigen Nutzung führte zur Entwicklung von Azure Kinect. Diese letzte Iteration ist eine Kombination aus Software und Hardware. Die Azure-Kinect-Hardware umfasst verschiedene Sensoren, die wie Module funktionieren und sowohl unabhängig als auch zusammen agieren können. Das Azure Kinect DK (Developer Kit) steuert die Funktionen dieser Sensoren auf der Softwareebene und ermöglicht, dass sie auf einfache Weise von einem Personal Computer erkannt werden. Gleichzeitig kann es die Fähigkeiten dieser Sensoren durch Microsoft KI-Frameworks um hochwertige Spracherkennung und präzise Bewegungserfassung erweitern. Wie seine Vorgänger wurde Azure Kinect 2023 von Microsoft eingestellt, ist aber nach wie vor ein sehr beliebtes und leistungsstarkes Gerät für die künstlerische Forschung.
Kinect in der künstlerischen Lehre
Azure Kinect kann als ein kreatives und zugleich leistungsstarkes Medium eingesetzt werden, insbesondere wenn es mit anderer Software und digitalen Workflows kombiniert wird. Dank seiner integrierten Infrarotkamera kann die Kinect als 3D-Scanner eingesetzt werden, wie im Rahmen des von InKüLe betreuten Seminars Body I Dress I Data von Franziska Schreiber: Hier diente das Gerät zur 3D-Erfassung von Körperformen und deren hybride Verflechtung mit physischen Räumen. Wenn aber für künstlerische Erkundungen lediglich 3D-Scannen gewünscht ist, kann man getrost auf eine Vielzahl von Handy-Anwendungen zurückgreifen (z.B. Polycam App – vom InKüLe-Team regelmäßig verwendet), die einfacher zu bedienen und zugänglicher sind als die Kinect-Sensoreinheit.
Das Besondere der Kinect ist die Fähigkeit, volumetrische Videos aufzunehmen. Dabei wird nicht nur ein statischer 3D-Scan, sondern eine Live-Szene mit all ihren Texturen und 3D-Informationen aufgenommen. Das Ergebnis ist ein animiertes Punktmodell (Pointcloud), dessen Ästhetik von abstrakt und poetisch bis hin zu realistisch reichen kann. Der Grad an Realismus kann radikal erhöht werden, indem mehrere Azure Kinect Geräte miteinander verbunden werden, um eine Szene aus mehreren Winkeln und Perspektiven zu erfassen. So wurden etwa in der Zusammenarbeit von InKüLe und dem GRIPS-Theater vier Kinect-Geräte miteinander verbunden, um die Performance einer Schauspielerin aufzunehmen. Dieser Arbeitsansatz hat für Dokumentationen und kreative Prozesse im Kontext der neuen XR-Medien (XR=Extended Reality) großes Potenzial. Es bleibt dabei zu beachten, dass dieses Format einen sehr leistungsstarken PC und die Fähigkeit erfordert, einen komplexen digitalen Workflow zu beherrschen.
Neben der volumetrischen Funktion können ebenso 2D-Videos durch Azure Kinect bearbeitet werden. Durch Computer Vision Frameworks lassen sich menschliche Gestalten erkennen und aus den 2D-Aufnahmen von Kinect isolieren. So wurde etwa im InKüLe-Workshop Capturekit+ & Streamingkit▸ für die Performance-Klasse von Mathilde ter Heijne eine isolierte Figur an die Software TouchDesigner übertragen, um als Grundlage für prozedurale Echtzeitgrafiken zu dienen, womit die Grenze zwischen visueller Ästhetik, digitalem Raum und Performance verwischt wurde.