Menü
Joel Tenenberg gibt eine erste Einführung in den Workshop
Der EinScan Handheld-Scanner im Einsatz.
Überprüfung des erzeugten Datensatzes durch den EinScan Handheld-Scanner mit Blick auf das erzeugte Bild am Laptop.
Visualisierung und Bearbeitung des Scans auf dem Bildschirm über die Polycam App
Joel Tenenberg demonstriert das Scannen eines Objekts im Raum auf dem iPad mit der LiDAR-Methode der Polycam App.
Ein Teilnehmer scannt Joel Tenenberg im Unterrichtsraum mit der LiDAR-Methode auf dem iPad.

Workflow des Scanning Workshops for Digital Practices „The Third Eye“

Wann

8. Mai 2024

Wo

Medienwerkstatt der UdK Berlin, Hardenbergstraße 33

Lehrender

Joel Tenenberg

Art/Umfang

dreistündiger Workshop

Studierende/Studiengänge

Studierende an der Fakultät Bildende aus den Klassen Visuelle Kommunikation, Graphik Design, MA Raumklasse, Bildende Kunst und Kunst im Kontext

Beteiligung InKüLe

Konzeption und Leitung des Workshops, technische Unterstützung

Begleitet von

Maria Kyrou

Text

Sabine Huschka, Maria Kyrou  

Vorstellen möchten wir hier einen angewandten und evaluierten Workflow für 3D-Scanning, der als Anleitungsplattform und leicht nachvollziehbare Einführung in das Thema dienen soll. Der Workflow zeichnet die Konzeption und Durchführung des Workshops The Third Eye - Scanning Workshop for Digital Practices nach, ausgearbeitet von dem mediendidaktischen studentischen Mitarbeiter von InKüLe, Joel Tenenberg in Kooperation mit der Medienwerkstatt (Vadim Schäffler) an der Fakultät Bildende Kunst der UdK Berlin. Der Workshop gehört zu einem Peer2Peer Programm von InKüLe, in dem Studierende innovative digitale Medien an andere Studierende vermitteln.

Die folgenden Ausführungen lassen sich anhand einer Videodokumentation des Einführungsworkshops nachvollziehen und dienen als Ressource für alle, die sich für 3D-Scanning interessieren und eigene Projekte in diesem Bereich realisieren wollen. Dabei führt das Video in die aufbauende Struktur des Workshops ein und erläutert das von InKüLe ausgearbeitete Capture Kit als eines von weiteren Toolkits.

Overview

Der Workflow richtete sich darauf, reale Objekte in digitale Designprozesse und künstlerische Praktiken zu überführen und hierbei mögliche Ästhetiken von 3D-Scans auszuloten. Interaktiv an den Fragen und dem Kenntnisstand der teilnehmenden Studierenden ausgerichtet, untersuchte der Workshop die Optionen, zwischen physischer Realität und digitaler Welt Verbindungen zu schaffen. Praxisnah kamen hierfür drei verschiedene Techniken zur Anwendung, die jede für sich reale Objekte in Design-Workflows oder künstlerische Praktiken überführt und dabei je spezifische Ästhetiken ausprägt.

Generell gilt zu beachten, dass Scanvorgänge große und datenintensive Ergebnisse produzieren können, die zumeist unverständlich in ihren Rechenoperationen erscheinen. Angesichts dessen nutzt unser Workflow leicht zugängliche Software und Technologien, zu denen die Polycam App ebenso wie der hochauflösende EinScan Handheld-Scanner gehören. Zudem integriert der Workflow eine sogenannte Post-Scan-Phase, in der unter Verwendung von Blender, ein kostenloses Modellierungsprogramm, am Ende des eigentlichen Scan-Vorgangs das entstandene Datenvolumen verkleinert zu druckfertigen Objekten verarbeitet wird. Angewandt im Workshop war damit das erklärte Ziel, dass alle Teilnehmenden ihr gescanntes Objekt auf Datenträgern mitnehmen konnten, um es in ihren eigenen Designprozess zu integrieren.  

Visualisierung und Bearbeitung des Scans auf dem Bildschirm über die Polycam App

Theory and Medium Explanation

Unser Workflow nutzt Scannen für die Erzeugung einer digitalen dreidimensionalen Kopie eines Objekts oder eines Raums. Angewendet wurden hierfür verschiedene Techniken wie etwa die Light Detection and Ranging-Methode (LiDAR), Photogrammetrie und die Structured Light-Methode. Je nachdem, ob ein physisches Objekt oder ein Raum gescannt werden soll, sollte man die jeweiligen Vor- und Nachteile der Techniken und ihrer Methoden kennen, um einen unnötigen Mehraufwand – etwa bei der Nachbearbeitung der gescannten Bilder – zu vermeiden.

Scannen von Räumen und großen Objekten

Hier eignet sich die LiDAR-Methode von Polycam auf dem iPad oder jedem anderen LiDAR-kompatiblen Gerät. Dabei werden Laser verwendet, die den Abstand zwischen dem Sender des Laserstrahls (unserem Scan-Gerät) und der nächsten Oberfläche messen. So wird eine Reihe korrelierender Bilder von der Kamera aufgenommen und in einer errechneten Geometrie übereinandergelegt. Das Ergebnis dieses vereinheitlichenden Prozesses zeigt sich in einer schnell erzeugten und relativ grob aufgelösten Topologie aus detaillierten Texturen.

Overview

Scannen in menschlichen Maßstäben

In diesem Größenbereich empfiehlt es sich, die Photogrammetrie-Methode von Polycam zu nutzen. Diese Technologie verarbeitet mehrere sich überlappende Fotos von einem Objekt aus verschiedenen Winkeln. Die Fotos werden nach der Aufnahme an die Server von Polycam gesendet. Mögliche perspektivische Deformationen zwischen den einzelnen Bildern (Parallaxe) werden aus den ursprünglichen 2D-Fotos herausgerechnet und in eine 3D-Geometrie überführt. Diese Technologie visualisiert die gescannten Objekte in einem durchschnittlichen Detailgrad und gibt detaillierte Texturen wieder. Die Photogrammetrie-Funktion ist sowohl für Apple als auch für Android-Geräte verfügbar.

Scannen von Objekten

Der EinScan Handheld-Scanner eignet sich besonders für das Scannen von Objekten mit einem hohem Detailgrad oder von Objekten etwa in der Größe einer menschlichen Büste. Der Handheld-Scanner muss dabei an einen Computer angeschlossen sein, um über eine eigene Software gesteuert werden zu können. Der EinScan Handheld-Scanner sendet beim Scannen ein Infrarotlaser-Netz aus und errechnet anhand der Verzerrung des Netzes die Topologie des digitalisierten Artefakts. Hierdurch wird ein hoher Detailgrad mit sehr guten Texturen erreicht.

3D-Scanning Walkthrough

Polycam LiDAR Modus

Der LiDAR-Modus stellt im Grunde die bevorzugte Methode für schnelle und räumliche Scans dar. Dabei ist es ratsam, vor dem Scannen eine Route durch den Raum festzulegen – idealerweise in Form eines schlangenförmigen S-Musters, das sich etwa von links nach rechts über die kurzen Seiten des Raumes bewegt. Zu Beginn des Scannens sollte nochmals überprüft werden, dass der LiDAR-Scan-Modus auf dem Gerät eingeschaltet ist. Auch ist es ratsam, während des Scannens und ihrer Bewegung im Raum das triangulierte Netz aus miteinander verbundenen Linien auf dem Bildschirm immer wieder zu überprüfen. Dieses Netz auf dem Bildschirm zeigt nämlich die 3D-Geometrie an, die beim Scannen erfasst wird. Es ist wichtig, den Scanbereich immer wieder durch neue Scanvorgänge überlappend aufzunehmen und sich dabei möglichst langsam und gleichmäßig zu bewegen. Ebenso sollte stets eine mittlere Distanz zur Oberfläche eingehalten werden. Die Lidar-Scan-Methode eignet sich sehr gut für nicht-reflektierende und zugleich feste Objekte. Feine und dünne Strukturen sind mit dem LiDAR-Modus nur schwer oder gar nicht zu erfassen. Ein zusätzlicher Scan durch den Polycam-Fotomodus kann dabei helfen, solche Strukturen zu erfassen.

Polycam Fotomodus

Der Photogrammetrie-Modus ist besonders leicht zu bedienen und kann vor allem auf Geräten verwendet werden, die über keine LiDAR-Sensoren verfügen. Mit diesem Modus lassen sich Objekte mit detaillierten und texturierten Oberflächen sehr gut erfassen. Zu beachten ist allerdings, dass diese Methode mit Fotoaufnahmen arbeitet, so dass man am besten auf das Scannen von extrem dünnen und vor allem glänzenden Objekten verzichten sollte, da die Ergebnisse der Scans sehr unberechenbar sein können. In der Regel werden etwa 100–150 Fotos eines Objekts aus verschiedenen Winkeln und Entfernungen aufgenommen. Photogrammetrie berechnet auf dieser Grundlage und einer Berechnung der Bewegungen zwischen den einzelnen Bildern die Oberfläche des 3D-Objekts. Die Anzahl der aufgenommenen Bilder ist stark abhängig von der Größe und Komplexität des zu scannenden Objektes. Zugleich ist die Bilderanzahl ausschlaggebend für die Auflösung des Scans. Es empfiehlt sich bei den Aufnahmen immer wieder auf den grünen Balken am unteren Rand des Polycam Interfaces zu achten, der den Fortschritt der notwendigen Bildanzahl für die Berechnung angibt – wird ein Drittel Fortschritt angezeigt, so ist dies ein guter Anhaltspunkt für die Bearbeitung.

Zu empfehlen ist eine Aufnahmetechnik des Objektes, bei der man rund um das Objekt herum Bilder aufnimmt. Praktisch bedeutet dies, dass man die Kamera auf verschiedenen Höhen um das Objekt kreisen lässt. Um möglichst viele Details des Objekts aufzunehmen – wie etwa auch die Unterseite – sollte man das Objekt auf ein Podest oder einen anderen erhöhten Gegenstand stellen. Noch ein Tipp: Bei der Verwendung des Videomodus in der Polycam App sollten sich die Aufnahmen zu 50% überlappen. Hierfür ist eine langsame und kontinuierliche Bewegung der Kamera angeraten.

EinScan Handheld Scanner

Bei dem EinScan Handheld Scanner handelt es sich um ein Gerät mit zugehöriger Software, dessen Anwendung eine gewisse Vorbereitungszeit benötigt. Doch liefert diese Technik eine wirklich sehr gute Scanqualität Dank des hohen Detailgrads der gescannten Objekte, so dass sich die Einarbeitungszeit in die Software lohnt. So muss vor Beginn des Scannens die Software EXScan installiert werden, die als Schnittstelle zwischen dem EinScan Handheld Scanner und dem angeschlossenen Laptop dient und die notwendigen Kalibrierungsmöglichkeiten für das Scannen bietet.

Tatsächlich ist eine Kalibrierung vor jedem Scan erforderlich und lässt sich problemlos mit der mit dem Gerät mitgelieferten Kalibrierungsplatte durchführen. Dabei unterscheidet man zwei Kalibrierungsarten:

  • Die Gyroskop-Kalibrierung ermöglicht, das gescannte Objekt an einem Standort richtig auszurichten.
  • Die Weißabgleich-Kalibrierung wird benötigt, um die Sensoren des Scanners an die Umgebungshelligkeit anzupassen.

Siehe hierzu die Videos von Joel Tenenberg und dem EinScan Salon Johnny Chen

Beim Scanvorgang selbst bedient man Knöpfe auf dem EinScan Handheld Scanner, um die Entfernung zum Objekt und die Helligkeit der Kameras zu steuern. Hierbei sendet das Gerät kontinuierlich ein farbiges Feedback über die optimale Haltung des Scanners zum Objekt. Gleichzeitig wird das erfasste Mesh auf dem Bildschirm des Computers dargestellt

Die Scanqualität kann vor dem Scannen eingestellt werden. Dabei können die vollständigen Mesh-Einstellungen auch noch nach Abschluss des Scanvorgangs weiter angepasst werden.

Die installierte Software EXscan bietet zwei Modi zum Scannen von Objekten an, die verschiedene Eigenschaften haben. Der IR-Modus liefert eine verringerte Datenqualität und Präzision und ist daher besonders gut für Scans von Menschen (also größeren Objekten) oder leicht reflektierendem Material geeignet. Der Weißlicht-Modus hingegen liefert eine hohe Datenqualität und Präzision und ist daher vor allem für nicht-reflektierende und nicht-schwarze Objekte geeignet.

Beide Modi unterscheiden sich in ihren Einstellmöglichkeiten letztlich nur geringfügig. Bei unserem Workflow wird ein leicht reflektierendes Objekt gescannt, so dass der IR-Modus ausgewählt wurde.

Um ein neues Projekt zum Scannen eines Objektes zu starten, wird zunächst eine neue Projektgruppe angelegt. Nach dem Speichern der Projektgruppemuss zwischen Portrait und Objekt gewählt werden. In unserem Fall wurde „Objekt“ ausgewählt.

Prescan
Scan
Pointcloud
Crop

Für die Grundkonfiguration des neuen Projekts stehen verschiedene Einstellungen zur Verfügung. Für Objekte mit vielen geometrischen Merkmalen wird Geometrie gewählt. Textur ist für Objekte mit farbigen Texturen geeignet. Globale Markierungen nutzt die Tracker und sollte für Objekte mit wenigen geometrischen Details oder für stark symmetrische Objekte verwendet werden. Die Option Hybrid kombiniert Geometrie und Tracker und ist für Objekte mit wenigen geometrischen Details geeignet.

Für das vorliegende Objekt wird Geometrie und eine hohe Auflösung für den Scan gewählt und der Texturscan aktiviert, um die Originaltextur mit einzubeziehen.

Zum Starten des Scans drückt man einmal die Play-Taste am EinScan-Gerät und erhält damit eine Vorschau des Scans. Das zweite Drücken der Taste startet das Scannen. Ganz links auf dem Bildschirm wird die vertikale Entfernungsanzeige angezeigt.

Das EinScan-Gerät sollte beim Scannen so bewegt werden, dass die mittlere Anzeige grün leuchtet. In der linken oberen Ecke wird das Kamerabild angezeigt. Mit den Tasten links und rechts am Gerät kann die Helligkeit so eingestellt werden, dass keine roten Bereiche im Kamerabild zu sehen sind. Während des Scannens sollte das Gerät langsam bewegt und das Objekt umkreist werden, wobei der Abstand gleichbleiben sollte. Für Details kann man näher herangehen. Sollte das Tracking verloren gehen, bewegt man sich langsam zurück zur vorherigen Position. Ein erneutes Drücken der Play-Taste beendet den Scanmodus.

Anschließend wird der Scan optimiert und eine Punktwolke erzeugt. Hierzu klickt man die Schaltfläche oben rechts (zweite von oben) an.  

Zudem kann man nach einem ersten Scan das Modell zuschneiden: Hierzu dient das Zuschneidewerkzeug unten links (zweites von links), um mit Shift+LMB eine Linie zu ziehen, an der der Scan dann zugeschnitten werden kann.  

Durch Drücken der Schaltfläche unten links wird das Mesh verarbeitet. Doch kann ein Scan durchaus Löcher enthalten, die man mit EXscan schließen kann. Im Bearbeitungsmodus – also einem „offenen“ Modell - werden vorhandene Löcher nicht geschlossen. Semi-waterproof schließt nur große Löcher, während Waterproof alle Löcher schließt und das Modell sozusagen wasserdicht macht.

Um keine datenintensiven Scans zu produzieren, muss die Option Max. Dreiecke ausgewählt werden, eingestellt etwa auf 150.000 oder eine entsprechend andere Größe. Beim letzten Verarbeitungsschritt können weitere Einstellungen vorgenommen werden, falls die optimale Qualität noch nicht erreicht ist. Das Objekt wird links mit dem zweiten Button von oben gespeichert. Für Objekt und Textur wird das Format .obj und für Punktwolkendaten das Format .ply gewählt.

Touch-Up

Beide Modi des Scannens (IR-Modus oder Weißlicht-Modus) erlauben das gescannte Objekt in verschiedenen Dateiformaten zu exportieren und auf verschiedene Weise weiterzubearbeiten. Wir beschränken uns hier auf das .obj-Format und eine Bearbeitung im Touch-Up von Blender. Dabei ist es wichtig, die Nachbearbeitung des Objekts an seiner geplanten Verwendung auszurichten, d.h. wenn das Objekt etwa in 3D gedruckt werden soll, kann die Textur vernachlässigt werden. Wenn eine Web-Nutzung angestrebt wird, ist es ratsam, eine möglichst geringe Polygonzahl zu erreichen. Wenn das endgültige Ziel noch nicht bekannt ist, sollte die Nachbearbeitung darauf abzielen, die Komplexität des Objekts zu reduzieren, um eine möglichst flexible Weiterverarbeitung zu ermöglichen.

Import

Um ein zuvor gescanntes Objekt in Blender zu importieren, navigiert man zunächst über das Menü zu Datei > Importieren > Wavefront. Dann wählt man die Datei des gescannten Objekts aus.

Größe anpassen

Wenn das Objekt zu groß ist, um vollständig im Viewer-Fenster angezeigt zu werden, muss es auf den Achsen X, Y und Z auf 0,1 skaliert werden. Um das Objekt zu zentrieren, klickt man es mit der linken Maustaste an, wählt set origin > geometry to origin aus und passt seine Größe und Position mit den Befehlen auf der linken Seite an.

Rotate
Mesh verbinden

Um das Mesh zu verbinden, wechselt man oben links in den Bearbeitungsmodus, wählt Select > Select All by Trait > Non Manifold und geht dann auf Mesh > Merge > By Distance. Dieser Schritt vereinigt das Netz, indem doppelte oder überlappende Vertices entfernt werden.

Decimate Modifier

Für den nächsten Schritt muss man sich vergewissern, dass das Objekt noch in der Blender-Collection (obere rechte Ecke) ausgewählt ist. Um die Dichte des Netzes zu kontrollieren und einen flüssigeren Arbeitsablauf zu ermöglichen, ohne zu viele Details des Scans zu verlieren, fügt man im Objektmodus, der oben links gewechselt wird, einen Decimate-Modifier hinzu. Die Anzahl der Flächen wird unten links im Decimate-Modifier angezeigt.  

Durch die Veränderung des ratio Wertes kann die Dichte verringert werden: ein Verhältnis von 1,0 entspricht der ursprünglichen Netzauflösung bei 100% , ein Verhältnis von 0,5 entspricht 50%. In der Regel ist ein Face Count von etwa 100.000 ein guter Wert. Anschließend wird der Modifikator angewendet.

Ratio 1.0
Ratio 0.5
Smooth

Zum manuellen Glätten wechselt man oben links in den Sculpt-Modus und wählt aus den Werkzeugen auf der linken Seite das Smooth-Werkzeug aus. Dieses Werkzeug wird wie ein Pinsel über das Objekt bewegt.

Trim

Um Teile des Objekts zu beschneiden, wählt man aus den Werkzeugen auf der linken Seite das Trim-/Box Trim-Werkzeug.

Shade Smooth

Um eine glatte Schattierung zu erhalten, wechselt man in den Schattierungs-Tab und wählt Object > shade smooth.

Export

Für den Export geht man zurück zum Layout-Tab, navigiert zu Datei > Export > Wavefront (.obj), wählt den Ordner für die Speicherung aus und gibt der Datei einen Namen.

Die Zwischenschritte können in verschiedenen Reihenfolgen angewendet werden, abhängig vom Nutzen des 3D-Scans. Das Diagramm zeigt mögliche Arbeitswege im Verhältnis zur letztendlichen Nutzung.

Further perspectives & examples

Sharing and Archiving

Um die gescannten Objekte zu speichern und zu verwalten, kann man verschiedene Online-Plattformen nutzen. Scans, die mit der Polycam App aufgenommen wurden, werden automatisch im Polycam Cloud Speicher abgespeichert und stehen sowohl über die App als auch über den Browser zum Aufrufen und Herunterladen bereit. Auch können die Scans nachträglich bearbeitet werden. Es ist möglich, die Objekte zu schneiden, ihre Maße zu bestimmen, sie zu transformieren und einen Hintergrund hinzuzufügen.

Für alle anderen Scans empfiehlt es sich, die Website SketchFab als Archiv zu nutzen. SketchFab ist eigentlich ein Marktplatz für 3D-Objekte und setzt daher voraus, dass die hochgeladenen Objekte auch von anderen Personen heruntergeladen werden können. Wenn man diese Option einschränkt, muss man einen sogenannten Credit bezahlen. Jeder Account enthält 10 Speicheroptionen pro Monat. Die Modelle können also kostenlos hochgeladen werden, wenn sie frei heruntergeladen werden dürfen. Sketchfab erlaubt ebenso die Beschränkung der Nutzung durch Creative-Commons-Lizenzen. Auch hierbei besteht die Möglichkeit, das Objekt innerhalb von Sketchfab nachzubearbeiten. Die Möglichkeiten reichen von einfachen Materialeinstellungen bis hin zu Transformations- und Rendereinstellungen. Diese Einstellungen sind meistens jedoch nur kosmetischer Natur. Das bedeutet, dass sie zwar das Aussehen leicht verändern können, nicht aber die tatsächliche Qualität und Zusammensetzung des digitalen Modells.

3D Scans as Asssets

Eine wesentliche Stärke des 3D-Scannens liegt in den Möglichkeiten, die gescannten Objekte digital weiterverarbeiten zu können, d.h. die Objekte können selbst als Assets, also als Bestandteile einer Komposition, verwendet werden. Beispielsweise lassen sich gescannte Einrichtungsgegenstände als World Building Assets modellieren.

Zudem ist es möglich, die digitalisierten Objekte mit Hilfe von Sculpting Software (ZBrush für Computer oder Nomad für iPad) zu verändern, d.h. die entstandenen Modelle können etwa verformt und mit Zusätzen versehen bearbeitet werden. Einige Beispiele für die Weiterverarbeitung haben wir im InKüLe Team entworfen:

Scan eines Kopfes mit Zacken (spikes) hinzugefügt durch die Nomad App

Scan eines Kopfes mit Maske gezeichnet mit VR-Sketching: Eineweitere interessante Bearbeitung der Scans zeigt sich, wenn man die realitätsgetreue Darstellung und Maße des Scans als „Realitätsanker“ im theoretisch maßstabslosen digitalen Raum nutzt. Hierdurch können maßgeschneiderte Masken oder Accessoires entstehen.