Towards Semantically-Aware Few-Shot 3D Reconstruction

Abstract

Das Erfassen reichhaltiger objektbezogener Informationen, einschließlich Form, Textur und Geometrie, bildet eine grundlegende Basis in zahlreichen Anwendungsbereichen. In diesem Zusammenhang hat sich Few-Shot-Rekonstruktion als bedeutendes Forschungsfeld etabliert, da es eine 3D-Rekonstruktion aus einer begrenzten Anzahl von Eingabebildern ermöglicht. Durch die Nutzung von Vorwissen, das in einem trainierten neuronalen Netzwerk kodiert ist, können diese Methoden bislang unbekannte Merkmale rekonstruieren, die über die Informationen der aufgezeichneten Sensordaten hinausgehen. Aktuelle Ansätze modellieren jedoch entweder die gesamte Umgebung, ohne bestimmte Regionen von Interesse hervorzuheben, oder beschränken den Prozess ausschließlich auf das Zielobjekt, indem das umgebende Kontextwissen in einem Vorverarbeitungsschritt vollständig verworfen wird. Ein möglicher Herangehensweiese besteht darin, Objekte in den Bildern zu maskieren und anschließend semantische Informationen direkt von 2D nach 3D mittels Deep Learning abzubilden. Diese Aufgabe weist jedoch hochgradig nichtlineare Eigenschaften auf, und die Integration semantischer Hinweise stellt nach wie vor eine erhebliche Herausforderung dar. In diesem Work-in-Progress-Paper untersuchen wir daher eine Pipeline für semantisch bewusste Few-Shot-3D-Rekonstruktion auf realen Daten.