KI und Cloud zur Verarbeitung von Videos und zum Entfernen von Hintergründen

Manchmal nehmen wir ein Video auf oder machen ein Foto, und der Hintergrund ist sehr störend, oder wir möchten ihn durch einen anderen ersetzen. In den letzten Jahren gab es Fortschritte bei der Ersetzung von Hintergründen durch andere Bilder, insbesondere bei Videogesprächen, die durch Telearbeit populär wurden. Und die Fortschritte gehen weiter: Kürzlich erfuhren wir, dass Google daran arbeitet, die Verarbeitung von Videoanrufen über seinen Dienst Google Meet mit einer Technologie zu verbessern, die auf der Wolke basiert. Nach Angaben des Unternehmens werden Effekte wie Hintergrundunschärfe und Lichtanpassung in der Cloud verarbeitet, wenn sie auf bestimmten Geräten nicht in Echtzeit ausgeführt werden können. Dies spart nach Angaben des Unternehmens Akku und bis zu 30 % CPU-Leistung.

Dies ist nur das jüngste Anzeichen dafür, wie die Cloud und auch künstliche Intelligenz (IA) die Videoverarbeitung und die Extraktion oder Veränderung von Bildhintergründen verändern. Aber es gibt noch mehr.

Künstliche Intelligenz zur Verbesserung von Videos

Die IA hilft, Videohintergründe in professioneller Qualität für alle Arten von virtuellen Präsentationen zu qualifizieren und zu entfernen.

In diesem Sinne ist Virtual Stage ein Tool, das die neuesten Fortschritte in der KI und Azure Kinect (ein Aufnahmegerät mit Sprachmodellen, KI-Sensoren und künstlichem Sehen, das dank Azure Cognitive Services mit der Cloud verbunden ist) nutzt, um menschliche Figuren mit einem anderen Hintergrund zu reproduzieren, ohne an Schärfe zu verlieren. Mit Virtual Stage können die Teilnehmer einer Konferenz oder eines Webinars so aufgezeichnet werden, als befänden sie sich in einem herkömmlichen Auditorium oder Fernsehstudio. Die Technologie ermöglicht es, die menschliche Figur vom Hintergrund zu trennen und sie in einem anderen „Set“ zu platzieren oder Bildeffekte, Präsentationen usw. hinzuzufügen.

Um Videohintergründe zu entfernen, basiert Virtual Stage auf zwei Technologien: Speaker Recorder App, die den Sprecher mit Azure Kinect-Geräten aufzeichnet, und Background Matting, das den ursprünglichen Hintergrund dank künstlicher Intelligenz und Informationen aus der Kinect entfernt.

Plain Concepts hat die Verarbeitung von Background Matting in sensiblen Randbereichen wie Händen, Füßen und Haaren verbessert. Hierfür haben wir KI-Modelle aus dem Azure Body Tracking SDK verwendet, was zu einer genaueren Trennung in ähnlichen und mehrdeutigen Farbbereichen führt. Auf der anderen Seite wird der menschliche Körper in zwei quadratische Bilder aufgeteilt, die separat verarbeitet werden. Dies hilft der KI, Bereiche wie den Schatten zu überprüfen, der zwischen den Füßen entsteht, oder sich mehr auf Stellen zu konzentrieren, die mehr Präzision erfordern, wie Haare und Hände.

Cloud zur Verbesserung der Videoverarbeitung

Mit der Verbreitung von Videokameras in vielen Branchen (Sicherheit, Industriegebäude, Sportveranstaltungen…) wird auch die intelligente Videoanalyse in Echtzeit immer beliebter und liefert Daten zur Verbesserung von Prozessen oder zur Erschließung neuer Geschäftsfelder. Die Cloud dient dazu, diese riesigen Datenmengen zu hosten. Gleichzeitig schafft künstliche Intelligenz Möglichkeiten, sie zu verwalten, dank Diensten wie Kubernetes.

In ähnlicher Weise kann Cloud Computing eingesetzt werden, wenn die lokale Verarbeitungsleistung oder Bandbreite für die Aufnahme, Wiedergabe oder Ausstrahlung von Videos nicht ausreicht. Dies könnte beispielsweise bei der Aufzeichnung oder dem Streaming in 4K der Fall sein, einer Auflösung von einer Million Pixeln, die bereits zur Erstellung von Inhalten für das Fernsehen und für Video-on-Demand-Plattformen verwendet wird.

Wenn man sich auf die Cloud verlässt, ist nicht nur das Risiko eines technischen Ausfalls geringer, sondern das Video kann auch mit mehreren Backups gespeichert werden. Gleichzeitig ermöglichen Cloud-Technologien allen Mitgliedern eines Teams, von ihrem Arbeitsplatz, von zu Hause oder von anderen Orten aus auf die Videos zuzugreifen.

Cloud Computing ist auch für die Speicherung und Übertragung von Inhalten der zahlreichen Streaming-Plattformen, die es gibt, unerlässlich. Übertragen auf Unternehmen, die auch Videos auf einer „bescheideneren“ Ebene hosten müssen (z. B. Fernunterrichtsportale), ist die Cloud für das Hosting von Videos skalierbar: Die Speicherkapazität kann je nach Bedarf des Unternehmens wachsen oder schrumpfen, ohne dass die Qualität der Übertragung beeinträchtigt wird.

Warum Hintergrundextraktion und Videoverarbeitung heute so wichtig sind

Das Entfernen oder Ändern des Hintergrunds eines Videogesprächs ist mit der Verbreitung der Telearbeit zu einem weit verbreiteten Mittel geworden: Wir wollen nicht zeigen, was sich hinter uns in dem Raum befindet, in dem wir arbeiten, oder wir ziehen es vor, ein Unternehmensbild mit dem Firmenlogo oder dem Bild eines Produkts zu verwenden.

Aber das ist nicht der einzige Grund. Die Verbreitung von 5G-Netzen, die eine Videoübertragung mit höherer Geschwindigkeit und besserer Verarbeitung ermöglichen, bedeutet, dass die entsprechenden Technologien für Videoanrufe verbessert werden müssen, um Schritt zu halten. Das Verkehrsaufkommen wird in vielen Branchen, von der Unterhaltung bis zur Telemedizin, zunehmen, und Technologien wie Augmented Reality oder die Verwendung von Live-Algorithmen der künstlichen Intelligenz können zum Einsatz kommen.

Das Azure-Team strebt diese Integration zwischen dieser Cloud-Technologie und 5G schon seit einiger Zeit an. Tatsächlich haben Microsoft und das Telekommunikationsunternehmen AT&T im November 2021 Azure Public MEC vorgestellt, das die geringe Latenz von 5G integriert mit Azure in mobilen Netzwerken bietet. Dies ermöglicht es Entwicklern, Anwendungen mit niedriger Latenz so zu erstellen, als befänden sie sich in der Azure Public Cloud.

Wenn Sie möchten, dass Ihre Mitarbeiter Videogespräche mit Kunden führen können, ohne dass ihre Figur an Schärfe verliert; wenn Sie eine Technologie suchen, mit der Sie digitale Veranstaltungen mit Sprechern übertragen können; oder wenn Sie Videos aus der Cloud verarbeiten und verwalten möchten, können wir Ihnen helfen: Bei Plain Concepts haben wir Erfahrung in der Durchführung dieser Projekte, die mit dem Aufkommen der 5G-Netze noch attraktiver werden. Kontaktieren Sie uns und wir unterstützen Sie bei allem, was Sie brauchen.