Registrierung erfolgreich abgeschlossen!
Klicken Sie bitte den Link aus der E-Mail, die an geschickt wurde

China: Ein Programm macht Manga-Comics aus jedem Film

© CC0 / OpenClipart-VectorsComic-Figur (Symbolbild)
Comic-Figur (Symbolbild) - SNA, 1920, 19.02.2021
Abonnieren
Chinesische Software-Entwickler haben ein Programm geschrieben, das aus jedem Film einen Comic erstellen kann. Das wird durch eine komplexe Analyse von Audiospur, Untertitel und Gesichtserkennung im Video erreicht.
Zu faul, einen guten Film anzuschauen? Kein Problem: Mach einen Comic draus. Nein, das ist wahrscheinlich nicht genau das, was sich chinesische Forscher gedacht haben, als sie eine Software entwickelt haben, die aus beliebigen Videos Comics erstellen kann. Aber solchen Wünschen kommt die Software mehr als entgegen.
Verwandelt wird dabei das Ausgangsvideo ganz im Sinne Asiens in einen Comic im Mangastil und zwar angeblich ohne dass der Nutzer der Software einen Finger rühren muss. Gebraucht wird nur ein Videosignal und eine Untertiteldatei. Das Programm analysiert die Untertitel und sucht nach „Schlüsselbildern“, die die wichtigsten Informationen tragen. Diese werden dann mit einem Comicstil umgeformt.
Deepfake-Technologie wird auf einem Bildschirm beim Weltwirtschaftsforum in Davos gezeigt (Archivbild) - SNA, 1920, 17.02.2021
Der Krieg der Deepfakes: Wie falsche Inhalte immer täuschend echter werden
Dann beginnt die Kästchenarbeit. Die entsprechenden Schlüsselbilder werden dabei auf eine visuell ansprechende Weise in unterschiedliche große Boxen verpackt. Der Text wird in Sprechblasen eingetragen, die darüber hinaus unterschiedlich geformt sind – je nach der Emotion, die der Sprecher dabei ausdrückt. Diese Emotionen werden aus dem Dialog in den Untertiteln sowie dem Klangbild der Audiospur abgeleitet.
Zugeordnet werden die Sprechblasen den Sprechern dann über das Video selbst. Dort werden verschiedene Personen ausgemacht und über die Emotionen, die deren Gesichter beim Sprechen ausdrücken, eine Zuordnung getroffen.
Das Verfahren wurde bereits an Ausschnitten aus verschiedenen Filmen, darunter „Titanic“, erprobt und die Ergebnisse einer Anzahl von Menschen vorgelegt, die sie beurteilen sollten. Verglichen wurde mit früherer Software, die Comics generieren konnte. Die Mehrzahl bevorzugte die so erstellten Bildfolgen.
© Foto : Yang et al.Beispiele mit Hollywood-Filmen
Beispiele mit Hollywood-Filmen - SNA, 1920, 19.02.2021
Beispiele mit Hollywood-Filmen
Laut den Forschern ist dennoch immer noch einiges zu tun. Zum Beispiel sollen die Schlüsselbilder teils einander immer noch zu sehr ähneln, was auf Betrachter redundant wirkt. In ihren folgenden Arbeiten wollen sie deshalb das Modul für die Schlüsselbildauswahl verbessern.
Übrigens: Manga-Comics mögen eine unterhaltsame Anwendung von Mustererkennung darstellen, doch die Entwicklungen, die so etwas ermöglichen, sind weiterhin kritisch zu sehen. Geschulte Software, die über Mikrophone und Videokameras in einer „smarten Stadt“ zum Beispiel die wesentlichen Informationen aus gesprochener Rede, Mimik und Gestik herausfiltern kann, hat nämlich viele Anwendungsfelder und sollte nicht bei Terrorismus- und Verbrechensbekämpfung aufhören.
Newsticker
0
Neueste obenÄlteste oben
loader
Live
Заголовок открываемого материала
Um an der Diskussion teilzunehmen,
loggen Sie sich ein oder registrieren Sie sich
loader
Chats
Заголовок открываемого материала