VIAN-DH

Kooperation mit dem Deutschen Seminar, UZH, LiRI – Linguistic Research Infrastructure und dem UFSP Sprache und Raum

Prof. Dr. Noah Bubenhofer
Prof. Dr. Barbara Flückiger
PD Dr.  Klaus Wolfgang Kesselheim
PD Dr. Simon Spiegel
M.A. Teodora Vuković

Summary

VIAN-DH hat zum Ziel, die im Rahmen des ERC Advanced Grant FilmColors entwickelte Videoannotationssoftware VIAN für die Analyse von Sprache auszubauen.

Konkret wird VIAN um folgende Funktionen erweitert:

• Annotationsspuren für verbale und multimodale Annotation nach dem Vorbild von Transkriptionseditoren in der Gesprächsanalyse (Exmaralda, ELAN), die händisch oder automatisch gefüllt werden können (basierend auf Untertiteln oder Drehbüchern oder per Spracherkennungsalgorithmus).
• Ein Modul zur Integration automatischer Spracherkennung: Plug-in-Architektur zur Integration verschiedener bestehender Spracherkennungssysteme (z.B. Google API). 
• Ein Modul zur automatischen korpuslinguistischen Natural Language Processing-Annotation der Transkriptionsspur (basierend auf der Standardpipeline spaCy), um nach Wortarten, semantischen Klassen etc. suchen zu können.
• Ein Korpus-Query-Interface zur Abfrage der unterschiedlichen Annotationsebenen unter Nutzung von NLTK.
• Eine Visualisierungskomponente zur Darstellung von Gesprächsdynamiken.

Mit diesen Erweiterungen macht es VIAN-DH möglich, automatisiert Sprache in Bewegtbildern zu analysieren und darüber hinaus die Verbindung von Sprachdaten und anderen im bewegten Bild erkennbaren Modalitäten in den Blick zu nehmen. Diese Analysemöglichkeiten werden nicht nur die linguistische Gesprächsanalyse und Multimodalitätsforschung, sondern auch Disziplinen wie die Ethnografie oder die visuelle Anthropologie voranbringen.

DH in Film, Prof. Dr. Barbara Flückiger