»Listening Effort Meter« hilft bei der Postproduktion, um schlechte Sprachverständlichkeit zu vermeiden
Das vom Fraunhofer IDMT in Oldenburg entwickelte »Listening Effort Meter« (LE-Meter) ermöglicht es Tonschaffenden, die Höranstrengung während des Mischens zu visualisieren und zu überprüfen, um die Audioqualität zu optimieren. Die Technologie hat damit erneut den Weg von der wissenschaftlichen Entwicklung in die kommerzielle Anwendung gefunden und soll auf breiter Ebene Verbesserungen in der Medienproduktion ermöglichen.
Die Sprachverständlichkeit und die Höranstrengung sind für viele Menschen ein wichtiges Thema beim Medienkonsum. Denn der Mix von Musik und Sprache in modernen Produktionen stellt für viele Hörende eine große Herausforderung dar.
Bild: Das LE-Meter in NUGENs Plug-in DialogCheck bietet Tonschaffenden die Möglichkeit Höranstrengung und Sprachverständlichkeit in der Postproduktion zu visualisieren und zu optimieren. NUGEN Audio limited

Dieses Problem wird durch Schwerhörigkeit noch verschärft. Das Fraunhofer IDMT in Oldenburg hat das LE-Meter für Tontechnikerinnen und -techniker entwickelt, um den Mediengenuss zu verbessern und einer breiteren Öffentlichkeit die Teilhabe zu ermöglichen.

Die Fähigkeit eines Zuhörerenden, einen Dialog zu verstehen, wird von vielen Faktoren beeinflusst. Dazu gehören z. B. das Hörvermögen der Zuhörerinnen und Zuhörer, die Hörumgebung, die Position der Sprechenden und die unterstützenden visuellen Elemente. Da diese Faktoren während der Produktion nicht kontrolliert werden können, ist es umso wichtiger, andere Faktoren, die kontrolliert werden können, vor der Ausstrahlung zu überwachen. Zu nennen wären z. B. die Aussprache, Hall und Effekte, Lautstärke der Sprache oder Hintergrundgeräusche. Das Fraunhofer IDMT hat deshalb das Software-Tool LE-Meter entwickelt, das es Toningenieurinnen und Toningenieuren ermöglicht, die Höranstrengung während des Mischens zu visualisieren und nach dem Mischen zu überprüfen, um die Audioqualität zu optimieren. Das LE-Meter wurde entwickelt, um die Höranstrengung von Dialogen im Sendematerial objektiv zu bewerten. Es kombiniert Technologien, die auf automatischer Spracherkennung und psychoakustischer Modellierung basieren, mit Metriken zur Bewertung der Verständlichkeit von Dialogen.

Von der wissenschaftlichen Entwicklung zur kommerziellen Anwendung

»Unser Listening Effort Meter ermöglicht die objektive Messung und Darstellung von Sprachverständlichkeit und Höranstrengung. Dank der Validierungen und Optimierungen durch formale Hörtests erhalten Medienproduzierende sowie Tontechnikerinnen und -techniker damit ein präzises Werkzeug zur Analyse und Umsetzung von Audioinhalten. So können zum Beispiel schwierige Passagen automatisch identifiziert werden, um sie im Hinblick auf Hörgenuss und Barrierefreiheit zu verbessern«, betont Prof. Dr. Jan Rennies-Hochmuth, Gruppenleiter für Persönliche Hörsysteme am Institutsteil Hör-, Sprach- und Audiotechnologie HSA des Fraunhofer IDMT.

Wenn man lange an einem Audioprojekt arbeitet, gewöhnt sich das menschliche Ohr an Sprachanteile, die beim ersten Hören nur schwer zu verstehen sind, z. B. Dialekte in lauten Hintergrundgeräuschen. Mit dem LE-Meter ist es möglich, die objektive Sprachverständlichkeit zu visualisieren und den Einfluss von Gewöhnungseffekten auf die Audiomischung zu reduzieren. Mehrere Jahre Hörforschung am Fraunhofer IDMT in Oldenburg, zum Beispiel im Rahmen des Projekts »SITA - Speech Intelligibility Transformation & Autocorrection«, haben sich ausgezahlt. Im Jahr 2020 haben die Forschenden die Sprachverständlichkeitsmessung erstmals in die Anwendung gebracht. Seitdem können die Messungen in Echtzeit durchgeführt werden, gesteuert durch künstliche Intelligenz. Die Algorithmen basieren auf neuronalen Netzen und ermöglichen eine automatische und zielgruppenspezifische Messung der Sprachverständlichkeit. Sie wurden in mehreren Evaluationen mit Probandinnen und Probanden aus verschiedenen Altersgruppen getestet. Nun wurde die Weiterentwicklung in das Plug-in DialogCheck von NUGEN Audio integriert. Auf den Impuls eines Videostreaming-Anbieters hin wurde das Plug-in für den Einsatz in der Film-, Fernseh-, Radio-, Podcasting- und Game-Audio-Produktion sowie in der Postproduktion erarbeitet.

»Für Sendeanstalten und Streaming-Dienste ist die Verständlichkeit von Dialogen entscheidend – wenn die Zuschauenden nicht verstehen, was gesagt wird, sind sie frustriert und verlieren das Interesse. Ein klarer, fesselnder Dialog ermöglicht es, die Geschichte zu erzählen und Emotionen zu vermitteln. Wir bei NUGEN Audio haben den Bedarf nach einer Lösung erkannt, die den Dialog mischende Personen und Postproduktionsingenieurinnen und -ingenieure in die Lage versetzt, die Sprachverständlichkeit objektiv zu beurteilen und fundierte kreative Entscheidungen zu treffen. Durch die Partnerschaft mit dem Fraunhofer IDMT erhielten wir Zugang zu modernster Technologie, die die Entwicklung unseres neuen Plug-ins DialogCheck ermöglichte. Die Zusammenarbeit mit dem Team des Fraunhofer IDMT war uns ein Vergnügen – sie brachten sowohl technische Exzellenz als auch ein starkes Engagement für die Lösung realer Herausforderungen mit«, sagt Dr. Paul Tapper, CEO von NUGEN Audio.

Das Fraunhofer IDMT lieferte auch Algorithmen für das Tool »Dialog Detection« in der Audio-Postproduktionssoftware Nuendo der Steinberg Media Technologies GmbH, um Sprache in Anwesenheit von Hintergrundgeräuschen zuverlässig zu erkennen. Die erfolgreiche Kooperation zwischen Steinberg und dem Fraunhofer IDMT bietet Audio-Profis seit Nuendo 11 die Möglichkeit, die Sprachverständlichkeit einfach zu messen, zu bewerten und darzustellen. In Zukunft soll das LE-Meter auch in anderen Anwendungen eingesetzt werden können. So ist es beispielsweise denkbar, dass im Rundfunk auf Kameradisplays neben den Schallpegeln auch die Sprachverständlichkeitsmessungen angezeigt werden. Oder in der Filmindustrie kann das LE-Meter als Qualitätskontrolle eingesetzt werden, damit Toningenieurinnen und Toningenieure nicht alle Mischungen abhören müssen, sondern sofort sehen, ob die Sprache auf einer Aufnahme verständlich ist. Das Fraunhofer IDMT sucht daher Partner, um die Technologie in weitere Anwendungen zu bringen.
Quelle: Fraunhofer-Institut für Digitale Medientechnologie IDMT