Einen 3D-Avatar als Dolmetscher für Gebärdensprache hat der Augsburger Lehrstuhl für Human-Centered Multimedia mitentwickelt. Eingegebener Text wird vom Avatar in Gebärdensprache übersetzt. Charamel GmbH3D-Gebärdensprach-Avatar als Sprachassistent zur automatisierten Gebärdenübersetzung
Weltweit gibt es etwa 70 Millionen gehörlose Menschen. Für viele von ihnen ist Textsprache eine Fremdsprache. Sie bedienen sich stattdessen der Gebärdensprache. Deshalb sind Behörden und öffentliche Stellen in Deutschland zu barrierefreier digitaler Kommunikation verpflichtet. Dabei könnte ein 3D-Gebärdensprach-Avatar helfen, der von einem Augsburger Forschungsteam gemeinsam mit weitere Experten im Projekt „AVASAG“ entwickelt wird, das vom Bundesministerium für Bildung und Forschung (BMBF) gefördert wird.

Bild: Einen 3D-Avatar als Dolmetscher für Gebärdensprache hat der Augsburger Lehrstuhl für Human-Centered Multimedia mitentwickelt. Eingegebener Text wird vom Avatar in Gebärdensprache übersetzt. Quelle: Charamel GmbH



Die Digitalisierung der Gesellschaft schreitet voran und eröffnet viele neue Möglichkeiten. Barrierefreie digitale Kommunikation für Menschen mit Behinderung vereinfacht deren Alltag und gewährleistet ihre gesellschaftliche Teilhabe. In dem vom BMBF geförderten Verbundprojekt AVASAG (steht für Avatar-basierter Sprachassistent zur automatisierten Gebärdenübersetzung) arbeiten sechs Partner aus Forschung und Entwicklung unter der Leitung der Firma Charamel (Spezialist für interaktive Avatar-basierte Assistenzsysteme) an einem echtzeitgesteuerten 3D-Gebärdensprach-Avatar zur automatischen Übersetzung deutscher Texte in Gebärdensprache. Im Projekt entsteht eine völlig neuartige Gebärdenanimations-Methode für 3D-Avatare: Sie kombiniert solche des maschinellen Lernens mit regel-basierten Synthesemethoden, die Text in Gebärden abbilden. Zeitliche und räumliche Abhängigkeiten der komplexen Gebärdenelemente werden dabei sehr genau aufgelöst. Damit wird eine qualitativ hochwertige, realistische Darstellung eines 3D-Gebärdensprach-Avatars erreicht.

Entsprechende Angebote ermöglichen gehörlosen und hörbehinderten Menschen eine umfassendere gesellschaftliche Teilhabe und eine stärkere Integration in die „Digitale Gesellschaft“. Die Ergebnisse des Projektes werden gemeinsam mit der Gehörlosen-Zielgruppe evaluiert und im Anwendungsfeld Reiseinformation und -service mit assoziierenden Partnern erprobt.

In AVASAG werden neue maschinelle Lernverfahren entwickelt, um Texte automatisch in Gebärdensprache für den 3D-Avatar zu übersetzen. Als Trainingsmaterial für das maschinelle Lernverfahren werden schätzungsweise mehrere 10.000 Datenpaare bestehend aus einem Text und der dazu korrespondierenden Übersetzung in Gebärdensprache benötigt. Die Aufbereitung und Kodierung dieser Daten durch den Menschen ist mit einem immensen Zeitaufwand verbunden. In AVASAG wird dieser Aufwand durch eine teils automatische Kodierung mit dem am Augsburger Lehrstuhl für Human-Centered Multimedia entwickelten „NOVA“ Werkzeug erheblich reduziert. "Wir freuen uns sehr, dass wir mit unserer Technologie in Augsburg dazu beitragen können, digitale Medien für Gebärdensprachler schneller zugänglich zu machen“, meint die Augsburger Informatikerin Prof. Dr. Elisabeth André.

Die Partner im Konsortium: im Verbund stark für gesellschaftliche Teilhabe

Unter Leitung von Charamel arbeiten Forscher und Entwicklerinnen der folgenden Unternehmen und Forschungseinrichtungen aus Deutschland in den nächsten drei Jahren zusammen: yomma GmbH – Experten für Gebärdensprache in Hamburg; Ergosign GmbH, Pionier für User Experience Design in Saarbrücken; Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI) GmbH - Forschungsbereiche "Kognitive Assistenzsysteme", "Sprachtechnologie und Multilingualität; Technische Hochschule Köln / Institut für Medien- und Phototechnik, Köln sowie die Universität Augsburg / Human Centered Multimedia (HCM) in Augsburg.

Das Projekt wird vom Bundesministerium für Bildung und Forschung im Rahmen von „KMU-innovativ“ mit Schwerpunkt Mensch-Technik-Interaktion gefördert. Das Projektvolumen beträgt 1,98 Mio. Euro, davon 74% Förderanteil durch das BMBF.

Alexander Stricker, Geschäftsführer Charamel GmbH und Projektleiter von AVASAG dazu: „Digitale Barrierefreiheit wird immer wichtiger, um Inhalte dynamisch und für alle Zielgruppen adäquat aufbereitet zu vermitteln. Automatisierte Instrumente helfen bei einer barrierefreien Kommunikation. Wir sind begeistert von der Idee, mithilfe unserer smarten, lernfähigen Avatare hierzu einen maßgeblichen Beitrag leisten zu dürfen“.
Quelle: Universität Augsburg

CIV NRW e.V

CIV NRW Logo

Cochlea Implantat Verband Nordrhein-Westfalen e.V. (CIV NRW)
(Regionalverband für NRW der DCIG e.V.)
Geschäftsstelle: Alleestr. 73, 58097 Hagen
Telefon: 02331 1884601
Beratungstermine nach Vereinbarung unter: info@civ-nrw.de -

CIV NRW News online
ist die  Onlineversion der Zeitschrift des
Cochlea Implantat Verbandes NRW e.V.,
CIV NRW News - Chefredaktion:
Marion und Peter Hölterhoff
Redaktion:
Karina Manassah, Veronika Albers und freie Autoren
Korrektorat: Christel Kreinbihl
Medizinische Beratung:
Prof. Dr. med. Jonas Park, Dr. Elmar Spyra, Peter Dieler
Anzeigen/ Akquise:
Michaela Hoffmann michaela-hoffmann@civ-nrw.de
CIV NRW News online- ViSdP:

Peter G.A. Hölterhoff, Rosenstr 4 58642 Iserlohn
© Cochlea Implantat Verband NRW e.V.
Alle Rechte vorbehalten - Alle Angaben ohne Gewähr

Mit Aufruf der folgenden Links werden Daten an die Netzwerke übertragen und dort verarbeitet.
Facebook: https://www.facebook.com/CIV.NRWNews - Twitter:    https://twitter.com/CIV_NRW - Instagram:  https://www.instagram.com/civnrw/
WEB-Layout: Peter G.A. Hölterhoff
Sie können uns unterstützen über Gooding oder eine
direkte Spende hier online
Bankverbindung: Volksbank Hohenlimburg
IBAN:DE30 4506 1524 4001 2313 00,
BIC: GENODEM1HLH

Veranstaltungskalender

Mo Di Mi Do Fr Sa So
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
Wir benutzen Cookies
Bitte beachten Sie, dass einzelne Funktionen unserer Website möglicherweise nicht funktionieren, wenn Sie die Verwendung von Cookies deaktiviert haben.