Sprachen können nicht nur über Gesprochenes und Geschriebenes wahrgenommen werden, sondern auch über sichtbare Körperausdrücke (Hände, Körper und Gesicht). Alle gesprochenen Sprachen nutzen neben dem Gesprochenen auch Gebärden, und in Gehörlosen-Gemeinschaften können alle Aspekte der Sprache mithilfe des sichtbaren Körpers in der Gebärdensprache ausgedrückt werden. Der einzigartige Beitrag dieser sichtbaren Ausdrücke zu unserem Verständnis des menschlichen Sprachvermögens ist allerdings weniger erforscht. Das Multimodal Language Department hat sich zum Ziel gesetzt, zu verstehen, wie sichtbare Merkmale von Sprache zusammen mit Gesprochenem oder Gebärdensprache einen fundamentalen Aspekt der menschlichen Sprachfähigkeit bilden und so zu ihrem einzigartigen, flexiblen und anpassungsfähigen Charakter beitragen. Ziel der Abteilung ist es, Sprache und Linguistik als multimodale Phänomene darzustellen.
Zu diesem Zweck führen wir Feldforschungen durch, um herauszufinden, wie Gebärden in gesprochenen Sprachen mit unterschiedlichen sprachlichen Strukturen – etwa Wortstellung oder Prosodie -– sowie in verschiedenen Gebärdensprachen verwendet werden, um universelle und verschiedene Muster zu verstehen. Das Multimodal Language Department hat sich außerdem zum Ziel gesetzt, die Rolle von neuralen, kognitiven und linguistischen Verarbeitungsmechanismen und die Anforderungen von Sprachgebrauch bei Interaktionen und Sprachübermittlung (zum Beispiel Lerneinschränkungen) bei der Bildung der multimodalen Strukturen von Sprache zu verstehen. Das allgemeine Ziel ist es daher, die kognitiven und sozialen Grundlagen der menschlichen Sprachfähigkeit zu entschlüsseln, indem ihre multimodale und sprachübergreifende Diversität als fundamentales Gestaltungsmerkmal berücksichtigt wird.
Unsere Forscher*innen kombinieren mehrere Methoden wie zum Beispiel Korpus- und Computerlinguistik, experimentelle Methoden, maschinelles Lernen, KI und virtuelle Realität, um die Struktur, den Gebrauch, die Verarbeitung und die Übertragung multimodaler Sprache zu erforschen. Wir arbeiten mit zahlreichen Sprachbenutzerinnen und Sprachbenutzern verschiedener gesprochener – und Gebärdensprachen auf der ganzen Welt sowie auch mit Einzelpersonen, die verschiedene Zugänge zur sensorischen Wahrnehmung haben, etwa gehörlose oder blinde Menschen, Menschen in verschiedenen Altersgruppen und Menschen mit Autismus-Spektrum-Störung.
Asli Ozyurek
Vacancies
-
Native Dutch speaking Student Assistant
Student AssistantMultimodal Language Departmentpart-timeThe Multimodal Language Department is offering a part-time Student Assistant position to a native Dutch speaker (16-19 hours/week)...
-
14 April 2024
New paper in Language Learning: Iconicity and Gesture Jointly Facilitate Learning of Second Language Signs at First Exposure in Hearing Nonsigners
The paper “Iconicity and Gesture Jointly Facilitate Learning of Second Language Signs at First Exposure in Hearing Nonsigners” by Dilay Z. Karadöller, David Peeters, Francie Manhardt, Aslı Özyürek...
-
09 April 2024
Chinmaya Mishra's research featured on Radboud University Research News and Computable.nl
Chinmaya Mishra's research on making robots understand human gaze and emotions is now featured on Radboud University and Computable.nl websites, showcasing how robots can better interact with us...
Share this page