MOD3D

Modellierung von Verhaltens- und Handlungsintentionsverläufen aus multimodalen 3D-Daten

 

In immer mehr Bereichen des täglichen Lebens werden technische Systeme eingesetzt, wodurch auch immer mehr Menschen mit solchen Systemen interagieren müssen – ob im Bereich der Mobilität im Rahmen von Fahrerassistenzsystemen oder im Bereich der Gesundheit und Pflege, zum Beispiel beim betreuten Wohnen. Eine solche Interaktion kann vor allem bei älteren und weniger versierten Nutzern Probleme verursachen. Um diese Nutzergruppen zu unterstützen, ist es notwendig, die Interaktion adaptiv, antizipatorisch und nutzerzentriert zu gestalten. Ein wichtiger Schritt in Richtung solcher Systeme ist die Erkennung und die dafür notwendige Modellierung des aktuellen Nutzerzustandes. In Projekt MOD3D werden drei verschiedene Nutzerzustände bzw. Verhaltenskategorien auf Grundlage von multimodalen Daten untersucht: Überforderung, Zufriedenheit und Kooperativität. Um die spätere praktische Verwendbarkeit zu gewährleisten, werden die Untersuchungen an natürlichen Interaktionsdaten durchgeführt, die in anwendungsnahen Szenarien unter natürlichen Bedingungen aufgenommen wurden.

Wesentliche Publikationen

  • O. Egorow, A. Wendemuth. On Emotions as Features for Speech Overlaps Classification. Erscheint in: IEEE Transactions
    on Affective Computing, 2019.

  • O. Egorow, T. Mrech, N. Weißkirchen, A. Wendemuth. Employing Bottleneck and convolutional features for speech-based physical load detection on limited data amounts. In: Interspeech 2019, S. 1666-1670, 2019.

  • R. Böck, O. Egorow, J. Höbel-Müller, A. F. Requardt, I. Siegert, A. Wendemuth. Anticipating the User: Acoustic Disposition Recognition in Intelligent Interactions. In: Innovations in Big Data Mining and Embedded Knowledge: Domestic and Social Context Challenges. Herausgegeben von: A. Esposito, A. M. Esposito, L. C. Jain, Springer, 2019.

  • O. Egorow, I. Siegert, A. Wendemuth. Improving Emotion Recognition Performance by Random-Forest-Based Feature Selection. In: Speech and Computer: 20th International Conference, SPECOM 2018, Leipzig, S. 134-144, 2018.

  • I. Siegert, J. Krüger, O. Egorow, J. Nietzold, R. Heinemann, A. F. Lotz. Voice Assistant Conversation Corpus (VACC) – a Multi-Scenario Dataset for Addressee Detection in Human-Computer Interaction Using Amazon's ALEXA. In: Proc. of the LREC 2018 Workshop LB-ILR2018 and MMC2018 Joint Workshop, Miyazaki, S. 51-54, 2018.

  • R. Böck, O. Egorow, I. Siegert, A. Wendemuth. Comparative study on normalisation in emotion recognition from speech. In: Intelligent Human Computer Interaction: 9th Int. Conf., IHCI 2017.

  • O. Egorow, A. Wendemuth. Emotional features for speech overlaps classification. In: Interspeech 2017, S. 2356-2360, 2017.

  • O. Egorow, I. Siegert, A. Wendemuth. Prediction of user satisfaction in naturalistic human-computer interaction. In: Kognitive Systeme: Mensch, Teams, Systeme und Automaten, 2017.

  • O. Egorow, A. Wendemuth. Detection of Challenging Dialogue Stages Using Acoustic Signals and Biosignals. In: Proc. of WSCG 2016, Plzen, 2016.