Hier ein kleiner Einblick in die Gesichts- und Mimikerkennung als Film:
Neuheit und Attraktivität des Lösungsansatzes
Im Rahmen des Projekts IDEAS soll neben der automatisierten Sprachanalyse (Sprachinhalt, Prosodie etc.), eine Analyse der non-verbalen Kommunikation (Detektion von Mimik, Gestik, Blickrichtung) sowie der sozialen Interaktion (verbales und nonverbales Antwortverhalten z.B. auf einen Avatar, “Plaudern”, Einnehmen von Rollen im Spiel) stattfinden. Neben dem motivationalen Design durch Umsetzung des Gamification-Ansatzes liegen technische Randbedingungen vor. Um den mobilen Charakter des Systems und die Handhabbarkeit in Messungen mit jungen Kindern zu gewährleisten, dient ein Smartphone oder Tablet als Grundlage. Die Front-Kamera dient dazu, die Gestik und Mimik des zu untersuchenden Kindes zu analysieren. In der aktuellen Generation mobiler Endgeräte sind die Kameras bereits mit Tiefensensoren verbunden, die den Gerätenutzer bzw. seine Gestik und Mimik dreidimensional erfassen können.
Die Daten sollen mittels vortrainierter KI-Systeme erfasst werden und stünden dann Software-Entwickler*innen i.d.R. unmittelbar zur Verfügung. Sie bieten eine ideale Ausgangslage für die Gestik- und Mimikanalyse in IDEAS. Basierend auf Expert*innenannotationen dieser Metadaten im Vergleich zu typisch entwickelten Kindern werden im Projekt Algorithmen für die ASS-Erkennung erarbeitet.
Durch eine Umsetzung der Software als App ist das System modalitäts- und institutsübergreifend einsetzbar. Auf diese Weise soll ein breites Spektrum der klinischen Merkmale des ASS objektiv erfasst werden. Das Verfahren soll also eine objektive Bewertung ASS-typischer Symptome in der direkten Interaktion mit den Patient*innen bieten. Damit ergänzt es den FSK, der Auskunft über die Symptomatik im zeitlichen Längsschnitt durch ein subjektives Fremdurteil einholt. So soll das System präzisere Ergebnisse im Vergleich zu gängigen Verfahren erzielen.