• Promovieren in der Forschungsgruppe

Figuring it Out: Exploring AI-Generated Figurative Expression Across Modalities

Promotions-Projekt von Johanna Rockstroh

Bildhafte Sprache ist ein zentrales Merkmal menschlicher Kommunikation, da sie ermöglicht, abstrakte oder komplexe Ideen anschaulich und einprägsam zu vermitteln. Mit den jüngsten Fortschritten großer Sprachmodelle (LLMs) und multimodaler generativer KI wächst das Potenzial, bildhafte Ausdrucksformen nicht nur in Text, sondern auch in Bildern, Comics und GIFs zu erzeugen. Diese Dissertation untersucht, wie solche Systeme das Verständnis, die Kreativität und das User Engagement in Anwendungsfeldern wie Bildung, Gesundheitskommunikation und Journalismus unterstützen können.

Drei leitende Forschungsfragen strukturieren die Arbeit: Wie kann bildhafte Sprache abstrakte Konzepte für ein breiteres Publikum zugänglicher machen? Welche Evaluationsmethoden erfassen am besten die Kreativität und Angemessenheit KI-generierter figurativer Inhalte? Und wie beeinflussen multimodale Ausdrucksformen in Form von Text, Bildern oder GIFs die Nutzererfahrung in dialogischen Systemen? Zur Beantwortung dieser Fragen kombiniert das Projekt die Generierung figurativer Artefakte mit systematischer Evaluation und nutzerzentrierten Studien.

Erste Ergebnisse deuten darauf hin, dass die Wirksamkeit bildhafter Sprache sowohl vom Vorwissen des Publikums als auch vom Grad der Konventionalisierung abhängt. Während vertraute Ausdrücke leichter verstanden werden, können neuartige oder weniger konventionelle Formen zu Mehrdeutigkeit führen. Bildhafte Sprache kann das Verständnis in Bildungszusammenhängen fördern und in der Gesundheitskommunikation Aufmerksamkeit erzeugen, birgt aber bereichsübergreifend das Risiko von Verwirrung oder Fehlinterpretation, wenn Bedeutungen unklar bleiben.

Aktuelle Projekte befassen sich mit der Entwicklung von Evaluationsmetriken für LLM-generierte Artefakte, dem Vergleich verschiedener Modalitäten in Chatbots zur Unterstützung des Verständnisses von Redewendungen, der Paraphrasierung von Fachwissen in MINT-Fächern sowie der Untersuchung von Nutzerreaktionen auf GIFs in Dialogsystemen. Zukünftige Arbeiten erweitern diese Ansätze auf Anwendungen in der sexuellen Gesundheitskommunikation, der journalistischen Textunterstützung und sozialen Begleitern. Ziel ist es, Evaluationsmethoden zu verfeinern, die Rolle von Metaphern und Idiomen für die Nutzerwahrnehmung zu untersuchen und Strategien zur Integration bildhafter Sprache in angewandte Systeme zu entwickeln. Insgesamt leistet die Dissertation einen Beitrag zur Weiterentwicklung von Methoden zur Bewertung computer­gestützter Kreativität und liefert anwendungsspezifische Einblicke in die Rolle von KI in der menschlichen Kommunikation.

Kontakt

• Johanna Rockstroh