Hass im Netz ist längst kein Randphänomen mehr. Beleidigungen, Diskriminierung und gezielte Hetze gehören für viele Menschen zur täglichen Online-Erfahrung – besonders junge Nutzer*innen sind davon betroffen. Während die großen Plattformen mit Löschungen und Sperren reagieren, setzen Forschende an der USTP – University of Applied Sciences St. Pölten auf innovative Ansätze, um Hassrede nachhaltig einzudämmen und digitale Zivilcourage zu fördern.
Zwei aktuelle Projekte – „Counter Speech: Young People Against Online Hate“ und „HaSPI: Hate Speech Prevention through Imitation“ – zeigen, wie technologische und gesellschaftliche Forschung gemeinsam neue Wege für ein respektvolles Miteinander im Netz ebnen können.
Beide Projekte verdeutlichen, wie praxisnahe Forschung an der USTP betrieben wird – als Beispiel für digitalen Humanismus: Technologie im Dienst von gesellschaftlicher Verantwortung und Empowerment junger Menschen.
Counter Speech: effektiv auf Hasskommentare reagieren
Kinder und Jugendliche sind häufig Zielscheibe von Hasspostings, Cybermobbing und beleidigenden Kommentaren. Das Projekt „Counter Speech – Young People Against Online Hate“ des Instituts für Creative\Media/Technologies der USTP und des Instituts für Soziologie der Universität Wien möchte jungen Menschen Werkzeuge an die Hand geben, um aktiv und selbstbewusst gegen Hassrede aufzutreten.
„Anstatt problematische Inhalte zu löschen oder zu sperren, setzt das Projekt auf „Citizen-generated counter speech“, also auf Gegenrede aus der Community. Mithilfe automatisierter Datenanalyse und Methoden der KI wird Gegenrede identifiziert und sichtbar gemacht“, betont Djordje Slijepčević, stv. Forschungsgruppenleiter am Institut für Creative\Media/Technologies der USTP.
So können Jugendliche lernen, wie sie effektiv auf Hasskommentare reagieren, ohne selbst in die Defensive zu geraten.
CounterHelp-App für TikTok
Ein zentrales Ergebnis des Counter-Speech-Projekts ist die Entwicklung der App „CounterHelp“. Jugendliche können mithilfe der App einfach eigene Gegenrede auf TikTok erstellen. Die App analysiert den ausgewählten Kommentar, bezieht sämtliche verknüpften Informationen mit ein und generiert mithilfe eines Sprachmodells Vorschläge in verschiedenen Stilen – von aufklärend über empathisch bis humorvoll. Eine Nutzer*innenstudie bestätigte die Nützlichkeit und Akzeptanz des Tools.
Ausgezeichnete Innovation: CounterHelp gewinnt Preis auf internationaler Konferenz
Die wissenschaftliche Aufbereitung des Ansatzes wurde unter dem Titel „Promoting Online Civil Courage Among Young People Through AI-Generated Counterspeech“ präsentiert. Dafür erhielt das Forschungsteam den Best Interactive Experience Demo Award bei der Fachtagung ACM Multimedia – der führenden internationalen Konferenz im Bereich der Multimedia-Forschung. Die Auszeichnung würdigt die technologische Qualität und gesellschaftliche Wirkung der entwickelten Lösung.
„CounterHelp demonstriert, wie man generative KI und moderne Sprachmodelle sinnvoll nutzen kann, um junge Nutzer*innen auf Online-Plattformen zu unterstützen. Wir hoffen, dass CounterHelp die Entwicklung von Gegenrede-Assistenten für Social-Media Plattformen inspiriert“, sagt Matthias Zeppelzauer, Leiter der Forschungsgruppe Media Computing an der USTP.
Transparente KI-Methode zur Erkennung von Hassrede und Gegenrede
Das Counter-Speech-Team entwickelte darüber hinaus eine neue Methode zur Erkennung und Klassifikation von Hassrede und Gegenrede. Diese setzt neue Maßstäbe in puncto Transparenz und Effizienz. In der neuesten Publikation „Distilling knowledge from large language models: A concept bottleneck model for hate and counter speech recognition“ wird ein neuartiger Ansatz zur Sprachanalyse vorgestellt, der über herkömmliche textbasierte Verfahren hinausgeht. Die neue Methode basiert auf abstrakten und menschlich verständlichen Konzepten, wie „sexistisch“, „provokant“, „liebevoll“, die in Kooperation mit Soziolog*innen der Universität Wien erhoben wurden. Diese Konzepte erfassen Absicht und Ton von Nachrichten und Social-Media-Beiträgen. Auf Basis dieser Konzepte können kompakte und transparente KI-Modelle entwickelt werden, die akkurate, nachvollziehbar und ressourcenschonend Hassrede und Gegenrede erkennen.
Counter Speech stellt einen wichtigen Fortschritt im Kampf gegen Online-Hassrede dar und bietet ein leistungsstarkes Werkzeug zur Erkennung von Hassrede und zur Förderung konstruktiver Gegenrede.
HaSPI: Automatisierte Erkennung von Hassrede
Während „Counter Speech“ auf die Stärkung der Nutzer*innen setzt, verfolgt das neue Forschungsprojekt „HaSPI – Hate Speech Prevention through Imitation“ einen anderen Zugang: Es entwickelt eine technische Lösung zur automatisierten Erkennung und Moderation von Hassrede im deutschsprachigen Raum.
Unter der Leitung von Senior Researcher Sebastian Neumaier vom Institut für IT-Sicherheitsforschung der USTP nutzen die Forschende Methoden des Imitation Learnings – also maschinelles Lernen durch Nachahmung menschlicher Entscheidungen. Die Software lernt auf Basis eines umfangreichen Datensatzes von derStandard.at.
„Im Projekt HaSPI setzen wir auf einen neuartigen Machine-Learning-Ansatz zur Erkennung von Hassrede: Durch Imitation sollen die Modelle ein besseres Verständnis von Hate-Speech im Netz in verschiedenen Kontexten bekommen und dadurch lernen, diese zuverlässiger zu klassifizieren. Dabei stützt sich das Projekt auf den One-Million-Posts-Corpus des STANDARD, der zahlreiche Entscheidungen erfahrener Moderator*innen enthält und somit eine ideale Grundlage für das Training der Modelle bietet“, sagt Tobias Kietreiber, stellv. Projektleiter und Junior Researcher am Institut für IT-Sicherheitsforschung.