von Josephine B. Schmitt und Julian Ernst

Um extremistischen Botschaften im Netz – also da, wo sie vielfach verbreitet werden – etwas entgegenzusetzen, produzieren zivilgesellschaftliche Akteur*innen sogenannte Gegenreden oder ‑botschaften. Auf einer allgemeinen Ebene können Gegenreden als positive Botschaften (im Sinne unseres demokratischen Grundverständnisses) definiert werden, die sich gegen extremistische Ideologien als Ganzes oder auch einzelne Narrative dieser Ideologien wenden (Schmitt, Ernst, Frischlich u. Rieger 2017). Dies kann auf ganz unterschiedliche Weise passieren. Zum Beispiel indem ein alternatives Narrativ geboten, also betont wird, wofür wir als Gesellschaft stehen wollen (z. B. für Toleranz und Offenheit). Manche Gegenbotschaften (Gegennarrative) setzen sich aber auch gezielt mit der extremistischen Haltung, ihren Narrativen und Inhalten auseinander, dekonstruieren und entlarven diese.

Die Formate sind vielfältig. Neben etwa Comics (z. B. vom Bundesamt für Verfassungsschutz „Andi – Tage wie dieser“ [1]), Theaterstücken (z. B. „Djihad“ [2] im Theater RadiX in Braunschweig) und Bildern lassen sich vor allem Onlinevideos anführen. Eine Vielzahl von Institutionen setzt auf die Produktion und Verbreitung von audiovisuellen Botschaften insbesondere über YouTube, um vor allem junge Nutzer*innen – als wichtige Zielgruppe extremistischer Gruppierungen – zu erreichen.

Die Ende des Jahres 2015 sowie Anfang des Jahres 2016 auf der Videoplattform YouTube veröffentlichten Videos der Webvideoreihe „Begriffswelten Islam “ der Bundeszentrale für politische Bildung (bpb) in Kooperation mit verschiedenen damals bekannten deutschen YouTuberinnen sind ein gelungenes Beispiel derartiger Angebote. Im Rahmen der Videos sollen „eindimensionale[n] und stereotypisierende[n] Darstellungen [muslimischer Lebenswelten] in den Medien“ (bpb 2015a) vielfältige Deutungsmuster und Erklärungen von Begriffen wie etwa „dschihad“ und „halal/haram“ gegenübergestellt werden. Darüber hinaus konnten interessierte Nutzerinnen der Videos in den Kommentarspalten zu den Videos mit Nutzerinnen und Expertinnen der bpb über die Themen der Videos sowie über darüber hinausgehende Fragen und Inhalte diskutieren bzw. sich weitergehend informieren. Die folgende Tabelle gibt einen Überblick über die Interaktionen der Nutzer*innen (Aufrufe, Likes, Dislikes, Kommentare) mit dem Format.

Neben zahlreichen Chancen bietet diese Form der Onlinekommunikation jedoch eine Reihe von Herausforderungen – sowohl für die Nutzerinnen der Angebote als auch für die Plattformbetreiberinnen und diversen Akteurinnen (z. B. Produzentinnen, Social-Web-Multiplikatorinnen, Akteurinnen der politischen Bildung etc.). Der richtige Umgang etwa mit Hassrede (hate speech) und Unhöflichkeit (incivility) ist insbesondere bei derartigen kontroversen und polarisierenden Themen heikel und mit großen Mühen verbunden. [4]

Welche Empfehlungen sich in diesen Fällen für eine gelingende Moderation ableiten lassen, möchten wir vor dem Hintergrund der aktuellen kommunikationswissenschaftlichen und medienpsychologischen Forschung diskutieren. Dazu möchten wir zunächst einen allgemeinen Überblick über die Bedeutung von Nutzerinnenkommentaren im Internet, ihre Chancen und Herausforderungen vor allem für den politischen Diskurs geben. Dieser Überblick wird ergänzt durch einen vertieften Einblick in die Analyse von Nutzerinnenkommentaren zu acht Webvideos der Reihe „Begriffswelten Islam“.

Die Bedeutung von Nutzerinnenkommentaren im Internet für den politischen und gesellschaftlichen Diskurs

Die Möglichkeit, Kommentare zu Onlineinhalten jeglicher Art zu verfassen, ist eine Standardfunktion des Web 2.0. Jedoch: Nicht unter jedem Beitrag (z. B. Text, Video) und nicht auf jeder Internetseite ist diese Funktion aktiviert. Ferner unterscheiden sich die Kommentarspalten verschiedener Onlineangebote und ‑plattformen darin, ob und inwiefern eine Moderation der Nutzerinnenäußerungen stattfindet, ob also etwa Beiträge vor ihrer Veröffentlichung erst durch Administratorinnen freigegeben werden, Moderatorinnen in die Diskussionen eingreifen, sie lenken und gegebenenfalls strafrechtlich relevante Inhalte von der Seite entfernen.

Auf einer abstrakten Ebene können Nutzer*innenkommentare als eine computervermittelte Variante von Anschlusskommunikation über einen konkreten Medieninhalt verstanden werden. Im Hinblick auf die Diskussion von politischen Themen gilt Anschlusskommunikation als eine Form politischer Partizipation, welche schließlich zu einem Gewinn an politischem Wissen (Eveland u. Schmitt 2015; Trepte u. Schmitt 2017) und weiteren Formen politischen Engagements (z. B. Beteiligung an (Online-)Petitionen, Demonstrationen; Gil de Zúñiga, Diehl u. Ardévol-Abreu 2017) führen kann. Denn die medial vermittelten Fakten und Konzepte können durch die (idealtypische) Auseinandersetzung wiederholt, erweitert, intensiver verarbeitet und somit mental verankert werden; zudem können Unklarheiten diskutiert und gegebenenfalls ausgeräumt werden (Eveland 2004).

In Diskussionen und Konversationen über politische Sachverhalte werden jedoch nicht nur Fakten ausgetauscht und erörtert. In erster Linie äußern Menschen ihre Meinungen zu bestimmten Themen, Meinungsbildungsprozesse finden statt. Insbesondere bezogen auf kontroverse und polarisierende Themen finden sich im Netz teilweise Diskussionen, in denen nicht ausschließlich fundiert und konstruktiv diskutiert wird. In den Kommentarspalten sind zuweilen Aussagen vertreten, die sich durch eine gewisse Unhöflichkeit und Grobheit (incivility) auszeichnen oder gar gezielt Hass gegenüber Personen oder Gruppen, „insbesondere durch die Verwendung von Ausdrücken, die der Herabsetzung und Verunglimpfung von Bevölkerungsgruppen dienen“ (Maibauer 2013, S. 1), ausdrücken (hate speech). Befeuert werden derartige Äußerungen durch niedrige Barrieren der Teilnahme an den Diskussionen, Deindividualisierung des Gegenübers etwa durch die Abwesenheit von sozialen Hinweisreizen (z. B. nonverbales Verhalten der Gesprächspartner*innen) und relativer Anonymität im Vergleich zur Face-to-Face-Kommunikation im Offlinekontext (z. B. Halpern u. Gibbs 2013).

Vor allem rechte Akteurinnen nutzen die vielfältigen Kommentarmöglichkeiten im Netz für die lautstarke Verbreitung ihres Gedankengutes (Amadeu Antonio Stiftung 2016). Dies kann die Einstellungen und Verhaltensweisen der Leserinnen nachhaltig beeinflussen. Hsueh und Kolleginnen (2015) zeigten etwa, dass Leserinnen fremdenfeindlicher und vorurteilsbehafteter Kommentare auch selbst eher fremdenfeindliche Kommentare verfassten. Werden rechte, demokratiefeindliche Meinungen in einer Diskussion (z. B. zu einem Onlineartikel, ‑video) schließlich als Mehrheitsmeinung wahrgenommen, werden moderate, diesen widersprechende Stimmen unterdrückt (Schweigespirale; Neubaum 2016; Springer, Engelmann u. Pfaffinger 2015). Im schlimmsten Fall kann dies das wahrgenommene Meinungsklima und damit den gesamtgesellschaftlichen Diskurs nachhaltig negativ beeinflussen und zu einer Polarisierung der Meinung bzw. der Ausbildung extremer Haltungen beitragen (Stroud 2010).

Gleichsam beeinflusst die Art und Weise der Nutzerinnenkommentare die Wahrnehmung des dazugehörigen Medieninhaltes. So führen unhöfliche Kommentare unter einem journalistischen Beitrag zu einer negativen Beurteilung seiner journalistischen Qualität (Prochazka, Weber u. Schweiger 2016). Auch die Einstellung von Leserinnen gegenüber dem Medieninhalt kann durch die Meinungen, welche in Nutzer*innenkommentaren vorherrschen, beeinflusst werden. So zeigt ein Experiment von Lee und Jang (2010), dass Nutzerinnen, welche Kommentare lasen, die dem Medieninhalt widersprachen, ihre Einstellung gegenüber dem Medieninhalt eher änderten als Personen, die keine Kommentare unter demselben Beitrag lasen bzw. Kommentare, welche die Meinung des Artikels unterstützten. Im Hinblick auf Onlineinhalte, welche das Ziel haben, extremistischen Stimmen etwas entgegenzusetzen und Reflexion zu fördern, sind derartige Mechanismen durchaus problematisch – insbesondere da die Wirksamkeit von Onlinegegenbotschaften nicht uneingeschränkt nachweisbar ist (für einen Überblick siehe Frischlich, Rieger, Morten u. Bente 2017). Umso wichtiger ist in diesem Zusammenhang schließlich die Frage, inwiefern die Moderation von Nutzerinnenkommentaren eine Unterstützung sein kann.

Hassrede und Moderation in den Kommentarspalten zu #WhatIS: der Account „experts for bpb“ im Kontext von hate speech

Im Rahmen einer qualitativen Inhaltsanalyse von Nutzerinnenkommentaren zu den Videos der Webvideoreihe „Begriffswelten Islam“, welche mit #WhatIS markiert sind, betrachteten Ernst und Kolleginnen (2017) auch das Verhältnis von Hassrede (hate speech) und Moderation. Die Videos waren jeweils eingebettet in den YouTube-Kanal der YouTuberinnen, welche als Hauptakteurinnen die Inhalte der Videos präsentierten.

Hate speech als Phänomen findet Beachtung in den unterschiedlichsten Disziplinen. Der Diskurs wird geprägt durch sehr unterschiedliche Definitionen und Herangehensweisen u. a. in den Kommunikationswissenschaften, der Soziologie, den Rechtswissenschaften oder auch der Linguistik (eine ausführlichere Diskussion und Abgrenzung verschiedener Konzepte ist bei Ernst et al. 2017 bzw. Schmitt 2017 zu finden). Der genannten Inhaltsanalyse liegt im Wesentlichen eine linguistische Definition von hate speech zugrunde: Laut Maibauer (2013) kann hate speech definiert werden als „[…] der sprachliche Ausdruck von Hass gegen Personen oder Gruppen […], insbesondere durch die Verwendung von Ausdrücken, die der Herabsetzung und Verunglimpfung von Bevölkerungsgruppen dienen […]“ (S. 1).

Moderiert wurden die Userinnenkommentare unter den Videos auf zweierlei Weise:

(1) Die YouTuberinnen filterten oder löschten Kommentare, welche zu extrem waren, nach gemeinsam mit der bpb definierten und öffentlich kommunizierten Kriterien der Netiquette (bpb 2015b) sowie im Einklang mit den AGB von YouTube.

(2) Expertinnen [5] der bpb waren mit dem Account „experts for bpb“ in den Kommentarspalten vertreten, in erster Linie um für Fragen und weiterführende Informationen ansprechbar zu sein. Letzteres wurde in den Videoinformationen, auf der Website der bpb sowie in der Abschlussszene der Videos hervorgehoben. Während die genannte Analyse für (1) keine Befunde liefern kann, finden sich in den Kommentaren vielfältige Referenzen zu (2), dem Account „experts for bpb“ bzw. zur bpb im Allgemeinen. Es fällt auf, dass die Ansprache oft ironisch ausfällt bzw. der Expertenstatus der bpb im Hinblick auf die Themen der Videos angezweifelt wird. Darüber hinaus wird „experts for bpb“ gezielt mit Vorurteilen und Stereotypen gegenüber Musliminnen und dem Islam, Verschwörungstheorien sowie beleidigender Sprache adressiert.

Erklärt werden können diese Tendenzen einerseits durch das Auftreten des Moderationsaccounts als Repräsentant einer öffentlichen Einrichtung bzw. als Vertreter einer staatlichen Institution. Andererseits könnte die Bezeichnung „experts for bpb“ in der Wahrnehmung als „Besserwisser von oben“ besondere Ablehnung hervorrufen. Insbesondere unter populistischen Akteurinnen ist die Elitenablehnung („die da oben“; z. B. Staat, Politik, intellektuelle Elite) ein weit verbreitetes Motiv der Abgrenzung zu „uns, dem Volk“ (Schulz et al. 2017). Gleichzeitig sind die Expertinnen der bpb nicht als einzelne Individuen erkennbar, da sie als nicht näher identifizierbares Kollektiv – Expert*innen – in Erscheinung treten.

Wie aber kann Moderation gelingen? Wäre das Entfernen abwertender und hasserfüllter Kommentare eine Lösung, da auf diese Weise keine öffentliche Abwertung sichtbar wird?

Empfehlungen für eine gelingende Moderation

Nicht immer ist die Kommentarfunktion zu Onlineinhalten aktiviert, obwohl dies grundsätzlich möglich wäre. Eine Sperrung beugt zwar der Verbreitung hasserfüllter Inhalte vor und ist gleichzeitig ökonomisch, da weder zeitliche noch finanzielle Ressourcen für eine Moderation investiert werden müssen. Gleichzeitig vermindert ein solches Vorgehen aber auch die Entfaltung positiver Potenziale von Anschlusskommunikationen mittels Nutzer*innenkommentaren – gerade im Kontext gesellschaftspolitischer Themen! Die Gelegenheit, Onlineinhalte zu kommentieren, ist zugleich Gelegenheit zum konstruktiven, anregenden Austausch und im Idealfall der Pflege demokratischer Diskussionskultur (auch) im Netz – es gilt also, sorgsam abzuwägen.

Entscheiden sich Plattformbetreiberinnen und Produzentinnen von Onlineinhalten für die Nutzung der Kommentarfunktion und gegen das gezielte Ausfiltern von problematischen Kommentaren, sollten sie sich Strategien zurechtlegen, wie sie mit problematischen Kommentaren umgehen wollen, und gleichermaßen die Vor- und Nachteile dieser Strategien vergleichen. Mögliche Varianten sind die Freischaltung von Kommentaren durch Moderatorinnen der Kommentarspalten (Pre-Moderation) bzw. das Löschen von problematischen Inhalten (z. B. Hassrede) in Kommentarspalten durch menschliche Moderatorinnen, (semi-)automatische Moderationssysteme oder eine Kombination beider (Post-Moderation). [6]

Wie aber auch bezüglich anderer Formen extremistischer Botschaften (für einen Überblick siehe Rieger et al. 2017 sowie Schmitt et al. 2017) kann im Zusammenhang mit Hass in Kommentarspalten das Entfernen nicht als (alleiniger) Lösungsansatz betrachtet werden. [7] Plattformbetreiberinnen und Produzentinnen von Inhalten setzen sich hierdurch dem Vorwurf der Zensur aus – dies wiederum kann in Zeiten stetig steigenden Misstrauens gegenüber Medien und staatlichen Institutionen von populistischen und extremistischen Akteurinnen für propagandistische Zwecke instrumentalisiert werden. Auch aus demokratietheoretischer Perspektive kann das Löschen von Kommentaren kritisch diskutiert werden. Auch die als problematisch wahrgenommenen Stimmen zu hören ist ein Teil demokratischer Prozesse. Sie gänzlich zu ignorieren oder eben zu löschen entzieht ihnen zwar die gewünschte Aufmerksamkeit, birgt aber die Gefahr, dass die Debatten letztlich von aggressiven Einzelpersonen und Gruppen dominiert werden (Amadeu Antonio Stiftung 2016), was in einer Schweigespirale moderater Stimmen münden kann. Zentral erscheint es zudem, die Kriterien des Entfernens von Kommentaren und deren Nachvollziehbarkeit für Nutzerinnen zu kommunizieren. Möglichkeiten, die Kriterien transparent zu machen, sind klar formulierte Regeln oder die Definition von Merkmalen, die zur Löschung führen, z. B. in Form einer „Netiquette“, wie sie im Falle der Webvideoreihe „Begriffswelten Islam“ veröffentlicht wurde (bpb 2015b).

Auf problematische Kommentare einzugehen, Hassredner zu identifizieren, zusätzliche Informationen und Quellen anzubieten sowie die Absurdität von Beiträgen etwa mittels humoristischer oder ironisierender Reaktionen zu entlarven, sind mit Sicherheit die zeitlich, finanziell und inhaltlich aufwendigsten Möglichkeiten. Ein solches Vorgehen bedarf klarer Absprachen im Moderationsteam – soll Nutzerinnen etwa dezidiert erläutert werden, aus welchen Gründen eine Äußerung nun hasserfüllt und abwertend sei und damit Gefahr gelaufen werde, Hass und Verletzungen zu reproduzieren und wiederholt wirken zu lassen (Butler 2016)? Da es auf solche Fragen keine rezeptartigen Antworten gibt, bedarf die Moderation von Kommentaren zu kontroversen Themen der gewissenhaften, umfangreichen Vorbereitung und gegebenenfalls auch der begleitenden Supervision. [8] Einer der ersten Planungsschritte sollte die Frage sein, wie, d. h. unter welchem Namen die Moderatorinnen auftreten sollen. Es scheint ratsam, als Person aufzutreten, die größtmögliches Vertrauen in der Zielgruppe genießt. Es sollte vermieden werden, dass Moderator*innen als Autorität oder Expert*innen wahrgenommen werden, die „von oben herab“ agieren. Auch wenn damit eine Normalität zwischenmenschlicher Interaktionen betont wird: Auch in Onlinedebatten sollte ein respektvoller Umgang im Vordergrund stehen.

Lampe und Kolleginnen (2014) empfehlen gar die Integration anderer Nutzerinnen in den Moderationsprozess. Sie schlagen einerseits ein Punktesystem vor, nach dem Nutzerinnen „Karma-Punkte“ – d. h. eine besonders positive Reputation – erhalten, wenn sie sich vernünftig an der Diskussion beteiligen. Ferner konnten ein positiver Umgang der Kommentierenden untereinander sowie inhaltlich angemessene Diskussionen durch ein Crowdsourcing von Moderation befördert werden. In anderen Worten, Kommentierende können ebenfalls Moderatorinnen werden und sind verantwortlich dafür, Konsens und Normen im Rahmen der Diskussionen zu entwickeln und aufrechtzuerhalten.

Letztlich scheint eine Kombination verschiedener Aspekte besonders vielversprechend zu sein. So deuten Analysen von Kommentarspalten auf Nachrichtenseiten darauf hin, dass die Notwendigkeit der Registrierung, bevor Kommentieren möglich ist (das bedeutet Reduktion von Anonymität), Pre- und Post-Moderation und die Implementierung eines Reputationssystems für Kommentierende förderlich für eine wertschätzende Debattenkultur sind (Ksiazek 2015). Jedoch: Auch so wird man hasserfüllten Kommentaren nicht zur Gänze vorbeugen können – mit diesen umzugehen bleibt eine Herausforderung, der sich demokratische Diskussionskultur und damit die agierenden Nutzer*innen im Netz stellen müssen.

Autorin und Autor

Dr. Josephine B. Schmitt arbeitet am Institut für Kommunikationswissenschaft und Medienforschung der LMU München. Sie forscht u. a. zu Inhalt, Verbreitung und Wirkung von hate speech, extremistischer Propaganda und (politischen) Informations- und Bildungsangeboten im Internet. Zudem entwickelt sie didaktische Konzepte für die Radikalisierungsprävention u. a. im Auftrag der Bundeszentrale für politische Bildung (bpb) und des Innenministeriums NRW. Mehr Informationen: https://medienundlernen.wordpress.com

Julian Ernst ist Doktorand am Arbeitsbereich für Interkulturelle Bildungsforschung der Universität zu Köln. Er forscht zu Medienkritik Jugendlicher im Kontext von Hass und Gegenrede im Internet sowie didaktischen Fragestellungen interkultureller Bildung. Darüber hinaus entwickelt er didaktische Konzepte für die Radikalisierungsprävention u. a. im Auftrag der Bundeszentrale für politische Bildung (bpb) und des Innenministeriums NRW.

Quellen

 

• Amadeu Antonio Stiftung: „Geh sterben!“ – Umgang mit Hate Speech und Kommentaren im Internet. Cottbus 2016. https://www.amadeu-antonio-stiftung.de/w/files/pdfs/hatespeech.pdf (03.04.2018).
• Butler, Judith: Haß spricht. Zur Politik des Performativen. 5. Aufl., Berlin 2016.
• Bundeszentrale für politische Bildung (bpb): Begriffswelten Islam. 2015a. http://www.bpb.de/lernen/digitale-bildung/medienpaedagogik/213243/webvideos-begriffswelten-islam (03.04.2018).
• Bundeszentrale für politische Bildung (bpb): Netiquette für die Webvideoreihe „Begriffswelten Islam“. 2015b. http://www.bpb.de/lernen/digitale-bildung/medienpaedagogik/214763/netiquette-fuer-die-webvideoreihe-begriffswelten-islam (10.04.2018).
• Coe, Kevin, Kate Kenski, Stephen A. Rains: Online and uncivil? Patterns and determinants of incivility in newspaper website comments, in: Journal of Communication, 64 (2014), S. 658–679.
• Ernst, Julian, Josephine B. Schmitt, Diana Rieger, Ann-Kristin Beier, Peter Vorderer, Gary Bente, Hans-Joachim Roth: Hate beneath the counter speech? A qualitative content analysis of user comments on YouTube related to counter speech videos, in: Journal for Deradicalization, 10 (2017), S. 1–49.
• Eveland, Wiliam P. Jr.: The effect of political discussion in producing informed citizens: The roles of information, motivation, and elaboration, in: Political Communication, 2 (2004), S. 177–193.
• Eveland, Willian P. Jr., Josephine B. Schmitt: Communication and knowledge content matters: Integrating manipulation and observation in studying news and discussion learning effects, in: Journal of Communication, 65 (2015), S. 170–191.
• Frischlich, Lena, Diana Rieger, Anna Morten, Gary Bente (Hrsg.): Videos gegen Extremismus? Counter-Narrative auf dem Prüfstand. Wiesbaden 2017.
• Gil de Zúñiga, Homero, Revor Diehl, Alberto Ardévol-Abreu: Internal, external, and government political efficacy: Effects on news use, discussion, and political participation, in: Journal of Broadcasting & Electronic Media, 61 (2017), S. 574–596.
• Halpern, Daniel, Jennifer Gibbs: Social media as a catalyst for online deliberation? Exploring the affordances of Facebook and YouTube for political expression, in: Computers in Human Behavior, 29 (2013), S. 1159–1168.
• Hsueh, Mark, Kumar Yogeeswaran, Sanna Malinen: “Leave your comment below”: Can biased online comments influence our own prejudicial attitudes and behaviors?, in: Human Communication Research, 41 (4) (2015), S. 557–576.
• Ksiazek, Thomas B.: Civil interactivity: How news organizations’ commenting policies explain civility and hostility in user comments, in: Journal of Broadcasting & Electronic Media 59 (2015), S. 556–573.
• Lampe, Cliff, Paul Zube, Jusil Lee, Chul Hyun Park, Erik Johnston: Crowdsourcing civility: A natural experiment examining the effects of distributed moderation in online forums, in: Government Information Quarterly, 31 (2014), S. 317–326.
• Lee, Eun-Ju, Yoon Jae Jang: What do others’ reactions to news on Internet portal sites tell us? Effects of presentation format and readers’ need for cognition on reality perception, in: Communication Research, 37 (2010), S. 825–846.
• Meibauer, Jörg: Hassrede – von der Sprache zur Politik, in: Jörg Meibauer (Hrsg.): Hassrede/Hate Speech. Interdisziplinäre Beiträge zu einer aktuellen Diskussion. Gießen 2013, S. 1–16. http://geb.uni-giessen.de/geb/volltexte/2013/9251/pdf/HassredeMeibauer_2013.pdf  (17.04.2018).
• German Neubaum: Monitoring and expressing opinions on social networking sites-empirical investigations based on the spiral of silence theory. Duisburg-Essen 2016. http://duepublico.uni-duisburg-essen.de/servlets/DerivateServlet/Derivate-42707/Neubaum_Diss.pdf  (24.01.2018).
• Prochazka, Fabian, Patrick Weber, Wolfgang Schweiger: Effects of civility and reasoning in user comments on perceived journalistic quality. In: Journalism Studies (2016).
• Rieger, Diana, Julian Ernst, Josephine B. Schmitt, Peter Vorderer, Gary Bente, Hans-Joachim Roth: Propaganda und Alternativen im Internet – Medienpädagogische Implikationen, in: merz | medien + erziehung, 3 (2017), S. 27–35.
• Schmitt, Josephine B.: Online-Hate Speech: Definition und Verbreitungsmotivationen aus psychologischer Perspektive, in: Kai Kaspar, Lars Gräßer u. Aycha Riffi (Hrsg.): Online Hate Speech: Perspektiven auf eine neue Form des Hasses. Schriftenreihe zur digitalen Gesellschaft NRW. Marl 2017, S. 52–56.
• Schmitt, Josephine B., Julian Ernst, Lena Frischlich, Diana Rieger: Rechtsextreme und islamistische Propaganda im Internet: Methoden, Auswirkungen und Präventionsmöglichkeiten, in: Ralf Altenhof, Sarah Bunk, Melanie Piepenschneider (Hrsg.): Politischer Extremismus im Vergleich. Berlin 2017, S. 171–208.
• Schulz, Anne, Philipp Müller, Christian Schemer, Dominique Stefanie Wirz, Martin Wettstein. Werner Wirth: Measuring populist attitudes on three dimensions, in: International Journal of Public Opinion Research, 2017. doi: 10.1093/ijpor/edw037
• Springer, Nina, Ines Engelmann, Christian Pfaffinger: User comments: motives and inhibitors to write and read. Information, in: Communication & Society, 18 (2015), S. 798–815.
• Stroud, Natalie Jomini: Polarization and partisan selective exposure, in: Journal of Communication, 60 (2010), S. 556–576.
• Trepte, Sabine, Josephine B. Schmitt: The effect of age on the interplay of news exposure, political discussion, and political knowledge, in: Journal of Individual Differences, 38 (2017), 21–28.

[1] Siehe online: Bundesamt für Verfassungsschutz: Andi – Tage wie dieser. https://www.verfassungsschutz.de/de/oeffentlichkeitsarbeit/publikationen/pb-rechtsextremismus/publikationen-landesbehoerden-rechtsextremismus/broschuere-nw-2017-10-comic-andi-1  (21.02.2019)

[2] Siehe online: Theater RadiX: Djihad. http://www.theater-radix.de/projekte/djihad/  (21.02.2019)

[3] Zeitpunkt der Erhebung für die im weiteren Verlauf berichtete Inhaltsanalyse von Ernst und Kolleg*innen (2017).

[4] Sowohl das Konzept der Hassrede, zuweilen vielleicht bekannter unter der englischsprachigen Bezeichnung hate speech, als auch das Konzept der Inzivilität ist von umfangreichen Debatten über die konkrete Definition der Begrifflichkeiten begleitet. Diese Debatten im Detail aufzugreifen bzw. ihnen ausführlich Raum zu geben, würde den Rahmen dieser Ausarbeitung sprengen. Kapitel 3 stellt die Definition von Hassrede (bzw. hate speech) zur Verfügung, die der später diskutierten Studie zugrunde liegt. Eine ausführlichere Diskussion zur Konzeptionalisierung von Inzivilität findet sich u. a. bei Coe, Kenski und Rains (2014).

[5] Darüber hinaus übernahm das Team aus Expertinnen während der Projektdauer das Screening der Kommentare, meldete Verstöße gegen die formulierte Netiquette und die AGB von YouTube. In Einzelfällen berieten sie die YouTuberinnen im Hinblick auf die Angemessenheit von Reaktionen auf mögliche problematische Kommentare.

[6] (Semi-)Automatische Systeme allein eignen sich nicht für das Aufdecken von Hassrede. Sie funktionieren nicht fehlerfrei bei verschlüsselten oder kodierten Formulierungen, welche die intendierten Inhalte beispielsweise mithilfe von Metaphern und Abkürzungen verdecken. Bei einer Kombination menschlicher und (semi-)automatischer Moderatorinnen entscheiden Systeme in einem ersten Schritt über die Qualität eines Kommentars (z. B. Hassrede versus keine Hassrede), menschliche Moderatorinnen überprüfen bei Unsicherheit und geben schließlich den Kommentar frei oder nicht.

[7] Selbstverständlich gilt dies nicht für eindeutig strafrechtlich relevante Inhalte.

[8] Die regelmäßige Konfrontation mit hasserfülltem Sprechen darf in ihren eventuellen psycho-sozialen Belastungen durch widerfahrene Verletzungen nicht unterschätzt werden (Butler 2016). Regelmäßiger kollegialer Austausch oder eben professionelle Supervision sollten fester Bestandteil von Moderationskonzepten sein.