5.1 Entwicklung eines Evaluationsdesigns

Der fünfte Schritt des Planungsprozesses für Eure Narrative-Change-Kampagne - Auswertung- Reichweite & Akzeptanz - besteht aus zwei Elementen und auf dieser Seite konzentrieren wir uns auf das erste Element: Entwicklung eines Evaluationsdesigns.

1. Entwicklung eines Evaluationsdesigns
2. Sammelt die Daten, teilt und reflektiert sie

 

Bei der Erstellung Eures Auswertungsdesigns/-plans müsst Ihr zunächst von Euren Kampagnenzielen ausgehen. Wenn die Kampagne ein klares kurzfristiges, politisches Ergebnis als Ziel hatte, wie im Falle der Baugenehmigung für ein muslimisches Gebetszentrum in Shrewsbury, ist dieser Prozess relativ einfach. Für die meisten Kampagnenmacher*innen, die an der narrativen Veränderung arbeiten, konzentrieren sich ihre Ziele jedoch auf die Verschiebung der Erzählung oder die „Veränderung des Klimas“, wie man auch sagen könnte. In diesem Fall bedeutet ein solcher narrativer Verlagerungsansatz, dass man sich bemüht, Vielfalt und Inklusion wieder auf die öffentliche Agenda rund um Migration zu setzen. Die Gestaltung der Auswertung dieser narrativen, wechselfokussierten Kampagnen ist unser Schwerpunkt in diesem Abschnitt und deutlich herausfordernder als die Fokussierung auf spezifische politische Veränderungen.
 

Arbeitet an den Kennzahlen zur Erfassung von Reichweite, Reaktion und Akzeptanz Eurer Kampagne.

Bei der Erstellung eines Evaluierungsplans für eine Narrative-Change-Kampagne schlagen wir vor, sich auf drei Ebenen als realistische Maßnahmen zu konzentrieren, die Euer Verständnis von der Wirksamkeit der Kampagne vermitteln:

Konkret liegt der Schwerpunkt jeder Ebene wie folgt:

A.  Reichweite - Wie viele Personen habt Ihr in den Zielsegmenten erreicht? Wie viele Menschen haben Euch im Allgemeinen zur Kenntnis genommen?

In dieser ersten Auswertungsebene betrachtet Ihr einfach, wie viele Personen den Kampagnenbotschaften ausgesetzt waren, ob sie aus Euren Zielsegmenten stammten und auch, wie oft sie Euren Botschaften ausgesetzt waren. Wenn Ihr beispielsweise die grundlegenden Einschätzungen und die Segmentierung der Leser*innenschaft für Eure verschiedenen Zielpublikationen, die Zuschauer*innenschaft für eine TV-Zielsendung oder die Besucher*innenzahlen für eine von Euch organisierte öffentliche Veranstaltung oder einer Veranstaltung, bei der Eure Kampagne Teil war, kennt, könnt Ihr die Exponiertheit der Kampagne abschätzen. Dies war der Ansatz einiger der Kampagnen, die wir in diesen Leitlinien vorgestellt haben.

Die dritte Dimension der Reichweite betrachtet, wie oft man das gleiche Publikum erreicht hat. Das so genannte „Rule of 7“-Prinzip erhöht je nach Marketing und politischer Kampagnenpraxis deutlich die Chancen, dass das Publikum Euch wahrnimmt und schließlich euch auch Euer Produkt oder Eure Botschaft abnimmt1 . Dies geht auf die Grundlagen unserer Rahmendefinition und die so genannte Hervorhebung von Frames zurück. Vereinfacht ausgedrückt neigen Menschen dazu, die Dinge zu bemerken und schließlich zu glauben, die sich oft wiederholen. Dies ist schwieriger zu erfassen, aber da man davon ausgehen kann, dass Menschen dazu neigen, ihre Nachrichten aus den gleichen Quellen zu beziehen, wäre es ein guter Anfang, zu zählen, wie oft die Kampagne in jeder Quelle behandelt wurde.
 
B.  Reaktion - Habt Ihr die gewünschte Berichterstattung und die gewünschten Reaktionen erhalten?

Auf der zweiten Auswertungsebene liegt der Fokus darauf, wie die Menschen auf die Kampagne reagiert haben. Ziel vieler Kampagnen ist es, dass wichtige Meinungsbildner*innen und letztlich Vertreter*innen der Öffentlichkeit aus den Zielsegmenten positiv auf die Kampagne reagieren. Um herauszufinden, ob wichtige Meinungsbildner*innen positiv reagiert haben, ist oft eine Medien- und Social-Media-Analyse erforderlich: Ihr bekommt schnell ein Gefühl für die öffentliche Resonanz, indem Ihr Euch Kommentare und „Gefällt mir“-Angaben auf Websites und Social-Media-Seiten anseht. Dies ist aber auch riskant, da solche Kommentarspalten oft Trolle aller Art beheimaten, die in der Regel sehr aktiv in Migrationsdebatten sind. Wenn Eure Kampagne Offline-Aktivitäten beinhaltet, wie z.B. eine Form von Event oder Elemente der direkten Face-to-Face-Ansprache, werdet Ihr schnell eine Vorstellung davon bekommen, wie gut die Botschaften ankommen und welche Art von Reaktionen sie hervorrufen und auslösen.

Der Aufbau einer Evidenzbasis für diese Auswertungsebene wird die Sammlung strukturierterer Daten aus einem Medienanalyseprozess umfassen, aber auch anekdotische Erkenntnisse aus Meetings, Veranstaltungen und Berichterstattung. Daher ist es sinnvoll, dass die Mitglieder des Kampagnenteams diese Daten fortlaufend in einem Auswertungsprotokoll aufzeichnen, das ein gemeinsames und leicht zugängliches Dokument ist.
 
C.  Akzeptanz - Übernehmen und nutzen die richtigen Personen die Botschaften der Kampagne oder schlagen die von Euch propagierte politische Position vor?

Hier liegt das ultimative Ziel Eurer Kampagne – das heißt, Ihr schaut, ob sich der öffentliche Diskurs so verändert hat, wie Ihr es Euch gewünscht habt. Einfache Kennzahlen konzentrieren sich darauf, ob wichtige Meinungsbildner*innen begonnen haben, Eure Sprache zu verwenden oder über das Problem und/oder die Lösung in der von Euch beschriebenen Weise zu sprechen. Anspruchsvollere Kennzahlen sind die Auseinandersetzung mit der Sprache, den Werten und den politischen Optionen, über die die Zielgruppen der Öffentlichkeit in der Diskussion sprechen – oft in Fokusgruppen oder durch Umfragen.

Eine der wichtigsten Herausforderungen dabei ist zu erfassen, welche Anteile eines Meinungsumschwungs in einer öffentlichen Debatte auf Eure Anstrengungen zurückgehen. Zuerst einmal ist es eine gute Sache, dass sich Menschen in einer freien und offenen demokratischen Kultur auf Grundlage vieler Quellen und öffentlicher Beiträge ihre Meinung bilden und verändern. Im Rahmen des Interessenvertretungskonzepts, für das wir plädieren, raten wir Euch, Euch eher auf Euren Beitrag als auf die Zuschreibung dessen zu konzentrieren. Wir meinen damit, dass Ihr Euch darauf fokussiert, inwieweit Eure Kampagne zu einem Narrationswechsel beigetragen hat, anstatt zu überlegen, wie man die volle Anerkennung für diesen Shift erhalten könnte. Um den Einfluss einer Kampagne auf die Entwicklung einer öffentlichen Diskussion zu verfolgen, nutzen viele Menschen „Tracerphrasen“, also Markierungssätze oder Hashtags, die auf einfache Art erkennbar machen, dass ein Beitrag geleistet wurde. Im Beispiel des von uns untersuchten Kampagnenfalls von British Future kann "Poppy Hijab" als Bezeichnung oder sogar das Artefakt selbst diese Markierungsfunktion haben. Der Zeitplan für die Messung der Akzeptanz stellt ebenfalls eine Herausforderung dar, da er oft über den natürlichen Zeitplan der Kampagne hinausgeht, um eine Verschiebung im öffentlichen Diskurs zu sehen. Daher ist es auch sinnvoll, einige Ex-post-Messungen im Evaluationsdesign zu berücksichtigen.

Die folgende Abbildung zeigt anhand eines unserer Fallbeispiele, wie Reaktionen und Aufnahme gemessen wurden:

 

Klare Definition der Datenquellen/Methoden auf jeder Ebene, um einen fokussierten und umfassenden Plan zu erstellen.

Die folgende Tabelle gibt einen kurzen Überblick über die einzelnen oben definierten Auswertungsebenen und fügt die gängigen Methoden zur Messung der zugehörigen Niveaus hinzu.
 

	Wichtige Auswertungsziele	Details	Mögliche Datensammlungsmethoden
1.	Reichweite	Wie viele Personen in den Zielsegmenten habt Ihr erreicht? Wie viele Menschen wurden im Allgemeinen aufmerksam?	Analyse des Website- und Social-Media-Verkehrs: Seitenabrufe, Likes/Follows und Interaktionen Schätzungen zur Leser*innenschaft/Zuschauer*innenzahl für verschiedene Medien, die über die Kampagne berichteten Teilnahmezahlen bei öffentlichen Veranstaltungen und Meetings
2.	Reaktion	Habt Ihr die Berichterstattung und die Reaktionen bekommen, die Ihr wolltet?	Analyse von Artikeln und Meinungsstücken, die von öffentlichen und Meinungsführer*innen über die Kampagne verfasst wurden Analyse von Kommentaren, Likes und Antworten in sozialen und traditionellen Medien Analyse der Antworten von Meinungsbildner*innen in Konferenzen und Meetings Durchführung von Fokusgruppen aus der Mitte
3.	Akzeptanz	Übernehmen und nutzen die richtigen Personen die Botschaften der Kampagne oder schlagen sie die von Euch propagierte(n) politische(n) Position(en) vor?	Diese Methoden müssten ex-post durchgeführt werden, um zu sehen, ob das Publikum einige Eurer Botschaften aufgenommen hat und positiver (oder weniger negativ) über Migration spricht: Analyse des dominanten Diskurses und der vorgeschlagenen Optionen in den politischen Mainstream-Diskussionen um Migration Analyse der Migrationsdiskussionen mit der Öffentlichkeit und den Meinungsbildner*innen aus der Mitte Fokusgruppe aus den mittleren Segmenten

 
 
Um Euren Plan zusammenzustellen, müsst Ihr Euch eingehend mit den Besonderheiten auseinandersetzen und glaubwürdige und zuverlässige Quellen finden, die Euch gute Daten für jede Ebene liefern. Basierend auf den Besonderheiten Eures Kontextes müsst Ihr zweifellos die Messung und die Ansätze an Euren Zweck, Euer Budget und die verfügbaren Daten anpassen. 

 

<< 5.0 - 5.2 >>

• 1Tutorialspoint (2018) The Rule of Seven.