Evaluationsmethoden der Wissenschaftskommunikation: Herausgegeben:Niemann, Philipp; van den Bogaert, Vanessa; Ziegler, Ricarda

Danksagung
Inhaltsverzeichnis
Herausgeber- und Autorenverzeichnis
Wissenschaftskommunikation evaluieren – mit Methode(n)
	Literatur
Grundlagen der Evaluation von Wissenschaftskommunikation
Herausforderungen der aktuellen Evaluationspraxis in der Wissenschaftskommunikation in Deutschland
	Zusammenfassung
	1	Wie lässt sich die Evaluationspraxis in der Wissenschaftskommunikation beschreiben?
	2	Herausforderungen für die Umsetzung von Evaluationen
		2.1	Fehlendes strategisches Vorgehen in der Wissenschaftskommunikation
		2.2	Defizite bei der Wahl von Evaluationsdesign und -methoden
		2.3	Verständnis von Evaluation
	3	Ausblick
	Literatur
Evaluation der Wissenschaftskommunikation: Modelle, Stufen, Methoden
	Zusammenfassung
	1	Einleitung
	2	Logik von Evaluationen
		2.1	Formen von Evaluation
		2.2	Evaluationsmodelle, -stufen und -objekte
	3	Evaluationsmethoden für die Wissenschaftskommunikation
		3.1	Sozialwissenschaftliche Methoden
		3.2	Betriebswirtschaftliche Methoden
		3.3	Kombination von Methoden
	4	Ausblick und Herausforderungen
	Literatur
Evaluationsstandards – Leitprinzipien von Evaluationen
	Zusammenfassung
	1	Einleitung
	2	Standards für Evaluation
		2.1	Nützlichkeit
			2.1.1 Identifizierung der Beteiligten und Betroffenen
			2.1.2 Klärung der Evaluationszwecke
			2.1.3 Kompetenz und Glaubwürdigkeit des Evaluators/der Evaluatorin
			2.1.4 Auswahl und Umfang der Informationen
			2.1.5 Transparenz von Werthaltungen
			2.1.6 Vollständigkeit und Klarheit der Berichterstattung
			2.1.7 Rechtzeitigkeit der Evaluation
			2.1.8 Nutzung und Nutzen der Evaluation
		2.2	Durchführbarkeit
			2.2.1 Angemessene Verfahren
			2.2.2 Diplomatisches Vorgehen
			2.2.3 Effizienz von Evaluation
		2.3	Fairness
			2.3.1 Formale Vereinbarungen
			2.3.2 Schutz individueller Rechte
			2.3.3 Umfassende und faire Prüfung
			2.3.4 Unparteiische Durchführung und Berichterstattung
			2.3.5 Offenlegung von Ergebnissen und Berichten
		2.4	Genauigkeit
			2.4.1 Beschreibung des Evaluationsgegenstandes
			2.4.2 Kontextanalyse
			2.4.3 Beschreibung von Zwecken und Vorgehen
			2.4.4 Angabe von Informationsquellen
			2.4.5 Valide und reliable Informationen
			2.4.6 Systematische Fehlerprüfung
			2.4.7 Angemessene Analyse qualitativer und quantitativer Informationen
			2.4.8 Begründete Bewertungen und Schlussfolgerungen
			2.4.9 Meta-Evaluation
	3	Fazit
	Literatur
(Einzel-) Methoden der Evaluation von Wissenschaftskommunikation
Grundlagenbeitrag: Quantitative Befragungen
	Zusammenfassung
	1	Taxonomie quantitativer Befragungen
	2	Hauptgütekriterien
		2.1	Objektivität
		2.2	Reliabilität
		2.3	Validität
	3	Skalenniveau und Antwortformate
		3.1	Skalenbeschriftung, Polarität und Anzahl der Antwortkategorien
	4	Allgemeine Regeln zur Fragenkonstruktion
	Literatur
Praxisbeitrag: Quantitative Befragungen
	Zusammenfassung
	1	Einleitung: Quantitative Befragungen
	2	Citizen Science als Methode der Wissenschaftskommunikation
	3	Praxisbeispiel: Onlinegestützte Lehrer:innen-Befragung im Rahmen der Begleitforschung Plastic Pirates – Go Europe!
		3.1	Vor der Datenerhebung – Planungsphase
		3.2	Durchführung
		3.3	Auswertung
		3.4	Ergebnisse
	4	Vorteile von Befragungen in der Evaluation der Wissenschaftskommunikation
	5	Nachteile von Befragungen in der Evaluation der Wissenschaftskommunikation
	6	Fazit
	Literatur
Grundlagenbeitrag: Qualitative Befragungen im Kontext von Wissenschaftskommunikation
	Zusammenfassung
	1	Methode der qualitativen Befragung im Kontext der Evaluationsforschung
	2	Qualitative Befragungen im Kontext von Wissenschaftskommunikation
		2.1	Qualitative Befragungen von Expert:innen/Wissenschaftler:innen
		2.2	Qualitative Befragungen von Bürger:innen und der Zivilgesellschaft
		2.3	Qualitative Befragungen von praktischen Wissenschaftskommunikator:innen und Journalist:innen
	3	Fazit: Potenziale qualitativer Befragungen im Kontext der Evaluation von Wissenschaftskommunikation
	Literatur
Praxisbeitrag: Qualitative Befragungen zur Evaluation von Wissenschaftskommunikation am Beispiel des Wissenschaftsvarietés Glitzern & Denken
	Zusammenfassung
	1	Das Projekt Glitzern & Denken und seine Ziele
	2	Evaluationsinteressen und Verortung der Evaluation im Projekt Glitzern & Denken
	3	Durchführung der qualitativen Befragungen
		3.1	Vorbereitung der Interviews
		3.2	Vorgehen bei der Datenauswertung
	4	Ergebnisse der qualitativen Befragungen
	5	Fazit
	Appendix
	Interview-Leitfäden
	Literatur
Beobachtungen in der Evaluation von Wissenschaftskommunikation
	Zusammenfassung
	1	Warum eignen sich Formen der wissenschaftlichen Beobachtung für die Evaluation von Wissenschaftskommunikation?
	2	Welche Formen der Beobachtung gibt es, und wofür sind sie geeignet?
		2.1	Klassifikationskriterien
		2.2	Quantitative Beobachtung
		2.3	Qualitative Beobachtung
		2.4	Probleme und Herausforderungen bei Beobachtungen
	3	Anwendungsszenarios in Wissenschaftskommunikationsforschung und -evaluation
	4	Hilfreiche Beispiele für Beobachtungsbögen
	Literatur
Grundlagenbeitrag: Nutzungsdatenanalyse digitaler Medien als Instrument der evaluativen Wissenschaftskommunikationsforschung
	Zusammenfassung
	1	Einleitung
	2	Nutzungsdatenanalyse – Eine Kurzdefinition
	3	Was sind Nutzungsdaten?
	4	Warum Nutzungsdatenanalyse (in der evaluativen Wissenschaftskommunikationsforschung) betreiben?
	5	Was ist bei der Gestaltung eines Wissenschaftskommunikationsprojekts zu beachten?
		5.1	Einfluss des gewählten Mediums auf Möglichkeiten der Nutzungsdatenanalyse
		5.2	Einfluss des Hosting-Providers auf die Möglichkeiten der Nutzungsdatenanalyse
		5.3	Erwägungen zum Datenschutz
	6	Fazit
	Literatur
Praxisbeitrag: Nutzungsdatenanalyse digitaler Medien in der evaluativen Wissenschaftskommunikationsforschung am Beispiel eines Bürgerwissenschaftsprojekts
	Zusammenfassung
	1	Wissenschaftskommunikation in Bürgerwissenschaftsprojekten
	2	Nutzungsdatenanalyse digitaler Beteiligung in Bürgerwissenschaftsprojekten
	3	Nutzungsdatenanalyse am Beispiel der Beteiligung im Projekt Wildtierforscher in Berlin
	4	Erfassung und Aufbereitung der Nutzungsdaten zur Beteiligung
	5	Erkenntnisse zur Beteiligung in Datensammlung und -auswertung
	6	Fazit
	Literatur
Grundlagenbeitrag: Physiologische Messungen im Kontext der Evaluation von Wissenschaftskommunikation
	Zusammenfassung
	1	Einleitung
	2	Erregungsindikatoren
	3	Emotionsindikatoren
	4	Aufmerksamkeitsindikatoren
	5	Bewertungsindikatoren
	6	Fazit
	Literatur
Praxisbeitrag: Physiologische Messungen in der evaluatorischen Praxis
	Zusammenfassung
	1	Einleitung
	2	Die VR-Umgebung zum KATRIN-Experiment
	3	Relevante evaluationsbezogene Forschungsfragen
	4	Methodisches Vorgehen in der Studie
		4.1	Ablauf
		4.2	Daten
	5	Auswertung der Forschungsdaten
		5.1	Allgemeine Beurteilung durch Proband:innen
		5.2	Wissenserwerb
		5.3	Aufmerksamkeitsverteilung
	6	Fazit
		6.1	Einschränkungen und Methodenreflexion
	Literatur
Grundlagenbeitrag: Inhaltsanalysen inklusive Medienanalysen
	Zusammenfassung
	1	Einleitung
	2	Einsatz der Inhalts- und Medienanalyse im Bereich der Evaluation von Wissenschaftskommunikation
	3	Analyseschwerpunkte der Inhalts- und Medienanalysen im Bereich der Evaluation von Wissenschaftskommunikation und ihrer Begleitforschung
	4	Ausblick und Forschungslücken
	Literatur
Praxisbeitrag: Anwendungsbeispiel zur Integration inhaltsanalytischer Betrachtungen in Multi-Methoden-Forschungsstrategien im Bereich der Wissenschaftskommunikation
	Zusammenfassung
	1	Zielsetzung und Erläuterungen zur Zielsetzung
	2	Konzeptuelle Basis
		2.1	Problemstellung
		2.2	Konzeptueller Ansatz und Annahmen
	3	Vorgehen und Einbettung der inhaltsanalytischen Forschung
	4	Empirische Ergebnisse zur Intensität des Austausches
	5	Abschließende Reflexion von Ergebnissen und Vorgehen
	Literatur
Grundlagenbeitrag: Quantitative Testverfahren
	Zusammenfassung
	1	Merkmale, Messen und Messverfahren
		1.1	Fähigkeiten
		1.2	Stabilität
		1.3	Beobachtbarkeit
	2	Testgütekriterien
		2.1	Reliabilität
		2.2	Schwierigkeit
		2.3	Objektivität
		2.4	Validität
	3	Bezugsnormen
	4	Fazit
	Literatur
Praxisbeitrag: Entwicklung und Überprüfung eines adaptierbaren Tests zum wissenschaftlichen Denken für Evaluationen in der Wissenschaftskommunikation
	Zusammenfassung
	1	Wissenschaftskommunikation zum wissenschaftlichen Denken
	2	Gültigkeit von Tests in Bürgerwissenschaftsprojekten
	3	Beispiel zur Testentwicklung in einem Bürgerwissenschaftsprojekt
	4	Adaptierung eines Tests zum wissenschaftlichen Denken
	5	Überprüfung des Tests im Feld
	6	Fazit und Ausblick
	Literatur
Experimentelle Herangehensweisen in der Evaluation von Maßnahmen der Wissenschaftskommunikation
	Zusammenfassung
	1	Einführung
	2	Grundbegriffe des Experimentierens
	3	Experimentaldesigns für die Evaluation von Maßnahmen der Wissenschaftskommunikation
	4	Zur Wahl eines geeigneten Benchmarks in Evaluationsstudien oder „Was macht eigentlich die Kontrollgruppe?“
	5	Ausgewählte methodische Herausforderungen bei der Evaluation von Maßnahmen der Wissenschaftskommunikation mit Experimenten
		5.1	Was ist der Unterschied zwischen Experimenten und Quasiexperimenten?
		5.2	Maßnahmen zur Sicherung der internen Validität in Quasieexperimenten
	6	Fazit
	Literatur
Praxisbeitrag: Experimentelle Methoden in der evaluativen Wissenschaftskommunikationsforschung am Beispiel von Bürgerwissenschaftsprojekten
	Zusammenfassung
	1	Experimente und ihre Vor- und Nachteile
	2	Bürgerwissenschaften als partizipative Wissenschaftskommunikation
	3	Praxisbeispiele experimenteller Untersuchungen im Bereich der Bürgerwissenschaften
		3.1	Praxisbeispiel 1: Experimente mit Bürger:innen eines Bürgerwissenschaftsprojekts im Feld
		3.2	Praxisbeispiel 2: Experimente mit Studierenden im Labor zur Beteiligung an Bürgerwissenschaftsprojekten
		3.3	Praxisbeispiel 3: Experimente mit Studierenden im Labor zu emotionalen Einflussfaktoren
	4	Fazit und Ausblick
	Literatur
Praxisbeitrag: Kreative Feedbackmethoden zur Unterstützung von Prozessen und Veranstaltungen der Bürger:innen- und Öffentlichkeitsbeteiligung
	Zusammenfassung
	1	Einführung: Feedback in der Wissenschaftskommunikation und Öffentlichkeitsbeteiligung
	2	Warum und wofür? Feedback als Teil der Evaluation
		2.1	Funktionen von Feedback
		2.2	Inhalte von Feedbacks und was es zu beachten gilt
	3	Praxisbeispiele kreativer Feedbackmethoden und -formate
		3.1	Das Blitzlicht
		3.2	Feedbacksitzung
		3.3	Feedbackwand
		3.4	Aufstellung im Raum
	4	Fazit
Praxisbeitrag: Multimethodenansatz in der Evaluation am Beispiel der Dialogveranstaltung „Mensch Wissenschaft!“
	Zusammenfassung
	1	Multimethodenansätze/Mixed Methods in der Evaluation von Wissenschaftskommunikation
	2	„Mensch Wissenschaft!“ als Blaupause für Dialogformate zwischen Bürger:innen und Wissenschaftler:innen
		2.1	Veranstaltungsidee und Ziele
		2.2	Die Pilotveranstaltung „Mensch Wissenschaft!“ im Herbst 2018 in Essen
		2.3	Anforderungen an die Evaluation
		2.4	Die zweite Veranstaltung „Mensch Wissenschaft!“ im Herbst 2019 in Stuttgart
	3	Design der Evaluation
		3.1	Formativer Begleitansatz
		3.2	Einzelmethoden und deren Zusammenspiel
		3.3	Verschiedene Typen von Mixed-Method-Designs
	4	Erkenntnisse und Nutzen der Evaluation
		4.1	Essener Veranstaltung bietet erkenntnisreichen „Probelauf“
		4.2	Angepasstes Veranstaltungskonzept in Stuttgart
	Literatur