Poster – Wirkungen und Evaluation in Wissenschaft und Gesellschaft

A.-S. Behm-Bahtat: Vertrauen durch Partizipation? Ein europäischer Vergleich

Es wird generell davon ausgegangen, dass sich Bürger*innen mehr Beteiligung am wissenschaftlichen Prozess wünschen. Aber ist das wirklich so? In welchen Themenbereichen empfinden Bürger*innen eine gesellschaftliche Beteiligung als sinnvoll? Und wann hat öffentliche Partizipation unter Umständen sogar einen negativen Effekt auf das Vertrauen der Bürger*innen in den wissenschaftlichen Prozess und seine Ergebnisse? Das Poster präsentiert Antworten auf diese Fragen auf Grundlage empirischer Daten, die im Sommer 2023 in sieben Bürger*innen-Dialogen in Deutschland, Frankreich, Großbritannien, Griechenland, Portugal, Spanien und Dänemark erhoben wurden. Zwischen 10 und 40 Bürger*innen diskutierten in allen Ländern jeweils einen Nachmittag lang anhand von Fallbeispielen über Vertrauen in die Wissenschaft und den Einfluss, den Partizipation sowie wissenschaftliche Integrität aus ihrer Sicht auf dieses Vertrauen haben. Die qualitative Analyse zeigt die hohe Bandbreite öffentlicher Wahrnehmung von Partizipation, und dass der Ruf nach immer stärkerer Beteiligung von Bürger*innen am wissenschaftlichen Prozess von diesen in der Praxis gar nicht immer gewünscht wird. Die wichtigsten Gründe dafür werden im europäischen Vergleich aufgearbeitet. Als Ergebnis der Analyse werden Themenfelder und Formate öffentlicher Partizipation am wissenschaftlichen Prozess identifiziert, die von Bürger*innen als besonders sinnvoll oder auch als problematisch wahrgenommen werden. Die Bürger*innen-Dialoge, auf die die Analyse aufbaut, wurden im Rahmen des Projekts POIESIS (Probing the impact of integrity and integration on societal trust in science; https://poiesis-project.eu/) organisiert. POIESIS ist ein durch Horizon 2020 gefördertes europäisches Verbundprojekt zum Thema Vertrauen in die Wissenschaft. Thematische Schwerpunkte des Projekts sind der Klimawandel und die Corona-Pandemie.

J. von Gönner, T. Masson, S. Köhler, I. Fritsche, A. Bonn: Citizen Science fördert Wissen, Fähigkeiten und kollektives Handeln zum Monitoring und Schutz von Fließgewässern

Citizen Science (CS) hat großes Potenzial zur Förderung von ökologischem Wissen, Fähigkeiten und kollektivem Handeln in der Zivilgesellschaft, um Gewässer zu erforschen und zu schützen. Bisher gibt es jedoch nur wenige experimentelle Studien zu Lerneffekten und Verhaltensänderungen durch CS bei den teilnehmenden Bürger:innen.
Mit Hilfe einer quasi-experimentellen, dreistufigen Befragungsstudie untersuchten wir die Auswirkungen von CS im Gewässermonitoring auf individuelle und kollektive Handlungsintentionen und Verhaltensweisen der Teilnehmenden im Bereich Gewässerschutz.
Darüber hinaus analysierten wir die Auswirkungen von CS auf verschiedene Prädiktoren für gewässerschutzrelevantes Verhalten, wie z.B. Wissen, Fähigkeiten, Bewusstsein für Gewässerstressoren und Gruppenidentifikation. Wir befragten eine CS-Treatmentgruppe (N = 213 Teilnehmende des CS-Projekts FLOW) und zwei Kontrollgruppen (Wartekontrollgruppe: N = 92, Panelkontrollgruppe: N = 250).
Im Ergebnis zeigte sich, dass die Bürgerforschenden im Vergleich zu den Kontrollgruppen ihr objektives Wissen über Fließgewässer, ihre selbsteingeschätzten Fähigkeiten zum Fließgewässermonitoring sowie ihr Bewusstsein für Gewässerbelastungsfaktoren signifikant verbesserten. Diese Veränderungen blieben auch sechs Wochen nach der CS-Projektteilnahme stabil.
Zugleich berichteten die Bürgerforschenden im Posttest eine stärkere Identifikation mit ihrer CS-Projektgruppe und ein höheres Maß an kollektivem und persönlichem Verhalten zum Fließgewässerschutz (z.B. Kontaktaufnahme zu lokalen Umweltämtern, um eigene Ideen zum Gewässerschutz einzubringen, oder Verwendung biologisch abbaubarer Reinigungsmittel). Die Steigerung der Gruppenidentifikation und des kollektiven Gewässerschutzverhaltens von Pretest zu Posttest korrelierten signifikant miteinander. Wir konnten auch zeigen, dass die CS-Intervention besonders für Teilnehmende mit hoher intrinsischer Motivation und für Teilnehmende mit geringem Vorwissen sehr effektiv war.
Insgesamt verdeutlicht unsere Studie, dass CS als nützliches Instrument zur Förderung von ökologischen Fähigkeiten, Bewusstsein und kollektivem Handeln zur Erhaltung und Wiederherstellung von Fließgewässern dienen kann. Durch praktische Schulungen zum Gewässermonitoring und Vernetzungsangebote können CS-Projekte Teilnehmende mit unterschiedlichem Erfahrungshintergrund dazu motivieren und befähigen, sich am Monitoring und Schutz von Fließgewässern zu beteiligen.
Um das Ziel der Europäischen Wasserrahmenrichtlinie eines „guten ökologischen Zustands“ für alle Oberflächengewässer zu erreichen, ist ein kollektives Engagement von Bürger:innen und verschiedenen zivilgesellschaftlichen Akteuren notwendig. Gesellschaftliche und politische Entscheidungsträger:innen sollte daher Ansätze zur partizipativen Gewässerforschung aktiv unterstützen.

K. Ngo, T. Surber, S. Truckenbrodt, F. Klan: Feuerkugel: A participatory approach for documenting fireballs

Fireballs, also known as bolides, not only generate excitement among the general public with its spectacular display of light in the atmosphere, but they also hold valuable information about our solar system. Therefore, the record of their occurrences and the reconstruction of their trajectories are much desired, especially when the latter leads to the collection of fireball remnants reaching the Earth’s surface, which packs vast amount of unique information on the universe. However, many fireball events go unrecorded due to the limited coverage and frame rate of existing sky surveillance camera networks. To bridge this gap, a collaborative effort involving astronomy enthusiasts, astrophysicists, and data scientists has given rise to the Nachlicht-BüHNE project, in which a web-app called “Feuerkugel” enables all interested persons to intuitively submit detailed descriptions of fireball events. Each description includes the duration and color of the event, and the direction of the fireball’s trajectory, which can be effortlessly observed by our eyes. These parameters are subsequently used to reconstruct the trajectory of a fireball. As the web-app received increasing attention from the general public and collected a large number of fireball reports, we are examining the quality and quantity of the submitted fireball reports of the last 3 years. Fireball events recorded by the web-app are compared with records of dedicated sky surveillance camera networks in Germany and France. Based on this analysis, further improvements of the current tool that helps human observers to report fireball events and the data processing methods can be implemented. Additionally, we are analyzing the error of the reconstructed flight trajectories. Therefore, the web-app is extended to allow users the selection and mapping of high-flying commercial aircrafts, with known flight tracks, instead of fireballs. The retrieved trajectories of aircrafts are compared with their known flight tracks to estimate the positional error that we transfer to fireball trajectories afterwards. In this contribution, we present the added value arising from the participation of different stakeholder groups, the structure of the web-app resulting from this participative approach and selected results of the quality and quantity analysis.

I. Madina, A. Becker-Mironici: WTT Impact Canvas und Crowdsourcing – Planung und Erfassung von Wirkung sowie Erkennung von Wirkungspotenzialen

Das Ziel einer aktiven Beteiligung der Zivilgesellschaft an Forschungs- und Innovationsprozessen ist nicht neu und inzwischen fest in nationalen Strategien wie der Hightech-Strategie 2025 (BMBF, 2018) oder europäischen Förderprogrammen wie Horizon Europe (EK, o. J.) verankert. Weiterhin wurden konkrete Maßnahmen wie die die „Partizipationsstrategie Forschung“ initiiert, die Ende Juni 2023 veröffentlicht wurde (BMBF, o. J.). Mit dieser Maßnahme verfolgt das BMBF das Ziel, die Potenziale von Partizipation zu entfalten, damit Wissenstransfer und Synergien zwischen den Akteuren aus Wissenschaft, Wirtschaft, Politik und Zivilgesellschaft gefördert werden. Aus diesem Grund ist zu erwarten, dass partizipative Formate, wie Crowdsourcing, in den nächsten Monaten und Jahren intensiver in verschiedenen Forschungskontexten entwickelt und implementiert werden.

Die Themen Evaluation und Reflexion spielen hierbei eine entscheidende Rolle, um die Erfolge dieser Instrumente und Formate zu messen. Die anerkannten und bereits etablierten forschungsrelevanten Indikatoren sind in meisten Fällen nicht dafür geeignet und wie Stubbe et al. (2021) betonen, können „[…] die transformative Wirkung von Maßnahmen […]“ nicht erfassen. Eine andere Herausforderung ist die Vielfalt der Indikatoren zur Wirkungserfassung von Transferaktivitäten in der Fachliteratur. Derzeit besteht noch kein Konsens darüber, welche dieser Indikatoren am besten geeignet sind, um die Wirkung beispielsweise eines partizipativen Formats oder konkret einer Crowdsourcing-Kampagne zu messen.

Mit dem Fachvortrag wird das Tool „Wissens- und Technologietransfer (WTT) Impact Canvas“ vorgestellt und demonstriert, wie das Canvas zur Festlegung von Indikatoren zur Erfassung von Output, Outcome und Impact exemplarisch bei Crowdsourcing-Kampagnen verwendet werden kann. Außerdem wird die partizipative Methode Crowdsourcing und die Anwendung des WTT Impact Canvas den Teilnehmenden vorgestellt.
Inhalte Vortrags:

  1. Vorstellung des WTT Impact Canvas: Das WTT Impact Canvas ist im Rahmen des Forschungsprojektes „Innovation Hub 13 – fast track to transfer“ entstanden und orientiert sich am Business Model Canvas, dem Theory of Change Toolkit sowie an der Input-Output-Outcome-Impact-Methode (IOOI-Methode, auf Englisch Logic Model). Das WTT Impact Canvas dient zur Planung, Erfassung sowie Evaluation von Transferaktivitäten und wirkungsorientierten Projekten. Ziele sind:
  • Unterstützung bei der Zielsetzung und Strukturierung einzelner Maßnahmen
  • Motivation wecken, langfristig orientierte (sinnstiftende) Maßnahmen anzustoßen
  • Aufzeigen von Veränderungen, die im Rahmen und nicht nur am Ende einer Aktivität oder Maßnahme erfasst und dokumentiert wurden
  • Sichtbarmachen von Aktivitäten und deren Wirkung, die über quantitative Größen hinausgeht
  • Darstellung des Projekts und der damit verbundenen Wirkung
  • Evaluation der geplanten Wirkung des Projektes.
  1. Festlegung von Indikatoren zur Wirkungserfassung exemplarisch bei Crowdsourcing-Kampagnen mithilfe des WTT Impact Canvas:
    Der Prozess und die einzelnen Schritte zur Festlegung der Indikatoren zur Erfassung von Output, Outcome und Impact bei Crowdsourcing-Kampagnen werden ebenso erläutert. Dabei wurden die Empfehlungen der TransferAllianz (2021) zur Indikatorik sowie die Beteiligung von relevanten Akteurinnen und Akteuren nach OECD (2021) berücksichtigt.
  2. Vorstellung des Konzeptes „Crowdsourcing als Methode zur Erkennung von Impact-Potenzialen mithilfe des WTT Impact Canvas
    Zum Abschluss des Fachvortrages wird ein Konzept vorgestellt, wie im Rahmen einer Crowdsourcing-Kampagne Projekte mit Impact-Potenzial mithilfe des WTT Impact Canvas erkannt werden können.

I. Schaefer, G. Bär: Qualität in der Partizipativen Gesundheitsforschung (PGF) im Dreieck zwischen Wissensgenese, dem Hinwirken auf Veränderungen und der Stärkung gegenseitiger Lernprozesse

Die Partizipative Gesundheitsforschung (PGF) im deutschsprachigen Raum ist konzeptionell mit der Veränderung der sozialen Lebenswelten von Bevölkerungsgruppen in herausfordernden Lebenslagen verknüpft. Zugleich soll im Rahmen der gleichberechtigten Zusammenarbeit verschiedener Beteiligter und damit unter Einbeziehung unterschiedlicher Wissensformen und Positionierungen, neues Wissen generiert und ein gemeinsamer Bildungsprozess ausgelöst werden. Diese dreifache Zielsetzung kann als Dreieck bzw. auch als „Bermudadreieck“ visualisiert werden, das eine gute Orientierung erfordert, so dass ein Beitrag zu dem übergeordneten Ziel der Stärkung gesundheitlicher Chancengerechtigkeit geleistet werden kann.
Als noch „junger“ Forschungsansatz im deutschsprachigen Raum befindet sich die Konzeptionierung der PGF in verschiedener Hinsicht noch am Anfang – so auch zur Frage der Qualität. In deren Fokus steht bislang die Umsetzung des Anspruchs an die Partizipation, andere Aspekte in Bezug auf die Qualität des Prozesses und der Zielerreichungen (z.B. „Wer genau wurde in der Forschung beteiligt?“ „Wie wurde der Erkenntnisprozess gestaltet?“) werden dagegen eher selten expliziert. Die Auseinandersetzung mit der Qualität kann ein wichtiger Beitrag sein, die weitere Etablierung und Anerkennung dieses Forschungsansatzes voranzubringen.
Die PGF als spezifischer Ansatz der Sozial- und Gesundheitsforschung mit Implikationen auch zum Feld der Gesundheitsförderung und Prävention kann Ansätze für die Auseinandersetzung mit Qualität aus diesen Feldern nicht 1:1 auf sich übertragen. Es lohnt jedoch eine Überprüfung, welche bestehenden Modelle und Konzeptionen eine Unterstützung darstellen können. Hier können beispielsweise das Konzept der Planungs-, Struktur-, Prozess- und Ergebnisqualität aus dem Feld der Gesundheitsförderung und Prävention, die in der qualitativen Sozialforschung diskutierten Gütekriterien und auch die in der human- und sozialwissenschaftlichen Gesundheitsforschung formulierten ethischen Anforderungen von Interesse sein. Auch bietet sich die Nutzung spezifisch für die PGF entwickelter Modelle wie z.B. das PGF-Modell an. Dieses Modell basiert auf dem im US-amerikanischen Raum entwickelten Modell für community-basierte Forschung (Community Based Participatory Research (CBPR)) und wurde von einer Arbeitsgruppe des Netzwerks Partizipative Gesundheitsforschung (PartNet) für den deutschsprachigen Raum adaptiert und erprobt.
Im Rahmen des Beitrags werden Beispiele für die Anwendung der vorgenannten Modelle und Konzepte vorgestellt. So wurden im Rahmen des Partizipativen Forschungsprojektes „Eltern fragen Eltern (ElfE) Gütekriterien aus der partizipativen Forschung für die Reflexion der partizipativen Datenauswertung und -analyse genutzt. Auf Basis dieser Erfahrungen soll zur Diskussion gestellt werden, ob eine Schärfung der Zielsetzung innerhalb des „Bermudadreiecks“ zur Stärkung der Qualität dieses Forschungsansatzes beitragen kann.

B. Schlünz, M. Maikämper: Forschen in gesellschaftlicher Verantwortung – ein Beitrag zu partizipativer Forschung?

Der LeNa-Prozess der außeruniversitären Forschungsorganisationen hat zum Ziel, Nachhaltigkeit und gesellschaftliche Verantwortung in Forschungsprozessen zu fördern. In ihm wurde ein Reflexionsrahmen mit acht Kriterien entwickelt. Dieser umfasst Interdisziplinarität, Transdisziplinarität, Nutzer*innenorientierung, Reflexion von Wirkungen, Umgang mit Komplexität und Unsicherheit, Integrative Herangehensweise, Transparenz und Angewandte Ethik. Die acht Kriterien sollen Forschenden bei der Beantwortung der Fragen helfen: „Wie wird geforscht?“ und „Für wen wird geforscht?“. Wir möchten diskutieren, inwieweit das Prinzip ‚Forschen in gesellschaftlicher Verantwortung‘ einen Beitrag leisten kann, partizipative Forschung in Deutschland voranzubringen. Ausgehend von einer kurzen Vorstellung des Reflexionsrahmens ist eine Diskussion anhand von Leitfragen oder Thesen zu folgenden Aspekten geplant: Bei der Integration der Kriterien im Forschungsalltag gibt es Unsicherheiten und Hindernisse, da sie zusätzliche zeitliche und finanzielle Ressourcen erfordert, im Konflikt mit disziplinären Qualifikationspfaden steht und sich nach vorherrschender Reputationslogik kaum auszahlt. Insbesondere transdisziplinäre und partizipative Forschungsansätze stehen nach wie vor unter Rechtfertigungsdruck und teilweise im Konflikt mit gängigen Exzellenzanforderungen.Während der Zusammenhang von Kriterien wie Transdisziplinarität und Nutzer*innenorientierung zu partizipativer Wissenschaft offensichtlich ist, bergen ethische Fragen und der Umgang mit Komplexität und Unsicherheit Herausforderungen, die nicht immer auf der Hand liegen. Welche Kriterien für eine erfolgreiche partizipative Forschung besonders wichtig und herausfordernd sind, ist zu diskutieren. Die Veranstaltung ist offen für alle Interessierten. Sie richtet sich insbesondere an Forschende unterschiedlicher Disziplinen, zivilgesellschaftliche Akteure und Personen aus dem Wissenschaftsmanagement.

J. Haus: Wirkunken verstehen, Wirkungen erfassen – partizipative Entwicklung und Umsetzung Evaluationsansatzes für die Reallabore der BMBF Fördermaßnahme MobilitätWerkStadt2025

Die Aussicht auf eine anstehende Evaluation der eigenen Projektarbeit und -fortschritte ist selten mit positiver Vorfreude besetzt. Dies nicht ohne Grund: die Ermittlung und Erfassung der Wirkungen transdisziplinärer Projekte stellt vielfach eine Herausforderung dar. Dies sowohl für die wissenschaftliche Begleitforschung, die zumeist mit dieser Aufgabe betraut wird, als auch für Projektbeteiligte selbst, die mit Evaluationskriterien und -fragebögen konfrontiert werden, die sich allzu oft schwerlich in die eigenen Projektkontexte übersetzen lassen. Zudem werden Evaluationen von den Projektbeteiligten vielfach als Prüfungs- und Kontrollsituationen wahrgenommen, bei denen es gilt sich und sein Projekt gut in Szene zu setzen. Gerade im Kontext von größeren Fördermaßnahmen besteht zudem stets ein Spannungsverhältnis zwischen der Notwendigkeit, dass Evaluationsansätze eine ausreichende Vergleichbarkeit zwischen unterschiedlichen Projekten ermöglichen müssen und zugleich die jeweiligen Besonderheiten einzelner Projekte und ihrer Verläufe in fruchtbarem Maße berücksichtigen sollten. Der vorgeschlagene Beitrag möchte hier einen konstruktiven Beitrag dazu leisten, Evaluation nicht als lästige Pflichtaufgabe zu betrachten, sondern das Potential für Praxis und Forschung darin zu stärken. Neben der Dokumentation eingetretener Effekte kann sie einen entscheidenden Beitrag zur Sensibilisierung von Projektteams für ihre eigenen Wirkungen, den Erfahrungsaustausch und das Peer-Learning zwischen lokalen und kommunalen Praxisakteuren sowie zur Sondierung von Skalierungs- und Übertragungsmöglichkeiten von Projektmaßnahmen leisten. Neben einem Mehrwert für die Praxisakteure sollte auch aus wissenschaftlicher Perspektive eine Verbesserung von Evaluationsansätzen verstärkt angestrebt werden, da sie die Datenbasis und -qualität deutlich erhöhen kann und so auch der wissenschaftlichen Arbeit im Bereich der Transformationsforschung mehr als dienlich ist.
Den empirischen Brennpunkt des Beitrags bildet der partizipative Entwicklung-, Umsetzungs- und Anwendungsprozess eines praxisorientierten Evaluationsansatzes für kommunale Reallaborprojekte der BMBF FONA-Fördermaßnahme MobilitätsWerkStadt2025. Unter Berücksichtigung der oben skizzierten Herausforderungen und Potentiale hat die Begleitforschung (BeNaMo) der BMBF-Forschungsagenda „Nachhaltige urbane Mobilität“ (FONA) in Zusammenarbeit mit den 14 begleiteten Kommunen der Fördermaßnahme „MobilitätsWerkStadt2025“ und dem DLR-PT einen Evaluationsansatz entwickelt. Dieser integriert Elemente der Wirkungsevaluation und der Prozessevaluation und nutzt quantitative und qualitative Zugriffe, um sich mit den Projekten über ihre Wirkungen zu verständigen und diese zu erfassen.
Auf Ebene der Wirkungsevaluation werden die Wirkungen der Einzelmaßnahmen auf Grundlage von drei, auch für das Förderprogramm zentralen, Indikatoren (Hauptindikatoren) vorwiegend quantitativ erfasst. Diese sind: Reduktion des motorisierten Individualverkehrs (MIV), Flächenumwidmung von MIV-Flächen, politische und gesellschaftliche Akzeptanzsteigerung. Auf der Ebene der Prozessevaluation werden ergänzend qualitativ Faktoren erfasst, die sich entweder begünstigend oder hemmend auf den Planungs- und Umsetzungsprozess der Maßnahmen ausgewirkt haben.
Der vorgeschlagene Beitrag wird hier neben der Vorstellung des Ansatzes und seiner iterativen partizipativen (Weiter-)Entwicklung auch schlaglichtartig einige Ergebnisse der zweiten Evaluationsrunde vorstellen. Gerade das Thema der Wirkungserfassung im Bereich der politischen und gesellschaftlichen Akzeptanzsteigerung bietet hier eine gute Grundlage, um Fragen und aktuelle Forschungsbaustellen im Bereich der Evaluation solcher transdisziplinären Reallaborprojekte zu diskutieren.

Nach oben scrollen