Retractions of scientific articles are becoming the most relevant institution for making sense of scientific misconduct. An increasing number of retracted articles, mainly attributed to misconduct, is currently providing a new empirical basis for research about scientific misconduct. This article reviews the relevant research literature from an interdisciplinary context. Furthermore, the results from these studies are contextualized sociologically by asking how scientific misconduct is made visible through retractions. This study treats retractions as an emerging institution that renders scientific misconduct visible, thus, following up on the sociology of deviance and its focus on visibility. The article shows that retractions, by highlighting individual cases of misconduct and general policies for preventing misconduct while obscuring the actors and processes through which retractions are effected, produce highly fragmented patterns of visibility. These patterns resemble the bifurcation in current justice systems.
Höchst umstritten, doch offenbar unverzichtbar – Peer Review trifft als zentraler Mechanismus der Selbststeuerung in der Wissenschaft Entscheidungen über Publikationen, Finanzierungen und Karrieren. Seine Konstanz und Funktion verlangt nach soziologischen und philosophischen Erklärungen. Am Fall des Begutachtungsverfahrens des Schweizerischen Nationalfonds zeigt diese Arbeit, wie Peer Review als Organisationsmodell sowohl epistemischen als auch sozialen Anforderungen gerecht wird. Dass Fachwissen, Entscheidungsregeln und Qualitätskriterien ebenso integral zum Peer Review gehören wie Arbeitsteilung, Machtverhältnisse und kognitive Überforderungen resultiert als empirischer Befund. Den Ertrag auf theoretischer Ebene stellt eine soziale Epistemologie der wissenschaftlichen Selbststeuerung dar, die sich interdisziplinär zwischen der Soziologie und der Philosophie verortet. Höchst umstritten, doch offenbar unverzichtbar – Peer Review trifft als zentraler Mechanismus der Selbststeuerung in der Wissenschaft Entscheidungen über Publikationen, Finanzierungen und Karrieren. Seine Konstanz und Funktion verlangt nach soziologischen und philosophischen Erklärungen. Am Fall des Begutachtungsverfahrens des Schweizerischen Nationalfonds zeigt diese Arbeit, wie Peer Review als Organisationsmodell sowohl epistemischen als auch sozialen Anforderungen gerecht wird. Dass Fachwissen, Entscheidungsregeln und Qualitätskriterien ebenso integral zum Peer Review gehören wie Arbeitsteilung, Machtverhältnisse und kognitive Überforderungen resultiert als empirischer Befund. Den Ertrag auf theoretischer Ebene stellt eine soziale Epistemologie der wissenschaftlichen Selbststeuerung dar, die sich interdisziplinär zwischen der Soziologie und der Philosophie verortet. Höchst umstritten, doch offenbar unverzichtbar – Peer Review trifft als zentraler Mechanismus der Selbststeuerung in der Wissenschaft Entscheidungen über Publikationen, Finanzierungen und Karrieren. Seine Konstanz und Funktion verlangt nach soziologischen und philosophischen Erklärungen. Am Fall des Begutachtungsverfahrens des Schweizerischen Nationalfonds zeigt diese Arbeit, wie Peer Review als Organisationsmodell sowohl epistemischen als auch sozialen Anforderungen gerecht wird. Dass Fachwissen, Entscheidungsregeln und Qualitätskriterien ebenso integral zum Peer Review gehören wie Arbeitsteilung, Machtverhältnisse und kognitive Überforderungen resultiert als empirischer Befund. Den Ertrag auf theoretischer Ebene stellt eine soziale Epistemologie der wissenschaftlichen Selbststeuerung dar, die sich interdisziplinär zwischen der Soziologie und der Philosophie verortet.
1 December 2016 in Berliner Journal für Soziologie
Using a novel combination of methods and data sets from two national funding agency contexts, this study explores whether review sentiment can be used as a reliable proxy for understanding peer reviewer opinions. We measure reviewer opinions via their review sentiments on both specific review subjects and proposals’ overall funding worthiness with three different methods: manual content analysis and two dictionary-based sentiment analysis algorithms (TextBlob and VADER). The reliability of review sentiment to detect reviewer opinions is addressed by its correlation with review scores and proposals’ rankings and funding decisions. We find in our samples that review sentiments correlate with review scores or rankings positively, and the correlation is stronger for manually coded than for algorithmic results; manual and algorithmic results are overall correlated across different funding programs, review sections, languages, and agencies, but the correlations are not strong; and manually coded review sentiments can quite accurately predict whether proposals are funded, whereas the two algorithms predict funding success with moderate accuracy. The results suggest that manual analysis of review sentiments can provide a reliable proxy of grant reviewer opinions, whereas the two SA algorithms can be useful only in some specific situations.