Judith Hartstein

Judith Hartstein

Auto-generated profile, based on publicly available information

Judith Hartstein

German Centre for Higher Education Research and Science Studies (DZHW), Berlin, Germany

Research Focus & Metrics

Academic Career Length

8Years (2019-Present)

(Calculated once Scilit publication data is synced: current year − year of first publication + 1)

Representative Publications

View All Publications
1 December 2021 in Quantitative Science Studies
Verified
Journal Article
Open access
PDF file
JLJunwen Luo
Junwen Luo
TFThomas Feliciani
Thomas Feliciani
MRMartin Reinhart
Martin Reinhart
JHJudith Hartstein
Judith Hartstein
VDVineeth Das
Vineeth Das
KSKalpana Shankar
Kalpana Shankar
Using a novel combination of methods and data sets from two national funding agency contexts, this study explores whether review sentiment can be used as a reliable proxy for understanding peer reviewer opinions. We measure reviewer opinions via their review sentiments on both specific review subjects and proposals’ overall funding worthiness with three different methods: manual content analysis and two dictionary-based sentiment analysis algorithms (TextBlob and VADER). The reliability of review sentiment to detect reviewer opinions is addressed by its correlation with review scores and proposals’ rankings and funding decisions. We find in our samples that review sentiments correlate with review scores or rankings positively, and the correlation is stronger for manually coded than for algorithmic results; manual and algorithmic results are overall correlated across different funding programs, review sections, languages, and agencies, but the correlations are not strong; and manually coded review sentiments can quite accurately predict whether proposals are funded, whereas the two algorithms predict funding success with moderate accuracy. The results suggest that manual analysis of review sentiments can provide a reliable proxy of grant reviewer opinions, whereas the two SA algorithms can be useful only in some specific situations.

9 November 2019 in SocArXiv
Verified
Preprint
Open access
AKAnne K. Krüger
Anne K. Krüger
JHJudith Hartstein
Judith Hartstein
Felicitas HesselmannFelicitas Hesselmann
Felicitas Hesselmann
„Big Data“ ist das Buzzword, das in vielen gesellschaftlichen Debatten, die über Schrecken oder Segen der voranschreitenden Digitalisierung aller Lebensbereiche geführt werden, den Kern der Diskussion bestimmt. Angesichts dieser Entwicklung arbeitet der Artikel heraus, über welche Expertise die Sozialwissenschaften verfügen, um sich sowohl dem Phänomen der massenhaften Generierung und Auswertung von Daten über die soziale Wirklichkeit als auch selbst einer Nutzung solcher Daten zu nähern. Dazu gehen wir erstens auf die Nutzungsmöglichkeiten und die damit verbundenen dystopischen und utopischen Narrative einer totalen Überwachung bzw. der Lösung gravierender Menschheitsprobleme ein. Zweitens setzen wir uns mit den methodischen und methodologischen Herausforderungen für die Sozialwissen-schaften auseinander, die aufgrund der veränderten Datenlage diskutiert werden. Abschließend stellen wir – sowohl resultierend aus dem Umgang mit den in den Narrativen dargestellten Prozessen als auch aus der Auseinandersetzung mit dem methodischen und methodologischen Umgang mit neuen, massenhaft vorliegenden Daten – einige Überlegungen dazu an, welche Rolle die Sozialwissenschaften in Bezug auf die neuen Datenproduktions- und -nutzungsmöglichkeiten – insbesondere auch im Hinblick auf andere Disziplinen wie der Informatik – einnehmen kann.

18 November 2026 in SocArXiv
Verified
Preprint
Open access
JHJudith Hartstein
Judith Hartstein
NSNathalie Schwichtenberg
Nathalie Schwichtenberg
ASAlexander Schniedermann
Alexander Schniedermann
Understanding what encourages researchers to (re)use publications, data and software and thereby trusting the output of distant and unknown peers, is essential for envisioning future forms of scholarly communication and developing organizational and technical infrastructures. With a survey among more than 1,700 researchers across disciplines we investigate a) how often researchers across the spectrum of disciplines use the three types of resources, and b) how they make the respective use decisions along ten assessment vectors. We find that resource use and assessment practices stabilize across disciplines in line with the integration of a resource into scientific practice, and that assessment practices fall into the three categories of resource specificity, field specificity and user specificity. We contextualize our findings within the broader discourse on epistemic trust, and we conclude that publications, data and software are always to be considered in reference to their similarities, synergies and diversities when it comes to scientific best practices and infrastructure development.