Katherine Kuchenbecker debattiert über den Peer-Review-Prozess auf der ICRA 2024

Yokohama – Die Direktorin der Abteilung für Haptische Intelligenz am MPI-IS, Katherine Kuchenbecker, die langjährige Teilnehmerin der IEEE International Conference on Robotics and Automation (ICRA) ist, nahm an einem beliebten Diskussionsformat teil, das die Konferenz pflegt. Bei der diesjährigen fünftägigen Veranstaltung in Yokohama, Japan, diskutierten sie und andere führende Wissenschaftler*innen aus der Robotik-Community zu Beginn der Konferenz über das Für und Wider dreier kontroverser Themen: Single-Blind Peer Review, Generative KI und die Bedeutung von Universitäten für die moderne Robotik. Wie jedes Jahr genoss das Format großes Interesse: Die Plätze waren schnell knapp, die Leute standen im Gang und saßen am Ende sogar auf dem Boden hinter den Diskutierenden.

„Es ist das dritte Mal, dass ich an diesen Debatten teilnehme“, sagt Kuchenbecker. „Beim ersten Mal hatte ich debattiert, beim zweiten Mal war ich Moderatorin und jetzt durfte ich wieder mitdiskutieren. Ich liebe das Format und konnte gar nicht glauben, wie viel Aufmerksamkeit die Diskussionen dieses Jahr bekamen.“

80 Minuten lang argumentierte Kuchenbecker für die Pro-Position der Debatte "Peer-Review ist ein zu lauter Prozess, der von großen Namen im Falle von Single-Blind-Reviews bei ICRA/IROS beeinflusst wird". Ebenfalls auf der Pro-Seite stand Georgia Chalvatzaki, eine Professorin der TU Darmstadt. Auf der Gegenseite verteidigten Geoffrey Hollinger und Javier Civera ihre Argumente, während Michael Milford moderierte. Die Debattierenden wurden gebeten, eine eindeutige Position für oder gegen die ihnen zugewiesene These einzunehmen, um das Publikum zum kritischen Nachdenken anzuregen, indem sie Perspektiven darlegen, die von ihren persönlichen Standpunkten abweichen könnten.

Kuchenbecker machte mehrere Argumente in ihrer Eröffnungsrede deutlich: „Ich behaupte, dass die Tatsache, dass Gutachter die Namen, die Institutionen und die Länder der Autoren der von ihnen begutachteten Beiträge sehen können, zu einer erheblichen Beeinträchtigung aller Aspekte des Begutachtungsprozesses führt. Die Ergebnisse, die mich interessieren, sind nicht nur, ob ein bestimmter Beitrag angenommen oder abgelehnt wird, sondern auch, ob ein bestimmter Gutachter die Aufforderung zur Begutachtung dieses Manuskripts annimmt. Auch die Bewertungen und Kommentare, die er den Autoren mitteilt, und später, ob diese Arbeit für einen Preis in Betracht gezogen wird. Meine Argumente beruhen auf der Grundannahme, dass nur der Inhalt der Einreichung – und damit meine ich den Text, die Abbildungen, die Ergebnisse, die Videos, die Zitate und das Forschungsumfeld zum Zeitpunkt der Einreichung – bestimmen sollte, was ein Gutachter über diese Einreichung schreibt. Die Autoren und die auf der ersten Seite aufgeführten Affiliations sollten keinen Einfluss auf das Ergebnis haben. Aber in unserem single-blind Begutachtungsverfahren haben sie einen Einfluss.“

Kuchenbecker fuhr fort: „Das ist verständlich, denn wir Menschen sind soziale Wesen und wir sind sehr gut darin, Wahrnehmungsmustern zu folgen. Vor allem nutzen wir diese Heuristiken, diese Voreingenommenheit, wenn wir nur begrenzte Informationen haben oder wenn wir nur wenig Zeit haben. Wir haben nicht alle Zeit der Welt, und selbst wenn uns diese Voreingenommenheit bewusst ist, selbst wenn ich weiß, dass ich eher dazu neige, eine Arbeit besser zu bewerten, wenn es sich um jemanden handelt, der so ist wie ich, eine Frau, eine Amerikanerin, jemand, der an der Stanford University studiert hat, selbst wenn ich weiß, dass ich meinen Bias nicht loswerden kann, kann es sein, dass ich Forschungsarbeiten von Leuten, von denen ich glaube, dass ich eine Voreingenommenheit habe, strenger bewerte. Die einzige Möglichkeit, diese Voreingenommenheit aus dem Entscheidungsprozess zu entfernen, besteht also darin, die Autorenangaben aus den Beiträgen zu entfernen. Dieses System wird als doppel-blinde Überprüfung bzw single blind review bezeichnet. Hier schreiben wir unsere Arbeiten so, dass die Gutachter nicht wissen, wer die Arbeit geschrieben hat. Das bedeutet, dass die Autoren ihre Identität bewusst verbergen müssen, dass sie ihre Namen entfernen, dass sie keine Bilder ihres Universitätslogos einfügen – oder sie schwärzen sie – und dass sie den Namen ihrer Institution nicht nennen. Sie schreiben über ihre Forschung in der dritten Person. Wenn sie ihre Forschung anonymisieren, haben Sie drei wichtige Vorteile.“

Sehen Sie sich das vollständige Video an, um zu erfahren, worin diese Vorteile bestehen, und um alle Argumente der elf anderen teilnehmenden Dabattierenden zu hören:

https://www.roboticsdebates.org/

Jeannette Bohg, eine Alumna des MPI-IS und Professorin an der Stanford University, nahm an der dritten Debatte der ICRA 2024 teil. Sie erläuterte ihre Ansichten zu generativer KI und vertrat die Ansicht, dass diese viele der traditionellen Robotikansätze überflüssig machen wird. Ein beliebter Teil dieser Debatten ist, dass jeder am Ende seine persönlichen Ansichten preisgibt; hören Sie sich das Ende an, um herauszufinden, was Bohg wirklich über generative KI in der Robotik denkt.

Die Organisatoren dieser Debatten sind der Meinung, dass „es besser ist, eine Frage zu debattieren, ohne sie zu klären, als eine Frage zu klären, ohne sie zu debattieren“, ein Zitat von Joseph Joubert. Kuchenbecker findet dieses Debattenformat so überzeugend, dass sie plant, es im IMPRS-IS Boot Camp 2025 einzuführen, das voraussichtlich im September 2025 in Stuttgart und Tübingen stattfinden wird. Unsere IMPRS-IS Scholars werden die Möglichkeit haben, Diskussionsthemen vorzuschlagen. Die IMPRS-IS Faculty und andere Community-Mitglieder werden dann auf einer Bühne beide Seiten des jeweiligen Themas diskutieren.