Skutki kultu wskaźników

Prawo na Akademii Pomorskiej w Słupsku – ocenione wyżej niż na Uniwersytecie Warszawskim. Filozofia na Politechnice Warszawskiej – oceniona wyżej niż ta na Państwowej Akademii Nauk. To dobrze czy źle? Ewaluacja (a tak naprawdę – parametryzacja) wyższych uczelni za lata 2017–2021, której wyniki ogłoszono 2 sierpnia, już od dawna budziła wiele emocji. Głównie negatywnych. Antoni Dudek nazwał ten proces „ewaluacyjnym Frankensteinem”, a Adam Leszczyński w Oko.press pisał, że zmiany dokonane przez ministra Czarnka odbierają sens całej ocenie. Niektórzy po ogłoszeniu wyników byli oburzeni tym, że mniejsze ośrodki mają lepsze oceny niż te większe i mocno ugruntowane. Inni argumentowali, że właśnie taki model ewaluacji pozwala na rozbicie zaklętego kręgu elit czy wpuszczenie do niego tych, którzy w świecie naukowym zostali postawieni w pozycji pariasów tylko dlatego, że nie obracają się w odpowiednich środowiskach. Jednak problem z ewaluacją tkwi gdzie indziej.

Parametry służą władzy

Wbrew temu, co się obecnie słyszy, wprowadzane obecnie w Polsce reformy szkolnictwa wyższego nie są niczym nowym. To część fali reform przetaczającej się przez świat od lat 90. Jednakże dzięki temu, że proces ten nie jest nowością, dysponujemy doświadczeniami i wiedzą naukową dotyczącą jego skutków i efektywności. Jednym z filarów reform wszędzie tam, gdzie były wdrażane, jest parametryczny system ewaluacji pracy naukowej – stąd mowa o „parametryzacji”. Tak samo jest w przypadku polskiego systemu – ocenia się przede wszystkim publikacje naukowe i efekty finansowe. Wszystko to łatwo da się sparametryzować.

Na samym początku reform w wielu krajach ten właśnie element cieszył się dużym poparciem środowisk naukowych, a zwłaszcza młodych naukowców. Uczeni wiązali z nim nadzieje na usprawnienie systemu awansów i uczynienie go bardziej przejrzystym i sprawiedliwym. W końcu liczby i wskaźniki są obiektywne w odróżnieniu od niejasnych i niejawnych ustaleń. Liczono też, że system odblokuje etaty, okupowane przez postaci akumulujące władzę i zasoby, lecz niewykazujące się zaangażowaniem w pracę naukową.

A jednak – jak wykazują zarówno doświadczenia uczonych i badania naukowe – te nadzieje okazały się płonne, a wręcz zwodnicze. Na przykład badania z 2012 roku przeprowadzone w anglosaskich uczelniach wskazują, że im bardziej rygorystyczne systemy parametryzacji przyjmują uniwersytety, tym bardziej subiektywna i arbitralna staje się w odczuciu pracowników ich kultura pracy. Co więcej – wskazują Marc A. Edwards i Siddhardha Roy – im mocniej nagradzany jest sukces parametryczny, tym bardziej grupy posiadające większą władzę nagradzają same siebie. Parametryczny system ewaluacji powoduje zatem jeszcze większą arbitralność. Systemy ocen natychmiast zostały wykorzystane do jeszcze bardziej intensywnej akumulacji władzy, często przez te same postaci oraz przez przybyszy z zewnątrz akademii (menedżerów i konsultantów) w ogóle niezainteresowanych badaniami naukowymi.

Politycy i zarządcy górą

Systemy parametryczne funkcjonują w różnych branżach. We wszystkich są rozgrywane strategicznie przez zarządzających celem maksymalizacji korzyści dla nich samych, lecz kosztem meritum działalności ich organizacji – w tym wyższych uczelni (pisze o tym np. Jerry Muller w książce „The Tyranny of Metrics”). Gra toczy się o zasoby i wpływy. Panuje w niej ostra konkurencja. Wygrywają ci, którzy już na początku mają środki i władzę, a przegrywa nauka i naukowcy – przede wszystkim ci najmłodsi i ci, którzy poświęcają czas na naukę, a nie na maksymalizowanie wskaźników. Głównymi wygranymi są zarządzający systemem.

Sparametryzowanym systemem bardzo łatwo bowiem zarządzać. Nie wymaga to żadnej wiedzy dotyczącej meritum działalności. Nie trzeba nawet wiedzieć zbyt wiele o zarządzanej organizacji. Wystarczy maksymalizować wskaźniki. W efekcie pojawia się zjawisko przesunięcia celów opisane przez Witolda Kieżuna – uczelnie i uczeni zajmują się czymś innym niż ich właściwa praca. Statystyki z krajów anglosaskich, gdzie ten efekt wystąpił, w całej pełni doskonale to zjawisko ilustrują. Jedno z amerykańskich badań wykazało, że w latach 1975–2008 liczba wydziałów wzrosła o około 10 proc., podczas gdy liczba pracowników administracji aż o 221 proc. W Wielkiej Brytanii dwie trzecie uniwersytetów ma teraz więcej pracowników administracji niż pracowników naukowych. Co więcej, także sami naukowcy są coraz silniej obciążeni działaniami administracyjnymi, przez co mają coraz mniej czasu na kluczowe elementy pracy naukowej. Jeden z ekspertów ds. polityki szkolnictwa wyższego André Spicer przewidział narodziny „uniwersytetu ogólnoadministracyjnego”. Ta cała bezproduktywna praca polega na dostarczaniu danych do wskaźników dla zarządców – rektorów uczelni i innych decydentów, na ogół polityków.

Właśnie politycy to druga grupa wygranych w wyniku systemów ewaluacji parametrycznej. Nie muszą się uczyć komunikowania ze światem nauki. Nie muszą brać go pod uwagę ani nawet szukać kontaktu z tym środowiskiem. Wystarczy im kontakt z rektorami. Nie rozpraszają władzy i mogą bezpośrednio i aktywnie sterować wyższymi uczelniami – co wcześniej było bardzo trudne – bez głębszej znajomości i zrozumienia specyfiki akademii. Innymi słowy, reformy parametryzacyjne powodują przejęcie i kolonizację akademii przez ośrodki władzy niemające związku z pracą naukową.

Gra w zespół

Istnieją różne gry w różnych „kategoriach wagowych”. Dla rozgrywających system globalny, czyli ultrabogatych elitarnych uczelni anglosaskich, to przede wszystkim wymuszanie poprzez lobbing wdrażania systemu przez inne państwa i uczelnie po to, by mieć z kim wygrywać w rankingach (np. w rankingu szanghajskim). W ten sposób na przykład polskie uczelnie przyłączają się do skazanych na porażkę – na koszt polskiego podatnika. To dobry przykład udanej realizacji tej strategii. Zwycięzcy tej gry aktywnie wpływają na kryteria rankingów. Nie są one ani jawne, ani przejrzyste. Decydujący wkład w ich tworzenie wnoszą elitarne uczelnie anglosaskie i wielkie korporacje wydawnicze.

Kadry zarządzające uczelni aktywnie grają parametrami jako narzędziem realizacji strategii akumulacji wpływów i środków poprzez politykę personalną i mobilizację do „przyciągania pieniędzy” w postaci grantów przez uczonych (często zamiast wykonywania pracy odpowiedniej do ich roli zawodowej). System parametryczny także na tym poziomie jest bardzo mało przejrzysty. Indeksy i rankingi są różne i mogą być używane w różny sposób (do oceny jednostek organizacyjnych lub poszczególnych uczonych etc.) – i pozwalają na ręczne sterowanie polityką personalną. Bardzo łatwo jest kontrolować nastroje – tak działa zasada zarządzania poprzez strach. Uczeni czują się nieadekwatni. Noblistów i „celebrysorów” (celebryta + profesor) jest niewielu.

Nauka tymczasem powinna polegać na rozmowie: na dyskusjach, często gwałtownych i związanych z radykalnymi sporami, a także na badaniach, czytaniu, nauczaniu, budowaniu szkół i zespołów badawczych. Wszystko to opiera się na zaufaniu i współpracy, często agonistycznej, czyli współistniejącej z walką i rywalizacją – a więc takiej, którą nie da się odgórnie sterować. Mechanizm systemu parametrycznego opiera się natomiast na konkurencji.

Istnieją też życzliwe i łagodne społecznie sposoby rozgrywania parametryzacji, polegające na strategicznej grze uników, czyli na rozgrywaniu systemu w taki sposób, by dać ludziom oddech i warunki do pracy naukowej. Gra się wtedy „w zespół”. Np. wiele szwedzkich uczelni zatrudnia bardzo produktywnych uczonych pod koniec okresów ewaluacji (na etaty lub jako profesorów gości), by wykazać wzrost wskaźników. W Polsce jest to niemożliwe, lecz istnieją inne przykłady tej gry. Znamy takie, lecz ich nie podamy, bo nie chcemy zaszkodzić najlepszym miejscom pracy w polskiej akademii.

Wygnańcy systemu

Największym problemem dla systemu są miejsca, gdzie widoczna jest jego niespójność i niezgodność z założeniami. Powoduje to dysonans poznawczy, który może zrodzić sprzeciw i opór (ludzie to nie roboty). Największym takim problemem jest nauka i sens badań naukowych oraz instytucji deklarujących zajmowanie się nimi. Z tym wiąże się ich społeczna prawomocność, a co za tym idzie – skłonność podatnika do finansowania ich. Zarządcy starają się radzić sobie z tym na różne sposoby, przede wszystkim poprzez odciąganie społecznej uwagi od sedna sprawy, np. promując i celebrując rankingi, jakby one były celem samym w sobie. To oczywiście pogłębia problem w dłuższym okresie, bo w wielu krajach naukowcy tracą szybko prestiż i uznanie społeczne – a społeczeństwa nie widzą powodu, by finansować ich pracę.

Innym problemem są niepasujące elementy układanki – np. pracowici uczeni, dużo publikujący i osiągający wysokie wartości parametrów, lecz niegrający razem ze zwycięzcami systemu, a zajmujący się wykonywaniem swojej pracy zawodowej. Takie osoby traktowane są przez zarządców korzystających z reform podobnie jak dysydenci w systemie państwowego komunizmu – i z tych samych powodów. Zarządcy starają się za wszelką cenę wywołać społeczne odrzucenie takich osób, bo autentycznie zagrażają integralności systemu swoją działalnością. Jednak istnieją całkiem skuteczne strategie radzenia sobie z takimi osobami. Dzięki tym strategiom zarządcy mogą upiec dwie pieczenie na jednym ogniu. Ostentacyjnie przyznaje się takim osobom nagrody „za punkty”, lecz odmawia wszelkich innych nagród – nieraz z nagrodami za staż pracy włącznie, często także z grantami czy innymi nagrodami zwiększającymi widoczność danego naukowca. Potem mobilizuje się opinię publiczną w miejscu pracy przeciwko tym osobom, kanalizując w ten sposób zazdrość, zawiść, poczucie nieadekwatności i strach. Wyklucza się je z gron i komitetów decyzyjnych z pełną aprobatą i aktywnym wsparciem kolegów. To typowa strategia zarządzania poprzez wskazanie kozła ofiarnego. Zamiast tych osób, jako gwiazdy godne szacunku i z definicji niedościgłe wzory do naśladowania, wskazuje się osoby ze środka kręgów władzy. Niechęć do nich koledzy przekierowują na „kozłów ofiarnych”. W ten sposób można najbardziej absurdalny system utrzymywać latami przy życiu, pod warunkiem że wykluczy się z niego doświadczenie i oddolną wiedzę. Anglosasi wprowadzają wysoką płynność personelu akademickiego. Co wymyślą nadwiślańscy lowie? Strach pomyśleć.

Co robić?

Czy istnieje wyjście z tej sytuacji? Na pewno istnieją konstruktywne propozycje zmian. Już dziewięć lat temu powstała DORA – deklaracja z San Francisco na temat oceny badań naukowych. Do sierpnia 2022 r. podpisało ją 19 431 osób i 2617 instytucji ze 159 krajów świata. Główne przesłanie DOR-y jest następujące: oparcie oceny uczelni przede wszystkim na wskaźnikach dotyczących cytowań i publikacji jest co najmniej dalece niewystarczające, jeśli nie wypaczające rzeczywistość. Rozkład cytowań w czasopismach jest bowiem wysoce nierównomierny, na wskaźniki cytowań składa się wiele bardzo zróżnicowanych typów artykułów – od tych opisujących wyniki badań do recenzji. Ponadto wskaźniki te mogą być łatwo rozgrywane w ramach polityki redakcyjnej, a sposób ich mierzenia nie jest przejrzysty.

Dlatego twórcy i sygnatariusze DOR-y postulują przede wszystkim, żeby parametry oparte na cytowaniach w czasopismach nie służyły jako zastępcza miara jakości artykułów, zwłaszcza przy podejmowaniu decyzji o zatrudnianiu czy awansie. Treść pracy jest ważniejsza niż nazwa czasopisma, w którym została ona opublikowana. „W ocenie badań naukowych oprócz publikacji należy uwzględnić wartość poznawczą i wpływ aplikacyjny wszystkich wyników badań (w tym zbiorów danych i oprogramowania) oraz rozważyć szeroki zakres miar wpływu, w tym jakościowe wskaźniki wpływu badań, takie jak wpływ na polityki publiczne i działania praktyczne” – głosi punkt trzeci deklaracji. Parametryczna metoda nie służy też oryginalności i innowacyjności naukowców. To, czy autor jako pierwszy zgłosił dane odkrycie, czy cytuje literaturę klasyczną, czy tylko jej przeglądy – nie ma znaczenia, ważne, że jest odpowiednia liczba odniesień i przypisów. Deklaracja głosi więc potrzebę nakazania cytowania literatury podstawowej i klasycznej (zamiast jej przeglądów), aby upowszechniać wiedzę dotyczącą oryginalnych autorów i badaczy. Należy – zdaniem jej twórców – dążyć do otwartości i przejrzystości. Metody obliczania wskaźników powinny być publicznie dostępne i zrozumiałe.

Na razie, zachłysnąwszy się falą neoliberalnych reform, nasi decydenci nie słyszą tego ważnego głosu. Jednak jest on świetnym punktem wyjścia do dyskusji o tym, jakie będą nasze uczelnie. Czy będą miejscem powstawania oryginalnych i głębokich treści. Zasada zwana prawem Charlesa Goodharta głosi bowiem: kiedy miara staje się celem, przestaje być dobrą miarą.

Monika Kostera – profesor nauk ekonomicznych i humanistycznych, m.in. profesor zarządzania w IMT-BS Francja