Akceptuję
W ramach naszej witryny stosujemy pliki cookies w celu świadczenia państwu usług na najwyższym poziomie, w tym w sposób dostosowany do indywidualnych potrzeb. Korzystanie z witryny bez zmiany ustawień dotyczących cookies oznacza, że będą one zamieszczone w Państwa urządzeniu końcowym. Możecie Państwo dokonać w każdym czasie zmiany ustawień dotyczących cookies. Więcej szczegółów w naszej Polityce Prywatności

Zamknij X
Dygestorium
Strona główna Felieton
Dodatkowy u góry
Labro na dole

Misja KEJN – czy łatwo ocenić jakość?





Nowa kategoryzacja jednostek naukowych, której założenia przygotowuje Komitet Ewaluacji Jednostek Naukowych, wzbudza sporo emocji. Środowiska związane z różnymi rodzajami jednostek oraz dziedzinami prowadzonych prac badawczych dają im wyraz w szeregu publikacji, także na łamach „Forum Akademickiego”. Do tej pory członkowie KEJN ograniczali się do tłumaczenia będących w trakcie ustalania zasad na spotkaniach z zainteresowanymi grupami – od rad wydziałów do posiedzeń plenarnych najwyższych gremiów reprezentujących jednostki (RGIB, Prezydium PAN, KRASP). Nie mam złudzeń, że w krótkim artykule uda się odpowiedzieć na wszystkie podnoszone problemy, ale chciałbym na wzburzone fale adrenaliny zainteresowanych gremiów wylać choć kubeczek melisy, prezentując poglądy i założenia, jakie przyświecają KEJN w jego pracach.


Wagi kryteriów


Nie ma sensu przytaczać tu założeń kategoryzacji we wszystkich detalach, zainteresowani znają lub mogą sięgnąć do projektu rozporządzenia z 27 października 2011 na stronach MNiSW. Być może, gdy ten numer FA trafi do czytelników, dostępna już będzie zmodyfikowana wersja projektu, która uwzględnia wiele poprawek – zarówno samego KEJN, jak i wynikających z głosów środowisk naukowo-badawczych. Generalnie jakość działalności jednostek wartościowana będzie dzięki czterem podstawowym kryteriom: dorobku naukowo-badawczego („dzieł”), potencjału jednostki, efektów materialnych jej działalności oraz niematerialnego wkładu w rozwój naukowo-gospodarczo-społeczny dyscypliny.

Pierwsza refleksja – jakość jest zasadniczo wielkością niewymierną. Jakość działania tak złożonej struktury jak jednostka naukowa – tym bardziej. Celem prac KEJN jest wypracowanie dla MNiSW zbioru parametrów, które będą stanowiły pewną miarę tej jakości, dostateczną dla rozróżnienia jednostek wybitnych, dobrych, średnich i słabych. Aby klasyfikacja była precyzyjna, należałoby uwzględnić bardzo (bardzo!) wiele parametrów charakteryzujących efekty działania jednostek. Prostota (tendencja urzędnika) nakazywałaby sprowadzić cały opis do jednej liczby. KEJN wypracował kompromis, w którym część podkryteriów jest agregowana do jednej wartości, pozostawiając jako końcową charakterystykę jednostki wartości ocen 4 powyżej wspomnianych kryteriów (subkryteria i ich „wycenę” można znaleźć w rozporządzeniu). Dodatkowo, dla różnego rodzaju jednostek, istotność poszczególnych kryteriów jest różna – krańcowe przykłady to instytuty PAN w grupie nauk o życiu, dla których wagi kolejnych kryteriów to 75 proc., 5 proc., 10 proc. i 10 proc. oraz instytuty badawcze w grupie nauk ścisłych i inżynierskich, dla których wagi te wynoszą odpowiednio 35 proc., 10 proc., 45 proc. i 10 proc. Jak łatwo zauważyć, największe różnice występują dla kryteriów 1 i 3, odzwierciedlając zadania i rolę każdego typu jednostek – jednostki uczelni i PAN realizują głównie badania podstawowe, z zachętą do wprowadzania zastosowań, instytuty badawcze pracują przede wszystkim nad wdrożeniami, popartymi solidną dawką badań naukowych.

Zatrzymajmy się na chwilę w tym miejscu. Oczywiście, nowoczesna gospodarka nie może istnieć bez wysokiego poziomu prowadzonych prac rozwojowych i wdrożeniowych. We współczesnym świecie społeczeństwo musi widzieć efekty finansowanej przez siebie nauki, i to w niezbyt odległej skali czasowej. Wdrożenia premiowane być muszą zarówno przez rządy, właściwą politykę (stymulacje finansowe), ale także przez zainteresowane podmioty gospodarcze. Równie oczywistym powinien być fakt, że nie ma szans na wysoki poziom prac rozwojowych bez solidnej bazy badań podstawowych. Co więcej, baza ta musi być rozległa. Nie ma możliwości stwierdzić dziś, który z elementów tej podstawy potrzebny będzie pojutrze. Nie wolno więc ograniczać kierunków rozwoju badań podstawowych, bo skutkować to może zablokowaniem rozwoju istotnych gałęzi zastosowań. Dlatego oba kierunki działań muszą być obecne w solidnych jednostkach naukowych – w różnym oczywiście stopniu.


I te różnice KEJN wprowadza wagami kryteriów – dużą istotność mają obszary wiodące, mniejszą kryteria traktowane w danej grupie jako dodatkowe. Jednostki uczelni, które mają zbliżony dorobek w zakresie publikacji, mogą zdobyć przewagę wprowadzanymi pracami stosowanymi. Instytuty badawcze o porównywalnym dorobku wdrożeniowym mogą zyskać przewagę znaczącymi publikacjami naukowymi. Postuluje się też czasem, aby do dorobku wdrożeniowego wliczać przychody podmiotów gospodarczych, które korzystają z rozwiązań opracowanych w jednostkach. Przyjęcie wprost takiego rozwiązania nie jest metodologicznie słuszne – ocenie ma podlegać nie sprawność marketingowo-gospodarcza podmiotów wdrażających, ale dorobek jednostek naukowo-badawczych. Nawet wspaniałe rozwiązanie może nie przynieść dochodów, a dużą sprzedawalność może osiągnąć „naukowe byle co”. A jeśli wdrożenie przynosi dochody, powinno się to odbić w przychodach jednostki naukowej, co z kolei przekłada się na jej fundusz płac i inwestycje, które są treścią kryterium 3.

Tu jeszcze słowo o kryterium czwartym. W jego ramach zespoły ekspertów przyznają punkty za wybitne osiągnięcia. Należy zauważyć, że maksymalną liczbę punktów zdobyć można jedną bardzo znaczącą pracą – wdrożenie, które przyczynia się istotnie do polepszenia procedur leczniczych, nawet jeśli nie przyniesie zysków materialnych twórcy, ale poprawi jakość życia, skutkować będzie wysoką oceną. Wystarczy jedno takie osiągnięcie! Pamiętajmy, że aby zapracować na punkty w kryterium pierwszym, trzeba przedstawić (w zależności od liczebności kadry jednostki) nawet kilkaset dzieł.

Algorytm zakupu lodówki


Przejdźmy teraz do przyjętej metody oceny jednostek na podstawie wielu (czterech) kryteriów. Zalety takiego podejścia są wielorakie. Nie trzeba stawiać delikatnych pytań w rodzaju: „ilu publikacjom równoważny jest jeden profesor?” czy „jakiej kwocie pozyskanej ze źródeł pozabudżetowych odpowiada pięciu doktorów?”. Różne kryteria mierzone są na różnych skalach i pozostają niezależne. Przewaga w jednym może być skompensowana (oczywiście – także pogłębiona) wartościami w innych. Wszystkie te zalety zapewnia przyjęcie metody porównań parami z zastosowaniem ważonej relacji przewyższania. Prawda, jak dźwięcznie brzmi? A na dodatek jakie śliczne wzory znajdziemy w odpowiednim załączniku do rozporządzenia… Niestety, jako wykładowca podstaw matematyki wiem, że poważna część nawet wykształconego społeczeństwa ma odruch „blokady matematycznej”. Nawet proste problemy, gdy je ująć we wzory, stają się z założenia nieprzyswajalne.

W naszym przypadku, do stosowania porównań przyjęliśmy dość standardowe metody wielokryterialnej analizy. To dalej nas nie przybliża do zrozumienia, więc proszę sobie przypomnieć jak kupujemy np. lodówkę. Jaka ma być? Zależnie od upodobań, mniej lub bardziej świadomie, tworzymy zbiór cech – pojemność chłodziarki, objętość zamrażarki, pozycję jednej względem drugiej, oszczędność energetyczną, głośność, no i cenę. W sklepie (także wirtualnym) dokonujemy właśnie wielokryterialnej analizy. Konfrontujemy różne modele ze sobą i z naszymi preferencjami. Formalnie opisują tę operację dokładnie te same wzory ważonej relacji przewyższania. Analizę taką podejmujemy o wiele częściej niż raz na parę lat, wybierając lodówkę, telewizor czy rower dla pociechy. Nawet zakup jogurtu lub wędliny to wieloparametryczna procedura wyboru. I wbrew niektórym opiniom – całkiem transparentna, algorytm jest w pełni określony.


Oczywiście, pozostaje kwestia preferencji – w naszym przypadku wybór jednostek referencyjnych. Tu też w zachowaniu „bezstronności” pomaga obecność kilku osobnych kryteriów. Ustalając wartości dla jednego z nich nie wiemy, jakie korelacje zachodzą pomiędzy kryteriami i nie jesteśmy w stanie osiągnąć wyniku „jedynie słusznego”. Już abstrahując od dwóch faktów – po pierwsze, w zbiorze reprezentantów różnych jednostek nie ma jedynej prawdy, a po drugie ten zbiór reprezentantów pracuje nad stworzeniem możliwie najlepszej, akceptowalnej przez wszystkich, metody, a nie nad realizacją partykularnych interesików. Takie sugestie pozostają daleko poza obszarem merytorycznej krytyki.


Pragnę jeszcze przypomnieć, że porównania prowadzone będą w grupach obejmujących jednostki tylko jednego typu, o podobnym profilu naukowym. Dla każdej takiej grupy stworzone zostaną dedykowane jednostki referencyjne. Konkurencja będzie tylko we „własnym gronie”, w szczególności nie ma punktów stycznych jednostek uczelnianych i instytutów badawczych. Nie może więc być mowy o żadnych barykadach rozdzielających te grupy jednostek, co sugerują niektóre wystąpienia. Jednostki dowolnego profilu, prowadzące wszelkiego rodzaju prace, zostaną równoprawnie docenione, bez indukowania niepotrzebnych, wyimaginowanych kontrowersji. Przyjęta metodyka nie dopuszcza nawet pytania o porównywalność pomiędzy różnymi grupami – po prostu nie da się tego zrobić. Pamiętajmy także, że celem kategoryzacji nie jest precyzyjny ranking jednostek w grupach, a jedynie przyporządkowanie do jednej z trzech kategorii. Narzędzie ma być wystarczające do tego i tylko tego celu.

Stabilny rozwój


Na sam koniec jeszcze jedna oczywistość – ja oraz wszyscy członkowie KEJN zdajemy sobie sprawę, że z wyników kategoryzacji zadowolone będą tylko te jednostki, które zostaną zakwalifikowane do klasy A+. Będzie ich około 30-40. Cała reszta, czyli blisko 950 instytucji, będzie – łagodnie mówiąc – nieusatysfakcjonowana. Naszym zadaniem jest, aby pomimo braku satysfakcji z wyniku, możliwie duża część środowiska zgodziła się, że zasady i podstawy oceny są prawidłowe i sprawiedliwie, odzwierciedlając stan faktyczny działalności jednostek. Aby wyniki posłużyły także jako stymulacja poprawy jakości badań, nie dla zadowolenia urzędów, ale dla poprawy jakości życia nas wszystkich.

W następnym terminie kategoryzacji powinniśmy to, co się da, usprawnić, ale zachować tak dużo, jak tylko możliwe, kształtując stabilne linie rozwoju jednostek. A jeśli kategorie posłużą kiedyś do czegoś więcej, niż tylko do ustalenia współczynników w corocznym podziale (niezbyt wielkich) środków finansowych, nasze poczucie dobrze spełnionego obowiązku wobec badaczy będzie tym większe.


Autor: Stanisław Kistryn
, prof. UJ, członek Komitetu Ewaluacji Jednostek Naukowych, zastępca dyrektora ds. naukowo-badawczych w Instytucie Fizyki Uniwersytetu Jagiellońskiego
Źródło: http://forumakademickie.pl/


Drukuj PDF
wstecz Podziel się ze znajomymi

Informacje dnia: Twój blat w dygestorium nie spełnia Twoich oczekiwań? Potrzebne regulacje dot. norm i zasad hałasu turbin wiatrowych Naukowcy zbadali, jakie obrazy zapadają częściej w pamięć Człowiek poprzez emisję gazów spowodował ocieplenie Sztuczna inteligencja diagnozuje spektrum autyzmu Autonomiczne hulajnogi elektryczne Twój blat w dygestorium nie spełnia Twoich oczekiwań? Potrzebne regulacje dot. norm i zasad hałasu turbin wiatrowych Naukowcy zbadali, jakie obrazy zapadają częściej w pamięć Człowiek poprzez emisję gazów spowodował ocieplenie Sztuczna inteligencja diagnozuje spektrum autyzmu Autonomiczne hulajnogi elektryczne Twój blat w dygestorium nie spełnia Twoich oczekiwań? Potrzebne regulacje dot. norm i zasad hałasu turbin wiatrowych Naukowcy zbadali, jakie obrazy zapadają częściej w pamięć Człowiek poprzez emisję gazów spowodował ocieplenie Sztuczna inteligencja diagnozuje spektrum autyzmu Autonomiczne hulajnogi elektryczne

Partnerzy

GoldenLine Fundacja Kobiety Nauki Job24 Obywatele Nauki NeuroSkoki Portal MaterialyInzynierskie.pl Uni Gdansk MULTITRAIN I MULTITRAIN II Nauki przyrodnicze KOŁO INZYNIERÓW PB ICHF PAN FUNDACJA JWP NEURONAUKA Mlodym Okiem Polski Instytut Rozwoju Biznesu Analityka Nauka w Polsce CITTRU - Centrum Innowacji, Transferu Technologii i Rozwoju Uniwersytetu Akademia PAN Chemia i Biznes Farmacom Świat Chemii Forum Akademickie Biotechnologia     Bioszkolenia Geodezja Instytut Lotnictwa EuroLab

Szanowny Czytelniku!

 
25 maja 2018 roku zacznie obowiązywać Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r (RODO). Potrzebujemy Twojej zgody na przetwarzanie Twoich danych osobowych przechowywanych w plikach cookies. Poniżej znajdziesz pełny zakres informacji na ten temat.
 
Zgadzam się na przechowywanie na urządzeniu, z którego korzystam tzw. plików cookies oraz na przetwarzanie moich danych osobowych pozostawianych w czasie korzystania przeze mnie ze strony internetowej Laboratoria.net w celach marketingowych, w tym na profilowanie i w celach analitycznych.

Kto będzie administratorem Twoich danych?

Administratorami Twoich danych będziemy my: Portal Laboratoria.net z siedzibą w Krakowie (Grupa INTS ul. Czerwone Maki 55/25 30-392 Kraków).

O jakich danych mówimy?

Chodzi o dane osobowe, które są zbierane w ramach korzystania przez Ciebie z naszych usług w tym zapisywanych w plikach cookies.

Dlaczego chcemy przetwarzać Twoje dane?

Przetwarzamy te dane w celach opisanych w polityce prywatności, między innymi aby:

Komu możemy przekazać dane?

Zgodnie z obowiązującym prawem Twoje dane możemy przekazywać podmiotom przetwarzającym je na nasze zlecenie, np. agencjom marketingowym, podwykonawcom naszych usług oraz podmiotom uprawnionym do uzyskania danych na podstawie obowiązującego prawa np. sądom lub organom ścigania – oczywiście tylko gdy wystąpią z żądaniem w oparciu o stosowną podstawę prawną.

Jakie masz prawa w stosunku do Twoich danych?

Masz między innymi prawo do żądania dostępu do danych, sprostowania, usunięcia lub ograniczenia ich przetwarzania. Możesz także wycofać zgodę na przetwarzanie danych osobowych, zgłosić sprzeciw oraz skorzystać z innych praw.

Jakie są podstawy prawne przetwarzania Twoich danych?

Każde przetwarzanie Twoich danych musi być oparte na właściwej, zgodnej z obowiązującymi przepisami, podstawie prawnej. Podstawą prawną przetwarzania Twoich danych w celu świadczenia usług, w tym dopasowywania ich do Twoich zainteresowań, analizowania ich i udoskonalania oraz zapewniania ich bezpieczeństwa jest niezbędność do wykonania umów o ich świadczenie (tymi umowami są zazwyczaj regulaminy lub podobne dokumenty dostępne w usługach, z których korzystasz). Taką podstawą prawną dla pomiarów statystycznych i marketingu własnego administratorów jest tzw. uzasadniony interes administratora. Przetwarzanie Twoich danych w celach marketingowych podmiotów trzecich będzie odbywać się na podstawie Twojej dobrowolnej zgody.

Dlatego też proszę zaznacz przycisk "zgadzam się" jeżeli zgadzasz się na przetwarzanie Twoich danych osobowych zbieranych w ramach korzystania przez ze mnie z portalu *Laboratoria.net, udostępnianych zarówno w wersji "desktop", jak i "mobile", w tym także zbieranych w tzw. plikach cookies. Wyrażenie zgody jest dobrowolne i możesz ją w dowolnym momencie wycofać.
 
Więcej w naszej POLITYCE PRYWATNOŚCI
 

Newsletter

Zawsze aktualne informacje