Rankingoza, czyli jak wylać dziecko z kąpielą (artykuł opublikowany przez Prawo Drogowe)
W dyskusjach o zmianach w systemie szkolenia i egzaminowania kierowców coraz częściej pojawia się postulat pełnej jawności danych oraz publikowania rankingów zdawalności poszczególnych szkół jazdy.
Na pierwszy rzut oka brzmi to rozsądnie. Jawność kojarzy się z przejrzystością, kontrolą jakości i ochroną interesu kursanta. Skoro kandydat ma wybrać szkołę jazdy, powinien — jak twierdzą zwolennicy tego rozwiązania — wiedzieć, która szkoła osiąga najlepsze wyniki na egzaminach.
Problem zaczyna się jednak wtedy, gdy jeden wskaźnik, czyli zdawalność, zaczyna udawać pełną ocenę jakości szkolenia.
Publikacja rankingów zdawalności
Postulat publikowania rankingów zdawalności OSK coraz wyraźniej pojawia się w debacie publicznej — m.in. w wywiadzie z Pauliną Matysiak czy podczas posiedzenia sejmowej Komisji Infrastruktury poświęconego portalowi usług cyfrowych i statystykom zdawalności, opisanego na łamach portalu „Prawo Drogowe”.
Pytanie: czy publiczne rankingi zdawalności rzeczywiście poprawią jakość szkolenia, czy raczej uruchomią mechanizmy, które poprawią jedynie statystykę?
Zdawalność nie jest diagnozą jakości szkolenia
Rankingoza to powszechne przekonanie – powszechność przekonana nie przesądza o jego prawdziwości – że pozycja szkoły w rankingu zdawalności stanowi jedyny lub najważniejszy wyznacznik jakości kształcenia. Problem polega jednak na tym, że zdawalność nie jest pełną diagnozą jakości szkolenia, lecz jednym z wielu możliwych wskaźników jakości nauczania.
Z perspektywy „Diagnostyki edukacyjnej” Bolesława Niemierki wynik pomiaru wymaga interpretacji, a nie prostego odczytania. Rzetelna diagnoza powinna uwzględniać między innymi bezstronność sytuacji diagnostycznej, dokładność punktowania, rzetelność, trafność i obiektywizm. Idealny pomiar pedagogiczny nie istnieje; można go jedynie optymalizować i interpretować z pełną świadomością jego ograniczeń.
Czy droga na skróty to dobry wybór?
Ranking zdawalności „idzie” na skróty: bierze jedną liczbę i nadaje jej rangę oceny całościowej. Nie pokazuje, z jakimi kursantami pracuje dana szkoła, ilu z nich przychodzi po wcześniejszych niepowodzeniach, jaki mają poziom stresu, ile godzin dodatkowych odbyli, czy zdają po raz pierwszy, ani czy egzaminacyjny sukces przekłada się później na bezpieczną, samodzielną jazdę. Właśnie dlatego ranking może dawać pozór obiektywizmu, a jednocześnie prowadzić do bardzo nieadekwatnej diagnozy.
Są osoby o bardzo wysokim poziomie lękowości, dla których egzamin sam w sobie staje się barierą. Mimo wysokich umiejętności nie radzą sobie z obciążeniem psychicznym, jaki towarzyszy egzaminowi praktycznemu. W efekcie potrafią podchodzić do egzaminu wiele razy — nie dlatego, że nie umieją jeździć, ale dlatego, że sytuacja oceny blokuje ich możliwości. W literaturze zjawisko to określa się jako lęk egzaminacyjny (Niemierko, 2021)
Egzamin na prawo jazdy – w szczególności kat. B – jest egzaminem wyjątkowym, ponieważ odbywa się w małej, zamkniętej przestrzeni pojazdu. Zdający nie jest oceniany z oddalenia, lecz w bezpośredniej, fizycznej bliskości egzaminatora. Oznacza to wejście w jego przestrzeń osobistą, a czasem także w strefę przestrzeni intymnej (Hall, 1978), co może wzmacniać napięcie, poczucie kontroli i dyskomfort sytuacyjny.
Oznacza to, że wynik egzaminu nie zależy wyłącznie od poziomu opanowania umiejętności jazdy, lecz także od zdolności funkcjonowania pod presją oceny, w warunkach ograniczonego komfortu psychicznego oraz od „warsztatu” osoby przeprowadzającej egzamin.
Gdy miara staje się celem
Publikacja rankingów to nie jest tylko pokazanie danych. Problem pojawia się wtedy, gdy jedna liczba — zdawalność — zaczyna decydować o tym, czy szkoła jazdy jest uznawana za dobrą, czy złą. Taka liczba może wtedy zastąpić rzetelną ocenę jakości szkolenia. Szkoły mogą zacząć walczyć głównie o lepszy wynik w tabeli, a nie o lepsze uczenie kursantów. Kiedy wskaźnik staje się celem, przestaje dobrze pokazywać rzeczywistość (prawo Goodharta).
Przyjrzyjmy się więc, w jaki sposób szkoły nauki jazdy mogłyby dostosowywać się do sytuacji, w której ich reputacja, liczba uczniów, a w konsekwencji także ekonomiczny byt zależałyby od publicznie publikowanych rankingów zdawalności. W takim modelu zdawalność przestałaby być wyłącznie informacją diagnostyczną, a stałaby się narzędziem presji rynkowej. Szkoła jazdy, która znalazłaby się nisko w rankingu, mogłaby szybko odczuć odpływ kursantów, nawet jeżeli realnie pracowałaby z trudniejszą grupą osób: o wysokim poziomie lękowości, starszych, po wcześniejszych niepowodzeniach egzaminacyjnych albo osób z rozwojowymi trudnościami w uczeniu się i innymi dyspozycjami mającymi przełożenie na zdolności do uczenia się czy zdawania egzaminów.
W takiej sytuacji system mógłby zacząć nagradzać nie najlepsze szkolenie, lecz najlepsze zarządzanie statystyką. Jednym z możliwych mechanizmów mogłoby być „przepisywanie” mniej rokujących kursantów między szkołami albo zniechęcanie ich do kończenia kursu w danym OSK lub inne zabiegi mające na celu uniknięcia publikacji w rankingu. Osoba, która potrzebuje więcej czasu, gorzej radzi sobie ze stresem, ma za sobą kilka niezdanych egzaminów lub wymaga spokojniejszego prowadzenia, mogłaby zostać potraktowana nie jako uczeń wymagający pomocy, lecz jako ryzyko dla pozycji w rankingu.
To byłby efekt odwrotny od zamierzonego. Zamiast poprawy jakości szkolenia powstałaby presja na poprawę samego wskaźnika zdawalności. A tam, gdzie najważniejsza staje się miejsce w tabeli, łatwo o działania pozorne: np. uczenie pod konkretne schematy egzaminacyjne albo eliminowanie z własnej statystyki osób trudniejszych edukacyjnie czy nawet selekcja kandydatów itd.
Podobny mechanizm dobrze widać w polskim systemie edukacji. Do szkół średnich i uczelni wyższych, które zajmują wysokie miejsca w rankingach, zgłasza się zwykle więcej kandydatów, niż placówki te mogą przyjąć. W takiej sytuacji szkoły podnoszą progi przyjęć, co prowadzi do naturalnej selekcji uczniów. Trafiają tam osoby z lepszymi wynikami, wyższą motywacją i większym potencjałem edukacyjnym.
To z kolei wzmacnia sam ranking. Zdolnych i dobrze przygotowanych uczniów zwykle łatwiej uczyć, łatwiej też osiągać z nimi wysokie wyniki i praca z takimi uczniami przynosi więcej satysfakcji (jak to określają – niektórzy nauczyciele i nieoficjalnie – uczenie uczniów „słabszych” to „praca na ugorze”). Do takich placówek chętniej aplikują również nauczyciele i wykładowcy a to umożliwia również selekcję kadr.
Tak zamyka się błędne koło rankingu: wysoka pozycja przyciąga mocnych kandydatów, mocni kandydaci pomagają utrzymać wysokie wyniki, a wysokie wyniki wzmacniają pozycję w kolejnym rankingu. W rezultacie „najlepsi” stają się coraz bardziej najlepsi nie tylko dlatego, że lepiej uczą, ale dlatego, że system pozwala im wybierać tych, z którymi najłatwiej osiągać sukces. Reszcie zostaje praca trudniejsza, mniej efektowna i gorzej widoczna w tabelach.
To ryzyko dobrze opisuje prawo Campbella. Im większe znaczenie nadaje się jednemu wskaźnikowi, tym większa pokusa, aby poprawiać sam wynik, a nie jakość pracy. W przypadku OSK takim wskaźnikiem byłaby zdawalność. Dopóki jest tylko jednym z wielu elementów oceny systemu, może być przydatna. Gdy jednak staje się publicznym rankingiem reputacji szkół jazdy, zaczyna działać jak narzędzie presji rynkowej. Wtedy szkoły mogą zacząć walczyć nie o lepsze szkolenie, lecz o lepsze miejsce w tabeli.
Jeżeli jednak zdawalność miałaby być jednym z narzędzi oceny jakości OSK, to najpierw trzeba uporządkować sam system egzaminowania oraz sposób przygotowywania kandydatów na egzaminatorów w tym sposób w jaki kandydaci na egzaminatorów są egzaminowani. Nie można rzetelnie oceniać szkół jazdy na podstawie wskaźnika, którego wiarygodność zależy nie tylko od jakości szkolenia, lecz także od procedur egzaminacyjnych, standardów pracy egzaminatorów i odporności całego systemu na błędy oceny.
O wadliwościach obecnego modelu egzaminowania kandydatów na egzaminatorów pisałem szerzej w serii artykułów publikowanych na łamach „Prawa Drogowego”, między innymi w tekście „Egzamin nie tworzy ekspertów”.
Propozycja
Rozwiązaniem nie powinien być prosty ranking zdawalności, lecz wielowymiarowy profil jakości OSK. Powinien obejmować zdawalność, ale także liczbę podejść, strukturę kursantów (np. podział wiekowy), udział osób po wcześniejszych niepowodzeniach, liczbę godzin uzupełniających, wyniki anonimowych ankiet (np. pobieranych przy zapisie na egzamin), przejrzystość umów i cen, skargi, kwalifikacje kadry oraz standard organizacji szkolenia (czy osk posiada certyfikat lub akredytacje na wzór wymagań w systemie Bazy Usług Rozwojowych). Taki zestaw danych może być punktem wyjścia do oceny, a nie marketingową tabelą zwycięzców i przegranych.
Taki system oceny byłby uczciwszy niż sama tabela zdawalności. Dałby odpowiedź na pytanie: „jak szkoła szkoli, kogo szkoli, w jakich warunkach i z jaką jakością?”. Dzięki temu ocena OSK mogłaby być bliższa prawdziwej diagnozie.
Zakończenie
Złudzeniem jest przekonanie, że wyniki egzaminów wysokiej stawki pozwalają w pełni i obiektywnie ocenić jakość pracy szkoły lub nauczyciela. Jeden wskaźnik, tu zdawalność, często zastępuje pełniejszą ocenę szkolenia. Tymczasem na wynik egzaminu wpływa wiele czynników: indywidualne dyspozycje zdającego, odporność na stres, lęk egzaminacyjny, warunki ruchu drogowego czy sam sposób egzaminowania.
W ten sposób łatwo wylać dziecko z kąpielą: system może zacząć nagradzać nie lepsze uczenie kierowców, lecz lepszą umiejętność manipulowania statystykami.
Dariusz Pilch
Literatura:
Hall, E. T. (1978). Ukryty wymiar. Warszawa: Państwowy Instytut Wydawniczy. Rozdz. 10
Instytut Badań Edukacyjnych. (2015). Wpływ egzaminów na jakość edukacji. Warszawa: IBE. Dostęp: 23.05.2025, z: https://www.ibe.edu.pl/images/materialy/Material_prasowy_ROSE%202014.pdf
Mattson, C. (2021). When a measure becomes a target, it ceases to be a good measure. Dostęp: 23.05.2025, z: https://pmc.ncbi.nlm.nih.gov/articles/PMC7901608/
Niemierko, B. (2021). Diagnostyka edukacyjna. Warszawa: Wydawnictwo Naukowe PWN. Rozdz. 11–12.
Smulczyk, M., Dolata, R., & Pokropek, A. (2019). Selekcja na progu szkoły ponadgimnazjalnej: merytokracja czy statusowy determinizm? Kwartalnik Pedagogiczny, 4(254).
O prawie Campbella: Wikipedia. https://en.wikipedia.org/wiki/Campbell%27s_law
O prawie Goodharta: Wikipedia. https://en.wikipedia.org/wiki/Goodhart%27s_law
