BLOG
Nurkowanie w pigułce
Iluzja Góry głupoty: nurkowanie i efekt Dunninga-Krugera
Brak umiejętności i nieświadomość tego faktu – odniesienia do efektu Dunninga-Krugera są bardzo popularne w społeczności nurkowej. Wyniki oryginalnego badania są jednak często źle rozumiane lub błędnie interpretowane. Na dodatek efekt ten być może wcale nie jest prawdziwy. Oto głęboka analiza problemu przeprowadzona przez Tima Blömeke.
Mem internetowy „Florida Man”. Nagroda Darwina. Jakiś przygłup obejrzał video o tym, jak skonstruować rakietę i rozwalił swój garaż w drobny mak próbując osiągnąć prędkość ucieczki. Inny chciał zrobić własną whisky – rezultat był identyczny. Historie są różne, ale morał zawsze taki sam – nie wiesz, czego nie wiesz, a odrobina wiedzy jest niebezpieczna. Bum!
Nurkowy świat ma swój własny zbiór tego typu historyjek. Wiele z nich opowiada o złych rzeczach, jakie przydarzają się w jaskiniach nurkom, którzy zostali wyszkoleni tylko do nurkowania w oceanie. Niektóre są przesadzonymi, fikcyjnymi anegdotami, ale nie brakuje prawdziwych opowieści. Raporty z wypadków, do których doszło we wczesnych latach odkrywania jaskiń lub literatura faktu, np. książka Roberta Kursona W pogoni za cieniem (Shadow Divers) to edukacyjna (choć dość makabryczna) lektura.
W 1999 roku dwóch badaczy, David Dunning i Justin Kruger opublikowało artykuł1 wyjaśniający te anegdoty z naukowego punktu widzenia. Badacze przeprowadzili test, w którym poprosili uczestników o różnym poziomie umiejętności, aby przewidzieli, jak poradzą sobie podczas serii egzaminów akademickich. Krótko mówiąc Dunning i Kruger doszli do wniosku, że osoby o niskim poziomie umiejętności za każdym razem przeceniały swoje dokonania, natomiast osoby o wyższych kwalifikacjach przewidywały je bardziej dokładnie, a nawet nieco je zaniżały.
Internauci odnaleźli wyniki tego badania i zmienili je w memy. Poszli nawet tak daleko, że stworzyli fantazyjnie ukształtowaną krzywą i nadali nazwy konkretnym odcinkom, aby pokazać wzrost, spadek i ponowny wzrost pewności siebie osoby, która czegoś się uczy. Są to: Góra głupoty, Dolina desperacji, Zbocze oświecenia i Płaskowyż rozwoju.
Ilustracja 1: Prawdopodobnie widziałeś już coś takiego. To nie jest dokładne przedstawienie tego, co powiedzieli Dunning i Kruger.
Memy odniosły taki sukces, że znalazły się nawet w programach szkoleń z doradztwa i zarządzania firmą. Efekt jest taki, że wielu ludzi, którzy zapłacili duże pieniądze za swoją edukację wierzy, iż są one doskonałą ilustracją fenomenu występującego w realnym świecie. Wielu z nas w jakimś momencie z pewnością widziało podobne memy odnoszące się do nurkowania.
Memy rozprzestrzeniają się nie dlatego, że są prawdziwe, ale dlatego, że przyciągają uwagę. Ten zamieszczony powyżej jest świetnym przykładem, ponieważ przypomina nam o pikantnych anegdotach, których wszyscy lubimy słuchać. Każdy zna historię o „tym facecie” (spójrzmy prawdzie w oczy – najczęściej to mężczyźni stają się bohaterami historii wielkiej głupoty), ale przy odrobinie sceptycyzmu szybko przekonamy się, dlaczego absolutnie nie powinniśmy ufać naszemu osobistemu doświadczeniu, kiedy oceniamy twierdzenia naukowe.
Ilustracja 2: Ten wykres przedstawia oryginalne wyniki badań Dunninga i Krugera. Góra głupoty i Dolina desperacji nie zostały oczywiście uwzględnione.
Jeśli polegamy na swoim doświadczeniu, ogromnym problemem jest to, że nasze zapamiętywanie informacji jest wybiórcze. Zbyt duża pewność siebie rodzi niezapomniane historie, podczas gdy niepewność pozostaje niezauważona. Każdy słyszał o Bobie, nurku OWD, który wpłynął do jaskini z gaśnicą przekształconą w butlę nurkową. Kiedy odnaleziono jego ciało, wywołał międzynarodową sensację. Nikt za to nie słyszał o Alice, jego koleżance z klasy, która tak bardzo nie wierzyła w swoje umiejętności, że niestety nigdy więcej nie zanurkowała. Bobowie tego świata stają się częścią naszego doświadczenia, o Alicjach szybko zapominamy.
Ponieważ rozmyślałem o tym przez jakiś czas, z entuzjazmem dowiedziałem się, że nie tylko zwykłe zrozumienie efektu Dunninga-Krugera, ale i główny wniosek znalazł się w ogniu krytyki ze strony naukowców2. Jej punktem kulminacyjnym był artykuł w The Psychologist z marca 2022 roku i odpowiedź Davida Dunninga w kolejnym wydaniu. Krytyka opiera się na tezie, że efekt Dunninga-Krugera nie wynika z ludzkiej psychologii, ale z czynnika wpływającego na statystykę, który nie był planowany, ale wystąpił ze względu na sposób przeprowadzenia eksperymentu i oceny danych przez badaczy.
Relatywnie dostępną (i elegancką) wersję tej krytyki opublikował kanadyjski ekonomista Blair Fix w poście na blogu zatytułowanym „The Dunning-Kruger Effect is Autocorrelation” (kwiecień 2022).
„Efekt Dunninga-Krugera jest obecny również w zbiorach danych, w których nie powinno go być. Przykładowo, jeżeli starannie dobierzesz losowe dane w taki sposób, aby nie obejmowały efektu Dunninga-Krugera, on i tak się pojawi. Powód jest żenująco prosty: efekt Dunninga-Krugera nie ma nic wspólnego z ludzką psychologią. Jest on niepożądanym czynnikiem ujawniającym się w statystyce – niesamowitym przykładem autokorelacji.
[…] Linia nazwana „rzeczywiste wyniki testu” pokazuje przeciętny percentyl z każdego kwartylu wyniku testu (wiem, brzmi to bardzo skomplikowanie). Wszystko wygląda dobrze, dopóki nie zdamy sobie sprawy, że Dunning i Kurger tak naprawdę korelują wynik testu (x) z nim samym”.
Ilustracja 3: Chmura przypadkowych danych i te same dane po wprowadzeniu autokorelacji. Źródło: „The Dunning-Kruger Effect is Autocorrelation”
Po mojej początkowej ekscytacji w końcu zdałem sobie sprawę, że rozumiem matematykę na tyle, aby ten argument mnie przekonał, ale nie na tyle, żeby go zweryfikować. Fakt, że krytyka Fixa i innych osób potwierdziła coś, w co i tak chciałem wierzyć nie pomogła – być może był to ten sam rodzaj pułapki myślenia, która sprawia, że ludzie akceptują zniekształconą wersję twierdzenia Dunninga i Krugera przedstawioną w memach. A może byłem coraz bardziej przekonany o tym, że efekt Dunninga-Krugera jest nieprawdziwy i w swojej ignorancji coraz bardziej zbliżałem się do szczytu Góry głupoty?
Poprosiłem o pomoc eksperta, Dr. Stephana Boesa, starszego urzędnika w Biurze statystycznym w regionie Nadrenia Północna-Westfalia w Niemczech3, który tak ocenił krytykę Fixa: „Autokorelacja na pewno tam występuje. Bez sprawdzenia danych nie umiem dokładnie określić, na ile wyjaśnia ona ten efekt, ale wygląda to przekonująco. Jednak pojawia się tam jeszcze jeden problem: osoby biorące udział w eksperymencie nie zostały tak naprawdę poproszone o wyrażenie opinii dotyczącej własnych kompetencji, ale o to, aby przewidziały, jak dobrze im pójdzie w porównaniu do innych uczestników. Należy zwrócić uwagę na dwie kwestie. Po pierwsze, aby to przewidzieć, uczestnicy musieliby znać poziom umiejętności innych osób rozwiązujących test. Po drugie klasyfikacja porównawcza nie za bardzo nadaje się do opisania rozkładu wyników dla większości zadań wykonywanych w realnym życiu – zazwyczaj jest kilka osób, które zawsze wypadają źle i kilka, które zawsze robią wszystko świetnie, ale większość uczestników plasuje się pośrodku, ponieważ w jednym teście mogą wypaść lepiej niż inni, a w drugim gorzej. Sposób, w jaki Dunning i Kruger przedstawiają swoje dane zupełnie tego nie uwzględnia”.
Ocena Boesa powiązana jest z inną krytyką efektu Dunninga-Krugera. W badaniu opublikowanym w 2020 roku autorzy Gilles E. Gignac i Marcin Zajenkowski odkryli, że syndrom ponadprzeciętności (znany również jako złudzenie ponadprzeciętności) lepiej wyjaśnia rozbieżności między przewidywanym i rzeczywistym wykonaniem zadania w porównaniu do innych osób niż wyniki eksperymentu Dunninga i Krugera. Złudzenie ponadprzeciętności polega na tym, że większość ludzi uważa się za mądrzejszych, bardziej kompetentnych, lepszych kierowców itp. niż przeciętna osoba (co jest niemożliwe, ponieważ 50% ludzi z definicji jest poniżej średniej).
W świetle tej informacji pomysł wykorzystania wyników badań Dunninga i Krugera w nurkowaniu wydaje się dyskusyjny. Na początek należy pamiętać, że opisywanie umiejętności nurków jako klasyfikacji porównawczej jest niezbyt pomocne. Nie ma znaczenia, czy na kursie Advanced Open Water Diver byłeś w górnym czy dolnym kwartylu. Ważne jest, aby Twoje umiejętności były adekwatne do wykonywanych przez Ciebie nurkowań – czyli chodzi o umiejętności w kategoriach bezwzględnych, a nie w porównaniu do czegoś. Nawet gdybyśmy to zignorowali i chcieli zastosować odkrycie Dunninga i Krugera bez dalszej analizy, w grę wchodzą inne czynniki ludzkie. Uczestniczyłem kiedyś w seminarium PADI dotyczącym minimalizacji ryzyka, na którym wykładowca podkreślał, że większość wypadków nurkowych podczas szkoleń nie zdarza się instruktorom, którzy właśnie skończyli kurs instruktorski i myślą, że wszystko wiedzą. Wypadki częściej przytrafiają się doświadczonym instruktorom, którzy popadają w samozadowolenie.
Co mamy w takim razie zrobić, kiedy w sali szkoleniowej lub przy piwie nasz instruktor lub partner nurkowy przypadkiem wspomni o efekcie Dunninga-Krugera lub Górze głupoty? Możemy zerwać się na równe nogi i wygłosić mowę o tym, że efekt Dunninga-Kurgera wcale nie jest tym, czym się wydaje i że przeczytaliśmy w Alert Diver, iż być może efekt ten w ogóle nie istnieje, a gdyby nawet istniał to i tak prawdopodobnie nie moglibyśmy zastosować go do nurkowania.
Jeśli jednak nie chcesz spędzić reszty wieczoru debatując nad metodologią ilościowych badań psychologicznych, regresją do średniej i artefaktami w statystyce, które powstają poprzez stworzenie wykresu z linią x i (x-y), gdzie x i y mają taki sam ograniczony zakres wartości, lepszą alternatywą będzie interpretacja wyników badań Dunniga i Krugera nie dosłownie, ale w przenośni – jako uwarunkowanej kulturowo, krótkiej wersji opowieści, która ma nas przestrzegać przed zbyt niskim ocenianiem trudności zadania do wykonania. Efekt Dunninga-Krugera być może nie jest prawdziwy, ale w nurkowaniu i w innych dziedzinach często mamy do czynienia z nadmierną pewnością siebie i zazwyczaj jest ona bardziej niebezpieczna niż jej przeciwieństwo. Zawsze powinniśmy o tym pamiętać.
Niech zbocza Twojej krzywej uczenia się będą gładkie i pełne radości.
Przypisy:
1 Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: How difficulties in recognizing one’s own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology, 77(6), 1121–1134. APA PsycNet
2 Nuhfer, Edward, Christopher Cogan, Steven Fleisher, Eric Gaze, and Karl Wirth. "Random Number Simulations Reveal How Random Noise Affects the Measurements and Graphical Portrayals of Self-Assessed Competency." Numeracy 9, Iss. 1 (2016): Article 4. DOI: Random Number Simulations Reveal How Random Noise Affects the Measurements and Graphical Portrayals of Self-Assessed Competency
Gilles E. Gignac, Marcin Zajenkowski, “The Dunning-Kruger effect is (mostly) a statistical artifact: Valid approaches to testing the hypothesis with individual differences data.” Intelligence, Volume 80, 2020, 101449, ISSN 0160-2896, https://doi.org/10.1016/j.intell.2020.101449.
Robert D. McIntosh and Sergio Della Sala, “The persistent irony of the Dunning-Kruger Effect.” The Psychologist, Journal of the British Psychological Society, vol. 35, March 2020, The persistent irony of the Dunning-Kruger Effect | BPS
David Dunning, “The Dunning-Kruger effect and its discontents.” The Psychologist, Journal of the British Psychological Society, vol. 35, March 2020, https://www.bps.org.uk/psychologist/dunning-kruger-effect-and-its-discontents
3 Wyrażone tutaj opinie są osobiste i nie są opiniami pracodawcy Dr. Boesa.
O autorze
Tim Blömeke uczy nurkowania rekreacyjnego i technicznego na Tajwanie i Filipinach. Jest zapalonym nurkiem jaskiniowym, wrakowym i CCR oraz redaktorem i tłumaczem dla Alert Diver. Mieszka w Taipei na Tajwanie. Możesz śledzić go na Instagramie: @timblmk.
Tłumacz: Agnieszka Kostera-Kosterzewska
