Kde jsou ty výsledky

Jsi slepý!

A nic nevidíš

Pořiď si brýle

Jako má D.M.C.

Kdosi mě upozornil na příspěvek Jonatana Pallesena „Jak se šíří falešné představy o genderové diskriminaci“, v němž kritizuje slavnou studii Claudie Goldinové a Cecilie Rouseové z roku 2000 „Jak zajistit nestrannost: Dopad konkurzů ‚naslepo‘ na úspěšnost hudebnic“ (Orchestra­ting Impartiality: The Impact of ‚Blind‘ Auditions on Female Musicians, vyšlo v prestižním časopise American Economic Review v září 2000 a k dnešku má vysokých 2 474 vědeckých citací – pojem *blind orchestra auditions* se objevuje od sedmdesátých let 20. století, protože uchazeči jsou při nich umístěni na pódiu za plentou a přehrávají pro komisi, která je nevidí – pozn. redakce).

Hmmm. Dobrá, raději se tedy podívejme na studii v její původní verzi. V jejím závěru jsem si všiml dvou věcí. Za prvé je tu pár neurčitých závěrů:

Otázkou je, zda lze tvrdými důkazy doložit vliv diskriminace na nábor zaměstnanců. Naše analýza dat z konkurzů a složení orchestrů naznačuje, že tomu tak je, i když před závěrečným shrnutím důvodů uvádíme několik výhrad. Náš vzorek je sice velký, ale naše koeficienty jsme definovali na vzorku mnohem menším. Některé z nich proto nevyhovují standardním nárokům na statistickou významnost.

To není nijak zářný výsledek. Čteme tu pár hezkých slov, ale pointa je zřejmě taková, že kvůli nejednoznačným datům nelze ze studie vyvozovat žádné jasné závěry. A zmínka o tom, že bodové odhady mají „svou ekonomickou významnost“, je úplně prázdná. Tak to prostě chodí – když máte malý vzorek a nejednoznačná data, dostanete nejednoznačné odhady, a tak z nich mohou vyplývat vysoká čísla. Ale pak se dočteme tohle:

Na základě údajů z konkurzů jsme zjistili, že plenta zvyšuje – a to o 50 procent – pravděpodobnost, že žena postoupí z předběžných kol, a několikanásobně zvyšuje pravděpodobnost, že bude vybrána do posledního kola.

To je oněch 50 procent, o kterých se toho (v tisku) tolik namluvilo. Pallesen se o tom ve svém příspěvku nezmiňoval. A tak si tento údaj vyhledejme přímo ve studii Goldinové a Rouseové. Určitě bude někde v datech o těch konkurzech… A když už hledáme, mrkněme se také na to „několikanásobné zvýšení“ – mluvíme tu přeci jen o efektu v řádu stovek procent (…) Otázka nyní zní: Kde je oněch „50 procent“, o kterých všichni mluví? A pak se dočítáme tohle:

Koeficient naslepo [v tabulce 10] ve sloupci (1) je kladný, i když na žádné obvyklé úrovni spolehlivosti nemá významnost. Odhady ve sloupci (2) jsou kladné a stejně velké jako odhady ve sloupci (1). Dále tyto odhady ukazují, že skutečnost alespoň nějakého kola naslepo má svou významnost a že proces zcela naslepo má poněkud větší vliv (i když s velkou standardní chybou)…

Prosím? Nic nemá statistickou významnost, ale odhady „ukazují, že skutečnost alespoň nějakého kola naslepo má svou významnost“? Asi mi tady něco nedochází. V každém případě by autorky neměly dělat z bodových odhadů vědu, když jsou standardní chyby tak četné. Nemám jim to za zlé – psal se koneckonců rok 2000, něco jako doba kamenná v našem chápání statistických chyb. Z dnešního pohledu však vidíme, v čem je problém. Tady je další podobné tvrzení:

Vliv na všechna kola [sloupce (5) a (6)] [tabulky 9] je přibližně jeden procentní bod, i když je četnost standardních chyb vysoká, a proto nemá efekt statistickou významnost. Vzhledem k tomu, že pravděpodobnost vítězství v konkurzu je menší než tři procenta, potřebovali bychom pro odhad statisticky významného efektu více údajů, a jak ukážeme později, i zvýšení o jeden procentní bod je velké.

Domnívám se, že se hovoří o odhadech 0,011 +/- 0,013 a 0,006 +/- 0,013. Tvrdit, že „dopad… je asi procentní bod“, to prostě nejde. Nechceme autorkám vyčítat to, čeho se před dvaceti lety dopouštěli všichni, ale je třeba zdůraznit, že jejich údajům prostě nelze věřit.

Souhlasím s tím, že konkurzy naslepo mohou mít význam – i když nepřinášejí tak velký efekt, jak se tvrdí ve studii, nebo dokonce i když mužům a ženám nepřinášejí vůbec žádný agregátní relativní efekt. A co ono tolik propagované tvrzení o „50 procentech“ nebo nepříliš známé, ale ještě dramatičtější tvrzení o „několikanásobném zvýšení“? Vůbec netuším, co to má znamenat. Závěry učiním, až mi někdo neukáže, kde se o těchto výsledcích ve studii píše. Někde tam být musí.

Andrew Gelman