Na A2larmu vyšel článek o experimentu s jednorázovým nepodmíněným příjmem pro lidi bez domova. Experiment je popsán jako jednoznačný úspěch a odnesete si z něj pocit, že studie odhalila skvělý nástroj k práci s bezdomovectvím
Akorát, že vůbec…
Začneme u kritérií výběru – vybrali si bezdomovce, kteří jsou bez domova méně než dva roky, nejsou těžce závislí na alkoholu nebo drogách a nemají závažné mentální nemoci. Navíc, pokud tomu správně rozumím, vybírali je v azylových domech, ne na ulici. Jinými slovy si vybrali „elitní“ vzorek.
Tohle sami přiznávají, když říkají, že jejich výsledky jsou z podmnožiny „vysoce funkčních“ bezdomovců a nemusí být platné obecně.
Ze 732 účastníků prošlo sítem 223. A z nich polovina zmizela, ještě než začala studie. Výzkumníkům tedy zbylo 115 účastníků. A to není velký vzorek.
No a jaké byli tedy výsledky? Studie sledovala dva předregistrované cíle: subjektivní well-being a kognitivní schopnosti, měsíc po intervenci. Osobně mi to přijde jako zvláštní cíle a příliš brzo po intervenci, ale budiž.
Výsledek? Nic. Žádný rozdíl mezi skupinami s a bez cash transferu.
Ještě se podívejme do diskuse. Nulový efekt.
Proč tedy studie v abstraktu a článek na A2larm hlásá pozitivní výsledek?
Klíčovým pojmem je tady „exploratorní analýza“. Představte si, že zkoumáte nový lék na vysoký tlak. Uděláte klinickou studii, kde bude krevní tlak jako předregistrovaný zkoumaný cíl.
Ale bohužel se ukáže, že lék s tlakem nic nedělá. Co tedy můžete udělat?
Rozhodit sítě. Podívat se na všechny ostatní proměnné, které jste u pacientů zaznamenávali. Třeba cholesterol nebo cukr. Když se podíváte na dostatečně velké množství věcí, ona se nějaká, co se změnila, najde.
To neznamená, že Váš lék s cholesterolem nebo cukrem něco dělá, spíš je to šum v datech, blip, entropie. V našem náhodném světě se vždy něco hýbe. To je metodicky velký problém a právě proto se začaly používat předregistrované cíle.
Ještě než je studie provedena se nahlásí, včetně metodiky a cílů, a pak se toho drží. Objevil jsi něco jiného, než si původně hledal? Smůla, na to si udělej novou studii. Tady musíš reportovat neúspěch.
Přijde vám tedy způsob prezentace této studie tak trochu jako podvod? Tak to vám přijde správně.
Exploratorní analýza má ve vědě své místo, třeba když se snažíte z dat vymyslet nějakou hypotézu. Ale ne tady.
Co tedy v rámci exploratorní analýzy našli? Tady jsou regresní tabulky. Jen čísla s hvězdičkami jsou statisticky významná.
Po roce tam vidím jen větší útratu za jídlo a přepravu.
Ani v té exploratorní analýze nenašli tedy téměř nic.
V abstraktu (a článku Alarmu) se mluví o tom, že lidé v cash skupině strávili méně dnů bez domova a více utráceli za zboží dlouhodobé spotřeby (nábytek…).
Pohled do tabulky ale naznačuje, že tyto efekty byly soustředěné do prvních několika měsíců po obdržení peněz, a pak vyšuměly. Tohle autoři taky zmiňují ve své analýze:
Tedy dostali sumu peněz, v průběhu pár měsíců ji utratili, a pak se vrátili tam, kde byli na začátku
Takže suma sumárum: studie je špatná, nejspíš za hranou vědeckého přečinu a neměla projít recenzním řízením. Neříká nám nic o efektu cash transferů na bezdomovectví, a jestli jo, tak spíš to, že jsou nulové.
A A2larm bych doporučil najít si vědeckého editora…
Konzervativní noviny nabízí všechny články zdarma. Náš provoz se však neobejde bez nezbytné finanční podpory. Pokud se Vám Konzervativní noviny líbí, budeme vděčni za Vaši pomoc. Číslo účtu: 2701544173 / 2010 Děkujeme!