? 7 min
U prirodi je medicine da ćete zabrljati; ubit ćete nekoga.
Gregory House, u televizijskoj seriji Dr. House
Iako ulozi u mnogim znanostima možda nisu toliki kao što su u medicini (hoćeš li zbilja riskirati nečije živote kao računarac?), ovaj citat čini se kao prikladnim uvodom za ovaj post. Ipak, vrijedi općenitija verzija ovog citata: u ljudskoj je prirodi da ćeš pogriješiti. Stoga, što se može dogoditi i kako se nosimo s time?
Nekoliko priča upozorenja
Iako se doista čini da ne možeš nauditi nekome lošim računarstvom, niti lošom fizikom ili čak lošim istraživanjima, volio bih predložiti drugačije.
Kad sigurnosne mjere ne uspiju: ubijeni bugom
Zamisli da radiš na uređaju za radioterapiju. Želiš ga napraviti najsigurnijim što može biti, stoga implementiraš provjeru grešaka da spriječiš probleme u radu. Prethodni modeli su imali i hardversko nošenje s greškama, ali tvoji šefovi žele smanjiti cijene, pa ti kažu da ih implementiraš samo u softveru.
Daš sve od sebe s obzirom na raspoloživo vrijeme i resurse, ali promakne ti jedna suptilnost. Nešto što se zove race condition – stanje nadmetanja, u nekom slobodnom prijevodu. Mogućnost da jedan sigurnosni test padne u taman točno vrijeme kad jedan drugi prođe. Nešto što bi moglo uvjeriti tvoj softver da je sve u redu kad je – zapravo – nešto potrgano ili samo pošlo po zlu.
Nisi imao priliku testirati svoj kod na stvarnim uređajima, budući da je tvoja tvrtka škrta, a raditi radioterapijske uređaje skupo. Kombinacija softvera i hardvera testirat će se prilikom instalacije u bolnicama, kažu ti. Svjestan si da će oni samo testirati radi li, ne i kako radi, zar ne? Stoga si testirao napisani kod na simulatoru na svome računalu i radilo je ispravno. Testirao si najbolje što si mogao, s obzirom na to da je kod bio star i nije baš bio primjeren za automatizirano testiranje.
Iskoristio si stari kod, pa bi ti to trebalo pomoći napraviti dobre sigurnosne provjere, zar ne? Dodao si dodatne provjere i popravio neke bugove i starima. Ipak, nije ti palo napamet da je stari kod bio loš. Kako bi mogao biti? Nije bilo nikakvih incidenata prije. Ti uređaji su imali hardverske provjere grešaka, ali sigurno su imali i dobre softverske provjere?
I onda telefoni počnu zvoniti. Pacijenti koji vrište u boli dok im meso gori. Počinju pokazivati znakove trovanja zračenjem.
I ne staneš se zapitati je li možda problem u tvom uređaju. Testirao si ga, bilo je dobro! Napravio si dobar posao, mora da je do operatora.
Tvoja prepouzdanost je upravo ubila ili ozlijedila barem šestero ljudi u roku dvije godine.
Stvarna je ovo priča o uređaju Therac-25, radioterapijskom uređaju tvrtke Atomic Energy of Canada Limited. Ovaj uređaj sada služi kao priča upozorenja za sve softverske inženjere koje rade uređaje gdje je sigurnost od kritična značaja.
Zabijanje glave u akcelerator čestica
Zamisli si da si fizičar koji radi na akceleratoru čestica.
Sjediš u kontrolnoj sobi, radeći što već radi kontrolno osoblje akceleratora čestica, kad tvoj kolega (također fizičar) te nazove da ti kaže kako će ići do akceleratora da provjeri neku opremu koja se, čini se, pokvarila. Rekao je da će biti dolje za nekih pet minuta, pa da zaustaviš eksperimente dok je tamo.
“Naravno, u redu”, kažeš mu. Naravno, ne bi volio nauditi svome kolegi. Stoga pogledaš na sat i zapamtiš vrijeme.
No, on je zaboravio svoj sat. Nije se zapričao ni sa kime na hodniku, nije te nazvao provjeriti je li eksperiment završio, samo je pogledao u svjetlo koje je govorilo je li akcelerator čestica upaljen. Reklo je da je ugašen. Vrata – koja su trebala biti zaključana ako je eksperiment u tijeku – su bila otključana.
Učinilo mu se – točno – da mu je trebalo manje od pet minuta. Zapitao se treba li ući. Ali vrata su bila otključana. Svjetlo je bilo ugašeno. Mislio je kako mora biti sigurno.
I tako, nagnuo se nad opremu da obavi svoj posao. Neduko poslije, pogodila ga je zraka protona od 76 GeV te je vidio bljesak svjetliji od tisuću Sunca kako mu je prošla kroz glavu, potiljačni i sljepoočni režanj, lijevo srednje uho i kroz lijevu stranu nosa.
Iznenađujuće, nakon što ga je udarilo preko 300 000 roentgena, nastavio je sa svojim radom kako nije osjećao nikakvu bol. Bio je fizičar, znao je što se dogodilo. Znao je da mu je život ozbiljno ugrožen, no ošao je doma taj dan, ne govoreći nikomu što se zbilo.
U idućih par dana, koje je proveo kod kuće, lijeva strana njegova lica natekla je do neprepoznatljivosti i koža mu se počela guliti.
Srećom, dobio je tretman koji mu je omogućio da nastavi sa svojim životom. Mentalne sposobnosti nisu mu bile narušene, čini se – završio je svoj doktorat i nastavio rad na fizici čestica. Ali osobnost mu se promijenila. Nije mogao pomaknuti pola svoga lica. Nije čuo na lijevo uho, umaralo ga je misliti i imao je napadaje svako toliko.
Tvoje povjerenje u sigurnosne protokole i da će sve proći dobro upravo je promijenilo tijek života tvog kolege.
Istinita je ovo priča nesreće Anatolija Bugorskog, ruskog fizičara čestica koji je, ovisno o tvom gledištu, ili imao najgoru sreću kad je gurnuo svoju glavu pred zraku protona, ili najbolju kako je poživio da priča o tome.
Profesionalni lažljivac, £150/sat
Zamisli da si doktor.
Donekle etabliran, svakako visokokontroverzan. Objavljivao si tu i tamo neku hipotetsku studiju, ali nikad nešto što je doslovna laž. Bio si sveučilišni predavač, još uvijek ti je bilo stalo do istine.
Došao ti je onda odvjetnik koji je tražio svjedoke-eksperte za “oštećenja cjepivima”, nudeći ti £150/satu plus troškove da bi radio na pronalasku veze između cjepiva i teškoća u razvoju.
Stoga si našao 12 djece s teškoćama u razvoju i objavio studiju u kojoj opisuješ što si pronašao, karakterizirajući novi sindrom i tvrdeći postojanje veze između autizma i gastrointestinalnih tegoba. Rekao si da nije dokazivalo vezu između novonađena sindroma i MMR cjepiva koje si istraživao i da je veza zapravo bila hipotezom od strane roditelja djece, ali jednostavno nisi mogao pustiti ljude da ne znaju da možda postoji veza dok to nisi dalje istražio – stoga si sazvao novinare i napravio pressicu o tome.
Zaplet? Sve je to bila laž. Manipulirao si njihovim povijestima bolesti, modificirao njihove patohistološke nalaze i samo lagao o svemu.
Javnost je vjerovala u to. Još uvijek vjeruje.
Započeo si antivax pokret. Hej, dobio si milijun funti za to.
Istinita je ovo priča o Andrewu Wakefieldu i prevari o MMR cjepivu i autizmu u Lancetu.
Što je naša dužnost?
Doktori imaju Hipokratovu zakletvu.
Kao što gornje priče pokazuju, kao znanstvenici, mi bismo također trebali imati dužnost – moralni imperativ kojeg bismo se trebali držati.
Kako medicina pokazuje bolje nego ijedna znanost, greške se događaju. Dogodit će se tebi, sviđalo ti se to ili ne. Posljedice će varirati, mogućnost pogreške – ne toliko.
Čini mi se da je u redu zabrljati. Nekada. Kad zbilja nije tvoja krivnja. Kad radiš najbolje što možeš, stvar je okolnosti, a ne krivnje.
Stoga, kako bismo se trebali ponašati kao znanstvenici? Što je naš moralni imperativ? Čega se mi imamo držati?
Pitanje je to koje se pitam u zadnje vrijeme, a ujedno i jedno na koje nemam baš dobar odgovor.
Jasno, ne čini loše dobar je početak, ali je li to doista dovoljno? Nevjerojatno je očito da bismo trebali tragati za istinom i izvještavati o našim spoznajama iskreno, za razliku od Wakefielda.
Ne čini loše također implicira, u najmanju ruku, dobre sigurnosne protokole i inspekcije, za razliku od instituta na kojem je radio Bugorski.
To znači i priznati kad si pogriješio i dati sve od sebe da minimiziraš štetu, za razliku od razvijatelja Theraca-25.
To znači da bismo trebali davati sve od sebe, čak i kada nismo najbolji što možemo biti, i ostati skromni. Znači razmišljati o našem radu i posljedicama istog.
Volio bih završiti ovo briljatnim zaključkom. Nekakvim zrnom mudrosti koje bi navodilo buduće znanstvenike i inženjere i… budući život, ali ne mogu smisliti išta dovoljno dobrog. Pridružite mi se, stoga, molim vas, u komentarima u ovoj filozofskoj diskusiji o moralnom imperativu za znanstvenike.
