När jag efterlyste lovande unga forskare som skulle ingå i Forbes årliga 30 under 30-projekt, var det inget namn som kom upp mer än Jack Andraka, 16-åringen* som skapade en prototyp av ett diagnostiskt test för cancer och vann det högsta priset på 75 000 dollar vid Intels årliga vetenskapsmässa för högstadieelever.

Och det är inte så konstigt. I två år har Andraka varit överallt. Intel-vinsten resulterade i en mängd medieuppträdanden i 60 Minutes, som sa att testet ”kan rädda otaliga liv”, ABC World News Tonight och Forbes. Han hedrades som ”Champion of Change” i Vita huset och var Michelle Obamas gäst under 2013 års State of the Union-tal. Han har hållit många TEDx-föreläsningar, varav den mest framstående har genererat mer än 1 miljon visningar. Dessa presentationer har konsekvent skildrat Andrakas prestationer som världsomvälvande. I en artikel i Forbes beskrevs till exempel testet som ett ”genombrott”. Smithsonian kallade honom ”The Teen Prodigy of Pancreatic Cancer”

Men jag bestämde mig för att inte ta med Andraka på listan, och åsidosatte därmed rekommendationen från en expertjury, eftersom arbetet ännu inte hade publicerats i en vetenskaplig tidskrift med expertgranskning. Det är utifrån publicerade arbeten som forskare bedöms. Jag anser fortfarande att detta var rätt beslut. När Andraka erbjöd sig att dela med sig av ett utkast till en artikel som han planerar att skicka in till en vetenskaplig tidskrift, blev jag faktiskt ännu mer orolig.

George Church från Harvard University, en av expertdomarna för projektet 30 under 30 och en av fäderna till nästa generations DNA-sekvensering, granskade uppsatsen och ansåg att många av de viktigaste påståendena som hade gjorts om Andrakas sensor – t.ex. att den var 168 gånger snabbare, 26 667 gånger billigare och 400 gånger känsligare än befintlig teknik – kanske inte håller, eller åtminstone kräver mer arbete för att bevisas. Jag skickade dokumentet till ytterligare fem toppforskare som granskade det, för det mesta anonymt. De flesta såg luckor och sa att resultaten inte stämde med de strålande redogörelser som rapporterades överallt.

Den samstämmiga uppfattningen: Andrakas sensor är förmodligen ett vetenskapligt arbete som kan publiceras och som så småningom skulle kunna publiceras i en tidskrift, och det var en anmärkningsvärd prestation för en gymnasieelev. Men den är långt ifrån att förändra vetenskapen och är bara ett litet steg mot att utveckla en fungerande cancerdiagnostik.

”Även om projektet var lovande var det verkligen ytterst preliminärt och är inte alls så sofistikerat som vissa berättelser säger att det är”, skriver Andraka till mig via e-post. ”Jag inser i efterhand att det bara var ett science fair-projekt på gymnasiet och att det var ett proof of concept-experiment och inledningsvis trodde jag att det skulle kunna komma ut på marknaden inom 1-2 år, men jag har lärt mig så mycket under den här resans gång och insett att det i verkligheten kommer att ta mycket längre tid än så.” Mycket längre.

Underskattar nuvarande teknik

Här är vad Andraka gjorde, enligt hans utkast till dokument: han skapade en anordning genom att doppa filterpapper i en lösning av kolnanorör belagda med antikroppar mot ett specifikt protein som kan vara förhöjt hos patienter med bukspottkörtelcancer. Han bevisade att anordningen kan upptäcka närvaron av detta protein, mesothelin, i cellodlingslösningar. Han visade också att sensorn kunde se skillnaden mellan blodet från möss som fått mänskliga bukspottkörteltumörer ympade på sig och de som inte fått det.

Så långt, så bra. Men hur är det med alla dessa påståenden om att den nya tekniken är snabbare, bättre och billigare än den befintliga tekniken, enzyme-linked immunosorbent assay (ELISA)? Denna 60 år gamla teknik använder antikroppar kopplade till färgskiftande enzymer. Om det ämne man letar efter finns närvarande syns färgen när man tillsätter en tredje kemikalie.

Andrakas siffror ”168 gånger snabbare, 26 667 gånger billigare och 400 gånger känsligare” är baserade på en jämförelse med ELISA. Men Church såg problem med hur Andraka karaktäriserar ELISA-testet.

Testets hastighet: Andraka säger att han jämförde hastigheten på sitt test med den tid han ägnade åt att försöka få resultat från ett ELISA-kit som han beställde på nätet: 14 timmar. Men vanligtvis tar ett modernt ELISA-test 1 timme.

Testkostnad: Andraka jämför den kommersiella kostnaden för ett test – inklusive tillverkarens vinst och omkostnader – med sin egen materialkostnad. Det är inte en rättvis jämförelse. Han säger att det enda mesotelin-testet som han hittade kostade 912 dollar per kit. Men andra ELISA-test säljs på nätet för 400 dollar per 60 test eller 600 dollar per 96 test – med andra ord cirka 6,50 dollar per testomgång. Det kan fortfarande jämföras med Andrakas 3 dollar per 10 tester, men kom ihåg att det också skulle finnas ett kommersiellt påslag om ett företag bestämde sig för att sälja hans tester.

Känslighet: Church ansåg att standardavvikelserna för Andrakas känslighetsmätningar var för stora för att man skulle kunna säga att hans test är mycket känsligare än ELISA. Andra menade att det är oklart hur mycket ökad känslighet ett nytt test skulle behöva.

Är det rätt protein? En annan fråga: Testar Andraka ens på ett protein som effektivt identifierar bukspottkörtelcancer? Läkare använder ett blodprotein som kallas CA19-9 för att spåra om en tumör i bukspottkörteln växer eller om den kommer tillbaka. Men de använder inte CA19-9 för screening, eftersom det skulle missa alltför många cancerformer och, ännu viktigare, identifiera bukspottkörtelcancer hos patienter som inte har den. Det skulle kunna leda till onödiga datortomografier eller till och med till onödiga operationer för att ta bort tumörer som inte finns.

Andraka hävdar att mesotelin skulle vara ett bättre protein att testa för. Men en av mina anonyma granskare pekade på en artikel som publicerats i HPB, tidskriften för International Hepato-Pancreato-Biliary Association. Där jämfördes mesotelin med CA19-9 som markör för bukspottkörtelcancer, och man fann att mesotelin var mindre användbart. I artikeln uttrycktes förhoppningar om att massor av proteiner, som används tillsammans, skulle möjliggöra utvecklingen av ett screeningtest för bukspottkörtelcancer. Det är inte säkert att Andrakas test, oavsett hur känsligt det är, skulle kunna få stor spridning bara genom att detektera mesotelin. (Hans mentor vid Johns Hopkins har föreslagit att andra proteiner skulle behöva läggas till i nyhetsartiklar). Detta är alla frågor som Andraka skulle ha varit tvungen att besvara i peer-review-processen, vilket kanske skulle ha fått honom att ändra sina påståenden.

Svårigheterna för diagnostiska tester

I allmänhet blir cancerläkare skeptiska till screeningtester. Det har varit kontroversiellt att använda PSA-screening för att upptäcka prostatacancer och mammografi för att upptäcka bröstcancer hos unga kvinnor. Anledningen är att skadorna av screening – de extra datortomografierna och den ingående strålningen, de extra biopsierna, till och med avlägsnandet av tumörer som aldrig skulle visa sig vara dödliga – sammantaget kan vara värre än den cancer som behandlas.

Detta är ett större problem när det gäller cancer i bukspottkörteln, eftersom tumörer i bukspottkörteln är svåra att upptäcka och bukspottkörteln ligger djupt inne i bukspottkörteln, under andra, ömtåliga organ.

Susan Desmond-Hellmann, kansler vid University of California, San Francisco, granskade artikeln och skrev:

Den större frågan idag är den ökande förståelsen för begränsningarna med ”tidig upptäckt”. För att ett screeningtest för bukspottkörtelcancer ska ha klinisk nytta måste man tro att de cancerformer som upptäcks är i ett tidigt skede och kan tas bort, och att det skulle vara sällsynt att operera någon utan att hitta cancer (bukspottkörtelkirurgi är mycket svårt, inte lika okomplicerat som bröst- eller prostatakirurgi).

Så manuskriptet är övertygande, men vägen till ett godkänt screeningtest kommer sannolikt att vara lång, svår och dyr.

Andrakas utkast till dokument omfattar inte tester av sensorn i mänskliga blodprover. Det har inte gjorts några tester av den i människor. Andrakas test kan skilja en mus med en mänsklig tumör som växer på den från en utan. Men kan det skilja blodet från en person med en inflammerad bukspottkörtel eller gallstenar från en annan person med cancer? När allt detta arbete är gjort kommer det fortfarande att finnas ett behov av prospektiva kliniska prövningar, det ultimata testet där människor randomiseras för att få testet – eller inte. I slutändan, gör testet dig friskare? Det är en lång väg mellan att bygga ett verktyg för att upptäcka ett protein i blodet – vilket är vad Andraka började göra – och att skapa ett diagnostiskt test. Vi gör honom ingen tjänst genom att låtsas som om det vore annorlunda.

Reality Check: De två Forbes 30 under 30-domare som röstade för att vi skulle lyfta fram Andraka var Mikael Dolsten, chef för forskning och utveckling på Pfizer, och Daniel Kraft, verkställande direktör på FutureMed. Båda berättade för mig att de tyckte att hans exempel var uppmuntrande för andra unga människor. Jag hoppas det, men jag tycker inte att det är rätt att hedra Andraka av den anledningen. Människor som engagerar sig i medicinsk forskning måste veta hur svårt det är – att det inte bara finns tusentals misslyckanden, utan att framgångarna också verkar förvandlas till misslyckanden. Och det är därför jag vill se publicerade arbeten för forskare på 30 under 30.

Mer än så tror jag att det hade varit bättre för Andraka, och för hans test, om han hade gått igenom den traditionella processen att publicera och presentera sitt arbete för andra, hyperkritiska men vänliga forskare innan han blev en mediastjärna. En vetenskaplig uppsats borde ha kommit före TED-samtalen och före aduleringen. Han säger att han letar efter ett stort diagnostikföretag för att licensiera och utveckla testet; jag är säker på att de företag han talar med skulle känna sig mycket mer bekväma om de tittade på publicerad forskning. I stället verkar det som om den ena författaren efter den andra bara har tagit de påståenden han gjorde när han försökte vinna en vetenskapstävling på gymnasiet och blåst upp dem för att fylla en global scen. Med Andrakas egna ord har det varit en ”mediecirkus”. Andraka berättade för mig: ”Genom att ta en tonårings upphetsning och använda den för att göra honom till en folkhjälte har TED och många, många medieorganisationer, inklusive min egen, gett falskt hopp till cancerpatienter och gett allmänheten en snedvriden bild av hur den medicinska vetenskapen fungerar. Folk kanske vill tro att cancerforskarna har missat något uppenbart och att vi bara behöver en gymnasieelev som kommer in och skapar ett genombrott. Vi behöver den där supersmarta, ambitiösa gymnasieeleven som arbetar med cancer, men detta är en sjukdom som bokstavligen är inskriven i vårt DNA. (60 Minutes och Smithsonian gjorde åtminstone bättre ifrån sig och varnade för att det skulle ta många år och krävas många kliniska prövningar innan testet kunde användas.)

I en av de första artiklarna om Andraka frågade Forbes chefredaktör Bruce Upbin: ”Vänta, har den här 15-åringen från Maryland just förändrat cancerbehandlingen?” Nitton månader senare känner jag mig säker på att svara: Nej, det gjorde han inte. Och jag tycker att det är orättvist mot honom, och mot det arbete han utförde, att vi förväntade oss att han skulle göra det. För det han gjorde – att skapa en häftig biosensor medan han fortfarande gick i gymnasiet – var ganska häftigt i sig självt.

*Jag såg på Jacks sociala medier att han faktiskt fyllde 17 år i dag. Jag önskar honom en lycklig födelsedag och en trevlig tidskriftspublikation i det nya året.