”Vi har redan kommit till den punkt där du inte kan se skillnad på deepfakes och den riktiga varan”, säger professor Hao Li vid University of Southern California till BBC.
”Det är skrämmande.”
Vi befinner oss vid datavetenskapsmannens deepfake-installation vid World Economic Forum i Davos som ger en antydan om vad han menar.”
Likt andra deepfake-verktyg skapar hans mjukvara datormanipulerade videoklipp av människor – ofta politiker eller kändisar – som är utformade för att se verkliga ut.
Mestadels handlar det om ”face swapping”, där en kändis ansikte läggs över en annan person.
När jag sitter här filmar en kamera mitt ansikte och projicerar det på en skärm framför mig; mina ansiktsdrag kartläggs sedan digitalt.
- Vad är deepfakes?
En efter en läggs ansiktena på skådespelaren Leonardo DiCaprio, Storbritanniens tidigare premiärminister Theresa May och fotbollsspelaren Lionel Messi på bilden av mitt eget ansikte i realtid – deras drag och uttryck smälter sömlöst samman med mitt.
Effekterna är visserligen imponerande, men de är snarare komiska än ondskefulla, men skulle kunna förvirra vissa tittare. När professorn visar mig en annan deepfake-video som han har arbetat med och som ännu inte har presenterats för allmänheten förstår jag dock helt och hållet vad han menar.
Den visar en berömd världsledare som håller ett tal och är omöjlig att skilja från den riktiga.
”Tänk bara på potentialen för missbruk och desinformation som vi skulle kunna se med den här typen av saker”, säger professor Li.
Deepfakes fick rubrikerna först 2017 efter att grovt producerade videor började dyka upp på internet, vanligtvis med hjälp av ansiktsbyten eller manipulation av kändisar.
En del var upprepningar av välkända personer, framförda av imitatörer eller komiker. Men i de allra flesta fall lades kända personers ansikten över på porrstjärnors ansikten, till stor oro för dem som var målgruppen.
Sedan dess har tekniken – som bygger på komplexa algoritmer för maskininlärning – utvecklats snabbt och deepfakes har blivit allt vanligare. Vissa har använts som ”falska nyheter”. Andra har citerats i fall av bedrägerier på nätet. Facebook har till och med förbjudit dem från sin plattform av rädsla för att de skulle kunna användas för att manipulera människor.
Prof Li’s egen programvara har aldrig utformats för att lura människor och kommer uteslutande att säljas till företag, säger han. Men han tror att en farlig ande kan vara på väg att fly från sin flaska när deepfake-tekniken hamnar i fel händer – och att demokratin hotas.
”Den första risken är att människor redan använder det faktum att deepfakes existerar för att misskreditera äkta videobekräftelser. Även om det finns bilder på dig när du gör eller säger något kan du säga att det var en deepfake och det är mycket svårt att bevisa motsatsen.”
Politiker runt om i världen har redan anklagats för att ha använt sig av det här knepet, en av dem är Joao Doria, guvernör i Sao Paulo i Brasilien. År 2018 hävdade den gifta politikern att en video som påstods visa honom vid en orgie var en deepfake – och ingen har kunnat bevisa slutgiltigt att den inte var det.
Det större hotet är dock att deepfakes kan användas i politiska desinformationskampanjer, säger professor Li. ”Val manipuleras redan med falska nyheter, så tänk vad som skulle hända om man lade till sofistikerade deepfakes i mixen?”
Sedan tidigare är det inte svårt att upptäcka att klipp som det på Pelosi är falska. Men om man gör det på ett subtilt sätt, säger han, kan människor lägga ord i munnen på politiker utan att någon märker det – eller åtminstone skulle det vara för sent när det korrigeras.
”Det kan vara ännu farligare i utvecklingsländer där den digitala kompetensen är mer begränsad. Där kan man verkligen påverka hur samhället skulle reagera. Du kan till och med sprida saker som kan leda till att människor dödas.”
Men vissa, som det nederländska cybersäkerhetsföretaget Deeptrace, som spårar tekniken, anser att paniken över deepfakes är överdriven.
Direktör Giorgio Patrini säger att det är relativt enkelt att göra en övertygande deepfake när den person som efterliknas är någon som du inte känner. Men om det är en politiker eller en kändis som miljontals människor känner till är det mycket svårare. ”Folk är helt enkelt alltför bekanta med deras röster och ansiktsuttryck”, säger han till BBC.
”Man måste också kunna imitera deras röst och få dem att säga saker som de skulle säga på ett trovärdigt sätt, vilket begränsar vad man kan göra.”
”Mörk dag”
Och även om han accepterar att de mest sofistikerade – och farliga – deepfake-verktygen finns fritt tillgängliga i öppen källkod på Internet, säger han att de fortfarande kräver expertis för att användas. ”Det betyder inte att de inte kommer att bli mer allmänt kommersialiserade och tillgängliga, men jag tror inte att det kommer att ske så snabbt. Jag tror att det kommer att ta flera år.”
Patrini tror dock att oskiljaktiga deepfakes kommer att bli vanliga så småningom och att de skulle kunna användas som ett allvarligt politiskt vapen.
Facebook tog i december bort ett nätverk av mer än 900 falska konton från sina plattformar som påstods ha använt sig av vilseledande metoder för att driva högerideologi på nätet.
Kontona hade bland annat använt falska profilbilder med falska ansikten som genererats med hjälp av artificiell intelligens.
Både professor Li och Deeptrace har skapat verktyg för att upptäcka deepfakes, även om de medger att cyberbrottslingar kommer att arbeta outtröttligt för att försöka kringgå dem.
Patrini är dock optimistisk: ”Även när deepfakes är så sofistikerade att människor inte kan se skillnad, tror jag att vi kommer att kunna bygga mer sofistikerade verktyg för att upptäcka dem. Det är som antivirusprogram – det kommer att uppdateras och förbättras hela tiden.”