„Už jsme v bodě, kdy nelze rozeznat deepfakes od skutečných,“ říká profesor Hao Li z Jihokalifornské univerzity pro BBC.
„Je to děsivé.“
Jsme u instalace deepfake tohoto počítačového vědce na Světovém ekonomickém fóru v Davosu, která dává tušit, co má na mysli.
Stejně jako jiné deepfake nástroje vytváří jeho software počítačově zmanipulovaná videa lidí – často politiků nebo celebrit -, která mají vypadat jako skutečná.
Nejčastěji jde o „výměnu obličeje“, kdy je tvář celebrity překryta podobou někoho jiného.
Když sedím, kamera snímá můj obličej a promítá ho na obrazovku přede mnou; mé rysy jsou pak digitálně mapovány.
- Co jsou deepfakes?
Na obraz mého vlastního obličeje se v reálném čase jeden po druhém překrývají obličeje herce Leonarda DiCapria, bývalé britské premiérky Theresy Mayové a fotbalisty Lionela Messiho – jejich rysy a výrazy plynule splývají s mým.
Efekty jsou sice působivé, ale spíše komické než zlověstné, reálně však mohou některé diváky zmást. Když mi však profesor ukazuje další deepfake video, na kterém pracoval a které teprve bude představeno veřejnosti, naprosto chápu, co má na mysli.
Ukazuje známého světového vůdce při projevu a je nemožné ho rozeznat od skutečného.
„Jen si představte, jaký potenciál pro zneužití a dezinformace bychom u tohoto typu mohli vidět,“ říká profesor Li.
Deepfakes se dostaly na titulní stránky novin až v roce 2017 poté, co se na internetu začala objevovat hrubě vytvořená videa, která obvykle zahrnují výměnu tváří celebrit nebo manipulaci s nimi.
Některé z nich byly parodiemi na známé osobnosti, které namluvili imitátoři nebo komici. V naprosté většině případů však byly tváře slavných lidí překryty tvářemi pornohvězd, což cílové skupiny velmi znepokojilo.
Od té doby se technologie – která se opírá o složité algoritmy strojového učení – rychle vyvíjela a deepfakes se staly běžnějšími. Některé z nich byly použity jako „falešné zprávy“. Jiné byly uváděny v případech online podvodů. Facebook je dokonce zakázal na své platformě z obavy, že by mohly být použity k manipulaci s lidmi.
Podle jeho slov nebyl vlastní software profesora Li nikdy navržen tak, aby klamal lidi, a bude prodáván výhradně firmám. Myslí si však, že nebezpečný džin by mohl brzy uniknout z láhve, protože technologie deepfake se dostane do nesprávných rukou – a demokracie je ohrožena.
„První riziko spočívá v tom, že lidé již využívají skutečnost, že deepfakes existují, k diskreditaci skutečných videozáznamů. I když existuje záznam, na kterém něco děláte nebo říkáte, můžete říct, že to byl deepfake, a je velmi těžké dokázat opak.“
Politici po celém světě již byli obviněni z používání tohoto triku, jedním z nich je Joao Doria, guvernér Sao Paula v Brazílii. V roce 2018 tento ženatý politik prohlásil, že video, na kterém je údajně zachycen při orgiích, je deepfake – a nikdo nebyl schopen přesvědčivě dokázat, že tomu tak není.
Větší hrozbu však představuje možnost využití deepfake v politických dezinformačních kampaních, říká profesor Li. „Volby jsou již nyní manipulovány pomocí falešných zpráv, takže si představte, co by se stalo, kdybyste do mixu přidali sofistikované deepfakes?“
Dosud není těžké klipy, jako je ten s paní Pelosiovou, odhalit jako podvrh. Pokud by se to ale udělalo rafinovaně, mohli by podle něj lidé začít vkládat politikům do úst slova a nikdo by to nepoznal – nebo by alespoň v době opravy bylo pozdě.
„Ještě nebezpečnější by to mohlo být v rozvojových zemích, kde je digitální gramotnost omezenější. Tam by se dalo skutečně ovlivnit, jak by společnost reagovala. Mohli byste dokonce šířit věci, kvůli kterým by lidé umírali.“
Někteří, jako například nizozemská společnost Deeptrace zabývající se kybernetickou bezpečností, která tuto technologii sleduje, se však domnívají, že panika kolem deepfakes je přehnaná.
Ředitel Giorgio Patrini říká, že je poměrně snadné vytvořit přesvědčivý deepfake, pokud je napodobovanou osobou někdo, koho neznáte. Pokud se však jedná o politika nebo celebritu, kterou znají miliony lidí, je to mnohem těžší. „Lidé jsou prostě příliš dobře obeznámeni s jejich hlasy a mimikou,“ říká pro BBC.
„Museli byste být také schopni napodobit jejich hlas a přimět je říkat věci, které by věrohodně řekli, což omezuje možnosti, které můžete udělat.“
„Temný den“
Podle něj jsou sice nejsofistikovanější – a nejnebezpečnější – deepfake nástroje volně dostupné v otevřeném zdrojovém kódu na internetu, ale jejich použití podle něj stále vyžaduje odborné znalosti. „To neznamená, že se nestane, že by se více rozšířily a zpřístupnily, ale nemyslím si, že se to stane tak rychle. Myslím, že to bude trvat roky.“
Přesto si pan Patrini myslí, že nerozlišitelné deepfakes se nakonec stanou běžnou záležitostí a mohly by být použity jako vážná politická zbraň.
Pokus o to, jak by to mohlo vypadat, nabídl Facebook v prosinci, kdy ze svých platforem odstranil síť více než 900 falešných účtů, které údajně používaly klamavé praktiky k prosazování pravicové ideologie na internetu.
Účty používaly zejména falešné profilové fotografie falešných obličejů generované pomocí umělé inteligence.
Profesor Li i společnost Deeptrace vytvořili nástroje pro detekci deepfake, i když připouštějí, že kyberzločinci se je budou neúnavně snažit obejít.
Pan Patrini je však optimistický: „I když jsou deepfake tak sofistikované, že je lidé nedokážou rozlišit, věřím, že budeme schopni vytvořit sofistikovanější nástroje, které je odhalí. Je to jako s antivirovým softwarem – bude se neustále aktualizovat a vylepšovat.“