Wired našel v App Storu síť aplikací se skrytými deepfaky. Apple jich smazal devatenáct

Časopis Wired popsal síť více než čtyř set propojených aplikací a domén, které se tvářily jako jazykové kurzy nebo fitness trenéři a po tajném přepnutí nabízely tvorbu sexuálních a násilných deepfaků. Apple po upozornění devatenáct aplikací odstranil a tvrdí, že v době kontroly pravidla splňovaly.

Je to jeden z těch případů, u kterých je těžké rozhodnout, jestli je horší samotný obsah, nebo způsob, jakým se do obchodu dostal. Redakce časopisu Wired podle serveru 9to5Mac odhalila síť čítající přes čtyři sta vzájemně propojených aplikací a domén, které podle všeho stojí za jedinou čínskou organizací. Aplikace byly dostupné jak v App Storu, tak na Google Play, a některé z nich tam byly zhruba rok.

Navenek šlo o naprosto nevinné nástroje. Výuka jazyků, AI trenér na cvičení, aplikace na fotky mazlíčků, která jim prý domaluje oblečení. Nic z toho nevypadá jako něco, u čeho by kontrolor App Review zpozorněl. Právě o to šlo: krycí funkce byla skutečná a fungovala, takže aplikace prošla schvalováním bez problémů.

Přepínač byl schovaný na straně serveru. Aplikace se za určitých podmínek dotázala svého backendu a ten jí povolil načíst skryté webové rozhraní s explicitním obsahem. Jedním ze spouštěčů bylo podle zjištění Wired stažení aplikace po kliknutí na deepfakovou reklamu na platformách společnosti Meta — reklam propagujících tuto síť byly na Facebooku a Instagramu tisíce. Uživatel, který aplikaci našel běžným hledáním v obchodě, viděl jen jazykový kurz.

Co skryté rozhraní nabízelo, se popisuje nepříjemně. Uživatel nahrál fotku konkrétního člověka a nástroj z ní vygeneroval sexuální nebo násilnou scénu, kterou šlo použít k ponížení nebo vydírání. Wired zmiňuje mimo jiné scény znásilnění v ložnici nebo muže držícího ženě nůž u krku. K dispozici byly desítky šablon pro fotky i videa a za generování se platilo kredity. Tvrdit, že jde o nedopatření, u takového systému nejde.

Část vývojářů přitom využila ještě jednodušší trik: po schválení aplikace jednoduše vyměnila webové stránky, ze kterých aplikace tahá obsah. Schválený materiál zmizel a nahradilo ho porno. Z pohledu obchodu se nic nezměnilo — binární soubor zůstal stejný, změnil se jen server, se kterým komunikuje. Tohle je mimochodem slabina, kterou mají všechny obchody s aplikacemi, nejen ten Applu.

Reakce Applu byla rychlá a zároveň obranná. Firma po upozornění redakce smazala devatenáct aplikací a v prohlášení uvedla: „Každou aplikaci kontrolujeme před zveřejněním a tyto aplikace v době naší kontroly splňovaly naše pravidla.“ Doplnila, že vývojáři po schválení podstrčili pornografický obsah a propagovali ho pornografickými reklamami na platformě třetí strany, a že nedávno posílila ochranu právě proti tomuto postupu.

Meta se k věci postavila obdobně. Podle svého vyjádření zakročila proti více než deseti tisícům reklamních účtů napojených na domény spojené s těmito aplikacemi. Je to působivé číslo, které zároveň ukazuje, v jakém měřítku celá operace běžela — deset tisíc účtů není vedlejší produkt, to je infrastruktura.

Zarážející je, že síť prošla kontrolou u Applu, Googlu i Mety, přestože všechny tři firmy mají v pravidlech výslovný zákaz škodlivého deepfakového obsahu. Apple navíc svá pravidla v této oblasti zpřísnil už v říjnu, a to právě s důrazem na AI deepfaky a skryté funkce. Odstup mezi psaným pravidlem a jeho vymáháním je tu vidět jako na dlani.

Pro Apple je to nepříjemné i z jiného důvodu, než je samotný obsah. Firma celá léta argumentuje tím, že uzavřený App Store je bezpečnější než alternativní distribuce, a používá to jako hlavní protiargument proti regulatorním snahám obchod otevřít. Každý případ tohoto typu tuto obranu oslabuje. Na druhou stranu je férové dodat, že kontrola, která by odhalila serverově přepínaný obsah, by v praxi znamenala průběžné monitorování komunikace aplikací — tedy přesně to, co Apple jinak odmítá dělat z důvodu soukromí.

Pro běžného uživatele z toho plyne nepříjemně praktické poučení. Ani stažení aplikace z oficiálního obchodu neznamená, že víte, co přesně dělá, a reklama na sociální síti, která vás k aplikaci dovede, může být součástí problému. Opatrnost u neznámých AI nástrojů na úpravu fotek je zkrátka na místě, ať už se tváří jakkoli neškodně.

Pro české uživatele platí, že aplikace byly dostupné v obchodech napříč regiony a žádné informace o tom, že by se síť vyhýbala některé zemi, nemáme. Zveřejněné jmenné seznamy zasažených aplikací Wired ani Apple nezveřejnily, takže konkrétní tituly nemůžeme uvést. Kdo má pocit, že podobnou aplikaci v telefonu má, udělá nejlíp, když ji smaže a zkontroluje, jestli v ní nemá aktivní předplatné.

Zdroje: 9to5Mac, AppleInsider, Wired