Umělá inteligence je schopná generovat dětskou pornografii, komplikuje pátrání po reálných obětech (iROZHLAS)

[Cykle02]

V největším souboru dat pro generování obrázků umělou inteligencí se našel materiál týkající se sexuálního zneužívání dětí (oTechnice.cz)

Výzkumníci ze Stanfordovy univerzity tvrdí, že soubor dat používaný k tréninku nástrojů pro vytváření obrázků umělou inteligencí obsahuje nejméně 1008 ověřených případů materiálů se sexuálním zneužíváním dětí (CSAM). Výzkumníci poznamenali, že přítomnost CSAM v datové sadě by mohla umožnit AI modelům, které byly na těchto datech vyškoleny, generovat nové, a dokonce realistické materiály tohoto typu.

Nezisková organizace LAION, která datovou sadu vytvořila, uvedla, že uplatňuje politiku nulové tolerance vůči nelegálnímu obsahu a z důvodu opatrnosti dočasně stáhla datové sady. Organizace dodala, že před prvním zveřejněním svých datových sad vytvořila filtry, které odhalují a odstraňují nelegální obsah. Ani to ale, zdá se, nestačilo.

Podle dřívějších zpráv obsahuje dotyčný soubor dat LAION-5B miliony obrázků s pornografií, násilím, dětskou nahotou, rasistickými memy, nenávistnými symboly, uměleckými díly chráněnými autorskými právy a díly z webových stránek soukromých společností. Celkově obsahuje více než 5 miliard obrázků a souvisejících popisků (samotná datová sada neobsahuje žádné obrázky, ale spíše odkazy na obrázky a alt texty). Zakladatel společnosti LAION Christoph Schuhmann na začátku letošního roku uvedl, že si sice není vědom žádného CSAM v datovém souboru, ale že data nezkoumal příliš precizně.

Vzhledem k obrovskému množství dat, která umělá inteligence stáhla, je však nemožné se CSAM vyhnout. Některé AI modely volně dostupné na internetu přitom nemají žádnou ochranu proti tomuto typu dat. Podle výzkumníků ze Stanfordovy univerzity by tyto modely by měly být co nejdříve vyřazeny z provozu.

Zdroj: engadget.com

[podivin]

Asi bychom měli přestat mluvit o "inteligenci", ať už s přídavným jménem "umělá". Inteligentní bytost totiž rozpozná násílí a zneužívání dětí (nebo bude mít aspoň pochybnosti).

Tahle "umělá inteligence" je pořád jen obyčejnej hloupej "softvér", nic jinýho. Takže by všechni ti technologiční free-cool-íni měli přestat používat tyhle buzzwords, jen aby si honili trika.

Nezisková organizace LAION, která datovou sadu vytvořila, uvedla, že uplatňuje politiku nulové tolerance vůči nelegálnímu obsahu ...
Zakladatel společnosti LAION Christoph Schuhmann na začátku letošního roku uvedl, že si sice není vědom žádného CSAM v datovém souboru, ale že data nezkoumal příliš precizně.
Vzhledem k obrovskému množství dat, která umělá inteligence stáhla, je však nemožné se CSAM vyhnout.

Tak to moc jako nulová tolerance nevypadá, když data nezkoumají příliš precizně.

Mimochodem, když "inteligence" stahuje CSAM, neměl by být někdo potrestaný? Když si vytvořím prográmek na stahování obrázků a mezi tím se mi stáhnou CSAM, tak mě soud také odsoudí.

Ono je možné se CSAM vyhnout, ....

Organizace dodala, že před prvním zveřejněním svých datových sad vytvořila filtry, které odhalují a odstraňují nelegální obsah.

... ale holt by to musela zkoumat lidská inteligence a ne jen pár nějakých filtrů. A možná by jim na to nepomohla ani umělá "inteligence". A když je to teda nemožné, tak nemá data stahovat.

[Dreamer]

Inteligentní bytost totiž rozpozná násílí a zneužívání dětí (nebo bude mít aspoň pochybnosti).

Pak je ovšem na čase si připustit, že svět je plný idiotů.

Všechno nejlepší do nového roku.

[Cykle02]

Rolí umělé inteligence při normalizaci sexuálního zneužívání dětí (ai2.news)

Umělá inteligence (UI) nedávno vyvolala znepokojující trend vytváření realistických obrázků dětí v sexuálních situacích, před čímž odborníci varují, že by mohlo vést k nárůstu případů sexuálního zneužívání dětí ve skutečnosti. Použití UI platforem, které mohou napodobovat lidskou konverzaci nebo generovat věrné obrázky, výrazně vzrostlo v popularitě, zejména od vydání chatbota ChatGPT koncem roku 2022.

Zatímco mnoho lidí tyto platformy přijalo pro pracovní nebo školní účely, jiní je zneužívají pro podvodné účely. Národní úřad pro boj s organizovaným zločinem (NCA) ve Velké Británii, který bojuje proti organizovanému zločinu, uvedl alarmující zprávu o rozšíření strojem generovaných explicitních obrázků dětí. Věří, že tento trend má „radikalizující“ účinek, normálně přijímá pedofilii a dezinhibuje jedince k škodlivému chování vůči dětem.

Podle NCA výrazně zvyšuje riziko sexuálního zneužívání dětí samotným prohlížením těchto UI-generovaných obrázků. Odhadují, že až 830 000 dospělých ve Velké Británii, což představuje 1,6 % dospělé populace, představuje nějaký sexuální nebezpečí pro děti. Tento počet je desetkrát větší než populace věznice země.

Většina případů sexuálního zneužívání dětí se týká prohlížení explicitních obrázků. S pomocí UI by tvorba a konzumace těchto sexuálních obrázků mohla dále normalizovat zneužívání dětí ve skutečném světě. Široká dostupnost videí a obrázků zobrazujících dětské zneužívání a znásilnění na internetu již měla významný dopad na formování chování, a je proto nutné tuto otázku řešit.

Podobný trend využívající UI k tvorbě sexuálních obrázků dětí se také rozvíjí ve Spojených státech. Odborníci varují, že obrázky dětí, včetně těch, které jsou známými oběťmi, jsou přetvářeny a vytvářeny explicitní a rušivý obsah. To představuje značnou výzvu pro agentury práv člověka, které již bojují s identifikací a ochranou obětí zneužívání. Realismus a snadnost použití poskytovaná nástroji UI ještě více komplikují snahy o boj s tímto problémem.

Zatímco populární UI platformy mají stanovené směrnice komunity, které mají zabránit vytváření rušivých obrázků, diskuse na temné síti se týkají manipulace s těmito materiály. To představuje značnou výzvu pro agentury práv člověka, protože musí rozlišovat mezi UI-generovanými falešnými obrázky a těmi, které zobrazují skutečné oběti potřebující pomoc.

UI-generované obrázky mohou být také zneužity v rozsáhlých vydíráních, kdy jsou lidé vydíráni pomocí sexuálně zaměřených obrázků, které jsou manipulovány tak, aby připomínaly tyto osoby. FBI vydala varování o těchto zločinech, přičemž oběti často nevědí, že jejich obrázky byly zkopírovány, upraveny a šířeny, dokud je někdo na to neupozorní.

Na reakci na touto rostoucí hrozbou spolupracují NCA a další mezinárodní organy zabývající se vymáháním práva, aby lépe porozuměli a bojovali s problémem UI-generovaného materiálu. Ochrana dětí před sexuálním zneužíváním a zajištění identifikace skutečných obětí zůstává nejvyšší prioritou.

Je důležité řešit tyto výzvy a vyvinout účinné strategie na ochranu zranitelných dětí před vykořisťováním. Informovanost, vzdělávání a silné úsilí o vymáhání práva jsou klíčové při řešení tohoto alarmujícího trendu a zajištění bezpečnosti a pohody dětí po celém světě.

[Cykle02]

Deepfake s nahou Taylor Swift zaplavil internet. Politici urychleně přišli se zákonem (Živě.cz)

Politici za oceánem si až teď začínají plně uvědomovat, jaké škody můžou napáchat deepfakes. Trochu překvapivě za to může americká zpěvačka Taylor Swift. V posledních dnech se vyrojilo tolik deepfake obsahu, mnohdy sexuálního charakteru, ve kterém ona figuruje, že to pobouřilo i zákonodárce a přišli s návrhem zákona, který explicitní deepfakes potírá. 

Deepfake obsah s Taylor Swift – jednou z nejpopulárnějších zpěvaček na světě – v posledních dnech internet doslova zahltil. Nezřídka šlo o sexuálně explicitní fotografie a videa. Sociální sítě takové příspěvky zakazují, ale jak bývá zvykem, když je nějakého obsahu hodně, algoritmy i lidští moderátoři jej nestíhají odstraňovat.

Nejhorší situace byla na síti X, která ani nemá příliš mnoho moderátorů, jelikož šéf sítě Elon Musk v tom nevidí smysl. Ale deepfakes s Taylor Swift se přes víkend objevilo na X tolik, že i Musk uznal, že to je za hranou a na nějaký čas zcela zakázal vyhledávání jména zpěvačky. Síť na toto klíčové slovo přestala reagovat. 

Podle serveru 404 media byly deepfake obrázky Taylor Swift vytvořeny nejspíš pomocí Microsoft Designeru. Aplikace obsahovala chybu, díky které bylo možné vytvářet i obsah s tvářemi známých osobností, což Microsoft Designer v běžném provozu nedovoluje. Takto vzniklo mnoho deepfakes, které autoři sdíleli na Telegramu a 4Chan, odkud se rozšířily na další platformy. Dnes už Microsoft chybu opravil. 

Deepfake má potřít zákon

Záležitost nepobouřila jen fanoušky Taylor Swift, kteří jsou známí svým aktivismem. V šoku byli i američtí politici, kteří možná poprvé viděli v reálném čase, jak snadno a v jakém objemu se deepfakes mohou dostat do veřejného prostoru. A jak těžké je se jim bránit. Skupina senátorů proto urychleně předložila návrh zákona, který má sexuální deepfakes potírat. 

Zákon má krkolomný název Disrupt Explicit Forged Images and Non-Consensual Edits Act of 2024, zkráceně se o něm hovoří jako o Defiance Act (Aktu vzdoru). Jeho hlavním cílem je umožnit, aby oběti digitálních padělků mohli po autorech požadovat občanskoprávní postih. Generování explicitních padělků pomocí AI bude zakázáno, stejně tak vědomé šíření tohoto obsahu. 

„Tento měsíc se na sociálních sítích objevily falešné, sexuálně explicitní obrázky Taylor Swift, které byly vygenerovány umělou inteligencí. Ačkoli se může jednat o falešné snímky, škody, které šíření sexuálně explicitních deepfakes obětem způsobuje, jsou velmi reálné,“ uvádí v tiskovém prohlášení jeden z autorů zákona, senátor Dick Durbin.

Postihy ovšem můžou fungovat až tehdy, pokud se bude dařit hledat viníky. To bude úkolem policie, které s potíráním deepfakes nevyhnutelně vzroste agenda. Před schválením zákona tak proběhne debata nejen o těchto aspektech.

[Cykle02]

Tři opatření, která mají zabránit škodlivým deepfakům. Podpořilo je 700 osobností včetně lidí z DeepMind (Živě.cz, Markéta Mikešová)

Přes 700 osobností z celého světa, včetně předních počítačových vědců ze společností jako je Google DeepMind či OpenAI podepsalo otevřený dopis, ve kterém požadují regulaci deepfake obsahu. Podle nich je situace příliš vážná, navrhují tři hlavní opatření, která mají vzniku a tvorbě škodlivých videí zabránit.

Hlavním autorem dopisu je matematik Andrew Critch z Kalifornské univerzity v Berkeley, který se na katedře elektrotechniky a informatiky zabývá výzkumem umělé inteligence. „Deepfakes představují obrovskou hrozbu pro lidskou společnost a již nyní způsobují rostoucí škody jednotlivcům, komunitám a demokracii,“ vysvětluje úvodem, proč dopis vznikl. „Potřebujeme okamžité kroky v boji proti šíření deepfaků a já a moji kolegové jsme vytvořili tento dopis, aby lidé na celém světě mohli vyjádřit svou podporu legislativním snahám o zastavení deepfaků,” dodává Critch.

Jednotlivé hrozby pak dopis podrobně rozebírá, ke všem tvrzení přidává odkaz na zdroje. Upozorňuje například na šíření nekonsensuální AI pornografie, která podle autorů stále častěji míří i na nezletilé osoby. Uvádějí, že počet takového obsahu se mezi lety 2022 a 2023 zvýšil o 400 procent, navíc stále platí, že drtivá většina deepfake videí je pornografického charakteru. 

To byl případ i americké zpěvačky Taylor Swift, jejíž nahé deepfaky zaplavily internet minulý měsíc. Díky těmto obrázkům a videím se debata o škodlivosti deepfaků posunula z odborných míst do politických, avšak ani v USA, ani v Evropě zatím legislativa upravující deepfaky neexistuje. Teprve se připravuje a jak bývá zvykem, přijetí bude trvat přinejlepším měsíce. 

„Masové zmatení společnosti“

Dopis ovšem vznikl právě z toho důvodu, aby tento proces byl urychlen. Nejde totiž jen o pornografii - autoři popisují, že přibývá podvodů směřovaných na běžné osoby a podniky, tento počet se loni zvýšil o 3000 procent. Navíc technologie se začíná zneužívat při volbách, autoři vyslovují obavy z narušení demokratických procesů na světě. 

Výsledkem je to, co dopis popisuje jako „masové zmatení společnosti“. Lidé už nebudou vědět, čemu věřit, nemluvě o tom, že umělecký sektor bude ochromen. Nepomáhá, že podle autorů existují stále dostupnější a pokročilejší nástroje, kterými deepfakes lze vytvářet - dopis zveřejnili jen pár dní poté (náhoda, nebo ne?), co se na světě objevila úchvatná AI videa z nového nástroje Sora od OpenAI.

Paradoxně minimálně jeden zaměstnanec OpenAI tento dopis podepsal. Mezi signatáři jsou také lidé z DeepMind od Googlu, tedy společnosti, která stojí za AI modelem Gemini. Podpis připojil i vědec Yoshua Bengio, často považován za jednoho z otců moderních AI. Celkem vyjádřilo dopisu podporu několik stovek výzkumníků a několik politiků - třeba dva exprezidenti Estonska - plus řada osobností ze showbyznysu. 

Pokuty všemi směry

Dopis vyzdvihuje tři opatření, která mají škodlivým deepfakům zabránit. Všechna by měla obsáhnout připravovaná legislativa. Autoři si myslí, že pokud budou pravidla nastavena dobře, nebudou pro podniky ani zatěžující 

1. Plná kriminalizace dětské deepfake pornografie, a to i v případě, že jsou na ní zobrazeny pouze fiktivní děti.
2. Zavedení trestního postihu pro každého, kdo vědomě vytváří nebo vědomě napomáhá šíření škodlivých deepfakes.
3. Vývojáři a distributoři softwaru musí zabránit tomu, aby v jejich produktech bylo možné vytvářet škodlivé deepfaky a musí nést odpovědnost, pokud jsou jejich preventivní opatření příliš snadno obcházena.

[Cykle02]

V Česku přibývá pornografie vytvořené AI. Fotografie šíří děti i dospělí (TN.cz, kh)

V Česku přibývá pornografických snímků generovaných umělou inteligencí. Lidé jsou tak stále častěji zobrazováni na falešných nahých fotografiích. Šíří je jak žáci základních a středních škol, tak dospělí, kteří se chtějí například pomstít své bývalé partnerce.

Aplikací na vytvoření falešných pornografických snímků nebo videí existuje v dnešní době už celá řada. A jsou čím dál tím dostupnější. Jeden z těchto nástrojů vyzkoušel i štáb televize Nova. Na internetu jsou volně dostupné a zcela zdarma. Celý proces trval přibližně dvě minuty.

"Došlo k velké demokratizaci takzvaných svlékacích aplikací, které umožní vygenerovat umělou nahotu prakticky kohokoliv z nás," upozorňuje ředitel České asociace umělé inteligence Lukáš Benzl.

Nejzranitelnější skupinou jsou podle odborníků mladé dívky. "Jednalo se o vztah, který dopadl rozchodem, a právě vygenerování té nahoty bylo nějakým způsobem odplata toho útočníka, toho zrhzeného milence. A ten následně poslal tyto fotografie přes Whatsapp a řekl, že je rozšíří přes kolektiv jejích přátel a mezi další studenty," popsal Benzl jeden z případů.

Deepfaky ale prý šíří i dospělí. Nejčastěji za účelem pomsty. "Máme tam i případ z firemního prostředí, kdy docházelo k šikaně zaměstnankyně, která byla na nižší pozici než zaměstnanec, který vygeneroval tu její virtuální nahotu," dodává Benzl.

Existuje navíc řada portálů, kde si falešný pornografický snímek nebo video můžete objednat. Například na sociální síti Telegram. Celý proces je ale výrazně složitější a nebezpečnější. Internetoví boti vás po zaslání fotografie přesměrují na portál, kde budete muset zaplatit. Cena za fotografii se pohybuje mezi dvěma až sto dolary. Platbu vyžadují v Bitcoinech.

"V posledním roce jsme zaznamenali 550procentní nárůst, dneska je to více jak půl milionu deep fake videí. A 96 procent z nich jsou pornografický deep fake videa. A 99,9 procenta jsou zaměřené na ženy," uvádí Miloslav Lujka ze společnosti Digitální pevnost.

Oběti deepfake fotografií však v současném českém právním systému stojí v obtížné pozici. Legislativa je výslovně nijak neřeší.

"Za současného stavu právní úpravy může být pro orgány činné v trestním řízení problematické toto jednání právně kvalifikovat. Pokud se jedná o osobu mladší 18 let, lze takové jednání kvalifikovat také jako trestný čin. Oproti tomu u dospělých obětí samotné vytvoření pornografického deepfake trestné většinou nebude," vysvětluje právnička Veronika Barešová.

Šíření falešných nahých fotografií bude podle expertů přibývat a může mít zásadní dopad na duševní zdraví obětí. I přes to, že fotografie není skutečná, vyvolává v nich prý často silné pocity studu a zneužití.

[Cykle02]

Vlastní tvář a cizí nahé tělo. ‚Svlékat‘ lidi pomocí umělé inteligence by mohl být v Česku trestný čin (iROZHLAS.cz)

Svléknout někoho pomocí umělé inteligence, aniž by o tom věděl, a z obrázků pak vytvořit třeba lechtivé video – to bude nejspíš v Česku novým trestným činem. A dotyčnému za to může hrozit i vězení. Ministerstvo spravedlnosti navrhuje takzvanou deepfake pornografii zařadit do novely trestního zákoníku.„Pamatuji si to živě. Hrála jsem večer hru, když mi přišla od neznámého profilu zpráva o tom, že po internetu koluje moje nahá fotografie,“ napsala před časem serveru iROZHLAS.cz dívka, říkejme jí třeba Simona. Své jméno si nepřála zveřejnit.

„Vybavuji si, jak jsem četla tu notifikaci a úplně mě polilo horko a panika, co, kde a jaká fotka se kam mohla dostat, protože jsem nikomu nic neposílala.“ Nakonec Simona zjistila, že zmíněnou fotku nikdy nepořídila. Někdo ji svlékl pomocí umělé inteligence.

Deepfake pornografie má být nově trestná. „Je třeba si uvědomit dopady, které může mít především zveřejnění takového falešného/nepravého pornografického materiálu primárně na takto zneužitou osobu jako takovou, ale i na její postavení v rodině, ve společnosti, v zaměstnání a podobně,“ říká mluvčí ministerstva spravedlnosti Vladimír Řepka.

Ministerstvo navrhuje trestat výrobu i šíření takových fotografií nebo videí. Hrozit by za to mělo až pětileté vězení. Vladimír Řepka dodává, že už teď je pro laika skoro nemožné upravenou a reálnou pornografii rozeznat. „Bude problematické jej rozeznat i při bližším odborném zkoumání. Toto zásadně snižuje možnost obrany (nejen právní) takto dotčené a zneužité osoby jinými prostředky.“

Problémy s fotkami, na kterých jsou lidé bez svého vědomí svlečení pomocí umělé inteligence, už řešila i policie. „U policie ČR jsme se v minulých měsících zabývali případy, kdy bylo za použití umělé inteligence vytvořena nahá fotka konkrétní osoby. Jednalo se o jednotlivé případy napříč Českou republikou. A zatím byly řešeny jako přestupky,“ popisuje mluvčí policie Jakub Vinčálek.

Bránit se bude jednodušší

Lidé se můžou proti upraveným fotkám nebo videím bránit i dnes. A to díky paragrafům, které řeší poškození cizích práv nebo pomluvu. Nový trestný čin by měl obětem pomoct.

„Nová právní úprava obranu trošičku usnadní. Ty dva trestné činy vyžadují další znaky, jako je třeba způsobení vážné újmy na právech. Tyto dva znaky odpadnou, takže bránit se bude o to jednodušší,“ vysvětluje specialista na trestní právo Tomáš Gřivna.

Zároveň ale upozorňuje, že návrh paragrafu se týká jenom pornografie. „To znamená, tam, kde budou různá zobrazení jiná, v jiných pozicích, ne pornografická díla, tak toto ustanovení paragrafu 191a na to nedopadne, a zase budeme muset jít podle obecných ustanovení, poškození cizích práv nebo pomluvy.“ U deepfake pornografie taky může být podle Gřivny obtížné dohledat a usvědčit viníka.

S fenoménem zneužívání umělé inteligence mají zkušenosti i v zahraničí. „Já si myslím, že to je krok správným směrem. Protože z informací, které máme z evropských zemí vyplývá, že na tento problém některé státy naráží. A deepfake pornografie se skutečně začíná objevovat v poměrně citelném množství,“ říká prezident Unie státních zástupců Tomáš Foldyna.

Mluvčí Vladimír Řepka zdůrazňuje, že stát nechce deepfake obsah úplně zakázat. A že respektuje právo na svobodu projevu. „Ale nekonsenzuální deepfake pornografie tyto limity již ze své podstaty dalece překračuje a je proti ní třeba zasáhnout právě prostředky nejzávažnějšími, tedy prostředky trestního práva, a to za zavedením nové skutkové podstaty trestného činu,“ dodává.

Návrh novely trestního zákoníku je teď v připomínkovém řízení. Navrhované novinky se tedy ještě můžou změnit.

[Cykle02]

Antivirus: Oběťmi nahých fotomontáží jsou i děti. Obrátit se můžete na Linku bezpečí (Radiožurnál, Jana Magdoňová, Jan Cibulka, Jiří Chum, prh)

Rychlý nástup generativní umělé inteligence přinesl i aplikace, které nabízí, že takzvaně svléknou osoby na reálných fotografiích. Takové nástroje jsou nyní snadno dostupné a bohužel je používají i děti školou povinné ke kyberšikaně.

Jak může nějaká aplikace svléknout osobu na fotce? Určitý program vezme vloženou fotografii a upraví ji tak, že osoba na ní vypadá jako nahá. „Zkrátka k ní vygeneruje nahou postavu, která odpovídá postojem a tělesnými proporcemi oběti na původní fotografii. A podobně tyto nástroje zvládnou vyrobit i kratší jednoduché video,“ objasňuje redaktor Jan Cibulka.

V minulosti lidé vytvářeli například fotomontáže celebrit tak, aby vypadaly jako nahé, nedávno byl medializovaný případ zpěvačky Taylor Swift.„Nicméně rozmach služeb založených na generativní umělé inteligenci tyhle nástroje udělal dostupné doslova každému, a nejsou třeba žádné znalosti grafických programů,“ dodává redaktorka Jana Magdoňová.

Trestný čin

A internet zažívá boom takových aplikací: nabízené jsou skrze online reklamu nejen na pornostránkách, ale například i na sociálních sítích včetně Twitteru nebo TikToku. Najde je i kdokoli s pomocí webového vyhledávače. „Jejich použíti typicky stojí několik dolarů, případně nabízí úpravu několika fotografií zdarma jako ukázku.“

Je něco takového vůbec legální? Pokud je předlohou dítě, tedy osoba mladší 18 let, pak jde velmi pravděpodobně o trestný čin výroby dětské pornografie. U dospělých je situace složitější, v některých případech by mohlo jít o poškození cizích práv.

„Novela trestního zákoníku, kterou nyní předložilo ministerstvo spravedlnosti, ale zavádí nový trestný čin, který by postihoval přímo právě zneužití něčí podoby pro tvorbu pornografie. Tedy i tvorbu deepfakes.“

Kyberšikana

Dle očekávání tyhle aplikace používají třeba školáci. V drtivé většině případů jsou oběťmi dívky, a materiál pak slouží ke kyberšikaně. „Světová média už informovala o případu ve Španělsku nebo USA, server iROZHLAS už loni psal o příbězích dívek z Česka,“ říká Jana Magdoňová.

O většině případů se nejspíš nedozvíme - oběti se stydí svěřit.

O většině případů se ale nejspíš nedozvíme, oběti se cítí jako v případě jiných sexualizovaných útoků, zahanbené a zneužité, a proto se často nikomu nesvěří. „Dopad na psychiku dospívajícího dítěte tak může být zvlášť tvrdý,“ upozorňuje Cibulka.

Jak se můžeme bránit? Právě to je problém, oběti takovému útoku ani při největší snaze nemůžou předejít. „Fotografie jsou dnes úplně běžně dostupné online: na sociálních sítích, na stránkách školy, ve fotogalerii z rodinné dovolené,“ říká Magdoňová.

Školy musí reagovat

Odpovědnost je tedy zejména na školách a rodičích. Školy musí být připravené na to, že k něčemu takovému dojde a musí umět reagovat, poskytnout pomoc obětem a situaci řešit, v krajním případě i s policií. „Pokud se vygenerované fotografie šíří na nějaké sociální síti, je možné požádat o jejich odstranění, ale to je jen částečná náplast.“

U rodičů pak platí to, co tady v Antiviru zaznívá pravidelně: s dětmi se bavte o tom, co dělají online, a dejte jim najevo, že jim vždycky pomůžete, a to i v případech, kdy budou mít děti pocit, že si za problémy mohou sami.

„Aby se vám nebály svěřit, když se jim stane něco, s čím si nebudou umět samy poradit. A nezapomeňte, že vaše dítě nemusí být jen oběť, ale může být i svědkem takové kyberšikany, nebo pachatel. Obrátit se můžete třeba na Linku bezpečí,“ uzavírá Magdoňová.

[Cykle02]

Sexuální predátor má zakázáno používat AI. Prostřednictvím umělé inteligence vytvářel nevhodný obsah s dětmi (REFRESHER.cz, Anna-Marie Hanzlíková)

Některé nástroje umělé inteligence umí vytvořit nevhodné obrázky dětí. Brit, který podobným způsobem zneužil AI pro vygenerování sexuálních fotografií, byl odsouzen.

The Guardian, který na případ upozornil, rozsudek označuje za přelomový. Osmačtyřicetiletému Anthonymu Doverovi totiž zakázal k AI přístup. Přesněji nemůže používat nástroje umělé inteligence bez povolení policie.

Muži tak zapověděl především nástroje, které přetváří text na obrázek. Ty mohou vytvořit problematický obsah, pokud do nich někdo zadá prompty jako „nudifying“ (obnažený) nebo „deepfake“.

Konkrétní software, který má vysloveně zakázaný, je pak Stable Diffusion, který údajně měl být zneužíván právě sexuálními predátory. Musí taky zaplatit pokutu 200 liber (necelých šest tisíc korun).

Rozsudek znamená přelom, britská vláda navíc minulý týden schválila zákon, který stanovuje, že je nelegální vytvářet sexuálně explicitní deepfaky bez souhlasu vyobrazené osoby starší 18 let. U osob mladších tohoto věku už to bylo nelegální od roku 1990, v zákonu je totiž formule omezující „pseudofotografie“. Díky tomuto zákonu už v Británii odsoudili několik lidí.

[Cykle02]

Pedofilové vytvářejí snímky nahých dětí pomocí umělé inteligence, a pak je tím vydírají, sděluje charitativní organizace (Britské listy)

Nadace Internet Watch Foundation našla na dark webu příručku, která zločince nabádá k používání softwarových nástrojů, které odstraňují oblečení 
Podle charitativní organizace zabývající se sexuálním zneužíváním dětí jsou pedofilové nabádáni, aby používali umělou inteligenci k vytváření nahých snímků dětí, aby z nich vymámili extrémnější materiál.

Nadace Internet Watch Foundation (IWF) uvedla, že příručka nalezená na dark webu obsahuje část, která zločince nabádá, aby používali "obnažovací" nástroje k odstranění oblečení ze snímků spodního prádla zaslaných dítětem. Zmanipulovaný obrázek by pak mohl být použit proti dítěti k jeho vydírání, aby poslalo více otevřeně sexuálního materiálu, uvedla IWF. "Jedná se o první důkaz, který jsme zaznamenali, že si pachatelé navzájem radí a povzbuzují se k používání technologie umělé inteligence k těmto účelům," uvedla IWF.

Charitativní organizace, která vyhledává a odstraňuje materiály týkající se sexuálního zneužívání dětí na internetu, loni varovala před nárůstem případů sextortion, sexuálního vydírání, kdy jsou oběti manipulovány, aby posílaly své otevřeně sexuální  snímky, a poté je jim vyhrožováno zveřejněním těchto snímků, pokud nepředají peníze. Upozornila také na první příklady použití umělé inteligence k vytváření "ohromně realistického " sexuálního materiálu.

Anonymní autor online příručky, která má téměř 200 stran, se chlubí tím, že "úspěšně vydíral" 13leté dívky, aby posílaly nahé snímky online. IWF uvedla, že dokument byl předán britské Národní kriminální agentuře.

Minulý měsíc deník Guardian odhalil, že labouristická strana zvažuje zákaz nástrojů, které uživatelům umožňují vytvářet snímky lidí bez oblečení.

IWF rovněž uvedla, že rok 2023 byl "nejextrémnějším rokem v historii". Ve výroční zprávě organizace se uvádí, že v loňském roce bylo nalezeno více než 275 000 webových stránek obsahujících sexuální zneužívání dětí, což je nejvyšší počet, který IWF zaznamenala, a rekordní množství materiálů "kategorie A", které mohou zahrnovat nejzávažnější snímky včetně znásilnění, sadismu a bestiality. Podle IWF obsahovalo obsah kategorie A více než 62 000 stránek, zatímco v předchozím roce to bylo 51 000 stránek.

IWF nalezla 2 401 snímků materiálů, které si děti ve věku od tří do šesti let pořídily samy, tedy materiálů, na nichž jsou oběti manipulovány nebo jim je vyhrožováno, aby nahrály své zneužití. Analytici uvedli, že zaznamenali sexuální zneužívání v domácím prostředí včetně ložnic a kuchyní.

Susie Hargreavesová, výkonná ředitelka IWF, uvedla, že oportunističtí zločinci, kteří se snaží manipulovat s dětmi, "nejsou vzdálenou hrozbou". Řekla:  "Pokud se děti mladší šesti let stávají terčem takových útoků, musíme s nimi vést rozhovory odpovídající jejich věku, abychom se ujistili, že vědí, jak rozpoznat nebezpečí."

Hargreavesová dodala, že britský zákon o bezpečnosti na internetu, který vstoupil v platnost v loňském roce a ukládá společnostem provozujícím sociální média povinnost pečovat o ochranu dětí, "musí fungovat".

Tom Tugendhat, britský ministr pro bezpečnost, uvedl, že rodiče by měli se svými dětmi o používání sociálních médií mluvit. "Platformy, které považujete za bezpečné, mohou představovat riziko," řekl a dodal, že technologické společnosti by měly zavést přísnější ochranná opatření, aby zabránily zneužití.

Podle výzkumu, který minulý týden zveřejnil regulační orgán pro komunikace Ofcom, vlastní mobilní telefon čtvrtina dětí ve věku tří až čtyř let a polovina dětí mladších 13 let je na sociálních sítích. Vláda se v nadcházejících týdnech chystá zahájit konzultace, které budou zahrnovat návrhy na zákaz prodeje chytrých telefonů osobám mladším 16 let a zvýšení minimálního věku pro vstup na stránky sociálních médií z 13 na 16 let.

Podrobnosti v angličtině ZDE

[Cykle02]

Lze efektivně dohlížet na generátory obrázků s umělou inteligencí, aby se zabránilo explicitně sexuálním deepfakes dětí? (Britské listy)

Vzhledem k tomu, že se zjistilo, že jedna z největších "tréninkových" datových sad obsahuje materiál se sexuálním zneužíváním dětí, lze zakázat vytváření takových snímků?

Zneuživatelé dětí vytvářejí "deepfakes" svých obětí generované umělou inteligencí, aby je vydírali a přiměli je natočit své vlastní sexuálně explicitní videa, čímž začíná cyklus sexuálního vydírání, který může trvat roky.

V celosvětovém měřítku panuje jen malá shoda na tom, jak by měla být tato technologie kontrolována. A co hůř, bez ohledu na to, jak důrazně vlády zakročí, k vytvoření dalších snímků bude vždy stačit stisknout tlačítko - explicitně sexuální zobrazování je zabudováno do základů generování snímků umělou inteligencí.

V prosinci učinili vědci ze Stanfordovy univerzity znepokojivý objev: mezi miliardami obrázků, které tvoří jednu z největších tréninkových sad pro generátory obrázků umělé inteligence, jsou stovky, možná tisíce materiálů sexuálního zneužívání dětí (CSAM).

Je možné, že jich je mnohem více. Laion (Large-scale AI Open Network), dotyčná datová sada, obsahuje asi 5 miliard obrázků. Výzkumníci tedy museli databázi  prohledat automaticky, porovnat pochybné snímky se záznamy vedenými orgány činnými v trestním řízení a naučit systém hledat podobné fotografie předtím, než je předají přímo úřadům k přezkoumání.

V reakci na to tvůrci Laionu stáhli tento soubor dat. Poznamenali, že dotyčné snímky nikdy nešířili, protože soubor dat byl technicky vzato jen dlouhým seznamem adres URL snímků umístěných jinde na internetu.

Škody však již byly napáchány. Systémy vycvičené na Laion-5B, konkrétní datové sadě, o kterou se jedná, se běžně používají po celém světě a nelegální výcviková data se nesmazatelně zapsala do jejich neuronových sítí. Generátory obrázků umělé inteligence jsou nyní schopny vytvářet explicitně sexuální materiál dospělých i dětí, protože ho viděly.

Laion pravděpodobně nebude sám. Soubor dat byl vytvořen jako "open source" produkt, sestavený dobrovolníky a uvolněný na internet jako celek, aby posílil nezávislý výzkum AI. To zase znamená, že byl široce používán k trénování open source modelů, včetně Stable Diffusion, generátoru obrázků, který jako jedna z přelomových verzí roku 2022 pomohl nastartovat revoluci v umělé inteligenci. Znamenalo to ale také, že celá datová sada byla k dispozici otevřeně, aby ji mohl kdokoli prozkoumat.

Obrovské obtíže při zaručení zcela čistého souboru dat jsou jedním z důvodů, proč organizace jako OpenAI taková omezení vůbec prosazují. Na rozdíl od modelu Stable Diffusion není možné stáhnout Dall-E 3 a spustit jej na vlastním hardwaru. Místo toho musí být každý požadavek odeslán přes vlastní systémy společnosti.

To znamená, že OpenAI a konkurenti, jako je Google s podobným přístupem, mají k dispozici další nástroje, aby jejich generátory byly přehledné: omezují, které požadavky mohou být odeslány, a filtrují vygenerované obrázky před jejich odesláním koncovému uživateli. Podle odborníků na bezpečnost umělé inteligence je to méně problematický způsob přístupu k problému než spoléhat se pouze na systém, který byl vyškolen, aby takové obrázky nikdy nevytvářel.

U "základních modelů", nejvýkonnějších a nejméně omezených produktů revoluce v oblasti umělé inteligence, není ani jasné, zda je zcela čistá sada tréninkových dat užitečná. Model umělé inteligence, kterému nikdy nebyly ukázány explicitně sexuální snímky, nemusí být například schopen je rozpoznat v reálném světě nebo se řídit pokyny, jak je nahlásit úřadům.

"Musíme zachovat prostor pro vývoj AI s otevřeným zdrojovým kódem," řekla Kirsty Innesová, ředitelka technologické politiky ve společnosti Labour Together. "Právě tam by se mohly nacházet nejlepší nástroje pro nápravu budoucích škod."

V krátkodobém horizontu se navrhované zákazy zaměřují převážně na účelové nástroje. V politickém dokumentu, jehož spoluautorkou je Innesová, se navrhuje zakročit pouze proti tvůrcům a hostitelům jednoúčelových "nudifikačních" nástrojů. V dlouhodobějším horizontu však bude boj proti explicitním snímkům umělé inteligence čelit podobným otázkám jako jiné potíže v této oblasti: jak omezit systém, kterému plně nerozumíte?

Zdroj v angličtině ZDE

[Cykle02]

Stability AI se připojuje k Thorn a All Tech Is Human a přijímá závazky týkající se bezpečnosti dětí pro generativní AI (Stability AI, DeepL)

Stability AI se spolu s předními společnostmi v oboru, jako jsou Amazon, Anthropic, Civitai, Google, Meta, Metaphysic, Microsoft, Mistral AI a OpenAI, zavázala k zavedení důkladných opatření pro bezpečnost dětí při vývoji, nasazení a údržbě našich technologií generativní umělé inteligence. Cílem této iniciativy, kterou vedou Thorn, nezisková organizace zabývající se ochranou dětí před sexuálním zneužíváním, a All Tech Is Human, organizace zaměřená na kolektivní řešení složitých problémů technologií a společnosti, je zmírnit rizika, která může generativní AI představovat pro děti.

Přijetím komplexních zásad Safety by Design spolu s našimi kolegy stanovujeme nové standardy pro etický vývoj AI a zajišťujeme, aby bezpečnost dětí byla v každé fázi upřednostňována. V rámci pracovní skupiny jsme se dohodli, že počínaje rokem 2025 budeme každoročně zveřejňovat aktualizace o pokroku.

Tento závazek znamená významný krok vpřed v prevenci zneužívání technologií umělé inteligence k vytváření nebo šíření materiálů sexuálního zneužívání dětí (AIG-CSAM) a dalších forem sexuálního poškozování dětí.

Tato kolektivní akce podtrhuje přístup technologického průmyslu k bezpečnosti dětí a demonstruje společný závazek k etickým inovacím a blahu nejzranitelnějších členů společnosti.

Další informace o zásadách bezpečnosti podle návrhu v generativní umělé inteligenci najdete na webu Stable Safety zde nebo na webu společnosti Thorn zde.

Chcete-li být informováni o našem pokroku, sledujte nás na Twitteru, Instagramu, LinkedIn a připojte se k naší Discord komunitě.

[Cykle02]

Deset tisíc snímků nahých dětí. FBI dopadla muže, který je vytvořil s pomocí AI (Echo24.cz)

FBI obvinila muže z USA z vytvoření více než 10 000 sexuálně explicitních a snímků zobrazujících zneužívání dětí, které údajně vytvořil pomocí populárního nástroje umělé inteligence. Úřady muže, 42letého Stevena Anderegga, obvinily také z toho, že prostřednictvím služby Instagram zaslal pornografické snímky vytvořené umělou inteligencí 15letému chlapci. Informoval o tom server The Guardian.

Anderegg vytvořil asi 13 000 "hyperrealistických snímků nahých a polonahých prepubertálních dětí", uvedli prokurátoři v obžalobě zveřejněné v pondělí, přičemž snímky často zobrazovaly děti, které se dotýkají svých genitálií nebo jsou sexuálně zneužívány dospělými muži. Důkazy z notebooku muže z Wisconsinu údajně ukázaly, že používal populární model Stable Diffusion AI, který mění textové popisy na obrázky.

Obvinění přišlo poté, co Národní centrum pro pohřešované a zneužívané děti (NCMEC) obdrželo v loňském roce dvě hlášení, která označila Andereggův účet na Instagramu, což přimělo orgány činné v trestním řízení sledovat jeho aktivitu na sociální síti, získat informace od Instagramu a nakonec získat příkaz k prohlídce. Podle obžaloby proti němu úřady zabavily jeho notebook a našly tisíce generativních obrázků s umělou inteligencí a také historii používání "extrémně specifických a explicitních podnětů" k vytváření zneužívajícího materiálu.

Anderegg čelí čtyřem obviněním z vytváření, distribuce a držení materiálů se sexuálním zneužíváním dětí a zasílání explicitních materiálů dítěti mladšímu 16 let. Pokud bude odsouzen, hrozí mu maximální trest kolem 70 let vězení. Web 404 Media uvádí, že se jedná o jeden z prvních případů, kdy FBI obvinila někoho z vytváření materiálů o sexuálním zneužívání dětí. Minulý měsíc byl na Floridě zatčen muž, který údajně vyfotil dítě své sousedky a pomocí umělé inteligence vytvořil sexuálně explicitní obrazový materiál s touto fotografií.

Obhájci bezpečnosti dětí a výzkumníci v oblasti umělé inteligence již dlouho varují, že zlomyslné používání generativní umělé inteligence by mohlo vést k prudkému nárůstu materiálů se sexuálním zneužíváním dětí. Počet hlášení o zneužívání dětí online do NCMEC vzrostl v roce 2023 oproti předchozímu roku přibližně o 12 %, částečně kvůli prudkému nárůstu materiálu vytvořeného umělou inteligencí, což hrozí zahlcením informační linky organizace pro označování potenciálního materiálu o sexuálním zneužívání dětí (CSAM).

Rozmach generativní umělé inteligence vedl k rozsáhlému vytváření nekonsensuální deepfake pornografie, která se zaměřuje na kohokoli, od celebrit až po průměrné soukromé osoby. Snímky a deepfakes nezletilých osob generované umělou inteligencí se rozšířily také mezi školami, což v jednom případě vedlo k zatčení dvou chlapců ze střední školy na Floridě, kteří vytvořili snímky nahých spolužáků. Několik států přijalo zákony proti nekonsensuálnímu generování explicitních snímků, zatímco ministerstvo spravedlnosti uvedlo, že generování sexuálních snímků dětí umělou inteligencí je nezákonné.

"našly tisíce generativních obrázků s umělou inteligencí" Našli našly tisíce obrázků vytvořených pomocí generativní umělé inteligence.

[Cykle02]

Výskyt nedobrovoľnej deepfake pornografie rapídne narastá. Jej tvorba je rýchla a takmer bezplatná (podcast) (Aktuality.sk)

AI dnes môže byť zneužitá na rôzne nekalé praktiky, ako sú krádeže identity za účelom tvorby reklám na pochybné produkty, alebo vytváranie nekonsenzuálnej deepfake pornografie. Až jeden z troch dostupných nástrojov AI umožňuje tvorbu nedobrovoľnej pornografie. Vytvoriť bezplatne krátke 60-sekundové video zaberie menej ako 25 minút. Stačí použiť jedinú kvalitnú fotografiu tváre.

Kto je najviac vystavený tvorbe nedobrovoľných deepfake obrázkov či videí? Prečo sme v posledných rokoch zaznamenali rapídny nárast takéhoto obsahu? Ktoré slávne osobnosti sa stali obeťou? Ako môžu obete reagovať na zdieľanie takéhoto obsahu napríklad na sociálnych sieťach? Aké nástroje na odhaľovanie deepfake detskej pornografie existujú?

Snažia sa sociálne platformy voči takémuto obsahu zakročiť? Aké pravidlá prijali alebo môžu prijať? Čím môže byť britský Online Safety Act prelomový v riešení daného problému a aká diskusia predchádzala jeho úprave? Ako sa na deepfake obsah pozerá nová európska legislatíva Akt o umelej inteligencii?

Aj o tom v novej epizóde podcastu Disinfo Report organizácie Infosecurity.sk hovorí Tonka Zsigmondová so šéfredaktorkou Infosecurity.sk Michaelou Dubóczi.

[Jednorozec]

Nerozumím tomu proč se někdo bojí AI kvůli generování DP. Vždyť je to obdoba animovaného videa a není při tom zneužito žádné dítě. Přijde mi že si lidé pletou deep fake, kde se naroubuje existující člověk na jakoukoli scénu, s uměle generovanými obrázky či videem kde počítač vytvoří neexistující podobu. Naopak si myslím že by to mohlo pomoci potlačit nelegální černý trh se skutečnou pornografií kde někdo někoho zneužil.. A mimochodem zas tak jednoduché něco vygenerovat není a dostupné aplikace a modely jsou buď velmi hlídané nebo nejsou naučené na cokoli nevhodného. Určitě není těžké namodelovat nahou holčičku to ale nejde považovat za pornografii. jakékoli sexuální polohy naopak lehké vytvořit není a online aplikacích už vůbec ne. Lidé se prostě jako vždy bojí něčeho čemu nerozumí a neznají...

[Cykle02]

Zneužívanie umelej inteligencie pri vytváraní nekonsenzuálneho sexuálneho obsahu (Security Outlines)

Zneužívanie umelej inteligencie pri vytváraní nekonsenzuálneho sexuálneho obsahu (Security Outlines, Michaela Doležalová, Dávid Dinič)

Umelá inteligencia (AI) prináša nespochybniteľné výhody, no má aj odvrátenú tvár. Vážne obavy vyvoláva najmä tvorba nelegálneho sexuálne explicitného obsahu, ktorý najčastejšie zobrazuje ženy a deti. Nové štúdie a prípady ukazujú, že jednoduchosť používania a dostupnosť AI nástrojov uľahčujú jeho šírenie a tvorbu. Napriek zásadným dopadom na jednotlivcov a spoločnosť sa však táto problematika výrazne podceňuje.

Umelá inteligencia je dlhodobo skúmanou oblasťou, ale do centra pozornosti sa dostala keď bol na trh uvedený ChatGPT, jazykový model na generovanie textu. AI zahŕňa množstvo odvetví, modelov a spôsobov využitia. Vo všeobecnosti má potenciál na riešenie komplexných problémov v spoločnosti. Tento potenciál vyplýva z jej schopnosti umožňovať počítačovým systémom „učiť sa“ z obrovského množstva údajov a postupne zlepšovať výkonnosť v konkrétnej úlohe. Významným príkladom je vy užitie AI pri detekcii rakoviny, kde presnosť AI systémov prekonáva ľudských odborníkov. [1]

Napriek množstvu spoločenských prínosov môže byť umelá inteligencia aj zneužívaná. Dá sa povedať, že je vo veľkom zneužívaná už od bodu, keď sa softvérové nástroje využívajúce umelú inteligenciu stali dostupné širokej verejnosti. Toto je však iba pokračovanie trendu zneužívania kyberpriestoru, ktorý prišiel ešte v dobe expanzie internetu. [1] Umelá inteligencia sa využíva v širokom spektre (kyber)kriminality a to od tvorby phishingových kampaní, šírenia dezinformácií, jednoduchšieho vývoja malvéru až po vytváranie nekonsenzuálnych sexuálne explicitných obrázkov (SEI) a videí týkajúcich sa sexuálneho zneužívania detí (AI CSAM). [3]

V súčasnosti je tvorba SEI a AI CSAM jednoduchá a široko dostupná. AI nástroje umožňujú rýchlu produkciu tohto obsahu, čo výrazne prispieva k jeho rozšíreniu. Hlavnými obeťami týchto praktík sú až v 80 % prípadoch ženy a dievčatá. [4] [5]  Na dark-webových fórach existujú špecializované platformy, kde môžu užívatelia po poskytnutí dostatočného množstva fotografií alebo videí požiadať o vytvorenie sexuálne explicitných materiálov akejkoľvek osoby. [6] [7]

Pandémia COVID-19 ešte viac zvýšila dopyt po týchto materiáloch. Počas obdobia lockdownov došlo k dramatickému nárastu zdieľania detského sexuálne explicitného materiálu (CSAM), konkrétne o 106 %. [8] Len v období jedného mesiaca výskumníci objavili na dark-webových fórach cez 11-tisíc sexuálne explicitných obrázkov vygenerovaných pomocou AI, ktoré zobrazovali najmä 7 až 13-ročné deti. [9] Tento trend naďalej pokračuje a dopyt po takýchto materiáloch rastie. [10]

AI pornografia – tvorba obsahu

Tvorba sexuálne explicitných materiálov prostredníctvom generátorov AI je možná vďaka niekoľkým faktorom. Jedným z kľúčových aspektov je jednoduchosť, s akou môžu byť AI modely využívané. Užívatelia majú k dispozícii modely, ktoré môžu sami trénovať a následne používať.

Ďalším faktorom je obsah, na ktorom sa modely učia. Počas tréningovej fázy sú AI modely vystavené rozsiahlym dátovým sadám, ktoré zahŕňajú pornografický materiál, vrátane nelegálneho obsahu zobrazujúceho sexuálne zneužívanie dospelých a detí. Na základe týchto tréningových dát sú AI modely schopné generovať nový vizuálny obsah podobnej povahy. Navyše, tieto modely buď nemajú implementované kontrolné mechanizmy brániace produkcii nevhodného materiálu, alebo ich možno použitím staršej verzie modelu obísť. Tvorcovia tak môžu zneužívať nedostatočné bezpečnostné opatrenia modelov na tvorbu škodlivého sexuálne explicitného obsahu. [9]

Podobným spôsobom umožňujú niektoré AI systémy tvorbu tzv. „vyzliekacieho“ obsahu. Používateľovi stačí nahrať fotografiu oblečenej osoby a systém následne vygeneruje jej vyzlečenú podobizeň. [9]

Deepfake videá predstavujú ďalšiu a zároveň najvážnejšiu formu obsahu generovaného umelou inteligenciou. Táto technológia zneužíva AI na manipuláciu alebo vytváranie vizuálneho a zvukového obsahu. Jednou z najrozšírenejších foriem deepfake videí je syntetický pornografický materiál, kde sú zobrazované osoby pri sexuálnych aktivitách, na ktorých sa v skutočnosti nezúčastnili. Výsledná snímka vzniká „nalepením“ tváre osoby na telo inej osoby. [11]

Dôsledky pre jednotlivcov

Umelá inteligencia využívaná na tvorbu ilegálneho pornografického obsahu vrátane CSAM má závažné dôsledky pre jednotlivcov, ktorí sú v tomto type materiálu vyobrazení. Vytváranie realistického a často zavádzajúceho obsahu bez vedomia a súhlasu zobrazených osôb vedie k porušovaniu ich súkromia, dôstojnosti a bezpečnosti. Jedným z príkladov sú „vyzliekacie“ aplikácie, ktoré zneužívajú identitu jednotlivcov, primárne žien, na produkciu nedovoleného sexuálne explicitného obsahu. Takéto konanie predstavuje formu viktimizácie, čiže poškodzovania a spôsobovania ujmy obetiam, a môže mať dlhodobé negatívne dôsledky na psychické zdravie a život obetí. [9]

Ešte závažnejšie dôsledky majú deepfake videá, ktoré dokážu manipulovať audiovizuálny obsah tak, aby napodobňoval realitu. Štúdie, ktoré skúmali vplyv virtuálnej reality na jednotlivca, ukazujú, že v porovnaní so sledovaním inej osoby sledovanie samého seba vedie k vytváraniu falošných spomienok, v ktorých účastníci výskumu veria, že deepfake aktivitu skutočne vykonali. Syntetické videá tak majú potenciál výrazne narušiť medziľudské vzťahy a vnímanie reality. Deepfake pornografické materiály tiež formujú negatívne postoje voči obetiam a poškodzujú ich povesť, čo môže byť zneužité napríklad aj v politickom kontexte pred voľbami. Nedávna štúdia ukázala, že deepfake zobrazujúci politika výrazne zhoršil postoje účastníkov výskumu k danému politikovi. [11]

Ako príklad možno uviesť prípad severoírskej političky Cary Hunter, ktorá sa stala terčom deepfake pornografického videa krátko pred miestnymi voľbami. Ako sama tvrdí, ľuďom stačí len čiastková informácia na to, aby si utvrdili už existujúce negatívne predsudky voči danej osobe. Konkrétne deepfake video teda napáchalo škody nielen na jej psychickom zdraví, ale aj na jej kariére. Vyvrátenie tohto typu obsahu je zložité, pretože nepravdivé informácie sa šíria rýchlejšie ako pravdivé a tiež majú potenciál dostať sa početnému publiku. Zavádzajúci obsah je pútavejší, takže je pravdepodobnejšie, že sa bude opakovane zdieľať a rýchlo šíriť. Vyvrátenie zmanipulovaného obsahu si vyžaduje značné úsilie a dobre naplánovanú komunikačnú stratégiu. [6]

Dôsledky pre spoločnosť

Mimo markantných dopadov na jednotlivcov je nekonsenzuálny sexuálny obsah generovaný AI problémom aj pre spoločnosť. AI v tomto ohľade situáciu ešte zhoršuje vďaka možnosti personalizácie obsahu a rapídnemu zrýchľovaniu produkcie nového explicitného materiálu.

Výrazným problémom pornografie je sexuálna objektivizácia žien. Inými slovami, ženské telá sú vnímané najmä ako objekty určené na sexuálne uspokojenie. Umelá inteligencia ešte viac stupňuje tento problém tým, že umožňuje používateľom tvoriť akýkoľvek obsah podľa vlastného  želania. A želaní existuje mnoho, o čom svedčí aj znenie jedného z „pravidiel internetu“: ak existuje nejaký obsah, existuje aj jeho pornografická verzia. [12]

Ženy nie sú jediné, ktoré sa stávajú obeťami objektivizácie. Táto problematika sa dotýka aj detí, najmä dievčat. Objektivizácia detí v AI materiáloch je zložitý problém, ktorý sa spája s negatívnymi dôsledkami ako  sebaponižovanie, nespokojnosť s vlastným telom, nižšie sebavedomie, úzkosť, poruchy príjmu potravy, depresie či podporovanie sexuálneho správania v ranom veku. [13] Sexuálne explicitné zobrazovanie detí a žien prostredníctvom umelej inteligencie môže mať výrazné negatívne dopady a prispievať k normalizácii a znecitlivovaniu voči AI CSAM, CSAM a SEI. Toto znecitlivenie môže byť obzvlášť znepokojujúce v kontexte materiálu zobrazujúceho sexuálne zneužívanie detí. Opakované vystavenie sa materiálu daného typu môže viesť k návykom ho konzumovať a bagatelizovať sexuálne zneužívanie detí všeobecne. [14] [15] Okrem iného, normalizácia AI CSAM tiež skracuje detstvo, a to tak, že sexualizácia tínedžerov je vnímaná podobne ako sexualizácia dospelých, nie ako sexualizácia detí. [13] Tieto fenomény môžu zároveň viesť k zvýšenému riziku pedofílie v reálnom živote. [16]

Ďalším z dlhodobo študovaných efektov pornografie na spoločnosť a manželstvá je zvýšená rizikovosť rozvodov. Toto zvýšené riziko je spôsobené citovým odlúčením a zníženou intimitou medzi partnermi. V manželstvách, v ktorých jeden z partnerov konzumuje pornografický obsah, sa riziko rozvodovosti zvyšuje až dvojnásobne. [17] Rovnako osoby, ktoré uviedli, že v poslednom roku sledovali pornografický materiál, mali o 101 % vyššiu pravdepodobnosť mimomanželského pomeru. O 12 % nižšia bola aj pravdepodobnosť, že majú šťastné manželstvo. [18]  Ak zoberieme do úvahy čoraz nižšiu natalitu v ekonomicky produktívnych krajinách a fakt, že v manželstvách sa rodí viac detí ako mimo nich, [19] máme pred sebou celkom výrazný problém. Sexuálne explicitný obsah vytvorený umelou inteligenciou má tendenciu trend nižšej natality iba podporovať.

S už viditeľným trendom v oblasti rozvoja umelej inteligencie, ktorý zahŕňa mimo iného neustále zdokonaľovanie schopností vytvárania, upravovania a personalizácie video materiálov, možno očakávať, že AI bude napĺňať intímne túžby ľudí čoraz lepšie. To by znamenalo konzumáciu väčšieho množstva pornografického obsahu, čo môže zintenzívniť závislosť na sledovaní pornografie. Tá je spojená so zníženou sociálnou integráciou, delikventným správaním, depresívnymi symptómami alebo sexuálnou disfunkciou. [20] [21] S rozvojom virtuálnej reality (VR) sa tieto zážitky ešte viac prehlbujú, čo povedie k ďalšiemu šíreniu závislosti na pornografickom obsahu. Hoci v súčasnosti používanie VR nie je veľmi rozšírené, údaje z Pornhubu naznačujú, že u konzumentov pornografie z generácie Z nastáva o viac ako 100 % väčšia pravdepodobnosť, že si pozrú  VR pornografiu, v porovnaní s ostatnými vekovými skupinami. [22] To naznačuje, že používateľská základňa pre VR už existuje, aj keď staršie skupiny možno túto technológiu nevyužívajú. [23]

Ďalším trendom, ktorý súvisí s poklesom počtu sobášov a pôrodnosti, je nárast počtu ľudí žijúcich osamelo, trpiacich pocitom izolácie a fenoménom „singles“. Fenomén singles označuje osoby, ktoré sú sociálne aktívne a žiadané, no napriek tomu si z rôznych dôvodov nemôžu nájsť stabilný partnerský vzťah alebo oň v danom období života ani nemajú záujem. [24] Napríklad v Japonsku približne 45 % žien a 25 % mužov vo veku 16 až 24 rokov uviedlo, že nemajú záujem o sexuálny kontakt. [25]

V súčasnosti existujú technologické spoločnosti, ktoré vytvárajú aplikácie na tvorbu „ideálnych“ digitálnych partnerov, čím chcú bojovať proti pocitu samoty, no na druhú stranu zhoršujú trend nízkej natality. V Japonsku už teraz časť mladých mužov preferuje vzťahy s digitálnymi priateľkami. [25]  Nie je to iba Japonsko, ktorého populácia trpí izoláciou a samotou. Od roku 2000 sa štatistiky pocitu osamelosti a izolácie iba zhoršujú, pričom v posledných rokoch to výrazne ovplyvnila aj pandémia COVID-19. Fenomén osamelosti a izolácie sa dá ilustrovať aj na tom, že od roku 2008 sa počet mužov v USA pod 30 rokov, ktorí od svojich 18 rokov nemali pohlavný styk, viac ako strojnásobil. [23] [26]

Legislatívne výzvy využívania umelej inteligencie pri tvorbe sexuálne explicitného obsahu

Využívanie umelej inteligencie na tvorbu sexuálne explicitného obsahu predstavuje významnú výzvu aj vzhľadom na nedostatok primeraných legislatívnych opatrení. Neexistujú medzinárodné dohovory alebo všeobecné právne zásady, ktoré by boli špeciálne navrhnuté na ochranu obetí sexuálneho násilia páchaného prostredníctvom AI. Rôzne organizácie vrátane UNESCO, UNFPA a UN Women vyzývajú na spoločné úsilie vlád a technologického priemyslu s cieľom riešiť genderové násilie zosilnené technológiami. [27]

Existujúce právne predpisy nedokážu držať krok s rýchlo sa vyvíjajúcou technológiou. Regulácia tvorby, distribúcie a spotreby sexuálne explicitných materiálov si vyžadujú vytvorenie komplexných právnych rámcov. [28] Kontrola AI CSAM a SEI je náročná vzhľadom na skutočnosť, že kybernetický priestor nemá stanovené hranice a jeho legálnosť sa v jednotlivých štátoch líši. Anonymita internetu navyše komplikuje stíhanie páchateľov a tvorcov obsahu.

Právne prostredie čiastočne reaguje na súčasné výzvy. Najmä vysoko medializované incidenty podnecujú debatu o potrebe novej legislatívy a odstránení softvérových chýb, ktoré umožňujú tvorbu AI CSAM a SEI. Napríklad začiatkom roka si na sociálnej sieti X pozrelo až 47 miliónov ľudí nahé fotky speváčky Taylor Swift vytvorené pomocou AI, čo motivovalo spoločnosť Microsoft k vyriešeniu zraniteľnosti vo svojom AI grafickom generátore. Incident zároveň odsúdil aj Biely dom, hoci možným úmyslom bolo získať si širokú základňu fanúšikov Taylor Swift ako potenciálnych voličov. [28] V reakcii na incident navrhla skupina amerických senátorov zákon DEFIANCE, ktorý má tvorcov a distribútorov nekonsenzuálneho sexuálne explicitného obsahu stíhať prostredníctvom občianskoprávnych žalôb. [29]

Vymáhanie takýchto právnych predpisov v anonymnej sfére internetu je však spojené so značnými výzvami. Dané zákony by ale mohli slúžiť ako prostriedok odstrašenia a potenciálne znížiť tvorbu podobných materiálov.

Napriek nedostatočnej legislatíve sa v poslednom čase vyskytli pozitívne príklady z USA a Južnej Kórey, keď boli zatknuté  osoby podieľajúce sa na výrobe AI CSAM a SEI. [30] [31] Z takých prípadov vyplýva, že boj proti výrobe a distribúcii škodlivého materiálu je možný a môže byť účinný aj v prípade neexistencie dostatočného právneho rámca. Pre účinný postih tvorcov a šíriteľov spomínaného obsahu je nutné hľadať efektívne riešenia. To si vyžaduje komplexný prístup, ktorý zahŕňa nielen právne opatrenia, ale aj vzdelávanie a zvyšovanie povedomia o danej problematike.

Editor článku: Michaela Doležalová, Dávid Dinič

Zdroje

[1] Trend Micro Research, United Nations Interregional Crime and Justice Research Institute (UNICRI), Europol’s European Cybercrime Centre (EC3). (November 19, 2020). Malicious Uses and Abuses of Artificial Intelligence. Europol.Retrieved from https://www.europol.europa.eu/cms/sites/default/files/documents/malicious_uses_and_abuses_of_artificial_intelligence_europol.pdf

[2] Michèle A. Flournoy. (October 24, 2023 ). AI Is Already at War. Foreign Affairs. Retrieved from https://www.foreignaffairs.com/united-states/ai-already-war-flournoy

[3] Sayash Kapoor, Rishi Bommasani, Daniel E. Ho, Percy Liang, and Arvind Narayanan, et. al. (February 27, 2024). On the Societal Impact of Open Foundation Models. Retrieved from: https://crfm.stanford.edu/open-fms/

[4] Ajder, H., Patrini G., Cavalli, F. and Cullen, L. (September, 2019). The State of Deepfakes: Landscape, Threats, and Impact. Deeptrace. Retrieved from: https://regmedia.co.uk/2019/10/08/deepfake_report.pdf

[5] Kupriianova L., Kupriianova, D.(October 6, 2023 ). THE AI IN THE PORN INDUSTRY OF SOCIAL MEDIA: HUMAN REPLACEMENT OR PRECURSOR FOR GROWING THE SEXUAL VIOLENCE AND HUMAN TRAFFICKING INDICATORS?. Collection of scientific papers «SCIENTIA». Retrieved from: https://previous.scientia.report/index.php/archive/article/view/1236

[6] DW Documentary. (March 5, 2024). The dangers of AI in the porn industry | DW Documentary.  [Video]. Youtube. Retrieved from: https://www.youtube.com/watch?v=E0o0X3-3l0s

[7] Chiang, E. (March 2, 2020). Dark web: study reveals how new offenders get involved in online paedophile communities. The Conversation. Retrieved from: Dark web: Study reveals how new offenders get involved in online paedophile communities (theconversation.com)

[8] Europol. (June 19, 2020) Exploiting isolation: offenders and victims of online child sexual abuse during the Covid-19 pandemic. European Union Agency for Law Enforcement Cooperation. Retrieved from:
https://www.europol.europa.eu/publications-documents/exploiting-isolation-offenders-and-victims-of-online-child-sexual-abuse-during-covid-19-pandemic

[9] Internet Watch Foundation. (October 2023). How AI is being abused to create child sexual abuse imagery. IWF.Retrieved from https://www.iwf.org.uk/about-us/why-we-exist/our-research/how-ai-is-being-abused-to-create-child-sexual-abuse-imagery/

[10] Pfefferkorn, R. (February, 2024). Addressing Computer-Generated Child Sex Abuse Imagery: Legal Framework And Policy Implications. The Digital Social Contract: A Lawfare Paper Series. Retrieved from: https://s3.documentcloud.org/documents/24403088/adressing-cg-csam-pfefferkorn-1.pdf

[11] Hancock, J. Bailenson, J. (March 17, 2021). The Social Impact of Deepfakes. Cyberpsychology, Behavior, and Social Networking , 24(3) 149 – 152. Retrieved from_ https://www.liebertpub.com/doi/full/10.1089/cyber.2021.29208.jth

[12] James. (n.d.). Rule 34. Know your meme. Retrieved from: https://knowyourmeme.com/memes/rule-34

[13] Eelmaa, S. (June 10, 2022). SEXUALIZATION OF CHILDREN IN DEEPFAKES AND HENTAI. Trames : A Journal of the Humanities and Social Sciences, 26(2), 229-248. Retrieved from: doi: https://doi.org/10.3176/tr.2022.2.07

[14] Paul, Bryant and Daniel G. Linz (February 1, 2008). The effects of exposure to virtual child pornography on viewer cognitions and attitudes toward deviant sexual behaviour. Communication Research 35, 1, 3–38. Retrieved from: DOI: https://doi.org/10.1177/0093650207309359

[15] Al-Alosi, Hadeel (2018) The criminalisation of fantasy material: law and sexually explicit representations of fictional children. London and New York: Routledge. Retrieved from: DOI: https://doi.org/10.4324/9780203701829

[16] Quayle, E., & Taylor, M. (2002). child pornography and the internet: perpetuating a cycle of abuse. Deviant Behavior, 23(4), 331–361. Retrieved from: https://doi.org/10.1080/01639620290086413

[17] Perry, S. L., & Schleifer, C. (May 12, 2017). Till Porn Do Us Part? A Longitudinal Examination of Pornography Use and Divorce. The Journal of Sex Research, 55(3), 284–296. Retrieved from: https://doi.org/10.1080/00224499.2017.1317709

[18] Doran, K., Price, J. (February 28, 2014). Pornography and Marriage. Journal of Family and Economic Issues , 35, 489–498. Retrieved from: https://doi.org/10.1007/s10834-014-9391-6

[19] Stone, L., Spencer J. (October, 2022). Marriage Still Matters: Demonstrating the Link Between Marriage and Fertility in the 21st Century. Institute for family studies. Retrived from: https://ifstudies.org/ifs-admin/resources/reports/marriagestillmatters-final.pdf

[20] Pearson, D. (September 17, 2021). AI hurts population health status when it’s used to longitudinally hook people on porn. HealthExec. Retrieved from: https://healthexec.com/topics/artificial-intelligence/ai-hurts-population-health-status-when-its-used-longitudinally-hook

[21] George M., Maheshwari S., Chandran S., Rao T.,S.,S. (March 22, 2019). Psychosocial Aspects of Pornography. Journal of Psychosexual Health.1(1):44-47. Retrieved from: https://journals.sagepub.com/doi/10.1177/2631831818821535

[22] Pornhub. (2022). The 2022 Year in Review. Pornhub. Retrieved from: https://www.pornhub.com/insights/2022-year-in-review

[23] Faggella, D. (April 18, 2023). Artificial Intimacy: How AI-Generated Pornography is Changing Society. Emerj.Retrieved from: https://emerj.com/ai-power/artificial-intimacy-how-ai-generated-pornography-is-changing-society/

[24] Chorošeninová, E. (2011). Fenomén singles v ČR (přehledová studie). Bakalárska práca. Masarykova univerzita. Retrieved from: https://is.muni.cz/th/on1w1/1.pdf[25] Kislev, E. (January 16, 2022). What Japan Can Teach Us About the Future of Relationships. Psychology Today. Retrieved from: https://www.psychologytoday.com/us/blog/happy-singlehood/202201/what-japan-can-teach-us-about-the-future-relationships

[26] Ingraham, Ch. (March 29, 2019). The share of Americans not having sex has reached a record high. The Washington Post. Retrieved from: https://www.washingtonpost.com/business/2019/03/29/share-americans-not-having-sex-has-reached-record-high/

[27] Equality Now. (January 17, 2024). Briefing Paper: Deepfake Image-Based Sexual Abuse, Tech Facilitated Sexual Exploitation and the Law. Equality Now. Retrieved from: https://equalitynow.org/resource/briefing-paper-deepfake-image-based-sexual-abuse-tech-facilitated-sexual-exploitation-and-the-law/

[28] Radauskas, G. (February 1, 2024). Taylor Swift debacle spurs tech world and US lawmakers into action. Cyber News. Retrieved from: https://cybernews.com/news/taylor-swift-deepfake-microsoft-regulation/

[29] U.S. Senate Committee on the Judiciary. (January 30, 2024). Durbin, Graham, Klobuchar, Hawley Introduce DEFIANCE Act to Hold Accountable Those Responsible for the Proliferation of Nonconsensual, Sexually-Explicit “Deepfake” Images and Videos. U.S. Senate Committee on the Judiciary. Retrieved from: https://www.judiciary.senate.gov/press/releases/durbin-graham-klobuchar-hawley-introduce-defiance-act-to-hold-accountable-those-responsible-for-the-proliferation-of-nonconsensual-sexually-explicit-deepfake-images-and-videos

[30] Rennolds, N. (September 30, 2023). A man was jailed for using AI to create hundreds of sexual images of children. Buisiness Insider. Retrieved from: https://www.businessinsider.com/man-jailed-using-ai-create-sexual-images-children-south-korea-2023-9?ref=biztoc.com&r=US&IR=T

[31] Cole, S. (May 20, 2024). FBI Arrests Man For Generating AI Child Sexual Abuse Imagery. 404 Media. Retrieved from: https://www.404media.co/fbi-arrests-man-for-generating-ai-child-sexual-abuse-imagery/

[Kasz]

Tieto fenomény môžu zároveň viesť k zvýšenému riziku pedofílie v reálnom živote.

Zvýšené riziko pedofílie je přesně co?

[Jednorozec]

"Ďalším faktorom je obsah, na ktorom sa modely učia. Počas tréningovej fázy sú AI modely vystavené rozsiahlym dátovým sadám, ktoré zahŕňajú pornografický materiál, vrátane nelegálneho obsahu zobrazujúceho sexuálne zneužívanie dospelých a detí. Na základe týchto tréningových dát sú AI modely schopné generovať nový vizuálny obsah podobnej povahy. Navyše, tieto modely buď nemajú implementované kontrolné mechanizmy brániace produkcii nevhodného materiálu, alebo ich možno použitím staršej verzie modelu obísť. Tvorcovia tak môžu zneužívať nedostatočné bezpečnostné opatrenia modelov na tvorbu škodlivého sexuálne explicitného obsahu. "

Ten co ten článek psal evidentně sám nic takového nikdy nezkusil jen papouškuje co si někde přečetl a neověřil.

1. Modely které jsou k dispozici rozhodně nejsou školené na nelegálním obsahu! Ano některé zvládají zkombinovat i nahé dítě (což nepovažuji za porno), nebo nějakou sexuální pozici s aktéry s mladou tváří a částečně dětským vzhledem. Ale jednak to nezvládne každý model, podle mých odhadů tak jeden ze sta a druhak to má k jednoduchosti a k tomu co by mohlo nahradit reálné fotky natož hrané porno zatím dost daleko.
2. Vytvořit si vlastní model, například z vlastních materiálů je celkem náročné a to jak na čas tak na výpočetní výkon. (a tím pádem drahé)
3. Proč autor rovnou mluví o škodlivém explicitním obsahu, jak přišel na to že explicitní obsah = škodlivý obsah?
4. pokud si vzpomínám tak to byly sami "bojovníci proti pedofilům" co vysílali autentická animovaná videa na které lákaly "uchyly" na internetu

Jinak dle mých pokusů (samozřejmě jen zcela legálních, že) zatím alespoň pro obrázky/fotky v tomto ohledu "nejlépe" fungují modely s kresleným obsahem. Modely vytvořené například z porna mají u jakéhokoliv obsahu s mladě vypadajícími aktéry problém a většina modelů má problém i s nahotou chlapců (děvčata kupodivu zvládají snadněji). A to ani nemluvím o tom že samotná aplikace pro práci s těmi modely mívají vlastní filtry proti byť jen nahotě.

[Cykle02]

Pedofili si vytvárajú detskú pornografiu pomocou umelej inteligencie. EÚ to zatiaľ nevyriešila (Živé.sk, Lucia Kobzová)

Voľne dostupná databáza bežne využívaná na trénovanie veľkých jazykových modelov obsahuje detskú pornografiu. Deje sa tak bez vedomia obetí.

Šírenie detskej pornografie v online priestore je dlhodobým problémom, proti ktorému sa štáty snažia rôznymi spôsobmi bojovať. Za posledné roky však vďaka moderným technológiám vidíme nárast toho typu materiálov. Už dávnejšie sme informovali o tom, ako pedofili využívajú umelú inteligenciu na vytváranie detskej pornografie.

Situácia však dostáva nový rozmer, keďže si ňou rôzni kriminálni aktéri generujú obrázky populárnych detských hviezd so sexuálnym podtextom. Hoci túto situáciu mala riešiť nová európska legislatíva o materiáloch sexuálneho zneužívania detí online (CSAM), počas minulého volebného obdobia ju Európsky parlament nebol schopný schváliť. Téme sa venuje Guardian a portál Euractiv.

Boli v detstve zneužití a teraz AI vytvára ďalšie materiály

Bezpečnostní odborníci upozorňujú na znepokojivý trend. Predátori majú čoraz viac využívať AI na vytváranie explicitných obrázkov populárnych detských porno hviezd. Ide o upravenie starších materiálov, ktoré umelá inteligencia vylepší podľa predstáv sexuálnych predátorov. Následne ich majú šíriť na dark webe.

Kriminálnici pritom ťažia z obľúbenosti predchádzajúceho obsahu, o ktorý bol v pedofilnej komunite záujem. AI sa ukazuje byť veľmi „užitočná“, keďže za pár sekúnd dokáže vygenerovať akokoľvek upravený explicitný materiál.

Toto vytvára úplne nový typ problému a prehlbuje traumu zneužitých detí, ktoré už môžu byť v súčasnosti dospelé. Sú to práve ich fotky a videá, ktoré teraz zločinci upravujú cez AI. Falošné explicitné obrázky zachytávajúce ich v detskom veku by im mohli značne poškodiť reputáciu a pripomínajú im náročnú minulosť.

Guardian uvádza príbeh dievčaťa menom Meghan, ktorá bola obeťou sexuálneho zneužitia ešte ako dieťa. Jej pornografický materiál sa v minulosti šíril internetom. Pozorujúc situáciu s reprodukovaním CSAM vďaka AI hovorí o tom, že vyhliadky do budúcnosti ju značne stresujú.

„AI dáva páchateľom šancu vytvoriť ešte viac situácií môjho zneužívania, aby nakŕmili svoje vlastné fantázie,“ uvádza Meghan pre Guardian. Bojí sa toho, že týmto spôsobom by mohlo dôjsť k pocitu, že jej zážitok nebol zraňujúci, alebo si ho užívala.

Celý problém zhoršuje skutočnosť, že skupiny na dark webe sú anonymné. Je teda pomerne náročné vystopovať páchateľov a odstrániť CSAM z obehu. K tomuto prispievajú aj rôzne služby, ktoré pomáhajú chrániť identifikáciu transakcií v kryptomenách.

Situácia v predátorských skupinách je znepokojivá

Guardian sa snažil zmapovať situáciu v rôznych predátorských skupinách na dark webe. Tie podporujú používateľov, aby využívali AI na upravovanie CSAM a následne ho zdieľali s ostatnými členmi. Zatiaľ čo niektorí boli z používania modernej technológie nadšení, iným prekážalo, že nejde o skutočný materiál zobrazujúci zneužitie.

V chatoch je možné nájsť želania pedofilov rôzneho druhu so špecifickými požiadavkami toho, čo by mali detské pornohviezdy robiť. Niektorí sa dokonca pokúšali aj prerobiť dekádu staré videá nízkej kvality, aby lepšie zachytávali zneužitie.

Je možné pozorovať aj snahy vytvárať detskú pornografiu za použitia AI rôznych filmových hviezd.

Celý problém začal prekvitať s narastajúcou popularitou generatívnej umelej inteligencie. Na verejnosť sa totiž dostala open source databáza LAION-5B s viac ako 5 miliardami obrázkov, ktorú môže ktokoľvek využiť na trénovanie AI. Tie však zahŕňali aj sexuálne explicitné obrázky detí.

Práve táto skutočnosť umožňuje záškodníckym aktérom vytrénovať si vlastné modely, ktoré im budú generovať materiály podľa ich predstáv. Hoci CSAM tvorí iba malú časť celého datasetu, potenciál na zneužitie je obrovský.

Preživší sexuálneho zneužitia tak môžu prežívať ďalšiu traumu vediac, že ich obrázky z detstva môžu byť využité na trénovanie AI. Leah Juliett, ktorá si v 14 rokoch zažila znásilnenie, popisuje celú situáciu nasledovne: „vedieť, že moje fotografie môžu byť bez môjho súhlasu zneužité na ublíženie iným malým deťom, je bolestivé a prináša mi to pocit bezmocnosti a nespravodlivosti."

CSAM sa šíri najmä vďaka dark webu, no predátori využívajú aj konvenčné platformy ako WhatsApp alebo Signal. Materiály sa však šíria v istej miere napríklad aj na sociálnych sieťach spoločnosti Meta, kde ich dokonca algoritmy promujú.

Európsky parlament nedotiahol legislatívu do konca

Európska únia v tejto veci koná, no novú legislatívu na prevenciu CSAM nedokázala počas tohto volebného obdobia dotiahnuť do konca. Ešte v roku 2022 Komisia prišla s návrhom novej legislatívy na boj proti CSAM.

Cieľom regulácie je vytvoriť permanentné riešenie pre detegovanie, nahlasovanie a odstraňovanie CSAM v online priestore. Roky bol totiž tento problém iba nepriamo riešený cez rôzne iné nariadenia a smernice ako je napríklad Smernica o elektronickom obchode (2000/31/ES).

Hoci o potrebe riešenia problému detskej pornografie online nie sú pochybnosti, návrh čelil ostrej kritike z viacerých strán. Pôvodne totiž umožňoval súdnym orgánom požiadať komunikačné platformy ako WhatsApp či Gmail o preskenovanie súkromných správ používateľov so snahou nájsť nezákonný obsah.

Kontroverzným boli najmä ustanovenia týkajúce sa end-to-end šifrovania (E2EE). Na stole bol totiž návrh povoľujúci v už spomenutých prípadoch nerešpektovať E2EE a dostať sa k informáciám vymieňaním medzi používateľmi. Otváralo to však viacero otázok ohľadom ochrany súkromia osôb.

End-to-end šifrovanie je spôsob bezpečnej komunikácie na platformách, ktorý zabraňuje tretím stranám mať prístup k správam odosielaným medzi dvomi používateľmi.

Novozvolení poslanci Európskeho parlamentu tak budú mať na stole dôležitú legislatívu na boj proti CSAM. Na výslednú podobu dokumentu si teda budeme musieť ešte nejaký čas počkať.