Umělá inteligence je schopná generovat dětskou pornografii, komplikuje pátrání po reálných obětech (iROZHLAS)

[Cykle02]

Umělá inteligence je schopná generovat dětskou pornografii, komplikuje pátrání po reálných obětech (iROZHLAS, ČTK)

Rozvoj systémů umělé inteligence, které dokážou rychle generovat sofistikované obrázky, provází exploze „znepokojivě realistických“ snímků ukazujících sexuální vykořisťování dětí, zjistil deník The Washington Post. Jak tento obsah vzniká, není vždy zcela jasné, podle činitelů americké vlády je nicméně jejich šíření nelegální.

Na takzvaném dark webu, tedy části internetu, která je přístupná pouze prostřednictvím speciálních prohlížečů, lze dohledat tisíce uměle vytvořených snímků, na nichž děti provádí sexuální akty, píše Washington Post. Někteří uživatelé na internetu sdílí také detailní instrukce, jak si je mohou pedofilové vygenerovat sami.

Jistý analytik vývoj podle amerického deníku označil za „predátorské závody ve zbrojení“. Mezi odborníky, kteří se zabývají ochranou dětí před zneužíváním, narůstají obavy, že nový fenomén bude komplikovat pátrání po obětech, neboť systém bude zaplavený novým obsahem.

„Identifikace obětí je už tak hledáním jehly v kupě sena, při němž se policie snaží najít dítě v ohrožení,“ řekla Rebecca Portnoffová, která vede datovou analýzu v neziskové organizaci Thorn.

Sdružení pracující na ochraně dětí pozoruje od loňského podzimu narůstající výskyt falešných obrázků. „To, jak je snadné tyto nástroje používat, znamená významný posun, jakož i realismus (výstupů). Ze všeho se prostě stává větší výzva,“ míní Portnoffová.

Vzestup syntetické dětské pornografie je dalším z důsledků vývoje na poli takzvané generativní umělé inteligence. Tímto termínem jsou označovány systémy, které na základě „tréninku“ na obrovských množstvích dat dokáží vytvářet zdánlivě originální výstupy ve formě textů či obrázků v reakci na zadání uživatele. Do povědomí široké veřejnosti se dostaly zejména díky zpřístupnění chatovacího programu ChatGPT loni na podzim.

Volně dostupné aplikace

Ke generování obrázků jsou nejčastěji používány programy Stable Diffusion, DALL-E nebo Mindjourney, k němuž přitáhly pozornost falešné snímky amerického exprezidenta Donalda Trumpa či papeže Františka.

Tyto volně dostupné aplikace umožňují během několika sekund vytvářet přesvědčivě vyhlížející obrázky na nejrůznější motivy. Vychází při tom z miliard snímků převzatých z internetu, mezi nimiž jsou i fotografie skutečných dětí, píše Washington Post.

Podle deníku není z příspěvků ve skrytých internetových fórech vždy jasné, jak byly sexuální výjevy s dětmi vygenerované. Podezření expertů nicméně míří na nástroje z kategorie „otevřeného softwaru“, jako je Stable Diffusion. „Kdokoli si může tento nástroj stáhnout do svého počítače a používat jej, jak se mu zachce, přičemž se z větší části vyhne firemním pravidlům a dohledu,“ vysvětluje článek.

Společnost Stability AI, která program provozuje, v prohlášení uvedla, že tvorbu obrázků s dětmi v sexuálním kontextu zakazuje. Z dat, na kterých je její program vycvičený, údajně odstranila citlivé snímky ve snaze omezit „schopnost špatných aktérů generovat obscénní obsah“. DALL-E a Midjourney mohou uživatelé na rozdíl od svého konkurenta používat pouze skrze firemní kanály, přičemž tvorba sexuálního obsahu je na nich zakázaná.

Výskyt syntetické dětské pornografie zažehl také debaty o tom, zda tyto obrázky porušují americké zákony o ochraně dětí, když zobrazují imaginární osoby. „Činitelé ministerstva spravedlnosti, kteří bojují proti zneužívání dětí, říkají, že takovéto obrázky jsou stále nelegální, nedokázali však uvést žádný případ, v němž by podezřelý za jejich vytvoření čelil obviněním,“ napsal Washington Post.

[Cykle02]

Na Echo24 pod názvem "Umělá inteligence ve službách pedofilie? Internetem se šíří dětská pornografie vytvořena s její pomocí".

[Cykle02]

Pedofilové si našli nového pomocníka. Umělou inteligenci (Novinky.cz, Lenka Zoulová)

Systémy umělé inteligence (AI) jsou fenoménem dnešní doby. Zatímco někteří zaměstnanci se obávají, kdy je AI nahradí v práci, další lidé vítají umělou inteligenci pomalu jako průmyslovou revoluci. Ne vždy je ale AI využívána legálně. Jak upozornil deník The Washington Post (WP), množí se případy, kdy generátory obrázků zneužívají pedofilové – na dark webu proběhla doslova „exploze znepokojivě realistických snímků ukazujících sexuální vykořisťování dětí“.

Dark web je nepřístupná část internetu, ke které je možné se připojit pouze se specializovaným softwarem – prostřednictvím platformy TOR.

Internetový černý trh dlouhá léta slouží k objednávání hackerských útoků, získávání škodlivých kódů, ale například také k obchodování se zbraněmi, drogami či právě odcizenými daty. Stejně tak si ale prostřednictvím dark webu pedofilové sdíleli fotografie a videa zachycující zneužívání dětí.

A právě v této problematice upozornil deník WP na stinnou stránku rychlého rozvoje umělé inteligence. Ten poukazuje na fakt, že na dark webu je možné dohledat tisíce uměle vytvořených snímků, na nichž děti provádějí sexuální akty.

Proti zneužívání bojují. Marně

Pro generování obrázků se často využívají programy jako Stable Diffusion, DALL-E nebo Mindjourney. Tyto aplikace, které jsou volně dostupné, umožňují vytvářet přesvědčivě působící obrázky různých témat během několika sekund. Využívají miliardy obrázků získaných z internetu včetně fotografií skutečných dětí, upozorňuje WP.

Provozovatelé systémů umělé inteligence se snaží proti podobnému zneužívání bojovat, ale predátoři jsou evidentně o krok před nimi. Platformy DALL-E a Mindjourney sice mají tvorbu sexuálního obsahu zakázanou, další programy se ale dají stáhnout přímo do počítače.

Někteří uživatelé dark webu dokonce sdílejí podrobné instrukce, jak si takové snímky mohou sami generovat pedofilové.

Odborníci, kteří se věnují ochraně dětí před zneužíváním, proto vyjadřují obavy, že tento nový fenomén zkomplikuje pátrání po obětech. Systémy totiž budou přeplněny novým obsahem vytvořeným umělou inteligencí.

„Když se policie snaží najít dítě v ohrožení, už nyní představuje identifikace obětí hledání jehly v kupce sena. Kvůli systémům umělé inteligence to ale nyní bude ještě větší výzva,“ varovala Rebecca Portnoffová, datová analytička neziskové organizace Thorn.

Je to trestné

I když se může zdát dětská pornografie vygenerovaná umělou inteligencí jako neškodná, protože tak nebylo ublíženo žádnému dítěti, stále je nelegální, jak upozorňuje WP. Uživatelé, kteří takový obsah vytvářejí nebo sdílejí, tedy musejí počítat, že budou mít oplétačky se zákonem.

Neplatí to přitom pouze o USA, kde článek WP vyvolal velkou veřejnou diskuzi. Přísné zákony jsou i v Česku. V minulém týdnu například potrestal klatovský soud půlročním vězením s podmíněným odkladem na 20 měsíců kvůli tomu, že měl v mobilu kreslené obrázky s dětskou pornografií.

[Little Hero]

Zrovna jsem to chtěl sem taky napsat a s dovětkem "velmi se divím a zároveň mile překvapen kvituji reakce lidí pod článkem a spoustu "souhlasů" k opravdu rozumným názorům".

https://www.novinky.cz/clanek/internet-a-pc-software-pedofilove-si-nasli-noveho-pomocnika-umelou-inteligenci-40435372

[MR_Xguard]

To neprojde. Neustále narážíme na klauzuli "jevící se jako dítě". A je tam z podstatného důvodu. Co když někdo vytvoří skutečnou DP, ale bude prohlašovat, že je generovaná AI?

[Cykle02]

Lidi jdou vždycky cestou nejnižšího odporu. Proč složitě shánět dětské porno (a tím pornem myslím opravdové porno) na dark webu a od dětí, když by stačilo si sáhnout nějaký 2GB .safetensors soubor, a mohl by si vygenerovat cokoliv podle chuti, a když by si to ani neuložil, ani by nic nedržel.

Jestli nějaký model natrénovaný na DP už existuje nevím, ale vzniká denně několik desítek nových, takže to až tak technicky náročné nebude. Otázka jestli by někdo takový model natrénovaný na generování DP zveřejňoval. Byla by to slepice snášející zlatá vejce, co generuje obrázky které nejsou v CSAM databázích a v to masivním měřítku (mě v nějakém základním nástavní trvá vygenerovat jeden obrázek 768x768px 16sec, tak si to představte s výkonem, který byl dostatečný na vytrénovaní neuronové sítě). Na druhou stranu, stejně jako někdo vytvořil TOR, je možné že někdo vytvoří a zveřejní něco takového, aby bojoval proti výdělkům z výroby skutečného DP.

[Bouře]

To neprojde. Neustále narážíme na klauzuli "jevící se jako dítě". A je tam z podstatného důvodu. Co když někdo vytvoří skutečnou DP, ale bude prohlašovat, že je generovaná AI?

Napadá mě, že by obsah, který byl vygenerován AI mohl mít něco jako "podpis", který by zaručoval, že dílo pochází od AI, a tedy není pravý, a takový "podpis" by byl povinný na všech AI DP. Tím podpisem myslím něco, co by nešlo vůbec snadno zfalšovat, něco jako elektronický podpis, nebo něco na podobném principu.

Ať chceme nebo ne, AI DP určitě vznikat bude a osobně si myslím, že by to šlo využít ke prospěchu. Mohla by se totiž zvýšit poptávka po AI DP, čímž by se snížila poptávka po pravém DP (Kord, kdyby AI DP byla legalizována). Muselo by se však přijít na systém, který by to bezpečně rozlišoval a nemohlo se tak stát, že by takový "podpis" někdo dal i na obsah, který je pravý.

[Cykle02]

Napadá mě, že by obsah, který byl vygenerován AI mohl mít něco jako "podpis", který by zaručoval, že dílo pochází od AI

Komplikované, nepoužitelné. Kdy by se o ekosystém takové technologie staral, a kdo by za to měl zodpovědnost? Stát? Jako že politici chtěli tohle řešit ve volbách? Ve Stable Diffusion tahle technologie invisible-watermark je, ale s Easy Diffusion se zjevně neinstaluje, protože když jsem si přítomnost toho vodoznaku chtěl otestovat, musel sem tu knihovnu nejdřív nainstalovat, a nepřekvapivě výsledek byl null (ale třeba jsem to dělal špatně). Samozřejmě v opensource projektech pak jde něco takového případně lehce poupravit, podle svých potřeb.

[Dreamer]

Mě se líbí to slovní spojení “predátoři generující pomocí AI obrázky se sexuálním vykořisťováním neexistujících dětí”.

[Cykle02]

Hold jsme Prasata! Úchyláci a nemocné individua, co obtěžují dokonce počítačem vygenerované fotografie dětí

[Cykle02]

Umelá inteligencia si našla uplatnenie aj medzi pedofilmi. Fotografie detí vyrobí na počkanie (Tech SME, Washington Post, Drew Harwell)

Na fórach si radia, ako nástroj používať.

Text vyšiel pôvodne na webe denníka Washington Post.

Revolučný pokrok umelej inteligencie vyvolal explóziu znepokojivo realistických obrázkov zobrazujúcich sexuálne zneužívanie detí. Vyšetrovatelia v oblasti bezpečnosti detí neskrývajú svoje obavy. Obrázky totiž môžu oslabiť úsilie o nájdenie obetí a boj proti skutočnému zneužívaniu.

Nástroje generatívnej umelej inteligencie spustili na pedofilných fórach to, čo jeden analytik nazval „predátorskými pretekmi v zbrojení“, pretože dokážu v priebehu niekoľkých sekúnd vytvoriť realistické obrázky detí v sexuálnych situáciách – všeobecne známe ako detská pornografia.

V článku sa dočítate aj:

• Prečo je tvorba detskej pornografie umelou inteligenciou problém.
• Čo na to hovoria technologické spoločnosti.
• Ako sa orgány snažia tvorbe detskej pornografie zabrániť.
• O možnostiach, ktoré by tvorbe detskej pornografie mohli zabrániť.

Na fórach na dark webe, vrstve internetu viditeľnej len pomocou špeciálnych prehliadačov, sa našli tisíce obrázkov detského sexu, ktoré vytvorila umelá inteligencia, pričom niektorí účastníci poskytujú podrobné návody, ako môžu ostatní pedofili vytvoriť svoje vlastné výtvory.

„Obrázky detí vrátane obsahu známych obetí sú tak opätovne využívané,“ povedala Rebecca Portnoff, riaditeľka oddelenia dátovej vedy v neziskovej skupine Thorn, ktorá sa zaoberá bezpečnosťou detí a ktorá od jesene minulého roka zaznamenala mesačný nárast rozšírenosti týchto obrázkov.

Neuveriteľná rýchlosť

„Identifikácia obetí je už teraz problém ihly v kope sena, keď sa orgány činné v trestnom konaní snažia nájsť dieťa, ktorému hrozí nebezpečenstvo,“ povedala. „Jednoduchosť používania týchto nástrojov je významným posunom, rovnako ako to, ako veľmi realistické tieto obrázky sú.“

Záplava obrázkov by mohla zmiasť centrálny sledovací systém vybudovaný na blokovanie takéhoto materiálu na internete, pretože je navrhnutý len na zachytávanie známych obrázkov zneužívania, nie na odhaľovanie novo vytvorených. Hrozí tiež, že zavalí pracovníkov orgánov činných v trestnom konaní, ktorí pracujú na identifikácii detí, ktoré sa stali obeťami, a budú nútení stráviť čas zisťovaním, či sú obrázky skutočné, alebo falošné.

Obrázky tiež podnietili diskusiu o tom, či vôbec porušujú federálne zákony na ochranu detí, pretože často zobrazujú neexistujúce deti. Predstavitelia ministerstva spravodlivosti, ktorí bojujú proti zneužívaniu detí, tvrdia, že takéto obrázky sú nezákonné, aj keď je zobrazené dieťa vytvorené umelou inteligenciou, ale nevedeli uviesť žiadny prípad, v ktorom by bol podozrivý obvinený za vytvorenie takéhoto obrázku.

Nové nástroje umelej inteligencie, známe ako difúzne modely, umožňujú komukoľvek vytvoriť presvedčivý obrázok iba zadaním krátkeho opisu toho, čo chce vidieť. Modely, ako napríklad DALL-E, Midjourney a Stable Diffusion, boli kŕmené miliardami obrázkov prevzatých z internetu, z ktorých mnohé zobrazovali skutočné deti a pochádzali z fotografických stránok a osobných blogov. Tieto vizuálne vzory potom napodobňovali, aby vytvorili svoje vlastné obrázky.

Nástroje chvália pre ich vizuálnu vynaliezavosť, ich diela už vyhrali súťaže výtvarného umenia, boli použité na ilustrovanie detských kníh a vytváranie falošných fotografií v spravodajskom štýle, ako aj na vytváranie syntetickej pornografie neexistujúcich postáv, ktoré vyzerajú ako dospelí.

Zároveň sa však zvýšila rýchlosť a rozsah, akým môžu pedofili vytvárať nové explicitné obrázky, pretože tieto nástroje si vyžadujú menšiu technickú zložitosť ako predchádzajúce metódy - napríklad ako je prekrývanie detských tvárí na telá dospelých pomocou „deepfake“ - a dokážu rýchlo vytvoriť mnoho obrázkov na základe jediného príkazu.

Z pedofilných fór nie je vždy jasné, ako boli obrázky generované umelou inteligenciou vytvorené. Odborníci na bezpečnosť detí však uviedli, že mnohé z nich sa zrejme spoliehali na nástroje s otvoreným zdrojovým kódom, ako napríklad Stable Diffusion, ktoré možno spustiť neobmedzeným a nepolitikovaným spôsobom.

Bremeno technologických spoločností

Spoločnosť Stability AI, ktorá prevádzkuje nástroj Stable Diffusion, vo svojom vyhlásení uviedla, že zakazuje vytváranie obrázkov sexuálneho zneužívania detí, pomáha orgánom činným v trestnom konaní pri vyšetrovaní „nezákonného alebo zlomyseľného“ používania a odstránila explicitný materiál zo svojich tréningových údajov, čím znížila „schopnosť zlých aktérov vytvárať obscénny obsah“.

Každý si však môže nástroj stiahnuť do svojho počítača a spustiť ho, ako chce, čím sa do veľkej miery vyhne pravidlám a dohľadu spoločnosti. Licencia nástroja s otvoreným zdrojovým kódom žiada používateľov, aby ho nepoužívali „na zneužívanie alebo poškodzovanie maloletých akýmkoľvek spôsobom“, ale jeho základné bezpečnostné funkcie vrátane filtra explicitných obrázkov sa dajú ľahko obísť pomocou niekoľkých riadkov kódu, ktoré môže používateľ pridať do programu.

Podľa preskúmaných konverzácií v četovacej službe Discord, ktorý uverejnil denník Washington Post, testeri programu Stable Diffusion už niekoľko mesiacov diskutovali o riziku, že by sa umelá inteligencia mohla použiť na napodobňovanie tvárí a tiel detí. Jeden z komentátorov uviedol, že videl, ako sa niekto pokúsil pomocou nástroja vygenerovať falošné fotografie detskej herečky v plavkách, a nazval to „niečím škaredým, čo čaká na svoju príležitosť“.

Spoločnosť však obhajovala svoj prístup založený na otvorenom zdroji ako dôležitý pre tvorivú slobodu používateľov. Šéf spoločnosti Stability AI Emad Mostaque minulý rok pre portál Verge povedal, že „v konečnom dôsledku je to zodpovednosť ľudí, či sú etickí, morálni a legálni v tom, ako s touto technológiou pracujú“, a dodal, že „zlé veci, ktoré ľudia vytvoria … budú tvoriť veľmi, veľmi malé percento celkového používania“.

Hlavní konkurenti spoločnosti Stable Diffusion, Dall-E a Midjourney, zakazujú sexuálny obsah a neposkytujú otvorený zdrojový kód, čo znamená, že ich používanie je obmedzené na kanály prevádzkované spoločnosťou a všetky obrázky sú zaznamenávané a sledované.

Spoločnosť OpenAI, výskumné laboratórium zo San Francisca, ktorá stojí za spoločnosťami Dall-E a ChatGPT, využíva na presadzovanie svojich pravidiel vrátane zákazu materiálov so sexuálnym zneužívaním detí ľudských pozorovateľov a odstránila explicitný obsah z tréningových údajov svojho generátora obrázkov, aby minimalizovala „vystavenie týmto pojmom“, uviedol hovorca.

„Súkromné spoločnosti sa nechcú podieľať na vytváraní najhoršieho typu obsahu na internete,“ povedala Kate Klonick, docentka práva na Univerzite svätého Johna.

„Najviac ma však desí otvorené uvoľňovanie týchto nástrojov, pri ktorom sa môžu objaviť jednotlivci alebo nespoľahlivé a nedôveryhodné organizácie, ktoré ich použijú a jednoducho zmiznú. Neexistuje žiadny jednoduchý, koordinovaný spôsob, ako takto decentralizovaných zlých aktérov zlikvidovať.“

Malý zlomok hlásení

Podľa analytikov zaoberajúcich sa bezpečnosťou detí používatelia na pedofilných internetových fórach z darkwebu otvorene diskutovali o stratégiách, ako vytvárať explicitné fotografie a obchádzať filtre proti pornografii vrátane používania jazykov iných ako angličtina, ktoré sú podľa nich menej náchylné na potlačenie alebo odhalenie.

Na jednom fóre s tritisíc členmi približne 80 percent respondentov nedávneho interného prieskumu uviedlo, že použili alebo majú v úmysle použiť nástroje umelej inteligencie na vytvorenie obrázkov sexuálneho zneužívania detí, povedal Avi Jager, vedúci oddelenia bezpečnosti detí a zneužívania ľudí v spoločnosti ActiveFence, ktorá spolupracuje so sociálnymi médiami a streamovacími stránkami na zachytávaní škodlivého obsahu.

Členovia fóra diskutovali o spôsoboch vytvárania selfies generovaných umelou inteligenciou a budovaní falošnej postavy školopovinného dieťaťa v nádeji, že si získajú dôveru iných detí, povedal Jager.

Portnoffová uviedla, že jej skupina zaznamenala aj prípady, keď sa skutočné fotografie zneužívaných detí použili na vyškolenie nástroja AI, aby vytvoril nové obrázky zobrazujúce tieto deti v sexuálnych polohách.

Yiota Souras, hlavná právnička Národného centra pre nezvestné a zneužívané deti, neziskovej organizácie prevádzkujúcej databázu, ktorú spoločnosti používajú na označovanie a blokovanie sexuálneho materiálu s deťmi, uviedla, že jej skupina zaznamenala v posledných mesiacoch prudký nárast hlásení o obrázkoch vytvorených umelou inteligenciou, ako aj hlásení o ľuďoch, ktorí nahrávajú obrázky sexuálneho zneužívania detí do nástrojov umelej inteligencie v nádeji, že vytvoria ďalšie.

Hoci ide o malý zlomok z viac ako 32 miliónov hlásení, ktoré skupina dostala v minulom roku, hrozí, že čoraz častejšie sa vyskytujúce obrázky a ich realistickosť vyčerpajú čas a energiu vyšetrovateľov, ktorí pracujú na identifikácii detí, ktoré sa stali obeťami, a nemajú možnosť zaoberať sa každým hlásením, povedala.

FBI tento mesiac vo svojom upozornení uviedla, že zaznamenala nárast počtu hlásení týkajúcich sa detí, ktorých fotografie boli upravené do „obrázkov so sexuálnou tematikou, ktoré vyzerajú ako skutočné“.

„Čo je pre orgány činné v trestnom konaní prioritou?“ spýtala sa Sourasová. „Čo vyšetrujú? Kam presne sa dostanú v právnom systéme?“

História právnych ťažkostí

Niektorí právni analytici tvrdili, že tento materiál patrí do právnej sivej zóny, pretože obrázky vytvorené plne umelou inteligenciou nezobrazujú skutočné dieťa, ktorému sa ubližuje. V roku 2002 Najvyšší súd zrušil dve ustanovenia kongresového zákazu „virtuálnej detskej pornografie“ z roku 1996 a rozhodol, že jeho znenie je dostatočne široké na to, aby potenciálne kriminalizovalo niektoré literárne zobrazenia sexuality dospievajúcich.

Obhajcovia zákazu v tom čase argumentovali, že rozhodnutie sťaží prácu prokurátorom v prípadoch týkajúcich sa sexuálneho zneužívania detí, pretože obžalovaní by mohli tvrdiť, že obrázky nezobrazujú skutočné deti.

Predseda Najvyššieho súdu William H. Rehnquist vo svojom nesúhlasnom stanovisku napísal: „Kongres má naliehavý záujem o zabezpečenie možnosti presadzovať zákazy skutočnej detskej pornografie a my by sme mali prihliadnuť na jeho zistenia, že rýchlo sa rozvíjajúca technológia čoskoro takmer znemožní takéto presadzovanie.“

Daniel Lyons, profesor práva na Boston College, uviedol, že toto rozhodnutie si pravdepodobne zaslúži prehodnotenie vzhľadom na to, ako sa táto technológia za posledné dve desaťročia vyvinula.

„V tom čase bolo technicky ťažké vyrobiť virtuálny materiál [o sexuálnom zneužívaní detí] takým spôsobom, ktorý by nahradil skutočný,“ povedal. „Táto priepasť medzi realitou a materiálmi generovanými umelou inteligenciou sa zmenšila a z myšlienkového experimentu sa stal potenciálne veľký problém reálneho života.“

Dvaja úradníci zo sekcie ministerstva spravodlivosti pre zneužívanie detí a obscénnosť uviedli, že obrázky sú nezákonné podľa zákona, ktorý zakazuje akýkoľvek počítačom vytvorený obrázok, ktorý je sexuálne explicitný a zobrazuje niekoho, kto je „prakticky nerozoznateľný“ od skutočného dieťaťa.

Odvolávajú sa aj na ďalší federálny zákon prijatý v roku 2003, ktorý zakazuje akýkoľvek počítačom vytvorený obrázok zobrazujúci dieťa, ktoré sa zúčastňuje na sexuálne explicitnom správaní, ak je obscénny a nemá vážnu umeleckú hodnotu. V zákone sa uvádza, že „nie je povinným prvkom žiadneho trestného činu … aby zobrazená maloletá osoba skutočne existovala“.

„Vyobrazenie, ktoré je vytvorené tak, aby zobrazovalo záber zložený z milióna maloletých, a ktorý vyzerá ako skutočné dieťa počas sexu s dospelým alebo s iným dieťaťom - neváhali by sme použiť nástroje, ktoré máme k dispozícii, na stíhanie takýchto zobrazení,“ povedal Steve Grocki, šéf sekcie.

Škodlivá skutočnosť

Samostatne niektoré skupiny pracujú na technických spôsoboch, ako tomuto problému čeliť, uviedla Margaret Mitchell, výskumníčka v oblasti umelej inteligencie, ktorá predtým viedla tím spoločnosti Google pre etickú umelú inteligenciu.

Jedným z riešení by bolo vycvičiť model umelej inteligencie na vytvorenie príkladov falošných obrázkov zneužívania detí, aby online detekčné systémy vedeli, čo majú odstrániť, povedala. Dodala však, že tento návrh by predstavoval vlastnú škodu, pretože tento materiál môže mať „obrovskú psychickú ujmu, pretože je to materiál, ktorý nemôžete zo svojej pamäti vymazať".

Ďalší výskumníci v oblasti umelej inteligencie v súčasnosti pracujú na identifikačných systémoch, ktoré by mohli do obrázkov vtlačiť kód odkazujúci na ich tvorcov v nádeji, že zabránia zneužívaniu. Výskumníci z Marylandskej univerzity minulý mesiac uverejnili novú techniku „neviditeľných“ vodoznakov, ktoré by mohli pomôcť identifikovať autora obrázku a boli by náročné na odstránenie.

Takéto nápady by si pravdepodobne vyžadovali účasť celého odvetvia, aby fungovali, a aj tak by nezachytili každé porušenie, povedala Mitchellová. „Staviame lietadlo až počas letu,“ povedala.

Aj keď tieto obrázky nezobrazujú skutočné deti, Sourasová povedala, že predstavujú „strašnú spoločenskú škodu“. Vytvorené rýchlo a v obrovskom množstve by sa mohli použiť na normalizáciu sexualizácie detí alebo na to, aby sa odpudivé správanie považovalo za bežné, rovnako ako predátori používali skutočné obrázky na to, aby deti navádzali na zneužívanie.

„Neberiete dieťaťu iba jedno ucho. Systém sa pozrel na desať miliónov detských uší a teraz vie, ako ho vytvoriť,“ povedala Sourasová. „Skutočnosť, že niekto dokáže vytvoriť sto obrázkov za jedno popoludnie a použiť ich na to, aby dieťa nalákal na takéto správanie, je neuveriteľne škodlivá.“

[Cykle02]

Odhalen nelegální obchod se snímky sexuálního zneužívání dětí umělou inteligencí (BBC News, DeepL)

Pedofilové využívají technologii umělé inteligence (AI) k vytváření a prodeji realistických materiálů sexuálního zneužívání dětí, zjistila BBC.

Někteří se k obrázkům dostávají prostřednictvím placených předplatných účtů na běžných stránkách pro sdílení obsahu, jako je Patreon.

Patreon uvedl, že má vůči takovým snímkům na svých stránkách politiku "nulové tolerance".

Národní rada policejních náčelníků uvedla, že je "pobuřující", že některé platformy dosahují "obrovských zisků", ale nepřijímají "morální odpovědnost".

Tvůrci obrázků zneužívání používají software umělé inteligence s názvem Stable Diffusion, který byl určen ke generování obrázků pro použití v umění nebo grafickém designu.

Umělá inteligence umožňuje počítačům provádět úkoly, které obvykle vyžadují lidskou inteligenci.

Software Stable Diffusion umožňuje uživatelům popsat pomocí slovních pokynů libovolný obrázek - a program poté obrázek vytvoří.

BBC však zjistila, že se používá k vytváření realistických obrazů sexuálního zneužívání dětí, včetně znásilňování kojenců a batolat.

Britské policejní týmy pro vyšetřování zneužívání dětí na internetu tvrdí, že se s takovým obsahem již setkávají.

Výzkumnice a novinářka na volné noze Octavia Sheepshanksová se touto problematikou zabývá již několik měsíců. Prostřednictvím dětské charitativní organizace NSPCC kontaktovala BBC, aby na svá zjištění upozornila.

"Od té doby, co je možné vytvářet snímky pomocí umělé inteligence, došlo k obrovské záplavě... Nejde jen o velmi mladé dívky, ale [pedofilové] mluví i o batolatech," uvedla.

S "pseudo-obrázky" vygenerovanými počítačem, které zobrazují sexuální zneužívání dětí, se zachází stejně jako se skutečnými obrázky a jejich držení, zveřejňování nebo předávání je ve Spojeném království nezákonné.

Ian Critchley, vedoucí Národní rady policejních náčelníků (NPCC) pro ochranu dětí, uvedl, že by bylo nesprávné tvrdit, že vzhledem k tomu, že na takových "syntetických" snímcích nejsou zobrazeny žádné skutečné děti - že nikomu nebylo ublíženo.

Varoval, že pedofil se může "pohybovat na škále trestné činnosti od myšlenek přes syntetické až po skutečné zneužití živého dítěte".

Obrázky zneužívání jsou sdíleny prostřednictvím třístupňového procesu:

• Pedofilové vytvářejí obrázky pomocí softwaru s umělou inteligencí
• Propagují obrázky na platformách, jako je japonská webová stránka pro sdílení obrázků nazvaná Pixiv
• Tyto účty mají odkazy, které zákazníky přesměrují na jejich explicitnější obrázky, za jejichž zobrazení mohou lidé platit na účtech na stránkách, jako je Patreon

Někteří z tvůrců obrázků publikují na populární japonské platformě sociálních médií s názvem Pixiv, kterou využívají především umělci sdílející mangu a anime.

Protože je však stránka umístěna v Japonsku, kde sdílení sexualizovaných karikatur a kreseb dětí není nezákonné, využívají ji tvůrci k propagaci své práce ve skupinách a prostřednictvím hashtagů, které indexují témata pomocí klíčových slov.

Mluvčí společnosti Pixiv uvedl, že na řešení tohoto problému klade obrovský důraz. Uvedla, že 31. května zakázala veškerá fotorealistická zobrazení sexuálního obsahu zahrnující nezletilé.

Společnost uvedla, že aktivně posílila své monitorovací systémy a vyčleňuje značné prostředky na potírání problémů souvisejících s vývojem umělé inteligence.

Paní Sheepshanksová řekla BBC, že její průzkum naznačil, že uživatelé zřejmě vytvářejí snímky zneužívání dětí v průmyslovém měřítku.

"Objem je prostě obrovský, takže lidé [tvůrci] řeknou: 'Naším cílem je udělat alespoň 1 000 snímků měsíčně,'" řekla.

Z komentářů uživatelů k jednotlivým snímkům v Pixivu je zřejmé, že mají o děti sexuální zájem, přičemž někteří uživatelé dokonce nabízeli, že poskytnou snímky a videa zneužívání, které nebyly vytvořeny umělou inteligencí.

Paní Sheepshanksová monitorovala některé skupiny na platformě.

"V rámci těchto skupin, které budou mít 100 členů, budou lidé sdílet: 'Aha, tady je odkaz na skutečné věci,' říká.

"Ty nejhorší věci, ani jsem nevěděla, že taková slova [popisy] existují."

Různé cenové úrovně

Mnoho účtů na Pixivu obsahuje ve svých životopisech odkazy, které lidi odkazují na tzv. necenzurovaný obsah na americkém webu pro sdílení obsahu Patreon za tzv. necenzurovaný obsah.

Patreon má hodnotu přibližně 4 miliardy dolarů (3,1 miliardy Kč) a tvrdí, že má více než 250 000 tvůrců - většina z nich jsou legitimní účty patřící známým celebritám, novinářům a spisovatelům.

Fanoušci mohou podpořit tvůrce tím, že si předplatí měsíční předplatné, aby měli přístup k blogům, podcastům, videím a obrázkům - platí pouze 3,85 USD (3 libry) měsíčně.

Naše šetření však odhalilo účty Patreon, které nabízejí k prodeji fotorealistické obscénní obrázky dětí generované umělou inteligencí, přičemž ceny se liší podle typu požadovaného materiálu.

Jeden z nich na svůj účet napsal: "Trénuji své dívky na svém počítači" a dodal, že ukazují "poddajnost". Za 8,30 USD (6,50 Kč) měsíčně nabízel jiný uživatel "exkluzivní necenzurované umění".

BBC zaslala Patreonu jeden příklad, který platforma potvrdila jako "polorealistický a porušující naše zásady". Účet byl podle ní okamžitě odstraněn.

Patreon uvedl, že má politiku "nulové tolerance", a trval na svém: "Tvůrci nemohou financovat obsah věnovaný sexuálním tématům zahrnujícím nezletilé."

Společnost uvedla, že nárůst škodlivého obsahu generovaného umělou inteligencí na internetu je "skutečný a znepokojující", a dodala, že "identifikovala a odstranila rostoucí množství" tohoto materiálu.

"Již jsme zakázali syntetický materiál generovaný umělou inteligencí, který zneužívá děti," uvedla a označila se za "velmi proaktivní", se specializovanými týmy, technologiemi a partnerstvími, které "zajišťují bezpečnost dospívajících".

Generátor obrázků umělé inteligence Stable Diffusion vznikl v rámci celosvětové spolupráce akademiků a řady společností pod vedením britské společnosti Stability AI.

Bylo vydáno několik verzí s omezeními zapsanými v kódu, které kontrolují druh obsahu, který lze vytvořit.

V loňském roce však byla veřejnosti zpřístupněna dřívější "open source" verze, která uživatelům umožňovala odstranit veškeré filtry a vycvičit ji k vytváření jakýchkoli obrázků - včetně nelegálních.

Společnost Stability AI sdělila BBC, že "zakazuje jakékoliv zneužití k nezákonným nebo nemorálním účelům na našich platformách a naše zásady jasně říkají, že to zahrnuje i CSAM (materiály se sexuálním zneužíváním dětí).

"Důrazně podporujeme úsilí orgánů činných v trestním řízení proti těm, kteří zneužívají naše produkty k nezákonným nebo nemravným účelům".

S pokračujícím rychlým rozvojem umělé inteligence se objevují otázky ohledně budoucích rizik, která by mohla představovat pro soukromí lidí, jejich lidská práva nebo bezpečnost.

Ian Critchley z NPCC uvedl, že se rovněž obává, že záplava realistických nebo "syntetických" snímků umělé inteligence by mohla zpomalit proces identifikace skutečných obětí zneužívání.

Vysvětluje: "Vytváří to další nároky, pokud jde o policii a prosazování práva, na identifikaci, kde je skutečné dítě, ať už se nachází kdekoli na světě, zneužíváno, na rozdíl od umělého nebo syntetického dítěte."

Pan Critchley uvedl, že se domnívá, že se jedná o klíčový okamžik pro společnost.

"Můžeme zajistit, aby internet a technologie umožňovaly fantastické příležitosti, které vytvářejí pro mladé lidi - nebo se mohou stát mnohem škodlivějším místem," řekl.

[Cykle02]

Ian Critchley z NPCC uvedl, že se rovněž obává, že záplava realistických nebo "syntetických" snímků umělé inteligence by mohla zpomalit proces identifikace skutečných obětí zneužívání.

...

Pan Critchley uvedl, že se domnívá, že se jedná o klíčový okamžik pro společnost.

Nebo taky: "Záplava realistických nebo "syntetických" snímků umělé inteligence by mohla vytlačit zneužívání skutečných dětí. Jedná o klíčový okamžik pro společnost."

[Fx100d]

Varoval, že pedofil se může "pohybovat na škále trestné činnosti od myšlenek přes syntetické až po skutečné zneužití živého dítěte".

Takže už i myšlenka je trestná činnost? Hmmm.

[Cykle02]

Umělá inteligence tvoří dětskou pornografii. Je nemožné ji zastavit (Seznam Zprávy)

Na internetu podle BBC bují obchod s tzv. umělou dětskou pornografií. Pomocí nástrojů pro generování grafiky totiž mohou lidí generovat prakticky libovolné obrázky, které vypadají realisticky. Zabránit v tvorbě je téměř nemožné.

„Je nehorázné, aby velké internetové platformy vydělávaly na šíření dětské pornografie,“ uvedlo pro BBC britské policejní ředitelství. BBC totiž zjistila, že zločinci využívají umělou inteligenci k vytváření realistických obrazů sexuálního zneužívání dětí včetně znásilňování kojenců a batolat.

Nástroje pro automatické generování realistických obrázků se poprvé objevily na jaře roku 2022. Nejpopulárnější jsou v současnosti Midjourney, Dall-E, Adobe Firefly a Stable Diffusion.

První tři jmenované fungují jako internetová služba: uživatel zadá pokyny, které zpracuje vzdálený server a pošle uživateli výsledné obrázky. Provozovatel má tedy plnou kontrolu nad tím, jaká slova zakáže nebo jaké obrázky „zastaví“ dříve, než se k uživatelům dostanou.

Ale modely jako Stable Diffusion si mohou uživatelé naistalovat na svůj počítač a odstranit tak jakékoli dodatečné filtry a kontrolu. Tyto modely pak lze použít ke generování jakýchkoli obrázků. Včetně pornografických, a dokonce údajně s dětskou pornografií.

Protože model běží na lokálním počítači, který ani nemusí být připojený k internetu, není reálně možné tvorbu zpětně omezit. A to, že tyto nástroje existují, znamená, že budou existovat vždy.

Tvůrci modelů samozřejmě mohou ovlivnit, na jakých snímcích se jejich umělá inteligence trénuje. Pokud trénovací data neobsahovala dětskou pornografii, je takový model pro generování dětské pornografie méně vhodný než pro generování jiných typů grafiky. I to však mohou zločinci obejít pomocí dodatečného trénování na vlastních datech.

Octavia Sheepshanksová, výzkumnice a novinářka na volné noze, se touto problematikou zabývá již několik měsíců. Prostřednictvím dětské charitativní organizace NSPCC se s výsledky svého výzkumu obrátila na BBC.

„Od té doby, co je možné vytvářet snímky pomocí umělé inteligence, došlo k obrovské záplavě… Nejde jen o velmi mladé dívky, ale (pedofilové, pozn. red.) mluví i o batolatech,“ uvedla.

S „pseudoobrázky“ vygenerovanými počítačem, které zobrazují sexuální zneužívání dětí, se ve Velké Británii zachází stejně jako se skutečnými obrázky – jejich držení, zveřejňování nebo předávání je tam nezákonné.

Ian Critchley, který na britském policejním ředitelství zodpovídá za ochranu dětí, pro BBC uvedl, že by bylo nesprávné tvrdit, že vzhledem k tomu, že na takových „syntetických“ snímcích nejsou zobrazeny žádné skutečné děti - nebylo nikomu ublíženo. Varoval, že pedofil se může „pohybovat na škále trestných činů od myšlenky přes syntetické až po skutečné zneužití živého dítěte“.

Pesimisticky však dodal, že záplava realistických nebo „syntetických“ snímků generovaných umělou inteligencí by mohla zpomalit proces identifikace skutečných obětí zneužívání. „Vytváří to další nároky, pokud jde o policii a prosazování práva, na identifikaci skutečně zneužívaného dítěte, ať už se nachází kdekoli na světě.“

České právo lze využít i proti AI obrázkům

Podobně jako britské právo nahlíží na AI generovanou dětskou pornografii také české právo.

„Právo je za vývojem technologií vždy v závěsu, leckdy velkém,“ říká partner advokátní kanceláře Havel & Partners Dalibor Kovář. Přesto má v tomto případě za to, že české zákony jsou pro výklad této otázky využitelné už ve své aktuální podobě.

„České právo sice na AI generovanou (dětskou) pornografii nikterak nereaguje, obdobně jako předpokládáme, že i většina právních řádů EU, ale jenom fakt, že je obrázek AI-generated, ještě neznamená, že nemůže mít právní implikace. Zde logicky řešíme primárně trestněprávní rovinu,“ říká partner advokátní kanceláře Havel & Partners Dalibor Kovář.

Upozorňuje také, že nakládání s dětskou pornografií spadá pod § 192 trestního zákoníku, jehož skutková podstata je široká – zahrnuje výrobu, šíření, jiné způsoby zpřístupnění apod.

„Odborná literatura uvádí, že za dětskou pornografii je navíc nutné považovat i takové pornografické dílo, v němž sice není zobrazováno ani jinak využíváno skutečné dítě, tedy reálná fyzická osoba mladší osmnácti let, ale vystupuje v něm postava vytvořená, například s využitím počítačové animace, jestliže realisticky znázorňuje dítě, respektive se jeví být dítětem,“ uvedl Kovář. Za dětskou pornografii pak podle něj mohou být považovány i takové počiny, ve kterých vystupují například dětsky vypadající osoby, nebo i neexistující, avšak realisticky vypadající děti.

Trestní postihy podle uvedeného ustanovení činí šest měsíců až osm let dle konkrétního kontextu. Eventuelně je možné také propadnutí věci, majetku a zákaz činnosti.

Japonská stopa

Někteří z tvůrců obrázků publikují své výtvory na populární japonské sociální síti Pixiv, kterou využívají především umělci sdílející mangu (japonský styl komiksu, většinou kreslený jednou barvou) a anime (většinou jde o animaci na základě mangy) .

Protože je však stránka „hostována“ v Japonsku, kde není sdílení sexualizovaných kreseb a kreseb dětí nezákonné, využívají ji tvůrci k propagaci své práce ve skupinách a prostřednictvím hashtagů, které indexují témata pomocí klíčových slov.

Mluvčí společnosti Pixiv uvedl, že na řešení tohoto problému klade společnost obrovský důraz. Uvedla, že 31. května zakázala veškerá fotorealistická zobrazení sexuálního obsahu zahrnující nezletilé.

Společnost také uvedla, že aktivně posílila své monitorovací systémy a vyčleňuje značné zdroje na potírání problémů souvisejících s vývojem umělé inteligence.

Sheepshanksová na základě svého průzkumu tvrdí, že uživatelé zřejmě vytvářejí snímky zneužívání dětí v průmyslovém měřítku. „Objem je prostě obrovský, takže ti tvůrci řeknou: ‚Naším cílem je udělat alespoň 1000 snímků měsíčně,‘“ řekla BBC.

Z komentářů uživatelů k jednotlivým snímkům v Pixivu je zřejmé, že mají o děti sexuální zájem, přičemž někteří uživatelé dokonce nabízeli, že poskytnou snímky a videa zneužívání, které nevytvořila umělá inteligence. Obvykle jde podle ní o skupiny zhruba do 100 uživatelů.

„Jsou to ty nejhorší věci, ani jsem nevěděla, že pro takové popisy existují taková slova,“ popsala výzkumnice.

Z Japonska do USA

Mnoho účtů na Pixivu obsahuje ve svých popisech odkazy vedoucí na „necenzurovaný obsah“ amerického webu pro sdílení obsahu Patreon.

Ten má hodnotu přibližně čtyř miliard dolarů (zhruba 86 miliard Kč) a tvrdí, že na něj přispívá více než 250 000 tvůrců - většina z nich jsou legitimní účty patřící známým celebritám, novinářům či spisovatelům.

Pátrání BBC však odhalilo na Patreonu účty, které nabízejí k prodeji fotorealistické obscénní obrázky dětí generované umělou inteligencí, přičemž ceny se liší podle typu požadovaného materiálu.

Jeden z takových uživatelů na svůj účet napsal: „Trénuji své dívky na svém počítači“ a dodal, že prokazují „poddajnost“. Jiný účet nabízel za 8,30 dolaru (cca 180 Kč) měsíčně „exkluzivní necenzurované umění“.

BBC zaslala Patreonu jeden příklad, který platforma potvrdila jako „polorealistický a porušující naše zásady“. Účet byl podle ní okamžitě odstraněn. Patreon uvedl, že uplatňuje politiku „nulové tolerance“ a trvá na tom, že „tvůrci nemohou financovat obsah věnovaný sexuálním tématům zahrnujícím nezletilé“.

Společnost také uvedla, že nárůst škodlivého obsahu generovaného umělou inteligencí na internetu je „skutečný a znepokojující“, a dodala, že „identifikovala a odstranila rostoucí množství“ tohoto materiálu.

[podivin]

Možná plácnu blbost, ale když už se nám plete AI do povídání a obrázků, nenapadlo někoho použít to obráceně? Nechat AI analyzovat obrázek a vyplivnout z toho popis "Dospělý provozuje pohlavní styk s osobou jevící se jako dítě" nebo "Nahaté dítě v sexuálně vyzývavé póze". To opravdu nejde? Když někdo může popsat slovně scénu tak, že z toho vygeneruje DP, tak snad by mohla zpětně z obrázku vygenerovat správný text. Nebo ta AI není zas až tak "I"?

[MR_Xguard]

Možná plácnu blbost, ale když už se nám plete AI do povídání a obrázků, nenapadlo někoho použít to obráceně? Nechat AI analyzovat obrázek a vyplivnout z toho popis "Dospělý provozuje pohlavní styk s osobou jevící se jako dítě" nebo "Nahaté dítě v sexuálně vyzývavé póze". To opravdu nejde? Když někdo může popsat slovně scénu tak, že z toho vygeneruje DP, tak snad by mohla zpětně z obrázku vygenerovat správný text. Nebo ta AI není zas až tak "I"?

Myslím že přesně takhle nebo podobně fungují roboti na FB a jinde, kteří hlídají jestli jsi jim na web nenahrál něco, co je v rozporu s pravidly.

[Cykle02]

Jmenuje se to Safety checker. Tu je návod na vypnutí a já jsem se nikdy nesetkal s tím, že by se mi vrátil černý obrázek s hláškou "Potential NSFW content was detected in one or more images. A black image will be returned instead." "Try again with a different prompt and/or seed.".

[podivin]

Jmenuje se to Safety checker.

Já nemyslel u těch AI generátorů. Já myslel na webech - když někdo nahraje obrázek, tak ho předhodí té super-AI, která z obrázku vytvoří popisek nebo, v lepším případě, rovnou popis "Obsahuje CSAM".

Oni předhazovali AI normální obrázky a z těch se AI naučila tvořit vlastní podle textového popisu.

Proč teda nenasypou do té AI existující CSAM materiál a nenaučí jí tak, jak CSAM vypadá? Pak každý nově nahraný obrázek bude zkontrolován AI a pokud to AI vyhodnotí jako CSAM, tak zamítnout. Uživatel pak může poslat svůj požadavek na zveřejnění k posouzení člověku (nejlépe s identifikací, aby nedocházelo ke spamování lidské kontroly a pokud bude obrázek shledán jako CSAM, tak bude takový člověk roznou reportován).

Možná plácnu blbost, ...

Myslím že přesně takhle nebo podobně fungují roboti na FB a jinde, kteří hlídají jestli jsi jim na web nenahrál něco, co je v rozporu s pravidly.

No ale tak to budou asi jen roboti nebo ten nějaký speciální hash, ale žádná AI, když je na těch Patreon a OnlyFans webech tolik DP, ne? Když dokáže ta AI z textu vytvořit správný obrázek, tak by měla také z obrázku dokázat vytvořit popis a o něco jedodušší by mělo být vyhodit jen CSAM ano/ne (bez textového popisu scény).

[Dreamer]

Tohle je krásná ukázka toho, jak ohýbání jazyka překrucuje skutečnost. Je to jen pár let, co jsem sem dával odkaz na manuál, který protlačila skupina neziskovek do EU (nebo OSN, už si nevzpomínám), aby vytlačily termín “child pornography” a nahradili ho termínem “CSAM”, tedy obsahující slovo “abuse”. Pro kreslené a generované materiály nebo ty, kde zjevně nedochází ke zneužívání, navrhovaly ještě alternativu “CSEM”, tedy se slovem “exploitation”, to pro ty nepoddajné země, co trvají na rozlišování obsahu se skutečným zneužíváním a bez něho. Cílem bylo vyvolat více odsouzení a znechucení společnosti a “chránit oběti”.

Tik tak pár měsíců uteklo a je to tady. Články o zneužívání a vykořisťování pixelů a nikoho to už ani neudivuje.

A stejné je to s tím znásilněním. Někdo někde pohladí nějaké malé dítě po zádech nebo zadečku a je to násilník.

Fakt nechápu, proč upravujeme jazyk tak, abychom přicházeli o rozlišovací schopnosti a nuance při komunikaci, ukládání myšlenek, a vyhodnocování dat. Neskutečně mě to sere.