Umělá inteligence je schopná generovat dětskou pornografii, komplikuje pátrání po reálných obětech (iROZHLAS)

[Jednorozec]

Generování lechtivých obrázků už celkem dobře funguje, (na civitai si každý může stáhnout různé modely jak pro ralistické tak animované obrázky podle svého gusta) videa zatím jen několikasekundové animace a lokálně to není jednoduché. Pokud jsem to dobře pochopil, tak to odsouzení udělali tu základní chybu, že vytvořené obrázky dělali online někde na webu, nebo je zveřejnili přesvědčení že nic špatného vlastně nedělají. Pokud má člověk dostatečně výkonný HW tak zvládne minimálně obrázky offline jen pro sebe, ideálně na silně zašifroavém médiu. To mi nepřijde opravdu nijak nebezpečné pro nikoho a unfér někoho za to ještě snažit trestat.
To tvzení že to ztěžuje identifikaci těch reálných mi přijde jako nesmysl pokud to někdo nepoužívá veřejně což pro nezákonou pornografii ani nejde. Nepochybuji o tom, že v těch forech kde to dotyční sdíleli dobře věděli že nejde o reálné obrázky.
Jediné co je podle mne problematické vytváření a sdílení deep fake, což pro mne není totéž.

[Cykle02]

Britská dětská komisařka žádá zákaz aplikací, které pomocí umělé inteligence vytvářejí falešné nahé snímky dětí (Epoch Times ČR, Evgenia Filimianova)

Zatímco držení AI-generovaných nahých snímků dětí je v Británii trestné, samotné aplikace, které je vytvářejí, zůstávají legální. Komisařka varuje před jejich zneužitím.

Dětská komisařka pro Anglii Dame Rachel de Souza vyzvala vládu, aby zakázala nástroje využívající technologii deepfake – tedy uměle vytvořené falešné obrazové výstupy – k vytváření nahých snímků dětí.

Personalizované „nudifikační“ aplikace umožňují uživatelům generovat sexuálně explicitní snímky skutečných osob, což podle de Souza představuje „alarmující riziko“ pro bezpečnost dětí v online prostředí.

Ve zprávě zveřejněné v pondělí uvedla, že nástroje s umělou inteligencí schopné vytvářet nelegální snímky dětí jsou široce dostupné prostřednictvím vyhledávačů i obchodů s aplikacemi – a jejich používání je levnější než kdy dříve.

Zpráva upozorňuje, že oběťmi tohoto typu technologií se stávají převážně dívky a mladé ženy.

Jedna šestnáctiletá dívka se například ptá, proč je vůbec povoleno, aby takové aplikace existovaly: „Je to tak snadno dostupné, že kdokoli může takové fotky vytvořit, dát je na internet a… vyvolat obrovský rozruch jen několika kliknutími v mobilní aplikaci.“

Mnohé z těchto nástrojů přitom vůbec neověřují věk osob na nahraných fotografiích, což výrazně zvyšuje riziko zneužití dětí.

Zatímco držení generovaných sexuálních snímků dětí pomocí umělé inteligence (AI) je nelegální, současná legislativa nezakazuje samotné modely AI, které je vytvářejí.

De Souza proto vyzývá vládu, aby tyto aplikace zcela zakázala a zpřísnila regulaci, která by přenesla odpovědnost na technologické společnosti: „Online svět je revoluční a rychle se vyvíjí, ale neexistuje žádný pozitivní důvod, proč by takovéto aplikace měly existovat. V naší společnosti pro ně není místo.“

„Nástroje využívající technologii deepfake k vytváření nahých snímků dětí by neměly být legální. Vyzývám vládu, aby přijala rozhodná opatření a tyto nástroje zakázala dřív, než napáchají skutečné škody,“ dodává.

Nedostatečná legislativa

Na začátku roku 2025 oznámila britská vláda záměr rozšířit ochranu proti AI-generovanému sexuálnímu obsahu zahrnujícímu dospělé prostřednictvím zákona o využívání dat (Data Use and Access Bill) a zákona o trestní činnosti a policii (Crime and Policing Bill). Oba návrhy jsou zatím v parlamentním projednávání.

Zaměřují se ale především na postihování jednotlivců, kteří takový obsah vytvářejí nebo sdílejí – nikoliv na samotné technologie, které k tomu slouží.

Zákon o online bezpečnosti z roku 2023 ukládá platformám povinnost zabránit britským uživatelům v přístupu k nezákonnému obsahu, včetně materiálů znázorňujících sexuální zneužívání dětí. Technologické firmy mají také povinnost chránit děti před škodlivým obsahem, například pornografií.

Další ochranná opatření vstoupí v platnost v červenci 2025, kdy regulační úřad Ofcom zavede nové kodexy pro děti. Ty mají chránit děti před nevhodným obsahem a službami pro dospělé, ale nezakážou samotné nudifikační aplikace.

Podle zprávy dětské komisařky zůstávají děti bez potřebné ochrany před nově vznikajícími hrozbami spojenými s AI, pokud nebude přijata cílená legislativa.

Rostoucí hrozba deepfake technologií

Odhaduje se, že 99 procent sexuálně explicitních deepfake videí na internetu zobrazuje ženy a dívky. Nástroje AI jsou často trénovány na rozsáhlých databázích složených výhradně z ženských těl.

Zatímco častými terči jsou známé osobnosti jako Emma Watson, Scarlett Johansson nebo Millie Bobby Brown, zpráva varuje, že riziko hrozí i běžným ženám a školačkám.

Samotné děti se s tímto nebezpečným obsahem setkávají znepokojivě často.

Průzkum organizace Internet Matters z roku 2024 ukázal, že 13 procent britských teenagerů se s deepfake nahotou setkalo – ať už ji viděli, dostali nebo sdíleli.

Jiná studie organizace Girlguiding zjistila, že více než čtvrtina mladých lidí ve věku 13–18 let narazila na sexuálně explicitní deepfake zpodobňující celebrity, učitele, přátele – nebo dokonce je samotné.

Zpráva upozorňuje, že děti se zranitelností jsou ohroženy ještě více – 25 procent z nich uvedlo, že se setkaly se sexuálně explicitními deepfaky, což je více než dvojnásobek oproti ostatním vrstevníkům.

Dokument cituje i případy, kdy oběti následkem těchto útoků zažily posttraumatickou stresovou poruchu, sebevražedné myšlenky a v tragických případech i smrt – například čtrnáctiletá Mia Janin si v roce 2021 vzala život poté, co se stala terčem online útoků, včetně deepfake obrázků.

Úřad dětské komisařky zjistil, že nudifikační aplikace jsou otevřeně propagovány na sociálních sítích jako Instagram, Telegram nebo X (dříve Twitter) – a některé účty dokonce mají status X Premium, který bývá spojován s ověřenými uživateli.

Vyhledávání v hlavních obchodech s aplikacemi nadále vrací výsledky obsahující nudifikační nástroje, a to navzdory dřívějším zásahům. Vyhledávače Google a Bing navíc při zadání výrazů jako „deep nude“ (falešná nahá fotka) nebo „undress app“ (aplikace na svlékání) často navedou uživatele na explicitní obsah během několika kliknutí.

S rostoucím vlivem takzvané „deepfake ekonomiky“, jak ji nazývá Ofcom – tedy sítě webů, vývojářů a uživatelů profitujících z nevyžádaných sexuálních zobrazení – se situace dále zhoršuje. Otevřené AI modely, které lze volně upravovat, jsou zneužívány k vytváření personalizovaných nudifikačních služeb, bez odpovídající kontroly či odpovědnosti.

De Souza říká, že děti, které se zapojily do skupinových diskusí během přípravy zprávy, vyjádřily obavy ze zneužití technologií nudifikačních aplikací.

„Mají strach, že je kdokoli – cizí člověk, spolužák, nebo dokonce přítel – může pomocí chytrého telefonu zmanipulovat a vytvořit jejich nahý obrázek prostřednictvím těchto aplikací,“ zmínila.

–ete–

[Kasz]

Jako deepfaky jsou samy o sobě zakázané a trestné, ne? Tak jako třeba ježdění autem po chodníku. Jaký by mělo smysl zakázat prodej nebo výrobu aut, která mohou jezdit po chodníku? Nevím, jak si prakticky představuje, že by ten zákaz měl vypadat. A vůbec, zakažme počítače, které umožňují spuštění takových aplikací! A s hrdostí přivítejme zpět středověk.

[Cykle02]

Ještě sem dneska narazil na tenhle post Video Záběry zneužívání dětí generované umělou inteligencí šokovaly Evropu, zaměřily se na Rumunsko, ale není to relevatni zdroj, i když nejspíš to bude pravdivé.

Když se to (marně) pokouším ověřit, narážím třeba na články typu AI tools have put child sexual abuse ‘on steroids’, Home Secretary warns.

[Jednorozec]

Ono už ty nadpisy jsou protimluv. Jak může jít o zneužívání dětí, když se to žádného reálného dítěte netýká.
To je jako by zavíraly na desítky let do vězení lidi za vraždy v detektivkách (a tam hrají reální lidé).

[Cykle02]

Nejčastějším terčem jsou dívky. Komisařka chce zakázat AI aplikace vytvářející snímky nahých dětí (Novinky.cz, Petra Sasínová)

Anglická komisařka pro děti Rachel de Souza vyzývá vládu, aby zcela zakázala aplikace využívající umělou inteligenci (AI) k vytváření sexuálně explicitních snímků dětí. I přes nové zákony o zákazu vlastnění, vytváření nebo distribuování těchto nástrojů umělé inteligence podle ní vláda umožňuje, aby se takové aplikace dostatečně nekontrolovaly. To má důsledky pro reálný svět, hlavně pro děti a mladistvé dívky.

Komisařka uvedla, že je třeba zcela zakázat aplikace, které umožňují tzv. nudifikaci – úpravu fotografií skutečných lidí pomocí AI tak, aby vypadali nazí.

„Technologie, kterou tyto nástroje používají k vytváření sexuálně explicitních snímků, je složitá. Je navržena tak, aby zkreslovala realitu, fixovala a fascinovala uživatele. Navíc konfrontuje děti s pojmy, kterým ještě nerozumějí,“ napsala komisařka ve zprávě na stránkách organizace Children’s Commissioner.

„Vývoj těchto nástrojů probíhá v takovém měřítku a takovou rychlostí, že je velmi těžké porozumět nebezpečí, které představují,“ dodala.

Podle ní se tato technologie neúměrně zaměřuje hlavně na dívky a mladé ženy, přičemž mnoho aplikací na míru funguje pouze na ženských tělech, píše web BBC.

„Předmětem těchto sexuálně explicitních deepfakes jsou téměř výhradně ženy a dívky. Důkazy naznačují, že mnohé nástroje určené k jejich vytváření pracují pouze s obrázky žen, protože k tomu byly vyškoleny,“ vysvětluje komisařka.

I kvůli tomu se dívky aktivně vyhýbají zveřejňování obrázků nebo aktivitám na internetu, aby snížily riziko, že se stanou terčem. Stejně jako dodržují jiná pravidla, aby se ochránily v offline světě – například nechodí v noci samy domů.

Rizika pro chlapce jsou sice jiná, ale stejně škodlivá. Studie ukázaly, že dospívající chlapci jsou ohroženi převážně vlivem umělé inteligence a online komunit s extremistickým materiálem, včetně sexuálního.

Sdílení explicitních deepfake obrázků je nezákonné

Podle zákona o bezpečnosti online je sdílení nebo vyhrožování sdílením explicitních deepfake obrázků nezákonné. Anglická vláda v únoru schválila zákony na boj proti hrozbě vytváření obrázků sexuálního zneužívání dětí generovaných umělou inteligencí.

Zákony zahrnují zákaz držení, vytváření nebo distribuce nástrojů umělé inteligence určených k vytváření takového materiálu.

„Šíření materiálu zobrazujícího sexuální zneužívání dětí, včetně obrázků generovaných umělou inteligencí, je odporné a nelegální. Podle zákona o bezpečnosti online musí nyní platformy všech velikostí tento druh obsahu odstranit, jinak jim hrozí vysoké pokuty,“ uvedl mluvčí ministerstva pro vědu, inovace a technologie.

Podle něj je Spojené království první zemí na světě, která zavedla další trestné činy v oblasti sexuálního zneužívání dětí pomocí umělé inteligence. Komisařka ale tvrdí, že to není dostatečné.



„Tyto zákony nejsou dostatečné. Neměly by existovat žádné aplikace na nahotu, nejen aplikace klasifikované jako generátory sexuálního zneužívání dětí,“ uvedla.

Dále vyzvala vládu, aby uložila vývojářům generativních nástrojů umělé inteligence zákonnou povinnost identifikovat a řešit rizika, která jejich produkty představují pro děti, a přijala opatření k těmto rizikům.

Také aby zavedla systémový proces k odstranění sexuálně explicitních deepfake obrázků dětí z internetu a uznala deepfake sexuální zneužívání jako formu násilí na ženách a dívkách.

Nárůst AI nástrojů k vytváření deepfake obsahu s dětmi

Kritika zákonů a AI aplikací je reakcí na mnohá varování, včetně těch od nadace Internet Watch Foundation (IWF) – což je britská charitativní organizace částečně financovaná technologickými firmami.

Ta potvrdila, že využívání nástrojů umělé inteligence při vytváření snímků sexuálního zneužívání dětí se během jednoho roku více než zčtyřnásobilo.

Organizace během loňského výzkumu během 30 dnů našla na jediné dark webové stránce 3512 snímků pořízených umělou inteligencí. Ve srovnání se stejným měsícem v předchozím roce se počet snímků nejzávažnější kategorie (kategorie A) zvýšil o 10 %, píše web The Guardian.

Ačkoliv pachatelé většinou vytvářejí snímky pomocí AI na základě nereálných lidí, vyskytly se i případy, kdy byly použity reálné tváře dětí nebo jejich skutečné hlasy. Tyto snímky pak použili k vydírání dětí a jejich nucení do dalších zneužívajících situací.

„Víme, že tyto aplikace jsou zneužívány například i ve školách a že se tyto obrázky rychle vymknou kontrole,“ dodal prozatímní výkonný ředitel IWF Derek Ray-Hill.

„Jedná se o oblast, kterou je třeba naléhavě přezkoumat, protože hrozí, že technologie předběhne zákony a vzdělávání v této oblasti,“ uzavřel.

Co je to deepfake?

Deepfake je zdánlivě reálný, umělou inteligencí vytvořený obraz, zvuk nebo video. Na pravdě se ovšem tento materiál nezakládá.

Technologie deepfake, složenina ze slov deep learning (hluboké učení, disciplína v rámci strojového učení) a fake, využívá umělé inteligence, která pomocí algoritmů a velkého množství zdrojových fotografií dokáže vytvořit model obličeje člověka, aniž by ho bylo potřeba skenovat.

[Cykle02]

Smlouva OSN umožní znásilnění dětí umělou inteligencí jako „snížení škod“ pro pedofily (AC24.cz)

(Dezinformační web)
(LifeSiteNews) – Podle zprávy Stefana Gennariniho z Centra pro rodinu a lidská práva (C-Fam) by nová smlouva OSN, která má údajně bojovat proti kyberkriminalitě, „umožnila predátorům a technologickým gigantům profitovat ze sexuálního zneužívání dětí, a to i prostřednictvím snímků vytvořených pomocí umělé inteligence“. (Foto: Flickr)

Umělá inteligence, která způsobuje revoluci v digitálním světě warpovou rychlostí, již dokáže vytvářet snímky a videa téměř k nerozeznání od pravých.

Smlouva OSN nařizuje kriminalizovat nekonsensuální sdílení intimních fotografií i „materiálů sexuálního zneužívání dětí“, tedy snímků skutečných dětí, ale „stále umožňuje široký záběr sexualizovaného obsahu zahrnujícího děti“. Takové snímky jsou ve Spojených státech stále nezákonné, 38 států přijalo zákony zaměřené konkrétně na materiály zneužívající děti umělou inteligencí a ministerstvo spravedlnosti „agresivně“ stíhá tvůrce snímků zneužívání dětí vytvořených umělou inteligencí.

Jen v letošním roce se snímky zneužívání dětí umělou inteligencí šíří rychlostí blesku, přičemž orgány činné v trestním řízení se je snaží dohnat.

Smlouva OSN nicméně tuto rostoucí hrozbu neřeší. Namísto toho, jak poznamenává Gennarini, „nová smlouva OSN umožňuje zemím dekriminalizovat virtuální dětskou pornografii za všech okolností, stejně jako soukromý sexting nezletilých, a to i dospělým“.

Smlouva byla přijata 24. prosince 2024 a nyní ji musí jednotlivé země podepsat, aby vstoupila v platnost, přičemž slavnostní podpis je naplánován na červenec v Hanoji ve Vietnamu.

Než smlouva „vstoupí v platnost“, musí ji ratifikovat čtyřicet zemí; její zastánci argumentují například tím, že „legalizace sextingu je soucitná, protože dospívající mají právo na sexuální vyjádření“.

Gennarini poznamenává, že obhájci smlouvy argumentují tím, že „pokud by pedofilové mohli uspokojovat své sexuální záliby pomocí virtuálního materiálu, snížila by se pravděpodobnost, že budou kořistit ze skutečných dětí“.

Tento argument mimochodem předcházel vzniku umělé inteligence. Někteří lidé – včetně některých libertariánů – po léta tvrdili, že poskytnutí „odbytiště“ pedofilům v podobě dětské sexuální panenky nebo nefotografické dětské pornografie (náčrtky, malby, jiná vyobrazení, na nichž nejsou skutečné děti) by mohlo zabránit skutečnému zneužívání a ušetřit skutečné děti bolesti.

Tento argument – který v roce 2017 dokonce uvedla Barbara Kay v National Post, kde tvrdila, že takové sexuální panenky by mohly představovat „harm reduction“ – selhává nejen v testu morálky, ale zásadně nechápe, jak pornografie ve skutečnosti funguje.

Pornografie pouze nekrmí poptávku, ale podněcuje ji. Ti, kdo začínají s obrázky UI, budou nevyhnutelně stupňovat užívání a tato pornografie upevní a podpoří pedofilní touhy. Ve skutečnosti Guardian minulý měsíc zveřejnil zprávu, která podrobně popisuje, jak algoritmy na pornografických stránkách a stupňující se závislost na pornu vedou rostoucí počet mužů a nezletilých k používání dětské pornografie.

Technokratický přístup ke snižování škod je naprosto nevhodný vzhledem k rozsahu a závažnosti tohoto problému, a to jak z morálního, tak praktického hlediska. Přesto se zdá, že se OSN tímto směrem vydává. Jak poznamenává Gennarini: „[P]rývají, že opuštění termínu „dětská pornografie“ je nezbytné, aby se zabránilo opětovné viktimizaci těch, kteří byli zneužiti. To vše označují za součást přístupu ‚informovaného o traumatech‘ a ‚snižování škod‘, který vychází z nových teorií v behaviorální terapii.“

Jednoduše řečeno, tyto teorie jsou nesmysl.V posledním desetiletí se západní země konečně potýkají se skutečností, že všudypřítomná konzumace a dostupnost pornografie vyvolala plnohodnotnou krizi, která změnila způsob, jakým se lidé k sobě navzájem vztahují, a rozšířila násilí v intimním kontextu.

Násilná pornografie se nejen konzumuje, ale také se podle ní jedná, a proto se v posledním desetiletí normalizovaly praktiky jako „škrcení“.

To není přehnané – podle časopisu Atlantic, 24 % amerických žen uvedlo, že během intimního styku pociťují strachkvůli škrcení inspirovanému pornem, přičemž The Insider poznamenal, že tato praktika je nyní „tak normální, že o ní příslušníci generace Z ani nemluví“.

Pornografie je jed a jakékoli zobrazování dětí – ať už umělé inteligence, nebo jiné – doluje z pekelných jam. Musí být zakázána v jakékoli podobě a trestána v plném rozsahu zákona.

Zdroj: theguardian.com

[Cykle02]

Umělá inteligence ohrožuje skutečné oběti sexuálního zneužívání dětí (Novinky.cz, Petra Sasínová)

Charitativní organizace Internet Watch Foundation (IWF) tvrdí, že rychlý nárůst realistických snímků zneužívání dětí generovaných umělou inteligencí může vést k vyššímu počtu falešných obvinění, zatímco skutečné případy mohou zůstat bez povšimnutí. Za poslední rok se počet těchto deepfake materiálů podle IWF ztrojnásobil.

Internet Watch Foundation se sídlem v Histonu nedaleko Cambridge se zaměřuje na vyhledávání, označování a odstraňování materiálů zobrazujících sexuální zneužívání dětí z internetu, píše web BBC.

Její práci však výrazně komplikuje rostoucí výskyt obrazového materiálu generovaného umělou inteligencí – podle BBC došlo v roce 2024 k nárůstu těchto případů o 300 % oproti předchozímu roku.

Podle technologického ředitele IWF Dana Sextona vyvolává velké obavy, zda policie dokáže rozeznat, jestli jde o skutečné dítě v nebezpečí, nebo o výtvor umělé inteligence.

Tempo vývoje AI technologií je znepokojivé

Natalia (její skutečné jméno bylo z důvodu ochrany identity změněno) působí v organizaci IWF jako analytička už téměř pět let a specializuje se mimo jiné na oblast umělé inteligence. Podle ní je tempo, jakým se AI technologie vyvíjí, znepokojivé.

„Dnešní obsah je neuvěřitelně realistický. A rychlost vývoje těchto technologií je skutečně alarmující,“ uvedla.

Svou obavu ilustrovala příběhem jedné z obětí dětského zneužívání, jejíž fotografie kolují po internetu už od roku 2011. Ačkoli byl pachatel dopaden a dívka se později rozhodla svůj příběh zveřejnit, tyto snímky jsou stále dostupné online – a nově se objevují i jejich verze vytvořené umělou inteligencí.

„Některé nové snímky generované umělou inteligencí jsou dokonce ještě brutálnější než ty skutečné,“ upozornila s tím, že nejde o zločin bez oběti. „Existuje skutečná osoba, která tím trpí, a tento typ obsahu jí způsobuje opravdovou újmu.“

Nadace také sleduje, kde a jak tento obsah vzniká, a aktivně pracuje na využití umělé inteligence k jeho odhalování. „Rozsah problému a jeho možný další růst znamenají, že nikdy nebylo důležitější mít k dispozici AI nástroje, které nám s tím pomohou,“ vysvětlil Sexton.

„Přál bych si, aby jednoho dne bylo možné zveřejnit zprávu, která by ukazovala pokles výskytu materiálů se sexuálním zneužíváním dětí. Bohužel k tomu zatím nedošlo,“ uzavřel.

[Cykle02]

Svlékací aplikace využívající AI pohánějí smrtící vlnu on-line vydírání, píše AFP (České noviny, ČTK)

New York - Když letos dospívající chlapec z amerického státu Kentucky spáchal sebevraždu, jeho rodiče zjistili, že dostával výhrůžné textové zprávy. Jejich odesilatelé po něm žádali 3000 dolarů (téměř 64.000 Kč), jinak zveřejní jeho nahé snímky vyrobené s pomocí umělé inteligence (AI). Napsala to agentura AFP.

Tato tragédie odhalila jen jeden z případů podvodů založených na takzvaném sexuálním vydírání (známém také pod anglickým označením sextortion), které se zaměřují na děti po celém světě. Umožňuje je rychlé šíření tzv. svlékacích aplikací, které využívají AI, aby digitálně "svlékly" svou oběť nebo vytvořily sexualizované snímky.

Šestnáctiletý Elijah Heacock byl jedním z tisíců amerických nezletilých, kteří se stali terčem podobného digitálního vydírání. Nyní sílí hlasy vyzývající k většímu zásahu ze strany technologických platforem a regulačních orgánů.

Elijahovi rodiče americkým médiím sdělili, že mu textové zprávy nařizovaly zaplatit, jinak jeho příbuzní a přátelé dostanou jeho nahou fotku, která byla zřejmě generovaná umělou inteligencí.

"Lidé, kteří jdou po našich dětech, jsou dobře organizovaní," řekl v rozhovoru v televizi CBS News chlapcův otec John Burnett. "Mají dostatek finančních prostředků a jsou neúprosní. Nepotřebují, aby fotografie byly skutečné, mohou generovat, co chtějí, a pak to použijí k vydírání dítěte," dodal.

Američtí vyšetřovatelé případ prověřují. Podle policie jde o součást širšího kriminálního trendu, kdy se svlékací aplikace, které původně cílily především na celebrity, čím dál tím častěji zneužívají proti dětem.

Federální úřad pro vyšetřování (FBI) informoval o děsivém nárůstu počtu případů sexuálního vydírání zaměřeného proti americkým nezletilcům. Oběťmi jsou obvykle chlapci ve věku 14 až 17 let. Výhrůžky už vedly k "alarmujícímu počtu sebevražd", varovala FBI.

Nezisková organizace Thorn, která se zaměřuje na prevenci zneužívání dětí na internetu, v nedávném průzkumu zjistila, že přímou obětí falešných nahých fotografií se stalo šest procent amerických teenagerů.

"Zprávy o padělaných a upravených snímcích, z nichž mnohé jsou generovány pomocí těchto 'svlékacích aplikací', se zdají být úzce spojené se zprávami o vydírání s pomocí sexuálně explicitních obrázků," uvedla ve své loňské zprávě britská organizace Internet Watch Foundation (IWF).

"Pachatelé už nemusejí získávat intimní fotky od dětí, protože obrázky, které jsou dostatečně přesvědčivé, aby byly škodlivé – v některých případech možná dokonce stejně škodlivé jako skutečné fotky – lze vytvořit pomocí generativní umělé inteligence," dodala IWF. Té se podařilo na internetu najít "pedofilní příručku", která přímo vyzývala pachatele, aby používali svlékací aplikace k vytváření snímků, s nimiž budou moci děti vydírat. Autor příručky tvrdil, že tímto způsobem úspěšně vydíral několik 13letých dívek.

Nástroje sloužící k vytváření padělaných nahých snímků jsou lukrativní byznys. Nová analýza 85 webových stránek, které prodávají podobné aplikace či programy, ukázala, že jejich celková hodnota může dosahovat až 36 milionů dolarů ročně. Analýza společnosti Indicator, která se zabývá digitálními podvody, pak ukazuje, že 18 těchto webů vydělalo za šest měsíců do letošního května od 2,6 milionu do 18,4 milionu dolarů.

Většina webů využívá k provozu technologickou infrastrukturu společností Google, Amazon a Cloudflare a zůstává zisková i přes zásahy platforem a regulačních orgánů, uvedla společnost Indicator.

Rozšíření nástrojů umělé inteligence vede k novým formám zneužívání dětí nebo šikany, včetně pornografických skandálů na univerzitách a školách po celém světě, kde teenageři vytvářeli sexualizované obrázky svých spolužáků.

Nedávný průzkum organizace Save the Children zjistil, že každý pátý mladý člověk ve Španělsku se stal obětí falešných nahých fotografií, které bez jeho souhlasu začaly kolovat on-line. Na začátku letošního roku španělští státní žalobci oznámili, že vyšetřují tři nezletilé osoby ve městě Puertollano. Dotyční s pomocí AI údajně vytvářeli pornografický obsah zaměřený na jejich spolužáky a učitele, a šířili jej ve své škole.

Ve Velké Británii vláda letos zařadila vytváření sexuálně explicitních falešných snímků či videí mezi trestné činy. Usvědčeným pachatelům za ně hrozí až dva roky vězení. Obdobný zákon podepsal letos v květnu také americký prezident Donald Trump. Na jeho základě je trestné zveřejňování intimních obrázků bez souhlasu dané osoby. Zákon zároveň nařizuje jejich odstranění z on-line platforem.

Navzdory všem opatřením ale weby nabízející svlékací aplikace a podobné služby nemizí. Boj s nimi je podle odborníků jako snaha useknout chobotnici neustále dorůstající chapadla.

[Cykle02]

AI and loopholes: Confronting child sexual abuse in Europe (EPP Group in the European Parliament)

Přepis whisper.cpp, sumarizace Meta-Llama-3.1-8B-Instruct:

Tento přepis videa pojednává o ochraně dětí před sexuálním zneužíváním. Zazní zde informace o:

Růstové tendenci sexuálního zneužívání dětí online a offline.
Potřebě aktualizace evropského práva v oblasti boje proti sexuálnímu zneužívání dětí.
Použití umělé inteligence (AI) k generování obsahu sexuálního zneužívání dětí a potřebě jeho trestního postihu.
Nutnosti odstranit lhůty pro stíhání pachatelů sexuálního zneužívání dětí.
Potřebě vytvoření bezpečného prostředí pro oběti, aby mohly získat spravedlnost.
Potřebě sjednocení pravidel pro souhlas v různých zemích EU.
Nutnosti zabránit dětem přístupu k dospělým obsahům online.

Pedofilové a pachatelé sexuálního zneužívání dětí nejsou přímo jmenováni, ale je zmíněno, že je nutné trestně postihnout i ty, kteří generují a šíří obsah sexuálního zneužívání dětí pomocí AI.

[Cykle02]

Deepfakes v trestním právu: nová skutková podstata a její dopady (Trestní odpovědnost)

Autoři: JUDr. Lukáš Duffek, Mgr. Linda Coufalová, Mgr. Barbora Melková, Martina Lukšíková

Technologický pokrok přináší nejen nové možnosti, ale i nové hrozby. Jedním z nejvýraznějších negativních fenoménů posledních let spojených s technologickým pokrokem jsou tzv. deepfakes.  Jedná se o realisticky vypadající, avšak falešná videa či obrazy vytvořené pomocí umělé inteligence. Tato technologie, původně vyvíjená pro filmový průmysl či výzkum, se rychle stala nástrojem kyberšikany, vydírání a útoků na lidskou důstojnost.

České trestní právo na tento vývoj reaguje novelou provedenou zákonem č. 270/2025 Sb., účinnou od 1. ledna 2026, která zavádí dvě nové skutkové podstaty, a sice:

• zcela nový trestný čin zneužití identity k výrobě pornografie a její šíření dle § 191a trestního zákoníku,
• nový odst. 2 v rámci trestného činu poškození cizích práv dle § 181 trestního zákoníku.

V souhrnu by nová úprava měla mířit jak na deepfakes pornografické povahy, tak na nepornografická deepfakes vytvořená v úmyslu způsobit někomu vážnou újmu. Trestní zákoník tím získá nový prostředek, který by měl reagovat alespoň na ty nejzávažnější případy deepfakes a obdobných falešných záznamů.

Nový trestný čin zneužití identity k výrobě pornografie a její šíření dle § 191a trestního zákoníku

Úplnou novinkou je zejména trestný čin Srov. např. trestný čin šíření pornografie dle § 191 trestního zákoníku či trestný čin výroba a jiné nakládání s dětskou pornografií dle § 192 trestního zákoníku.zneužití identity k výrobě pornografie a její šíření dle § 191a trestního zákoníku, který byl přijat primárně za účelem postihu deepfake pornografie.[1] Nový trestný čin postihne toho, kdo „vyrobí, doveze, vyveze, proveze, nabídne, učiní veřejně přístupným, zprostředkuje, uvede do oběhu, prodá nebo jinak jinému opatří fotografické, filmové, počítačové, elektronické nebo jiné pornografické dílo, které zobrazuje nebo jinak využívá osobu, o které ví, že k takovému zobrazení nebo využití nedala souhlas.“

Míří tedy na situace, kdy je vytvořen nebo šířen pornografický materiál bez souhlasu vyobrazené osoby. V oblasti falešných videí se typicky jedná o upravená pornografická videa, do nichž je „vložen obličej“ konkrétního člověka. Ten tak bude vypadat, jako by se účastnil vyobrazené sexuální aktivity, ačkoliv se jí nikdy neúčastnil a takové záznamy nikdy nepořídil. Tento materiál může mít povahu fotografie či videa, ale též třeba zvukové nahrávky, bude-li možno ji v konkrétním případě považovat za „pornografické dílo“. Novela operuje právě s tímto pojmem, který využívá i v jiných, již existujících trestných činech.[2] Cílí tedy hlavně na explicitnější záběry, typicky zachycující pohlavní styk či otevřenou nahotu.

[1] Zvláštní část důvodové zprávy k zákonu č. 270/2025 Sb., k bodu 56.

[2] Srov. např. trestný čin šíření pornografie dle § 191 trestního zákoníku či trestný čin výroba a jiné nakládání s dětskou pornografií dle § 192 trestního zákoníku.

[Jednorozec]

Bude se to týkat jen reálných osob nebo i třeba filmových postav?

[Kasz]

Bude se to týkat jen reálných osob nebo i třeba filmových postav?

Třeba nám na to soud v nějakém rozsudku odpoví...

[Cykle02]

“AI je mocný nástroj,” říká Burdová. Umí děti svléknout i zneužít jejich obličej (Aktuálně.cz, Michaela Lišková)

“Sdílet fotku dítěte v plavkách na sítích je velmi nebezpečné,” varuje odbornice na kyberbezpečnost a ředitelka neziskové organizace Linkin Sphere Diana Burdová. Podle ní by rodiče neměli sdílet ani snímky, kde je dětem vidět do obličeje. “Někteří lidé díky generativní umělé inteligenci získali mocný nástroj. AI dokáže dítě i svléknout,” upozorňuje.

Nejcitlivějším obrazovým údajem je obličej dítěte. „Umělá inteligence je schopna tu fotografii upravit velmi snadno a velmi rychle. Dokáže dát obličej dítěte do někoho jiného na fotografii, kde by rodiče asi nechtěli, aby jejich dítě bylo. Umí dogenerovat velmi realisticky vypadající tělo,“ upozorňuje odbornice na kyberbezpečnost s tím, že může fotografii dítěte někdo zneužít jako pornografický materiál. 

Pokud rodiče chtějí fotky dětí sdílet, měli by podle Burdové přidávat spíše fotky zezadu nebo detaily a nesdílet k nim osobní údaje jako třeba geolokaci, kam chodí dítě do školy. „Když dají rodiče přes obličej dítěte smajlík, funguje to pouze v případě, že nikde jinde na internetu není dohledatelná jiná fotka daného dítěte s obličejem, kterou může sdílet i někdo jiný než rodiče, třeba škola,“ vysvětluje.

Rodiče mohou nad sdílenými fotkami dětí jednoduše ztratit kontrolu, tvrdí Burdová. „Nejvíc nebezpečné jsou třeba veřejné skupiny na Facebooku nebo veřejný Instagram. Pokud už chtějí rodiče něco sdílet, je určitě lepší variantou soukromý profil, i tak by se ale mělo dbát na to, aby člověk všechny sledující znal a hlavně věděl, že fotky nikdo nebude screenovat a posílat dál, i když by to nemyslel špatně,“ popisuje.

Celý rozhovor si můžete pustit v úvodním videu nebo si ho poslechnout ve své oblíbené podcastové aplikaci. Jaká byla jeho hlavní témata?

00:00:57–00:03:38: Jak generativní umělá inteligence změnila rizika sdílení dětských fotografií? Proč je obličej nejcitlivějším údajem a jak AI dokáže fotky dětí zneužít? Proč nejsou bezpečné ani snímky oblečených dětí?

00:03:38–00:07:15: Jaká jednoduchá poučka platí pro sdílení fotek dětí na internetu? Proč by rodiče měli zvažovat každou fotografii? Jak je nebezpečné sdílet fotky dětí v plavkách a jak může dojít k jejich zneužití? Jak vysvětlit rodičům, že internet je veřejné místo?

00:07:15–00:12:31: Je soukromý profil dostatečně bezpečný a jak hrozí únik dat ze soukromých skupin? Které sociální sítě jsou v této problematice nejnebezpečnější? Dokáže umělá inteligence rozpoznat obličej dítěte i pod smajlíkem? Jaké jsou dopady tzv. deepfake videí a faceswapů na krádež identity?

00:12:31–00:17:40: Jaké nejhorší následky hrozí uniklým fotografiím dětí do budoucna? Mohou být zneužity i snímky novorozenců? Jak na množství fotek na Instagramu reagují starší děti a hrozí i soudní spory?

00:17:40–00:21:02: Od jakého věku by měli rodiče žádat dítě o souhlas se zveřejněním fotografie? Jaký dopad může mít tzv. sharenting na budoucí kariéru, vztahy a přijímací řízení dětí? Bude budoucí generace méně sdílet, protože generace jejich rodičů sdílela příliš?

[Jednorozec]

"Někteří lidé díky generativní umělé inteligenci získali mocný nástroj. AI dokáže dítě i svléknout"

Řekl té paní, že když ho dokáže svléknout tak dokáže i vytvořit i jakýkoli jiný obličej a tudíž zároveň mizí i ten strašný důvod proč to dělat?

[Cykle02]

Grok AI Elona Muska generuje obrázky „nezletilých osob v minimálním oblečení“ (Britské listy)

xAI tvrdí, že pracuje na vylepšení systémů poté, co selhání bezpečnostních opatření vedlo tento týden k vlně sexualizovaných záběrů

Chatbot Grok Elona Muska v pátek zveřejnil, že selhání bezpečnostních opatření vedlo k tomu, že na sociální platformě X generoval „snímky zobrazující nezletilé osoby v minimálním oblečení“. Chatbot, produkt společnosti xAI Elona Muska, generoval po celý týden vlnu sexualizovaných obrázků v reakci na podněty uživatelů.

Screenshoty sdílené uživateli na X ukázaly, že veřejná mediální záložka Groku byla plná takových obrázků. Společnost xAI uvedla, že pracuje na vylepšení svých systémů, aby zabránila budoucím incidentům.

„Existují ojedinělé případy, kdy uživatelé vyžádali a obdrželi obrázky AI zobrazující nezletilé osoby v minimálním oblečení,“ uvedl Grok v příspěvku na X v reakci na dotaz uživatele. „Společnost xAI má bezpečnostní opatření, ale neustále pracujeme na vylepšeních, abychom takové požadavky zcela blokovali.“

„Jak již bylo uvedeno, identifikovali jsme mezery v bezpečnostních opatřeních a urgentně je opravujeme – CSAM je nelegální a zakázané,“ napsala společnost xAI na účet @Grok na X s odkazem na materiál zobrazující sexuální zneužívání dětí.

Mnoho uživatelů na X v posledních dnech vyzvalo Grok, aby generoval sexualizované, neoprávněné umělou inteligencí upravené verze obrázků, v některých případech odstranil lidem oblečení bez jejich souhlasu. Musk ve čtvrtek repostoval AI fotografii sebe sama v bikinách s popiskem s emodži plačícího smíchu, čímž narážel na tento trend.

Generování sexualizovaných obrázků Grokem se zdálo postrádat bezpečnostní zábrany, což umožňovalo, aby se v jeho příspěvcích objevovaly nezletilé osoby, obvykle ženy, které měly na sobě málo oblečení. Ve čtvrtek Grok v odpovědi uživateli na X uvedl, že většině případů lze zabránit pomocí pokročilých filtrů a monitorování, i když „žádný systém není stoprocentně spolehlivý“, a dodal, že xAI upřednostňuje vylepšení a kontroluje podrobnosti sdílené uživateli.

Když byla firma  xAI požádána o komentář e-mailem, odpověděla zprávou: „Legacy Media Lies“ (Lži tradičních médií).

Problém využívání umělé inteligence k vytváření materiálů s dětskou sexuální tematikou je v odvětví umělé inteligence dlouhodobým problémem. Studie Stanfordské univerzity z roku 2023 zjistila, že datový soubor používaný k trénování řady populárních nástrojů umělé inteligence pro generování obrazů obsahoval více než 1000 obrázků s dětskou sexuální tematikou. Trénování umělé inteligence na obrázcích zneužívání dětí může podle odborníků umožnit modelům generovat nové obrázky zneužívaných dětí.

Grok má také historii selhání v udržování bezpečnostních opatření a zveřejňování dezinformací. V květnu loňského roku začal Grok zveřejňovat příspěvky o krajně pravicovém spiknutí „genocidy bílých“ v Jižní Africe v příspěvcích, které s tímto konceptem neměly žádnou souvislost. Společnost xAI se také v červenci omluvila poté, co Grok začal zveřejňovat fantazie o znásilnění a antisemitský materiál, včetně označování sebe sama jako „MechaHitler“ a chválení nacistické ideologie.

Firma nicméně týden po těchto incidentech uzavřela smlouvu s americkým ministerstvem obrany v hodnotě téměř 200 milionů dolarů.

Zdroj v angličtině ZDE

[Cykle02]

Brusel chce po síti X informace k chatbotovi kvůli sexualizovaným obrázkům (České noviny, ČTK)

Brusel - Evropská komise (EK) zaslala americké společnosti X Corp miliardáře Elona Muska žádost o informace ohledně chatbota s umělou inteligencí (AI) Grok v reakci na nedávný skandál, kdy chatbot na žádost uživatelů na síti X generoval sexualizované fotografie žen a dětí. Informoval o tom mluvčí EK Thomas Regnier. Brusel zároveň firmě nařídil, aby nadále uchovávala všechny dokumenty týkající se Groka na její platformě X, a to až do konce letošního roku.

"Nelegální. Nepřijatelné. Nechutné," uvedl Regnier s tím, že podle unijního nařízení o digitálních službách (DSA) má síť X povinnost situaci řešit. "Protože takový výstup nemůžeme tolerovat. Je to v rozporu s evropskými hodnotami a základními právy. Dodržování evropské legislativy není volba, je to povinnost," dodal.

Evropská komise už loni přikázala společnosti X uchovávat dokumenty v souvislosti s vyšetřováním fungování algoritmu stejnojmenné sociální sítě na území EU. Platnost tohoto příkazu vypršela na konci loňského roku.

"Říkáme tím platformě - uchovávejte si své interní dokumenty, nezbavujte se jich, protože máme pochybnosti o tom, zda dodržujete předpisy, a my k nim musíme mít přístup, pokud o to výslovně požádáme," sdělil Regnier novinářům.

Švédská vláda se dnes připojila ke kritice sítě X s tím, že obrázky generované umělou inteligencí jsou nepřijatelné. Chatbot vytvořil sexualizované obrázky dětí, které byly sdíleny na platformě X, což vyvolalo obavy o bezpečnost modelu, uvedl server listu Financial Times (FT). Grok později v příspěvku na webu X uvedl, že materiály se sexuálním zneužíváním dětí jsou "nezákonné a zakázané".

Doktorandka dublinské Trinity College Nana Nwachukwuová ve svém výzkumu shromáždila asi 500 interakcí uživatelů sítě X s Grokem, na nichž podle webu The Guardian dokládá, jak často se něco podobného děje. Téměř tři čtvrtiny příspěvků byly žádosti o snímky skutečných žen nebo nezletilých s odstraněnými nebo přidanými částmi oblečení.

Uživatelé si podle Nwachukwuové navzájem radí, jak zadávat příkazy. Navrhují Grokovi zobrazení žen v prádle nebo plavkách, případně s částmi těla pokrytými spermatem a žádají chatbota, aby odstranil svrchní oděv v odpovědích na příspěvky obsahující autoportréty uživatelek. Z kontextu vyplývá, že se tak děje bez souhlasu dotčených žen.

Ministři francouzské vlády podle agentury Reuters minulý pátek nahlásili sexuální obrázky generované Grokem prokuratuře. Rovněž jej postoupili telekomunikačnímu úřadu Arcom stran možného porušení povinností ze strany sítě X podle DSA.

Musk loni oznámil, že kontrolu nad sítí X převzal jeho start-up pro umělou inteligenci xAI, který získal firmu X Corp, tedy provozovatele sítě X. Start-up také vyvíjí chatbota Grok, kterého síť X integrovala do své platformy.

Jedním z Muskových projektů bylo integrování chatbota do sítě X, což umožňuje uživatelům povolat jej na pomoc v běžných veřejných konverzacích. Například když chtějí ověřit, zda je výrok jiného uživatele pravdivý nebo když mu chtějí dodat kontext.

Loni Grok na síti X zveřejnil antisemitské a urážlivé komentáře. Mezi jeho výstupy se objevily například konspirační teorie o židovském vlivu a Grok sám sebe v některých odpovědích označil za MechaHitlera, robotickou postavu Hitlera, která se poprvé objevila v roce 1992 ve videohře Wolfenstein 3D.

[Jednorozec]

"Švédská vláda se dnes připojila ke kritice sítě X s tím, že obrázky generované umělou inteligencí jsou nepřijatelné."
Tak mně napadá když se jim nelíbí tak je nikdo nenutí se na ně koukat ne? V reálu to dělá jen to co po tom chtějí lidé a lidskou fantazii zakázat nejde..

[Pavel1]

"Švédská vláda se dnes připojila ke kritice sítě X s tím, že obrázky generované umělou inteligencí jsou nepřijatelné."
Tak mně napadá když se jim nelíbí tak je nikdo nenutí se na ně koukat ne? V reálu to dělá jen to co po tom chtějí lidé a lidskou fantazii zakázat nejde..

Vsak ty svine by zakázali i myšlenky, kdyby to šlo

[Cykle02]

Britský regulátor kvůli sexualizovaným fotkám vyšetřuje síť X (ČT24, ČTK, Pavel Šimek, pov, kos)

Vyšetřování americké platformy X miliardáře Elona Muska zahájil britský úřad pro regulaci mediálního trhu Ofcom. Je to v souvislosti se skandálem, kdy chatbot Grok na žádost uživatelů na síti X generuje sexualizované fotografie žen a dětí. Ofcom se zabývá podezřením, že síť nedostatečně chrání uživatele před nezákonným obsahem, uvedl úřad v pondělním sdělení. Malajsie a Indonésie během víkendu jako první země na světě přístup ke Groku zablokovaly.

„Objevily se velmi znepokojivé zprávy o tom, že účet chatbota Grok AI na X byl používán k vytváření a sdílení snímků svlečených lidí – což může představovat zneužívání intimních snímků nebo pornografii – a sexualizovaných snímků dětí, které mohou představovat materiál zobrazující sexuální zneužívání dětí,“ uvedl Ofcom.

Úřad v oficiálním vyšetřování chce posoudit podezření, že společnost X Corp nesplnila zákonem stanovené povinnosti. Jde mimo jiné o provedení včasných opatření, která zabrání lidem ve Spojeném království, aby si prohlíželi nelegální obsah včetně intimních snímků pořízených bez souhlasu. Zkoumá také, zda firma odstranila nelegální obsah dostatečně rychle, jakmile se o něm dozvěděla.

Ofcom oslovil společnost X Corp s žádostí o vyjádření minulý týden v pondělí. Firma odpověděla ve stanoveném termínu do pátku. V pátek úřad obdržel také odpověď od firmy xAI. Ta je mateřskou společností X Corp a zároveň vyvíjí chatbota Grok.

Jen pro platící

Síť X minulý týden vypnula neplatícím uživatelům možnost prostřednictvím chatbota generovat nebo upravovat obrázky. Funkci mají dál k dispozici uživatelé s modrým ověřovacím symbolem u jména, kteří si platí prémiovou verzi platformy.

„Nic to neřeší. Ve skutečnosti je to urážka obětí misogynie a sexuálního násilí. Dokazuje to pouze to, že X dokáže jednat rychle, když chce,“ sdělil serveru The Guardian mluvčí britské vlády s tím, že síť jen změnila funkci z neplacené služby na prémiovou. „Je načase, aby se síť X touto otázkou zabývala,“ dodal. V Česku předplatné prémiové verze stojí 67 korun měsíčně.

Grok začala vyšetřovat i britská telekomunikační komise. „Mohou platformě uložit pokutu ve výši 18 milionů liber nebo deseti procent jejích celosvětových příjmů – podle toho, která částka je vyšší,“ vysvětlila britská ministryně pro vědu a technologie Liz Kendallová. Kromě vysokých pokut ale může komise rozhodnout i o zákazu vysílání nebo provozování služby na území Velké Británie.

Elon Musk kritiku britských úřadů už dříve označil za snahu ospravedlnit cenzuru. Funkce AI asistenta Groka považuje za druh humoru a projev svobody projevu.

Věcí se zabývá také Evropská komise (EK). Ta minulý týden zaslala společnosti X Corp žádost o informace ohledně Groka. Brusel zároveň firmě nařídil, aby nadále uchovávala všechny dokumenty týkající se Groka na své platformě X, a to až do konce letošního roku.

„Nelegální. Nepřijatelné. Nechutné,“ uvedl mluvčí EK Thomas Regnier s tím, že podle unijního nařízení o digitálních službách (DSA) má síť X povinnost situaci řešit. „Protože takový výstup nemůžeme tolerovat. Je to v rozporu s evropskými hodnotami a základními právy. Dodržování evropské legislativy není volba, je to povinnost,“ dodal.

Malajsie a Indonésie Grok zablokovaly

Kvůli schopnosti chatbotu vytvářet sexuálně explicitní deepfakes zablokovaly Grok Malajsie a Indonésie. Jsou prvními zeměmi na světě, které ho zakázaly, napsal server BBC.

Vlády Malajsie a Indonésie oznámily svůj krok proti Groku nezávisle na sobě během víkendu. Jihovýchodní asijské země uvedly, že Grok by mohl být použit k vytváření pornografických a neoprávněných obrázků zahrnujících ženy a děti.

Malajsijská komise pro komunikaci a multimédia v neděli uvedla, že na začátku roku uložila společnosti X, aby přijala přísnější opatření poté, co zjistila „opakované zneužití“ Groku k vytváření škodlivého obsahu.

Ve své odpovědi však společnost X neřešila klíčové problémy platformy a zaměřila se hlavně na proces hlášení uživatelů, uvedl malajsijský regulátor. Dodal, že Grok bude blokován, dokud nebudou zavedena účinná ochranná opatření, a vyzval veřejnost, aby hlásila škodlivý on-line obsah.

Sexualizované fotky na přání a bez souhlasu

Doktorandka dublinské Trinity College Nana Nwachukwuová ve svém výzkumu shromáždila asi pět set interakcí uživatelů sítě X s Grokem, na nichž podle webu The Guardian dokládá, jak často se něco podobného děje. Téměř tři čtvrtiny příspěvků byly žádosti o snímky skutečných žen nebo nezletilých s odstraněnými nebo přidanými částmi oblečení.

Uživatelé si podle Nwachukwuové navzájem radí, jak zadávat příkazy. Navrhují Grokovi zobrazení žen v prádle nebo plavkách, případně s částmi těla pokrytými spermatem a žádají chatbota, aby odstranil svrchní oděv v odpovědích na příspěvky obsahující autoportréty uživatelek. Z kontextu vyplývá, že se tak děje bez souhlasu dotčených žen.

Musk loni oznámil, že kontrolu nad sítí X převzal jeho start-up pro umělou inteligenci xAI, který získal firmu X Corp, tedy provozovatele sítě X. Start-up také vyvíjí chatbota Grok, kterého síť X integrovala do své platformy. Jedním z Muskových projektů bylo integrování chatbota do sítě X, což umožňuje uživatelům použít ho v běžných veřejných konverzacích.

Loni Grok na síti X zveřejnil antisemitské a urážlivé komentáře. Mezi jeho výstupy se objevily například konspirační teorie o židovském vlivu a Grok sám sebe v některých odpovědích označil za MechaHitlera, robotickou postavu Hitlera, která se poprvé objevila v roce 1992 ve videohře Wolfenstein 3D.