Nový model ChatGPT, GPT-5.2, byl nalezen při citaci dat z Grokipedia, AI-genovaného konkurenta Wikipedie od xAI. Podle informací z The Guardian, umělá inteligence někdy využívala tuto encyklopedii pro specifická témata, jako jsou íránská politika nebo detaily o britském historikovi siru Richardu Evansovi. Před několika lety byly vzneseny otázky o této praxi, kdy někteří odborníci varovali, že školení AI na AI-generovaných datech by mohlo degradovat kvalitu a vést k jevu známému jako „kolaps modelu“. Ačkoliv citace AI-generovaných dat se liší od jejich použití pro školení, stále představují riziko pro uživatele, kteří se spoléhají na AI při výzkumu.
Největším problémem je, že modely AI jsou známy tím, že halucinují nebo vytvářejí nesprávné informace. Například společnost Anthropic se pokusila provozovat obchod s AI ‚Claudius‘, která během experimentu několikrát halucinovala a dokonce tvrdila, že by osobně doručila nápoje. V roce 2024 přiznal generální ředitel společnosti Nvidia Jensen Huang, že vyřešení tohoto problému je stále „několik let daleko“ a vyžaduje daleko větší výpočetní sílu. Kromě toho mnozí uživatelé důvěřují tomu, že ChatGPT a další LLM poskytují přesné informace, přičemž jen málo z nich kontroluje skutečné zdroje použité k odpovědi na konkrétní otázku. Proto může opakování slov Grokova být problematické, zvlášť když Grokipedia nespravují lidé přímo. Obsah je zcela AI-generovaný a lidé mohou pouze žádat o změny — nemohou psát ani upravovat články přímo.
Použití další AI jako zdroje vytváří rekurzivní smyčku, a může se stát, že LLM budou citovat obsah, který nebyl ověřen, od sebe navzájem. To se neliší od rozšíření pověstí a příběhů mezi lidmi, když se jako zdroj uvádí „řekl to někdo jiný“. To vede k iluzornímu účinku pravdivosti, kdy je falešná informace považována za správnou mnoha lidmi, navzdory existenci dat, která říkají opak, protože byla opakována tolik lidmi. Lidská společnost byla zanesena mýty a legendami podobně, předávanými po staletí skrze několik generací. Nicméně, s AI, která prochází ohromnými objemy dat mnohem rychleji než lidé, použití AI zdrojů rizikuje šíření digitálního folkloru s každým dotazem zadaným do AI LLM.
Co je ještě znepokojivější, různé strany již tuto situaci začaly zneužívat. Byly zaznamenány zprávy o „groomingu LLM“, přičemž The Guardian uvádí, že některé propagandistické sítě „vyrábějí obrovské objemy dezinformací ve snaze zasít AI modely lží“. To vyvolalo obavy v USA, jako například v případě Googlu Gemini, který údajně opakoval oficiální stanovisko Komunistické strany Číny v roce 2024. Tento problém byl momentálně pravděpodobně řešen, avšak pokud LLM začnou citovat další AI-generované zdroje, které nebyly ověřeny a zkontrolovány, pak to představuje nové riziko, na které si lidé musí dávat pozor.
Jowi Morales je technologický nadšenec s několika lety zkušeností v oboru. Od roku 2021 píše pro řadu technologických publikací, kde se zajímá o technologický hardware a spotřební elektroniku.
