Hlas není důkaz přítomnosti
Představme si člověka, který se digitální podoby zemřelého otce zeptá, zda má změnit zaměstnání. Systém odpoví známým hlasem, použije rodinnou přezdívku a připomene společný zážitek. Odpověď může působit důvěrně a přesvědčivě. Otec však tuto konkrétní otázku nikdy neslyšel a tuto odpověď nevyslovil. Základním problémem proto není jen věrnost napodobení, ale také původ nové výpovědi a autorita, kterou jí posluchač přisuzuje.
Generativní AI vytváří nové výstupy podle naučených vzorců a aktuálních vstupů. Posmrtná simulace může čerpat z osobních textů, nahrávek a životopisných údajů. Pro přičítání výpovědi je však rozhodující nejen podobnost výsledku, ale také způsob jeho vzniku.
Čtyři způsoby odpovědi
Nejjednodušším případem je přehrání existující nahrávky. Výrok vznikl za života a technika jej pouze zpřístupňuje. I zde záleží na střihu a kontextu: autentická věta může být zasazena do situace, v níž působí jako odpověď na jinou otázku. Druhým případem je interaktivní archiv, který na dotaz vyhledá vhodný původní záznam. Nová je volba ukázky, nikoli nutně její obsah. Rozhraní by mělo tuto skutečnost vysvětlit.
Třetím případem je rekonstrukce postoje. Správce nebo systém z několika dokumentů odvozuje, co si člověk pravděpodobně myslel. Takové odvození může být dobře podložené, ale je stále interpretací. Čtvrtým případem je generativní simulace, která vytváří nové věty ve stylu osoby, včetně odpovědí na otázky, s nimiž se nikdy nesetkala. V tomto režimu nestačí uvést, že model používá autentické podklady. Pravost podkladů nezaručuje pravost nového výroku.
Steinhartova filosofická úvaha o digitálním pokračovateli (2007) předchází dnešním generativním službám. Hollanek a Nowaczyk-Basińska (2024) zkoumají etické problémy pomocí scénářů posmrtných simulací. Zde na ně navazuji otázkou původu výpovědi; otázku osobní identity rozebírá kapitola 11.
Původ výstupu a odpovědnost
U nové výpovědi je třeba rozlišit nejméně tři druhy původu. Prvním je původ osobních podkladů: kdo napsal dopis, kdo pořídil nahrávku a jak byl získán souhlas k užití. Druhým je způsob vytvoření odpovědi: jaký model, výběr dokumentů a aktuální zadání k ní vedly. Třetím je rozhodnutí výstup nabídnout konkrétnímu člověku pod určitou identitou. Tyto vrstvy mohou být rozděleny mezi několik aktérů.
Zemřelý může být autorem zdrojového dopisu, aniž je autorem odpovědi sestavené modelem. Správce může oprávněně uchovávat dopis, aniž smí jeho autora prezentovat jako současného rádce. Provozovatel může nést odpovědnost za nastavení systému, i když jednotlivé věty nepíše ručně. Filosofické přičítání výroku přitom není totožné s právním určením autorského práva. Právní otázka závisí na konkrétním režimu a okolnostech; zde jde především o to, komu posluchač rozumně přisuzuje rozhodnutí promluvit.
Jako vlastní pravidlo navrhuji zásadu nezaměnitelného původu: u každé nové odpovědi má být rozpoznatelné, zda jde o původní záznam, doloženou interpretaci, nebo syntetický výstup. Vhodný systém může například nabídnout původní dokument vedle shrnutí. Pokud takový dokument neexistuje, má tuto absenci přiznat. Důvěryhodnost nevzniká tím, že systém vždy odpoví; někdy ji nejlépe chrání schopnost odpověď odmítnout.
Když známý styl půjčuje autoritu
V modelovém rozhovoru o zaměstnání není podstatná jen faktická správnost rady. Uživatel ji může přijmout proto, že se podobá otcovu projevu. Vzniká přenos důvěry z minulého vztahu na současný mechanismus. Takový přenos může probíhat i tehdy, když uživatel rozumově ví, že jde o simulaci. Obecné označení „AI“ tedy samo neřeší, jakou váhu člověk odpovědi přisoudí v konkrétní chvíli.
Etické riziko roste, pokud simulace vstupuje do sporů v rodině, doporučuje výrobky nebo zdánlivě schvaluje rozhodnutí správců. Uvažujme dvě varianty věty: „V dopise z roku 2018 podporoval změnu povolání“ a „Jsem tvůj otec a chci, abys dal výpověď“. První umožňuje posoudit doložený pramen. Druhá vytváří současný osobní nárok. Rozdíl nespočívá jen v gramatice, ale v povaze vztahu, který výstup nabízí.
Harbinja, Edwardsová a McVeyová (2023) navrhují možnost předem odmítnout vytvoření bota. Rozdíl mezi tímto návrhem a platným právem rozebírají kapitoly 5 a 6. Pro přičítání výpovědi je podstatné, že oprávnění uchovat hlas samo neznamená oprávnění nechat jej říkat nové věci.
Námitka funkčního pokračování
Silná námitka tvrdí, že pokud model reaguje stejně jako původní člověk, není pro běžné vztahy rozdíl rozhodující. Někdo může hledat útěchu nebo připomenutí, nikoli metafyzický důkaz. Tuto možnost není důvod popírat. Subjektivní přínos však neřeší všechny otázky. Pořád zůstává důležité, kdo výstup mění, co se stane při chybě a zda smí být odpověď předložena dalším lidem jako otcovo stanovisko.
Podobnost může být omezena na období, publikum a témata zachycená v podkladech. Mezery model doplňuje také obecnými jazykovými vzorci, které díky známému hlasu působí osobně. Věrnost proto potřebuje dohledatelné podklady ke konkrétní odpovědi, nikoli jen dojem známosti.
Kdy odpověď může sloužit jako důkaz
Rozlišení původu je obzvlášť důležité, když má být výstup použit jako svědectví o minulosti. Uvažujme rodinu, která se modelu ptá, komu měl připadnout určitý předmět. Pokud systém najde původní dopis s jasným přáním, lze hodnotit tento dopis, jeho pravost a okolnosti. Pokud pouze vytvoří pravděpodobnou odpověď ve známém stylu, nepřibyl nový doklad dřívější vůle. Přibyla současná hypotéza zabalená do osobního projevu.
Výstup modelu může být předmětem výzkumu toho, jak systém funguje, ale není nezávislým potvrzením informací, z nichž vznikl. Stejná chyba se může opakovat v mnoha odpovědích a působit dojmem shody více svědectví. Ve skutečnosti mohou všechny vycházet z jediné nepřesné poznámky nebo z téhož nastavení. Při ověřování je proto třeba vrátit se k původním pramenům a oddělit je od odvozených formulací.
Navrhuji také zachovat možnost porovnat odpověď s časovým kontextem. Výrok o zaměstnání z mládí nemusí vyjadřovat pozdější postoj a ani pozdější postoj nemusí pokrývat dnešní situaci. Model by neměl zahladit tuto časovou vzdálenost tím, že všechny zdroje převede do současné první osoby. Věta o tom, co někdo tehdy napsal, dovoluje uživateli vlastní úsudek. Věta předstírající nové osobní rozhodnutí tuto práci může obejít.
Tím se mění i význam chyby. U běžné pomůcky opravíme nepřesnou informaci. U posmrtné simulace může být zároveň nutné opravit falešné připsání postoje člověku, jehož jméno nese. Náprava má proto vysvětlit nejen správný obsah, ale také to, že chybná věta nebyla autentickým projevem zemřelého.
Závěr
Novou odpověď vytváří současný systém. Zemřelý může být jejím datovým a biografickým zdrojem, ale výrok mu nelze připsat jako nové vlastní rozhodnutí. Odpovědný provoz proto potřebuje rozpoznatelný režim výstupů, dohledatelné podklady a identifikovatelného správce.
Literatura
HARBINJA, Edina, Lilian EDWARDS a Marisa McVEY. 2023. Governing Ghostbots. Computer Law & Security Review, 48, článek 105791. https://doi.org/10.1016/j.clsr.2023.105791
HOLLANEK, Tomasz a Katarzyna NOWACZYK-BASIŃSKA. 2024. Griefbots, Deadbots, Postmortem Avatars: On Responsible Applications of Generative AI in the Digital Afterlife Industry. Philosophy & Technology, 37, článek 63. https://doi.org/10.1007/s13347-024-00744-w
STEINHART, Eric. 2007. Survival as a Digital Ghost. Minds and Machines, 17(3), 261–271. https://doi.org/10.1007/s11023-007-9068-0