19.1 AI není automaticky právním důvodem
Skutečnost, že nástroj umělé inteligence umožňuje vložit určitý údaj, neznamená, že jej tam škola smí vložit.
Před použitím je nutné určit:
- účel,
- právní základ,
- správce a zpracovatele,
- podmínky služby,
- umístění dat,
- dobu uchování,
- možnost dalšího trénování,
- možnost lidské kontroly,
- rizika chybného výsledku.
19.2 Veřejné generativní chatboty
Do veřejně dostupných chatbotů se nemají bez schváleného režimu vkládat:
- jména žáků,
- rodná čísla,
- kontaktní údaje,
- zdravotní informace,
- poradenské zprávy,
- rodinné poměry,
- neanonymizovaná kázeňská dokumentace,
- celé databáze,
- přístupové údaje,
- interní bezpečnostní informace.
Ani odstranění jména nemusí stačit, pokud lze osobu poznat z kontextu.
19.3 Žákovské práce
Žákovská práce může obsahovat:
- jméno autora,
- styl psaní,
- osobní zkušenosti,
- politické nebo náboženské postoje,
- informace o zdravotním stavu,
- údaje o rodině,
- autorsky chráněný obsah.
Před vložením práce do AI systému je nutné posoudit:
- zda je to nezbytné,
- zda lze text anonymizovat,
- zda poskytovatel text ukládá,
- zda jej používá k trénování,
- zda lze použít školní smluvní verzi,
- zda je žák o použití informován.
19.4 AI při hodnocení
AI může pomáhat například:
- navrhnout hodnoticí kritéria,
- odhalit formální chyby,
- připravit zpětnou vazbu,
- porovnat text s rubrikou.
Neměla by bez skutečné lidské kontroly:
- rozhodovat o známce,
- rozhodovat o přijetí,
- určovat kázeňské opatření,
- diagnostikovat psychický stav,
- označovat žáka za rizikového,
- určovat jeho další vzdělávací dráhu.
Lidská kontrola není pouze mechanické potvrzení návrhu AI. Člověk musí:
- rozumět významu výstupu,
- ověřit jeho správnost,
- znát omezení systému,
- mít pravomoc výstup odmítnout,
- nést odpovědnost za konečné rozhodnutí.
19.5 Halucinace a nepřesné údaje
Generativní AI může vytvářet nepravdivé informace o konkrétní osobě.
Pokud jsou takové informace:
- uloženy,
- použity při rozhodování,
- vloženy do dokumentace,
- předány dalším osobám,
může dojít k porušení zásady přesnosti a korektnosti.
Výstup AI proto nesmí být bez ověření považován za spolehlivý osobní údaj.
19.6 AI Act
Používání AI v Evropské unii upravuje také:
nařízení Evropského parlamentu a Rady (EU) 2024/1689 – AI Act.
Úplné znění:
Nařízení (EU) 2024/1689 – AI Act
AI Act používá přístup založený na riziku.
Pro školství jsou významné zejména:
- zákaz některých nepřijatelných praktik,
- požadavky na AI gramotnost,
- pravidla pro vysoce rizikové vzdělávací systémy,
- transparentnost při interakci s AI,
- lidský dohled,
- požadavky na přesnost, robustnost a kybernetickou bezpečnost.
Evropská komise řadí mezi vysoce riziková použití například AI systémy ve vzdělávání, které mohou ovlivňovat přístup ke vzdělání nebo profesní dráhu, například automatizované bodování zkoušek.
19.7 Rozpoznávání emocí
AI Act zakazuje používání systémů rozpoznávání emocí ve vzdělávacích institucích s úzkými výjimkami pro zdravotní nebo bezpečnostní účely.
Problematické by proto byly například systémy, které z obličeje, hlasu nebo pohybu žáka údajně určují:
- pozornost,
- motivaci,
- stres,
- upřímnost,
- nudu,
- emoční stav.
Zákazy vybraných praktik se uplatňují od února 2025.
19.8 AI gramotnost
Organizace používající AI musí podporovat odpovídající AI gramotnost osob, které systémy používají jejich jménem.
Ve škole by školení mělo zahrnovat:
- základní princip fungování AI,
- ochranu osobních údajů,
- bezpečné zadávání vstupů,
- ověřování výstupů,
- riziko diskriminace,
- autorské právo,
- kybernetickou bezpečnost,
- odpovědnost člověka,
- pravidla pro komunikaci se žáky.
Povinnost podporovat AI gramotnost se uplatňuje od 2. února 2025.