Sztuczna inteligencja nie przestaje zaskakiwać. Jeszcze kilka lat temu postrzegana jako eksperyment technologiczny, dziś staje się nieodłącznym elementem funkcjonowania większości firm. AI wspiera procesy rekrutacyjne, analizuje dane klientów, automatyzuje decyzje kredytowe i… tym samym budzi uzasadnione pytania.
Czy takie systemy mogą być wykorzystywane bez ograniczeń?
Kto odpowiada za ich decyzje?
Jak zapewnić zgodność systemów AI z przepisami?
Unia Europejska odpowiedziała na te wyzwania przyjmując AI Act - pierwszą regulację dotyczącą tworzenia, udostępniania i stosowania AI. I choć jej pełne wdrożenie potrwa jeszcze chwilę, już teraz warto zrozumieć, jak to rozporządzenie wpłynie na przedsiębiorców i jakie obowiązki niesie ze sobą dla twórców, dostawców i użytkowników AI.
Szczególną uwagę należy zwrócić na tzw. systemy wysokiego ryzyka. To właśnie one – choć dozwolone – będą objęte ścisłym nadzorem i szeregiem obowiązków. Zignorowanie tych regulacji może skończyć się nie tylko karami finansowymi (sięgającymi nawet 15 milionów euro), ale także odpowiedzialnością za naruszenie praw podstawowych użytkowników czy klientów.
W dzisiejszym wpisie tłumaczę, czym według rozporządzenia AI Act są systemy AI wysokiego ryzyka, kto i kiedy musi spełnić określone obowiązki, a także jak przygotować się do nadchodzących wymogów w sposób bezpieczny i zgodny z prawem.
A jeśli po lekturze pojawią się pytania – jesteśmy do dyspozycji. Nasza Kancelaria od lat doradza firmom w zakresie prawa IT. Chętnie pomożemy również Tobie.
AI Act wprowadza klasyfikację systemów sztucznej inteligencji na podstawie ryzyka, jakie niosą ze sobą ich zastosowania. Podejście oparte na analizie ryzyka (tzw. risk-based approach) pozwala na zróżnicowanie regulacji w zależności od wpływu, jaki dany system AI może mieć na zdrowie, bezpieczeństwo i prawa podstawowe osób fizycznych.
Zgodnie z AI Act, systemy sztucznej inteligencji dzielą się na cztery główne kategorie:
Systemy AI wysokiego ryzyka to te, które mają szczególny wpływ na życie osób fizycznych lub mogą w istotny sposób wpłynąć na społeczeństwo.
Obejmuje to m.in. obszary takie jak:
Obszary te mają wysokie ryzyko związane z możliwymi błędami, które mogą prowadzić do poważnych konsekwencji dla ludzi – takich jak niesprawiedliwe odrzucenie aplikacji o pracę, błędna diagnoza medyczna czy nieprawidłowa ocena ryzyka kredytowego.
Zgodność z AI Act dla systemów wysokiego ryzyka nie jest tylko formalnością – to zbiór ściśle określonych obowiązków, które muszą być spełnione, aby system mógł zostać wprowadzony do użytku i legalnie funkcjonować na rynku UE.
Systemy AI wysokiego ryzyka nie są tylko abstrakcyjnymi rozwiązania technologicznymi – mają realny wpływ na codzienne życie osób oraz na funkcjonowanie firm w różnych branżach. AI Act szczególnie koncentruje się na obszarach, w których sztuczna inteligencja może mieć decydujący wpływ na życie ludzi lub grup społecznych.
Poniżej omówię kilka przykładów, które dobrze ilustrują, jak te przepisy przekładają się na praktyczne zastosowanie sztucznej inteligencji.
Wiele firm stosuje systemy AI do selekcji kandydatów do pracy, oceny ich umiejętności, a nawet prognozowania ich przyszłej wydajności w organizacji. Systemy rekrutacyjne oparte na AI mogą szybko przetwarzać dużą liczbę aplikacji, weryfikować CV, a także oceniać kandydatów na podstawie danych zebranych z różnych źródeł (np. LinkedIn, testy psychologiczne, dane z mediów społecznościowych). Jednak takie narzędzia mogą również prowadzić do dyskryminacji, jeśli algorytmy nie będą odpowiednio zróżnicowane lub nie będą uwzględniać pełnego kontekstu. Niewłaściwie zaprojektowane systemy mogą nieświadomie faworyzować określone grupy kandydatów (np. w oparciu o płeć, wiek, rasę) lub opierać się na uprzedzeniach zawartych w danych.
Zgodnie z AI Act, takie systemy muszą być transparentne (tj. użytkownicy muszą wiedzieć, jak i na jakich danych system bazuje) oraz sprawdzone pod kątem ryzyka dyskryminacji.
AI wykorzystywane do oceny ryzyka kredytowego jest jednym z najczęstszych przykładów systemów wysokiego ryzyka. Banki i instytucje finansowe w UE coraz częściej korzystają z algorytmów sztucznej inteligencji do oceny zdolności kredytowej klientów. AI analizuje ogromne zbiory danych, przewidując, jakie są szanse, że osoba spłaci pożyczkę. Chociaż takie rozwiązania mogą przyspieszyć proces decyzyjny, to mogą również prowadzić do niedoskonałości oceny, szczególnie jeśli dane wejściowe są niewłaściwie dobrane lub obarczone błędami. Dodatkowo, w przypadku błędnych decyzji, klienci mogą zostać niesłusznie odrzuceni lub otrzymać gorsze warunki kredytowe, co może mieć poważne konsekwencje finansowe.
Zgodnie z regulacjami AI Act, te systemy muszą być sprawdzone pod kątem sprawiedliwości i przejrzystości w procesie podejmowania decyzji, oraz wymaga się, aby osoby, które zostały ocenione przez AI, miały dostęp do wyjaśnień na temat decyzji.
Sztuczna inteligencja jest również szeroko stosowana w diagnozowaniu chorób oraz w procesie planowania leczenia. Przykładem mogą być systemy AI, które wspomagają lekarzy w identyfikowaniu wczesnych oznak raka, interpretacji wyników badań medycznych (np. obrazów z rezonansu magnetycznego) lub przewidywaniu wyników terapii. Takie systemy mają potencjał, by ratować życie, ale także stwarzają wysokie ryzyko błędnych diagnoz, szczególnie w przypadku niepełnych lub niewłaściwie przetworzonych danych. Ponadto decyzje podejmowane przez AI mogą budzić wątpliwości dotyczące odpowiedzialności w przypadku błędnych wyników, zwłaszcza jeśli systemy nie działają zgodnie z przeznaczeniem lub są nieaktualne.
AI Act stawia duży nacisk na monitorowanie bezpieczeństwa tych systemów oraz wymóg przejrzystości w podejmowaniu decyzji o zdrowiu pacjentów.
W kontekście zarządzania infrastrukturą krytyczną – takich jak sieci energetyczne, wodociągowe czy transportowe – systemy AI są wykorzystywane do optymalizacji zarządzania i monitorowania obiektów o kluczowym znaczeniu dla funkcjonowania państwa i społeczeństwa. AI może przewidywać awarie, optymalizować zużycie energii, a także reagować na zmiany w infrastrukturze. Jednak błędne działanie takich systemów może prowadzić do awarii lub zatrzymania dostaw usług podstawowych (np. przerwy w dostawie prądu lub wody), co niosłoby za sobą ogromne konsekwencje dla zdrowia i życia obywateli.
Zgodnie z AI Act, te systemy muszą spełniać rygorystyczne standardy bezpieczeństwa, szczególnie w kontekście odporności na cyberataki, oraz być regularnie monitorowane pod kątem ich prawidłowego działania.
Każdy z tych przykładów ilustruje, jak ogromny wpływ na codzienne życie ludzi mają systemy AI wysokiego ryzyka. Są one używane w tak kluczowych obszarach, że ich błędne działanie może nieść ogromne konsekwencje prawne, finansowe i zdrowotne. Z tego powodu, AI Act stawia bardzo wyraźne wymagania, które mają zapewnić, że te systemy będą odpowiedzialne, bezpieczne i sprawiedliwe.
Tworzenie, wdrażanie i wykorzystywanie systemów AI wysokiego ryzyka wiąże się z obowiązkiem spełnienia wielu wymagań, które ma na celu zapewnienie ich bezpieczeństwa, przejrzystości oraz zgodności z przepisami prawa. AI Act nakłada szczególne obowiązki na dostawców systemów (tj. firmy, które projektują, wytwarzają lub wdrażają systemy AI).
Poniżej przedstawię najważniejsze wymagania, które dostawcy muszą spełnić, aby zapewnić legalne i bezpieczne funkcjonowanie swoich systemów.
Dostawcy systemów AI wysokiego ryzyka są zobowiązani do stałego zarządzania ryzykiem, jakie może wynikać z działania systemu. To podejście ma obejmować cały cykl życia systemu AI – od fazy projektowania, przez rozwój, testy, aż po wdrożenie i monitorowanie jego funkcjonowania po wprowadzeniu do obrotu.
Proces zarządzania ryzykiem w ramach AI Act wymaga, aby:
Dostawcy systemów AI muszą także opracować procedury nadzoru, które zapewnią, że system nie będzie działał w sposób niekontrolowany lub niewłaściwy.
Każdy system AI jest zasilany danymi – dlatego AI Act szczególnie podkreśla znaczenie odpowiedniego zarządzania danymi. Dane muszą być rzetelne, zgodne z prawem i wolne od uprzedzeń. Oznacza to, że dostawcy muszą zapewnić, że dane wykorzystywane w procesie uczenia maszynowego:
Dostawcy muszą także zapewnić minimalizację danych, co oznacza, że zbieranie danych do systemów AI powinno odbywać się w sposób ograniczony do niezbędnego minimum. Pseudonimizacja i szyfrowanie danych są również kluczowe dla zapewnienia bezpieczeństwa informacji i ochrony prywatności osób, których dane są przetwarzane.
AI Act wymaga, aby dostawcy systemów wysokiego ryzyka przygotowali szczegółową dokumentację techniczną dotyczącą ich systemu. Dokumentacja ta powinna zawierać informacje o:
Dostawcy muszą także zapewnić, że wszystkie działania systemu będą rejestrowane (tzw. logowanie działań). Logi są niezbędne do:
Rejestrowanie działań jest szczególnie istotne w systemach, które podejmują decyzje wpływające na osoby fizyczne, jak w przypadku rekrutacji, oceny zdolności kredytowej czy diagnoz medycznych.
Przed wprowadzeniem systemu AI wysokiego ryzyka na rynek, dostawcy muszą przejść przez formalną procedurę oceny zgodności. Jest to proces, w którym ocenia się, czy system spełnia wszystkie wymagania określone w AI Act.
Ocena zgodności powinna obejmować:
Po przeprowadzeniu oceny zgodności, dostawca powinien umieścić oznaczenie CE na systemie, co oznacza, że system jest zgodny z europejskimi standardami prawnymi.
AI Act wymaga od dostawców systemów AI wysokiego ryzyka, aby zarejestrowali swoje systemy w unijnej bazie danych. Rejestracja ta ma na celu:
Zarejestrowanie systemu w bazie danych UE pozwala również na łatwiejsze przeprowadzanie audytów i kontroli przez odpowiednie organy.
Dostawcy systemów AI wysokiego ryzyka mają więc wiele obowiązków, które mają na celu zapewnienie odpowiedzialnego i bezpiecznego wdrożenia AI. Spełnienie tych wymogów jest kluczowe dla zapobiegania ryzyku błędów i ochrony praw użytkowników, co ma szczególne znaczenie w przypadku systemów, które mogą wpływać na życie ludzi w tak wielu obszarach.
AI Act nakłada także pewne obowiązki na użytkowników systemów AI wysokiego ryzyka – osoby lub organizacje, które korzystają z tych technologii. Chociaż ich odpowiedzialność jest mniejsza niż dostawców, to wciąż muszą spełniać kilka ważnych wymogów, by zapewnić bezpieczne i zgodne z prawem użytkowanie AI.
Użytkownicy systemów AI wysokiego ryzyka muszą korzystać z nich zgodnie z dokumentacją dostarczoną przez dostawcę. Oznacza to przestrzeganie zaleceń producenta, aby uniknąć błędów, które mogłyby prowadzić do ryzyk, takich jak niewłaściwe decyzje.
Wszystkie systemy AI wysokiego ryzyka muszą działać pod nadzorem człowieka. Użytkownicy muszą mieć zapewnioną możliwość monitorowania decyzji podejmowanych przez AI, zwłaszcza w obszarach, które mogą mieć duży wpływ na osoby, jak rekrutacja czy ocena kredytowa. Nadzór powinien być sprawowany przez osobę odpowiednio przeszkoloną.
Użytkownicy odpowiadają za jakość danych, które przekazują systemowi. Dane muszą być rzetelne i odpowiednio przygotowane, aby AI mogło działać w sposób sprawiedliwy i dokładny. W szczególności, użytkownicy powinni unikać wprowadzania danych, które mogą wprowadzać uprzedzenia lub ograniczać zakres działania systemu.
Jeśli system zaczyna działać niewłaściwie lub pojawiają się nieprawidłowe wyniki, użytkownicy mają obowiązek przerwać działanie systemu i poinformować dostawcę. Powinni także zachować logi zdarzeń, które umożliwią późniejszą analizę i identyfikację przyczyn problemów. Logi muszą być przechowywane przez co najmniej 6 miesięcy.
Chociaż AI Act nakłada szczególne wymagania na systemy AI wysokiego ryzyka, istnieją pewne wyjątki, które mogą zwolnić systemy z pełnego zakresu regulacji. Warto je znać, ponieważ mogą one dotyczyć systemów, które na pierwszy rzut oka wydają się należeć do kategorii wysokiego ryzyka.
Kiedy system AI nie będzie uznawany za wysoki ryzyko?
System AI może nie zostać zakwalifikowany jako wysoki ryzyko, mimo że działa w obszarze wymienionym w załączniku III AI Act, jeśli:
Przykłady zastosowań, które mogą skorzystać z wyjątku:
Wymogi dokumentacyjne
Mimo że system może skorzystać z wyjątku, dokumentowanie decyzji o zastosowaniu wyjątku jest obowiązkowe. Dostawcy i użytkownicy muszą sporządzić ocenę, która jasno określi, dlaczego system nie spełnia kryteriów systemu wysokiego ryzyka. Rejestracja systemu w unijnej bazie danych nadal może być wymagana, w zależności od decyzji organów nadzoru.
Zmiany w załączniku III AI Act
Warto pamiętać, że załącznik III do AI Act, który definiuje systemy wysokiego ryzyka, może być zmieniany przez Komisję Europejską w miarę rozwoju technologii. Nowe systemy mogą zostać dodane do listy, a obecne mogą zostać usunięte lub zmodyfikowane, jeśli stwarzają niższe ryzyko.
Zrozumienie wyjątków pozwala lepiej ocenić, czy Twój system AI rzeczywiście podlega pełnym wymogom AI Act, czy też może korzystać z wyjątków, co może wpłynąć na sposób przygotowania i wdrażania regulacji w Twojej firmie.
AI Act wprowadza wysokie standardy dla systemów sztucznej inteligencji, szczególnie w zakresie systemów wysokiego ryzyka. Niezastosowanie się do tych regulacji może wiązać się z poważnymi konsekwencjami prawno-finansowymi, które obejmują wysokie kary oraz odpowiedzialność cywilną i administracyjną.
Kary finansowe
W przypadku naruszenia przepisów AI Act, dostawcy i użytkownicy systemów AI wysokiego ryzyka mogą zostać ukarani karą finansową. Wysokość kary zależy od rodzaju naruszenia oraz skali działalności firmy.
Odpowiedzialność administracyjna
Poza karami finansowymi, organizacje mogą również ponosić odpowiedzialność administracyjną:
Odpowiedzialność cywilna
Naruszenie regulacji dotyczących AI Act może również prowadzić do odpowiedzialności cywilnej wobec osób lub organizacji poszkodowanych przez błędne działanie systemów AI:
Strata reputacji
Nieprzestrzeganie AI Act może również skutkować stratą reputacji firmy, co w dłuższej perspektywie może wpłynąć na:
Zgodność z AI Act to nie tylko kwestia uniknięcia kar, ale także zapewnienia bezpieczeństwa i odpowiedzialnego wykorzystania technologii, które w przeciwnym razie mogą prowadzić do istotnych ryzyk prawnych, finansowych i społecznych.
Zgodność z RODO (Rozporządzenie o Ochronie Danych Osobowych) jest bardzo istotną kwestią w kontekście systemów AI wysokiego ryzyka, ponieważ często przetwarzają one dane osobowe, któe są szczególnie wrażliwe. AI Act i RODO muszą być traktowane równolegle, szczególnie gdy systemy AI operują na danych osobowych osób fizycznych np. w procesie rekrutacji czy w ocenie zdolności kredytowej. Zgodnie z RODO administratorem danych jest podmiot, który decyduje o celach i sposobach przetwarzania danych, a podmiot dostarczający AI pełni rolę procesora danych.
Przetwarzanie danych osobowych w systemach AI wysokiego ryzyka musi być zgodne z zasadą minimalizacji danych – zbieranie tylko tych informacji, które są niezbędne do realizacji określonego celu. Pseudonimizacja (przetwarzanie danych osobowych w taki sposób, aby nie było możliwe zidentyfikowanie, do kogo one należą, bez dostępu do innych informacji, przechowywanych bezpiecznie w innym miejscu) i szyfrowanie danych są zalecanymi środkami ochrony prywatności. Każdy system AI, który przetwarza dane osobowe, musi być zaprojektowany tak, aby umożliwić realizację praw osób, których dane dotyczą, takich jak prawo do dostępu, prawo do sprostowania i prawo do usunięcia danych (tzw. „prawo do bycia zapomnianym”).
Dostawcy systemów muszą przeprowadzać ocenę skutków przetwarzania danych osobowych (DPIA), zwłaszcza jeśli istnieje wysokie ryzyko naruszenia praw i wolności osób. Jeśli system AI przetwarza szczególne kategorie danych osobowych, jak dane zdrowotne czy dane biometryczne, wymagana jest dodatkowa zgoda osoby, której dane są przetwarzane, oraz zapewnienie dodatkowych środków ochrony.
Ponadto, zgodnie z AI Act, dostawcy systemów AI wysokiego ryzyka muszą zapewnić przejrzystość i informować użytkowników o tym, jak ich dane są wykorzystywane. W przypadku naruszenia ochrony danych, organizacja ma obowiązek poinformować zarówno użytkowników, jak i odpowiednie organy nadzorcze, w tym UODO, w ciągu 72 godzin. Niedostosowanie się do wymogów RODO w kontekście AI może prowadzić do wysokich kar finansowych, które mogą sięgać do 20 mln euro lub 4% rocznego obrotu, w zależności od tego, która kwota jest wyższa.
Systemy AI, zwłaszcza te uznawane za wyskiego ryzyka, wprowadzają wiele wyzwań, zarówno dla przedsiębiorców, jak i dla instytucji regulujących. AI Act określa szczegółowe wymagania, które mają na celu zapewnienie, że technologie AI są wykorzystywane w sposób odpowiedzialny, bezpieczny i zgodny z prawem. Najważniejszym elementem jest zarządzanie ryzykiem związanym z AI, szczególnie w obszarach takich jak rekrutacja, opieka zdrowotna czy scoring kredytowy, gdzie błędne decyzje mogą miec poważne konsekwencje.
Zgodność z przepisami unijnymi, takimi jak AI Act i RODO, jest nie tylko obowiązkiem, ale i sposobem minimalizowania ryzyk, związanych z używaniem systemów AI. Dostawcy i użytkownicy tych technologii muszą współpracować, by spełniać wymogi dotyczące bezpieczeństwa, przejrzystości oraz ochrony danych osobowych. Brak ich przestrzegania może prowadzić do dotkliwych kar finansowych i odpowiedzialności cywilnej, a także problemów wizerunkowych czy tych związanych z bieżącym funkjonowaniem firmy.
W odpowiedzi na te wyzwania, przedsiębiorcy mogą czerpać korzyści z dobrze zaplanowanego podejścia do zgodności, które zapewnia im nie tylko przestrzeganie prawa, ale także zaufanie ich klientów czy partnerów biznesowych.
Jeśli Twoja firma wykorzystuje systemy AI, warto jak najszybciej zapoznać się z obowiązkami wynikającymi z AI Act oraz wdrożyć odpowiednie procedury, któe zapewnią zgodność z przepisami.
Nasza Kancelaria jest gotowa, by wspierać Cię w tym procesie, zapewniając pełną pomoc prawną przy dostosowaniu technologii do wymogów regulacyjnych
