Poradnik
Jak sprawdzić raport przygotowany przez AI? Źródła, kompletność i czas kontroli
Raport przygotowany przez AI należy ocenić pod względem zgodności ze źródłami, kompletności, aktualności i przydatności do dalszej pracy. Czas wygenerowania dokumentu to tylko część oceny. O całkowitym nakładzie pracy człowieka decydują przygotowanie danych, weryfikacja i poprawki, więc w pilotażu licz je razem.
Dotyczy to raportów informacyjnych, zestawień i podsumowań dokumentów. Opracowanie źródeł i wyciąganie z nich rekomendacji powinny mieć osobno określony zakres i kryteria odbioru.
Co ustalić przed pierwszą próbą?
Zapisz, do czego raport będzie używany i jakie informacje musi zawierać. Określ okres, listę źródeł oraz sposób postępowania, gdy dokumenty są sprzeczne lub czegoś brakuje. Brak informacji powinien być widoczny w wyniku, zamiast zostać zastąpiony prawdopodobnie brzmiącą odpowiedzią.
Przy danych liczbowych potrzebne są jednostka, okres i źródło. Wskaż, czy oczekujesz dosłownego przytoczenia wartości, przeliczenia czy interpretacji. Dzięki temu kontroler wie, co właściwie sprawdza.
Zanim przekażesz materiały do wybranego środowiska, uzgodnij z odpowiedzialnymi osobami dostęp i zasady ich przetwarzania. To część przygotowania projektu. Wynik testu jakości nie rozstrzyga automatycznie, czy narzędzie może już regularnie pracować na wszystkich danych firmy.
Jak zbudować kontrolę jakości raportu?
Przygotuj listę wymaganych informacji i sprawdzaj każdą z nich według tych samych zasad. Przydatne kategorie to: poprawne, brakujące, sprzeczne ze źródłem i wymagające wyjaśnienia. Odróżnij błąd merytoryczny od zmiany słownictwa.
Odnośniki do dokumentów ułatwiają weryfikację, ale kontroler i tak musi sprawdzić, czy wskazane miejsce rzeczywiście uzasadnia twierdzenie. Przy ważnych liczbach wróć bezpośrednio do dokumentu źródłowego.
Zachowaj pierwszą wersję raportu i wersję po korekcie. Wtedy widać zarówno końcową jakość, jak i nakład potrzebny do jej osiągnięcia. W raporcie z pilotażu przyda się również zapis zmian wprowadzonych przez człowieka.
Jak porównać czas pracy ręcznej i pracy z AI?
Porównanie powinno obejmować podobne materiały i ten sam oczekiwany rezultat. Jeśli pierwszy wariant mierzy cały proces, a drugi tylko generowanie, otrzymane liczby nie pokazują oszczędności pracy.
Przykład obliczeniowy, wszystkie dane fikcyjne: porównujemy przygotowanie raportu ze 120 dokumentów. W wariancie ręcznym człowiek poświęca 480 minut, a przy użyciu AI 120 minut. Narzędzie dodatkowo działa przez 20 minut.
| Czynność w modelowym porównaniu | Ręcznie | Z AI |
|---|---|---|
| Przygotowanie materiałów | 90 min | 35 min |
| Przegląd i opracowanie przez człowieka | 300 min | 0 min w tym scenariuszu |
| Kontrola i poprawki człowieka | 90 min | 85 min |
| Łączny czas pracy człowieka | 480 min | 120 min |
| Dodatkowy czas działania narzędzia | Nie dotyczy | 20 min |
Przy tych założeniach nakład pracy człowieka zmniejsza się o 360 minut, czyli 75%. Jeśli w wariancie z AI czynności odbywają się kolejno i bez przerw, cały przebieg trwa 140 minut. Czas pracy człowieka i czas oczekiwania na wynik to różne wielkości.
Przykład obliczeniowy · dane fikcyjne
Czas pracy człowieka [minuty / raport] · najedź na odcinek, żeby zobaczyć etap
75% mniej pracy człowieka w tym przykładzie
Dodatkowo: 20 minut pracy narzędzia.
Przy wykonaniu kolejno i bez przerw: 140 minut całego przebiegu.
Czy jeden poprawny raport wystarczy?
Pojedyncza próba pozwala rozpoznać możliwość i problemy. Kolejne testy powinny obejmować materiały o różnej jakości, brakujące dokumenty i przypadki, w których dane się nie zgadzają. Sprawdź też, czy wynik da się odtworzyć po zmianie zestawu źródeł.
Dalsza część fikcyjnego przykładu: raport zawiera 38 poprawnych informacji z 40 wymaganych, a dwie trzeba uzupełnić. To 95% poprawnych pozycji w tej próbie. Po poprawkach dokument może spełniać wszystkie wymagania, ale ocena pilotażu powinna nadal uwzględniać te dwie interwencje i poświęcony czas.
Liczba przypadków potrzebnych do decyzji zależy od różnorodności dokumentów i skutków błędu. Zarząd powinien znać zakres przeprowadzonych prób i wiedzieć, czego jeszcze nie sprawdzono.
Co powinno wynikać z pilotażu?
Wynikiem jest materiał do decyzji: jakość, czas całego procesu, koszty, warunki użycia i następny krok. Jeśli trzeba zawęzić zakres, pomogą zasady wyboru projektu do pilotażu.