Zaczynamy od decyzji, nie od modelu
Najpierw określamy, kto użyje wyniku i co zrobi dalej. Dopiero potem wybieramy model, dane, sposób integracji i poziom automatyzacji.
Jakość musi mieć definicję
Tworzymy reprezentatywny zestaw przykładów oraz oczekiwane cechy dobrej odpowiedzi. Porównujemy rozwiązanie z obecnym procesem, a nie z abstrakcyjną obietnicą inteligencji.
- trafność i kompletność wyniku
- częstość błędów krytycznych
- czas oraz koszt pojedynczej operacji
- odsetek przypadków wymagających człowieka
Niepewność projektujemy jawnie
System powinien rozpoznawać sytuacje, w których nie ma podstaw do pewnej odpowiedzi. Dla decyzji istotnych projektujemy przegląd człowieka, ślad źródeł i możliwość odtworzenia przebiegu.