Контрол и управление
Какво може системата — и какво не може
Надеждната система не се ражда от това какво ѝ е позволено, а от това какво ѝ е забранено.
Видове дейности и степен на автоматизация
| Вид дейност | Какво прави системата | Човешки контрол |
|---|---|---|
| Нисък рисккласифициране на входяща заявка, справка с информация, стандартни отговори | Действа самостоятелно | Избирателни проверки |
| Среден рискподготовка на оферта, обработка на сложна заявка | Подготвя и предлага | Необходимо е одобрение |
| Висок рискдоговори, значителни плащания, правни решения или решения за хора | Анализира и подпомага | Човек решава, винаги |
Никога автоматично, за никой клиент, при никаква конфигурация: подписване на договори, значителни плащания, правни решения, решения за хора — наемане, освобождаване, оценяване.

Любителско използване срещу професионална работа
| Любителско използване на изкуствен интелект | Как работим ние | |
|---|---|---|
| Обхват | Универсален асистент, еднакъв за всички | Агенти, насочени към една услуга и един конкретен процес |
| Контекст | Не познава бизнеса | Работи с документите, метода и езика на компанията |
| Резултат | „Изглежда полезно“, нищо не е измерено | Процес, който преди струваше часове, приключва за минути — и системата измерва какво прави |
| Метод | Променя се сам; измисля, когато липсват данни | Разграничава кое идва от метода и кое е разработка, цитира източници, посочва празнотата — и никога не променя метода сам |
| Валидация | Без условие: резултатът излиза | Блокираща човешка валидация върху всичко, което излиза |
| Контрол | Никой не знае какво прави агентът, кой го е оторизирал, до какво има достъп | Инвентаризация на агентите и техните права, права според ролята, следи извън обсега на агента |
| Устойчивост | Контролът се пропуква при втория опит | Контролите издържат при повторни опити |
| Тайни | Ключовете се озовават в контекста на агента | Агентът вижда препратка, а не самата тайна |
| Данни | Напускат и никой не знае къде | Къде живеят материалите се решава с клиента |
| Инцидент | Открива се след като вече се е случил | Кой открива, кой решава, кой уведомява и за колко време — записано предварително |
Разликата не е в качеството на резултата. Тя е в управляемостта.
Сигурност и контрол
Без права по подразбиране, минимален достъп, пълна проследимост.
Права на една роля
Пример: клиентска поддръжка
Може
- да чете заявки
- да прави справки за поръчки
- да прави справки за продукти
- да подготвя отговори
- да изпраща стандартни отговори
Не може
- да променя цени
- да изтрива клиенти
- да извършва плащания
- да вижда заплати
- да експортира архива
Оперативни ограничения
| Възстановяване под € 50 | системата може да действа самостоятелно |
| € 50 – 500 | системата предлага, ръководител одобрява |
| Над € 500 | системата не може да действа — предава се на човек |

Пълна следа
Всяка стъпка се записва: кога е пристигнала заявката, как е класифицирана, кои данни са прочетени, какво е предложено, кой е одобрил, кога е изпратен отговорът.
14:32:11 получена заявка 14:32:12 класифицирана като „поддръжка“ 14:32:13 справка в записите 14:32:14 справка за поръчка 8742 14:32:16 подготвен отговор 14:32:18 одобрен от ръководителя 14:32:22 изпратен отговор
И не само какво е направила системата, но и защо, с кои данни и по какво разрешение. Това е разликата между система, която можете да управлявате, и такава, на която трябва да се доверявате.
Четири въпроса, които задаваме, преди да докоснем нещо
- Къде живеят следите — извън обсега на агента или вътре в същата система, която може да ги пренапише?
- Издържат ли контролите при повторни опити или вторият опит минава?
- Кой държи спирането и колко време отне всъщност последният път, когато беше използвано?
- Вижда ли агентът тайната или само препратка към нея? И кой е дал това разрешение?