Fluera

metacognition

Błąd automatyzacji

Tendencja do bezkrytycznego akceptowania outputu zautomatyzowanych systemów, zwłaszcza wtedy, gdy jest językowo płynny. Wzmocniona przez LLM-y, których artykułowany styl jest mylony z dokładnością.

Kluczowy rok
2010
Dowody
Silny konsens
Dziedzina
metacognition

Przegląd Parasuramana i Manzeya z 2010 roku skonsolidował dowody: ludzie systematycznie nie weryfikują outputu zautomatyzowanych systemów, nawet gdy mają jawne zachęty do sprawdzania. Im pewniejsza jest powierzchniowa prezentacja systemu, tym mniej weryfikacji się dzieje.

LLM-y z założenia prezentują maksymalną pewność powierzchni. Piszą pełnymi zdaniami z wysoką płynnością językową. Forma ich outputu to forma autorytetu, a błąd automatyzacji popycha uczącego się do przyjmowania tego, co brzmi autorytatywnie.

AI w Fluerze nigdy nie prezentuje outputu w autorytatywnym tonie. Ghost Map ujawnia niepewność wizualnie. Sokratejskie odpowiedzi są formułowane jako podpowiedzi, nie jako orzeczenia. Jawne stanowisko produktu — zweryfikuj, zanim zaufasz — jest celową przeciwwagą dla błędu, do którego zaprasza styl tej technologii.