Jak se měří použitelnost

Jednoduchá otázka. Často jedna z prvních. A odpověď? “Těžko říct.”

Použitelnost, nebo User Experience, nelze nějak jednoduše, levně a efektivně měřit. Ono je už dost těžké jasně vymezit, co to použitelnost vlastně je.

V naší firmě máme CMMI, ISO 9001 a podobné procesní normy a pokud naše oddělení nechce (ani nemůže) stát mimo, musíme zavést i měření našich výstupů, tedy použitelnosti. Museli jsme se s tématem tedy poprat.

Dříve jsme zkusili se našich uživatelů ptát, jakou by zvolené funkcionalitě nebo aplikaci dali školní známku. Když jsme s použitelností začínali, měl náš software dost problémů, proto bylo běžné, že dostával trojky a čtyřky. To pak byl dobrý argument pro vedení, že se problémem musí něco dělat. Časem jsme si mákli a dostali náš software na celkem dobrou úroveň. U uživatelských testování se později stalo jen výjimečně, že by účastník nesplnil zadané úkoly. Ve školním hodnocení jsme pak dostávali většinou dvojku nebo trojku. A to už se problém metriky ukázal v celé šíři. Lidé u nás jsou zvyklí, že trojka je celkem špatná známka a jednička zase moc super. Navíc je tento systém nepřenosný do zahraničí (naše vedení, klienti…). Další potíží bylo, že uživatelé často nevěděli, co přesně hodnotí (grafika super, tak vám dám za jedna). Proto nám nakonec tento způsob přestal vyhovovat. Z počátku pomohl, pak se přežil.

Hledal jsem jinou metodiku. Nakonec mě oslovila populární metoda SUS. Je to deset jasných specifických otázek a jejich bodové ohodnocení. Výsledkem je číslo 0–100. Čísla se dají srovnávat, dají se dělat grafy s trendy, dají se sledovat jednotlivé odpovědi, dají se porovnávat jablka s hruškami.

SUS byl vymyšlen hodně, hodně dávno a lze ho aplikovat na jakýkoliv systém, třeba hardwarový. Možná v některých případech jsou některé otázky irelevantní (pro webové stránky prý nic moc, zkuste pohledat), pro naše softwary to sedne dobře. Doporučuji.

A na co si dát při zavádění SUS pozor? Jen buďte pozorní a obezřetní při vyhodnocování výsledků. Je velmi důležité se ptát správných lidí – musí to být vaše cílová skupina, uživatelé nebo skupina, kterou chcete zkoumat. Jinak dostanete výsledky, které jsou mimo.

A jak prezentovat výsledky? Když někomu například řeknete, že SUS vyšel 64, moc mu toho neřeknete. Ale existuje pěkná studie, kde je jednotlivým hodnotám přiřazeno přídavné jméno nebo jiné slovní hodnocení. A s tím už lze prezentovat velmi lehce.

Většinou posluchače zajímá, jakých hodnot dosahují známé softwary (Office, Creative Suite, Apple). Ať jsem hledal, jak jsem hledal, nic jsem nenašel. Pokud se vám poštěstí lépe, pochlubte se, prosím.

Ještě dodám, že jsem na otázku z titulku neodpověděl. Jen jsem napsal, jak to děláme u nás, u softwaru pro enterprise. Daleko lepší odpověď, s mnoha možnostmi, dostanete v knize Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics. Doporučuji, je tam přehled jak kvalitativních, tak kvantitativních postupů.