Testy manualne vs. automatyczne – poznaj kluczowe różnice

Testowanie manualne to klasyczna forma testów, w której działanie strony lub aplikacji sprawdza się ręcznie, bez użycia skryptów. Tester wczuwa się w użytkownika i działa trochę tak, jak mystery shopper – z tą różnicą, że testerzy manualni wchodzą o wiele głębiej w funkcje systemu w poszukiwaniu błędów.

Co więc, w skrócie, robi tester manualny?

1. Przed właściwym audytem musi przygotować konkretne przypadki testowe („co”?) i opracować scenariusz („jak”?).
2. W trakcie testu „przeklikuje” stronę zgodnie z planem lub – w przypadku testów eksploracyjnych – robi to swobodniej, skupiając się raczej na szukaniu błędów niż na zrealizowaniu konkretnego zadania (np. przejścia od A do Z przez proces checkoutu).
3. Dokumentuje wszystkie błędy razem z listą kroków do ich odtworzenia, zrzutami ekranu lub (coraz częściej) z zapisem całej sesji.

Manualne podejście jest niezastąpione wszędzie tam, gdzie trzeba ocenić, jak strona lub aplikacja wygląda z perspektywy użytkownika, np. podczas audytów użyteczności, testów UX i UI.

Oto główne zalety testowania manualnego:

• Bardzo dokładne informacje zwrotne – dobry tester wychwyci UXowe niuanse, które będą problemem dla użytkownika: nieintuicyjny układ przycisków, zbyt mały kontrast tekstu albo komunikaty, które nie są ze sobą spójne i wprowadzają w błąd.
• Niższe koszty – w wielu przypadkach zakup odpowiedniego oprogramowania wspierającego automatyzację nie jest konieczny.
• Cenne doświadczenie testera manualnego – jego znajomość konkretnych zagadnień może wiele zdziałać w przypadku złożonych problemów.
• Szybkie wdrożenie – automatyzacja wymaga przygotowania specjalnego skryptu i procesu testującego, co może być czasochłonne. Testy manualne można za to wdrożyć i zacząć realizować znacznie szybciej.

Oto główne wady, które charakteryzują testowanie manualne:

1. Ryzyko błędów – testy wykonywane przez człowieka są obarczone wysokim prawdopodobieństwem pomyłek, których zautomatyzowany proces praktycznie nigdy nie popełni; po 5-6 godzinach intensywnych testów tester może ze zmęczenia przeoczyć np. nieprawidłowo wyświetlający się kod rabatowy w sklepie.
2. Brak auto save’a – testy manualne nie mogą być automatycznie zapisywane w celu późniejszego dokładnego odtworzenia ich lub przeanalizowania. Istnieją oczywiście narzędzia jak Microsoft Test Manager (MTM), który pozwala testerom odnotowywać i opisywać każdą podjętą akcję, jednak wymaga to od nich dodatkowej pracy.
3. Dłuższy czas oczekiwania na wyniki – choć testy manualne da się wdrożyć stosunkowo szybko, to jednak w przypadku niektórych zadań (zwłaszcza tych powtarzalnych) uzyskanie rezultatów jest czasochłonne.

Testowanie automatyczne polega z kolei na sprawdzaniu funkcji strony/aplikacji przy użyciu skryptów testowych. Oczywiście czuwa nad nimi tester manualny, który przygotowuje scenariusz testu i analizuje wyniki – ale przez stronę przeklikuje się skrypt. Przykładami takich narzędzi mogą być LambdaTest, BrowserStack czy Sahi.

Nic więc dziwnego, że automatyzacja odgrywa coraz większą rolę. Według najnowszego wydania raportu State of Testing, przygotowywanego co roku przez PractiTest na podstawie badań przeprowadzonych wśród specjalistów QA z całego świata, aż 75% zespołów developerskich zastąpiło przynajmniej część testów manualnych skryptami testowymi. Cały rynek automatyzacji testów też tylko zyskuje na znaczeniu. W 2023 r. był wyceniany na 28 miliardów dolarów, a do 2030 r., według prognoz Grand View Research, ma rosnąć co roku o kolejne 17%.

Oto główne zalety testowania automatycznego:

• Szybkie, precyzyjne wyniki – jeśli cały proces jest odpowiednio przygotowany, możesz szybko otrzymywać dokładne rezultaty nawet w przypadku złożonych scenariuszy testowych. Skrypt może w kilka minut sprawdzić, jak system uwierzytelniania użytkownika zareaguje na setki różnych kombinacji haseł; ręcznie zajęłoby to godziny (wraz z raportowaniem). Według wspomnianego raportu State of Testing, aż 61% zespołów developerskich uważa skrócenie procesów QA za najważniejszą – i realną – korzyść z automatyzacji testów.
• Prosta analiza – proces automatycznych testów może być łatwo monitorowany, co pozwala na ich późniejsze przeanalizowanie i dokładne odtworzenie.
• Brak wpływu czynników ludzkich – zautomatyzowane testowanie jest przeprowadzane przez narzędzia, więc nie wchodzą w grę takie problemy jak zmęczenie pracownika, które zwiększa ryzyko popełnienia błędów.
• Szeroki zakres testowanych czynników – można zwiększać go bez większych obaw, gdyż program nie zapomni o sprawdzeniu nawet najmniejszych elementów.

Oto główne wady, które charakteryzują testowanie automatyczne:

1. Ograniczona ocena wizualna – bez czynnika ludzkiego trudno jest uzyskać odpowiednie wnioski dotyczące takich wizualnych aspektów jak interfejs użytkownika, kolory, czcionki, kontrast czy rozmiary przycisków.
2. Wysoki koszt wdrożenia – narzędzia do automatyzacji testów są często drogie, co należy uwzględnić w kosztach projektu. Przygotowanie skryptów dla średniej wielkości e-sklepu oraz środowiska do ich uruchomienia może zająć developerowi nawet 40-60 godzin pracy.
3. Brak pełnej niezawodności – każde narzędzie ma swoje ograniczenia. Oprócz tego same skrypty testowe też są podatne na błędy, dlatego i je trzeba czasami debugować, aby nie przysporzyć sobie dodatkowych problemów.

Zatem omówmy teraz, z jakich rodzajów testów warto korzystać.

Nie istnieje uniwersalnie „lepszy” typ testów. I testy manualne, i automatyczne mają swoje miejsce w cyklu życia projektu, bo pod wieloma względami idealnie się uzupełniają.

Odpowiedź brzmi „nie”. Oprogramowanie testujące potrzebuje testera manualnego, a tester manualny potrzebuje automatycznych testów. Warto pozostawić niektóre zadania skryptowi, zwłaszcza jeśli są stosunkowo proste, ale wymagają dużej liczby powtórzeń. Z drugiej strony nic nie zastąpi doświadczenia i analizy wykonywanej przez branżowego specjalistę. Tester manualny jest w stanie przeanalizować złożone problemy i przygotować skrypty specjalnie pod dany scenariusz. W praktyce warto stosować różne rodzaje testów przy sprawdzaniu jakości i funkcjonalności, gdyż wzajemnie się uzupełniają. Automatyczne testy mogą odciążyć manualnych testerów od ważnych, jednak wyczerpujących procesów, podczas gdy oni mogą skupić się na innych, bardziej kreatywnych zadaniach.

Oba podejścia są właściwe, tylko odpowiadają na inne wyzwania.

Jeśli obawiasz się, że po każdej zmianie kodu istniejące funkcje mogą przestać działać – potrzebujesz powtarzalnych testów regresyjnych po każdym wdrożeniu… których nie przeprowadzisz bez automatyzacji. Jeśli nie wiesz, czy produkt spodoba się użytkownikom i będzie dla nich intuicyjny – odpowiedź dadzą testy manualne skoncentrowane na UX.

A jeżeli nie masz pewności, jakie podejście będzie optymalne na aktualnym etapie Twojego projektu – skonsultuj się z naszymi ekspertami.