Was ist eigentlich Crowd Testing?

Weil wir unsere ersten Erfahrungen mit diesem Thema gesammelt haben und es eine recht neue Art des Testen ist, habe ich das Gefühl, dass man mal darüber schreiben kann, was eigentlich Crowd Testing ist. Ich hoffe, dass alle, die es schon nutzen ihre Erfahrungen in den Kommentaren mal niederschreiben.

Klassischerweise funktioniert funktionales Testen wie folgt: Wir testen einfach irgendwie vor einem Release. Da darf jeder mal. E-Mail an alle: „Schaut euch bitte mal das neue Release an“. Ein solches Vorgehen nennt man explorativ, da man nicht vorgibt, wie und was zu testen ist.

Eigentlich möchte man ja etwas wiederholbares machen, die Tücken, die in einer Webseite stecken schon kennen und Testpläne durchklicken. Die Learnings aus den Problemen der Vergangenheit sollten in den existierenden Tests aufgehen. Zusätzlich kann und sollte man dann noch ein wenig Explorativ dazupacken.

Das „geile“ an Crowd Testing ist, dass es irgendwie die erste Variante ist. Nur dass man nicht an seine Kollegen schreibt, sie sollen sich mal durch die Applikation klicken, sondern fremden Menschen. Ganz vielen fremden Menschen. Und eigentlich schreib man auch nicht selbst, sondern hat den Anbieter seiner Wahl, den man dies machen lässt. Testhub und Testbirds sind hier in Deutschland wahrscheinlich die größten.

Der Ablauf eines solchen Tests ist nicht sonderlich unterschiedlich zu dem, was man auch in seiner eigenen Firma seit langem durchführt. Irgendwann kommt der Tag, an dem man wissen will, ob die Webseite, die man gebaut hat auch wirklich hochwertig ist. An einem solchen Tag greif man zum Hörer und ruft bei der Crowd-Testing-Firma seines Vertrauens an und meldet einen Testdurchlauf an. Im Bestfall ist man jetzt schon raus. Aber gehen wir mal davon aus, dass es das erste mal ist, dass wir mit dieser Firma zusammenarbeiten und wir sie noch briefen müssen.

Um die Tests vorzubereiten, müssen wir einmal aufschreiben, was unsere Applikation eigentlich kann. Da die Tester auch hier explorativ vorgehen, muss dies nicht sonderlich ausführlich sein. „Wir haben einen Userbereich, einen Standardartikel, eine Bildergalerie.“ kann schon ausreichend sein. Wenn man nur einen bestimmten Bereich unter die Lupe nehmen lassen will, dann muss man das einfach sagen, wenn man schon Fehler kennt, dann sollte man das auch aufschreiben. Danach kann es schon losgehen.

Je nachdem, wie viel Geld man ausgeben will, laufen jetzt möglichst viele Crowd Tester los und schauen sich die Seite an.Falls sie einen Fehler finden, tragen sie ihn in den Bugtracker ein. So ein Test läuft vielleicht drei Tage. Am Ende schauen die Firmen sich den Bugtracker an und säubern ihn. Ein Testmanager wirft Duplikate raus, findet unsauber spezifizierte Fehler, bittet um Videos oder Screenshoots. Alles damit das, was dem Kunden übergeben wird wertvoll ist.

Jetzt ahnt ihr, was als nächstes passiert. Ihr, der Kunde, bekommt die Daten übergeben. Fertig. Zahltag. Das ist Crowd Testing.

Warum ist das aber gut? Einfach explorativ durchtesten lassen, ist ja eigentlich nicht das, was wir wollen. Zumindest habe ich das am Anfang des Artikels geschrieben. Der Vorteil bei dieser Art des Testens ist, dass wir über die Anzahl der Tester frei bestimmen können. Je mehr wir auf eine Applikation werfen, desto mehr Fehler finden wir, egal wie unstrukturiert wir vorgehen. Die Crowd ist günstig und deswegen kann es funktionieren.

Manchmal will man auch nur punktuell wissen, wie gut das eigenen Produkt eigentlich ist. Dann sind Testpläne und der übrige „Strukturmüll“ natürlich unnötiger Overhead. Hier ist die Crowd eine wunderbare Lösung.

PS: Für technische Herausforderungen wie VPNs, Firewalls oder Apps, die noch nicht im Store sind, haben sie alle eine Lösung.