Rolle
Test und QA
Was lassen Sie als Erstes fallen, wenn ein Release schneller kommt als die Tests? Meist die Regression - und dort sitzt meist der Fehler, der als Nutzermeldung zurückkommt.
Erstgespräch
Vier Fragen, mit denen wir beginnen würden
Was lassen Sie als Erstes fallen, wenn ein Releasetermin eng ist?
Die Antwort beschreibt, wo in Ihrem Prozess die Qualitätsschuld entsteht.
Woher wissen Sie, dass der in diesem Release geänderte Bereich getestet wurde?
Wenn daher, dass der Tester es glaubt, ist die Abdeckung eine Überzeugung und keine Tatsache.
Wie oft kehrt derselbe Fehler nach einem Fix wieder?
Wenn das regelmäßig geschieht, fehlt ein Test, der ihn aufhalten würde - nicht die Aufmerksamkeit eines Entwicklers.
Was tun Sie nicht, obwohl Sie wissen, dass Sie es sollten?
Meist: Sie testen die Grenzfälle und die seltenen Szenarien nicht. Immer aus Zeitmangel, nie aus Mangel an Bewusstsein.
Wir übernehmen Vorbereitung und Wiederholung, Sie behalten den Entwurf der Tests
Testdaten vorzubereiten, die Regression zu fahren, Ergebnisse zu berichten und die Testdokumentation zu pflegen, lässt sich vom Schreibtisch nehmen. Was zu testen ist und warum, entwirft der Tester.
- Die Regression konkurriert nicht mit neuen Tests. - Wenn die wiederholbaren Szenarien sich selbst fahren, geht die Zeit des Testers in das, was niemand zuvor geprüft hat.
- Testdaten blockieren den Start nicht. - Einen Datensatz für ein Szenario vorzubereiten ist nicht mehr eine halbe Tagesaufgabe vor jeder Testrunde.
- Die Abdeckung ist eine Tatsache, kein Eindruck. - Es ist sichtbar, welche in einem Release geänderten Bereiche Tests haben und welche nicht - und das ist die Grundlage einer Release-Entscheidung.
Umfang
Was sich aus der Arbeit eines Testers herausnehmen lässt
Neunzehn Aufgaben als Beispiel. Jede hat einen Punkt menschlicher Freigabe. Unten eine Auswahl; den Umfang passen wir an Ihren Entwicklungsprozess an.
Tests entwerfen
- Ein Entwurf von Testfällen aus einer Anforderung (Einschätzung: der Tester)
- Hinweis auf zu berücksichtigende Grenzfälle
- Verknüpfung eines Falls mit einer Anforderung und einem Systembereich
- Ein Signal, wenn einer Anforderung kein Test zugeordnet ist
Testdaten
- Erzeugung von Datensätzen für ein Szenario
- Daten, die verschiedene Zustände und Konfigurationen abdecken
- Wiederherstellung des Zustands der Umgebung vor einer Testrunde
- Anonymisierung von aus der Produktion übernommenen Daten
Durchführung und Bericht
- Fahren der wiederholbaren Szenarien ohne den Tester
- Festhalten des Ergebnisses mit den Reproduktionsschritten
- Ein Entwurf eines Fehlerberichts mit Kontext (Inhalt: der Tester)
- Eine Übersicht der Ergebnisse einer Testrunde
Regressionstests
- Hinweis auf die von einer Änderung im Release betroffenen Bereiche
- Ein auf den Änderungsumfang abgestimmter Regressionssatz (Entscheidung: der Tester)
- Ein Signal über einen geänderten und nicht von einem Test abgedeckten Bereich
- Vergleich des Ergebnisses mit der vorigen Runde
Qualität nach dem Release
- Verknüpfung der Nutzermeldungen mit Systembereichen
- Hinweis auf Fehler, die ein bestehender Test hätte fangen sollen
- Die Fehler zusammengefasst nach Bereich und Ursache
Ein Arbeitstag
Heute
- Sie bereiten Testdaten vor jeder Runde von Hand vor
- Sie fahren die Regression, indem Sie sich durch dieselben Szenarien klicken
- Unter einem engen Termin testen Sie, was Sie schaffen
- Sie wissen nicht, ob der im Release geänderte Bereich Tests hat
- Sie schreiben einen Fehlerbericht von null, mit den Schritten
- Nach dem Release wissen Sie nicht, welcher Fehler früher hätte gefangen werden können
Mit AI-Unterstützung
- Ein Datensatz für ein Szenario entsteht ohne halbtägige Vorbereitung
- Die wiederholbaren Szenarien fahren sich selbst
- Die Zeit geht in Fälle, die niemand zuvor geprüft hat
- Ein geänderter und nicht von einem Test abgedeckter Bereich wird aufgezeigt
- Ein Fehlerbericht hat einen Entwurf mit den Reproduktionsschritten
- Fehler nach dem Release sind mit Lücken in den Tests verknüpft
- Testabdeckung
es ist sichtbar, was geprüft ist und was nur geprüft aussieht
die Fälle sind mit Anforderungen und Bereichen verknüpft
- Dauer der Regression
die Regression passt vor das Release statt danach
die wiederholbaren Szenarien fahren sich selbst
- Nach dem Release gefundene Fehler
weniger Sachen erreichen die Nutzer
die Zeit des Testers geht in neue Fälle
- Reproduzierbare Tests
derselbe Test gibt dasselbe Ergebnis, wer ihn auch fährt
die Daten und der Zustand der Umgebung lassen sich reproduzieren
Wir beginnen mit den Testdaten, weil sie den Teststart am häufigsten verzögern.
- Schritt 1
Daten und eine reproduzierbare Umgebung
Datensätze für die Szenarien und ein wiederholbarer Ausgangszustand.
- Schritt 2
Wiederholbare Szenarien
Das Fahren der Regression ohne den Tester bei jedem Durchlauf.
- Schritt 3
Die Abdeckung gegenüber den Änderungen
Hinweis auf die geänderten und nicht von einem Test abgedeckten Bereiche.
- Schritt 4
Die Qualität nach dem Release
Verknüpfung der Meldungen mit Bereichen und mit Lücken in den Tests. Zuletzt, weil es Produktionsdaten voraussetzt.
Häufige Fragen
Fragen, die beim ersten Treffen aufkommen
Senkt das nicht den Stand des Testers im Team?
Meist das Gegenteil, denn der Tester hört auf, die Person zu sein, die sich durch die Regression klickt, und wird die, die entwirft, was überhaupt zu prüfen sich lohnt. Das ist der schwerere Teil dieser Arbeit und der für das Team sichtbarere.
Werden Tester weiterhin gebraucht?
Generierte Tests finden nicht das, was zählt - und das sagen wir ein paar Absätze weiter unten offen. Ein Tester wird gebraucht, um zu entwerfen, was überhaupt zu prüfen sich lohnt, und das ist der schwerere Teil dieser Arbeit als das Klicken durch die Regression. Wenn die Regression sich selbst fährt, bleibt Zeit dafür. Teams, die das durchlaufen, enden meist mit einem stärkeren QA, nicht mit einem kleineren.
Fällt das unter die KI-Verordnung?
Software zu testen ist keine Hochrisiko-Anwendung. Der einzige Punkt, der Sorgfalt braucht, ist die Nutzung von Produktionsdaten als Testdaten - dort gelten die Datenschutzregeln und die Anonymisierung ist Teil des Umfangs und keine Zugabe.
Ihre Frage steht nicht dabei? Gespräch vereinbaren
Nächster Schritt
Wie viel Zeit ging vor dem letzten Release in die Vorbereitung von Testdaten?
Wir zeigen Ihnen, wie Testen aussieht, wenn die Regression nicht mit neuen Fällen konkurriert und die Abdeckung vor der Release-Entscheidung sichtbar ist.