8.5. Testergebnisse importieren

8.5.1. Unterstützte Frameworks

In Klaros-Test­management können Testergebnisse aus verschiedenen Test-Frameworks importiert werden (eine vollständige Liste aller unterstützten Formate finden Sie unter Abschnitt 8.5, „Testergebnisse importieren“). Sind die zugehörigen Testfälle oder Testsuiten nicht bereits in der Klaros-Test­management definiert, können diese während des Imports automatisch erstellt werden.

Um den Import zu starten, muss eine XML-Datei mit Ergebnissen aus einem unterstützten Test-Framework hochgeladen werden. Wenn der Datei-Upload abgeschlossen ist, ist es zwingend erforderlich, das Testsystem und die Testumgebung auszuwählen, der diese Ergebnisse zugeordnet werden sollen. Das Format der Ergebnisdatei wird in der Regel automatisch erkannt.

Die Seite „Ergebnisse importieren“

Abbildung 8.18. Die Seite Ergebnisse importieren


Mit Klick auf dem Button Nächste öffnet die Testergebnisse zu Testfällen zuordnen Seite. Der Testfall, dem jedes Testergebnis zugeordnet werden soll, kann über die entsprechende Dropdown-Box ausgewählt werden. Jedes Ergebnis muss einem anderen Testfall zugeordnet werden.

Der anfängliche Testfallnamensabgleich wird durch den internen Namen des Testfalls oder der Testsuite in Klaros-Test­management gegenüber dem externen Namen des Testfalls oder der Testsuite in der Ergebnisdatei bestimmt. Diese Heuristik kann hier außer Kraft gesetzt werden. Einmal zugeordnet, wird der Abgleich eines Testfalls oder einer Testsuite mit einem externen Namen automatisch für weitere Importe angewendet, bis anders definiert. Dies gilt auch für Ergebnisimporte über REST API oder andere externe Quellen wie das Jenkins-Plugin.

Den Import einzelner Ergebnisse kann übersprungen werden, indem der Eintrag für dieses Ergebnis über die Checkbox auf der linken Seite abgewählt wird. Wird der Importprozess durch eine Aufgabe zur Testausführung angestoßen, wird die ursprüngliche Auswahl mit den in der Aufgabe enthaltenen Testfällen oder Testsuiten abgeglichen. Andernfalls werden alle Ergebnisse zunächst automatisch für den Import ausgewählt.

Ist die Option Beim Import von Testergebnissen für unbekannte Tests automatisch neue Testfälle anlegen. ausgewählt, wird beim Import automatisch ein neuer Testfall erstellt, wenn dieser nicht bereits vorhanden ist.

Ist die Option Beim Import von Testergebnissen ein Testsuiteergebnis erzeugen und falls notwendig eine neue Testsuite anlegen ausgewählt, werden automatisch auch Testsuiteergebnisse für die entsprechenden Testsuiteinformationen, die in der Ergebnisdatei enthalten sind, erstellt. Diese Informationen können je nach Importformat variieren. Zusätzlich wird eine entsprechende Testsuite für das Testsuiteergebnis erzeugt, falls es noch nicht vorhanden war.

Die Seite „Ergebnisse importieren“

Abbildung 8.19. Die Seite Ergebnisse importieren


Mit Klick auf den Button Import werden alle Ergebnisse in Klaros-Test­management importiert.

8.5.1. Unterstützte Frameworks

Die folgenden Frameworks werden unterstützt:

AUnit

AUnit ist eine Anpassung der Java JUnit und C++ CppUnit Unit-Test-Frameworks für Ada Code.

Boost Test

Die Boost Test-Bibliothek bietet einen abgestimmten Satz von Komponenten zum Schreiben von Testprogrammen, zum Organisieren von Tests in einfache Testfälle und Testsuiten und zum Steuern ihrer Laufzeitausführung.

Check

Check ist ein Unit-Test-Framework für C.

CppTest

CppTest ist ein portables und leistungsfähiges, aber dennoch einfaches Unit-Test-Framework zum Durchführen automatisierter Tests in C++. Der Fokus liegt auf Benutzerfreundlichkeit und Erweiterbarkeit.

CppUnit

CppUnit ist ein C++ Unit-Test-Framework.

ctest

ctest ist ein von CMake bereit gestellter Testtreiber.

CUnit

CUnit ist ein leichtgewichtiges System zum Schreiben, Verwalten und Ausführen von Unit-Tests in C.

embUnit

Embedded Unit ist ein Unit-Test-framework für eingebettete C-Systeme.

Fitnesse

Fitnesse ist ein Werkzeug zum Spezifizieren und Verifizieren von Anwendungsakzeptanzkriterien (Anforderungen).

Free Pascal Unit

Free Pascal Unit ist eine Portierung des JUnit-Core Frameworks nach Free Pascal.

GLib/gtester

GLib stellt die zentralen Anwendungsbausteine für in C geschriebene Bibliotheken und Anwendungen zur Verfügung. Es bietet das in GNOME verwendete Kernobjektsystem, die Implementierung der Hauptschleife und einen großen Satz von Hilfsfunktionen für Zeichenketten und allgemeine Datenstrukturen. gtester ist ein Dienstprogramm zum Ausführen von Unit-Tests, die mit dem GLib-Test-Framework geschrieben wurden.

Gauge

Gauge is ist ein leichtgewichtiges, plattformübergreifendes Testautomatisierungswerkzeug mit der Möglichkeit, Testfälle in einer Geschäftssprache zu verfassen.

GoogleTest

GoogleTest ist eine von Google erstellte Unit-Testing-Bibliothek für C++.

JBehave

JBehave ist ein Framework für verhaltensgetriebene Entwicklung (Behaviour-Driven Development, BDD). BDD ist eine Weiterentwicklung der testgetriebenen Entwicklung (TDD) und des akzeptanztestgetriebenen Designs, und will diese Praktiken für Neueinsteiger und Experten gleichermaßen zugänglicher und intuitiver machen. Es verlagert das Vokabular von testbasiert auf verhaltensbasiert und positioniert sich als Designphilosophie.

JMeter

JMeter ist eine 100 % reine Java-Anwendung, die für Lasttests des Funktionsverhaltens und zur Leistungsmessung entwickelt wurde. Sie wurde ursprünglich für das Testen von Webanwendungen entwickelt, ist aber inzwischen auf andere Testfunktionen erweitert worden.

JsUnit

JsUnit ist ein Unit-Testing-Framework für client-seitiges (browser-internes) JavaScript. Es ist im Wesentlichen eine Portierung von JUnit auf JavaScript. Ebenfalls enthalten ist eine Plattform zur Automatisierung der Ausführung von Tests auf mehreren Browsern und mehreren Rechnern mit unterschiedlichen Betriebssystemen.

Jubula

Jubula bietet automatisierte funktionale GUI-Tests für verschiedene Arten von Anwendungen.

JUnit

JUnit ist ein einfaches Framework, um wiederholbare Tests zu schreiben. Es ist eine Instanz der xUnit-Architektur für Unit-Test-Frameworks.

MbUnit

MbUnit ist ein erweiterbares Unit-Testing-Framework für das .NET Framework, das das xUnit-Pattern-Testing aufnimmt und darüber hinausgeht. MbUnit ist Teil des Gallio-Bundles.

MSTest

MSTest ist der Befehlszeilenbefehl, der zum Ausführen von Tests verwendet wird. Dieser Befehl verfügt über mehrere Optionen, mit denen Sie Ihren Testlauf anpassen können.

NUnit

NUnit ist ein Unit-Testing-Framework für alle .Net-Sprachen, das vollständig in C# geschrieben ist und komplett neu entwickelt wurde, um die Vorteile vieler .NET-Sprachfeatures zu nutzen, z. B. benutzerdefinierte Attribute und andere reflexionsbezogene Fähigkeiten.

PHPUnit

PHPUnit ist ein auf Programmierer ausgerichtetes Test-Framework für PHP. Es ist eine Variante der xUnit-Architektur für Unit-Test-Frameworks.

QF-Test

QF-Test ist ein professionelles Werkzeug für das automatisierte Testen von Java- und Web-Anwendungen mit einer grafischen Benutzeroberfläche.

QTestLib

QTestLib Framework ist ein Werkzeug für Unit-Tests von Qt-basierten Anwendungen und Bibliotheken.

Ranorex

Ranorex ist ein GUI-Testautomatisierungs-Framework für das Testen von Desktop-, webbasierten und mobilen Anwendungen.

Selenium

Selenium ist ein Webbrowser-Automatisierungstool, das hauptsächlich für das automatisierte Testen von Webanwendungen verwendet wird. Selenium ist in der Lage, JUnit-kompatible Testergebnisse, die in Klaros-Test­management importiert werden können.

Squish

Squish ist ein GUI-Testautomatisierungswerkzeug für alle Arten von plattformübergreifenden Desktop-, mobilen, eingebetteten und Web-Anwendungen. Squish ist in der Lage JUnit-kompatible Testergebnisse, die in Klaros-Test­management importiert werden können.

TestComplete

TestComplete ist ein plattformübergreifendes automatisiertes GUI-Testwerkzeug von SmartBear Software.

TESSY

TESSY ist ein Software-Tool zur Automatisierung von Modul-Einheitstests von Embedded-Software, die in verschiedenen Embedded-Dialekten der Programmiersprachen C und C++ geschrieben wurde.

TestNG

TestNG ist ein Test-Framework, das von JUnit und NUnit inspiriert ist, aber einige neue Funktionalitäten einführt, die es leistungsfähiger und einfacher in der Anwendung machen. TestNG ist in der Lage JUnit-kompatible Testergebnisse zu erzeugen, die in Klaros-Test­management importiert werden können.

TUSAR

TUSAR steht für Thales Unified Software Analysis Report. Es ist ein generisches Metrikformat und besteht aus 4 Kategorien: Coverage, Measure, Test und Violations.

Unified Functional Testing (UFT) / QuickTest Professional (QTP)

Unified Functional Testing ist eine Software für funktionale automatisierte Tests von Micro Focus, früher bekannt als QuickTest Professional (QTP) von HPE Software.

UnitTest++

UnitTest++ ist ein leichtgewichtiges Unit-Testing-Framework für C++. Es wurde für die testgetriebene Entwicklung auf einer Vielzahl von Plattformen entwickelt. Einfachheit, Portabilität, Geschwindigkeit und ein geringer Platzbedarf sind sehr wichtige Aspekte.

Valgrind

Valgrind ist ein Instrumentierungs-Framework zur Erstellung von dynamischen Analysewerkzeugen.

xUnit.net

xUnit.net ist ein freies, quelloffenes, Community-fokussiertes Unit-Testing-Tool für das .NET Framework. xUnit.net arbeitet mit ReSharper, CodeRush, TestDriven.NET und Xamarin.
[Anmerkung] Unterstützung für Frameworks, die hier nicht aufgelistet sind

Auch wenn Sie Ihr bevorzugtes Testframework hier nicht gefunden haben, bedeutet das nicht, dass es nicht bereits unterstützt wird.

Viele Tools bieten an, ihre Ergebnisdateien in das JUnit XML Format zu exportieren (z.B. Selenium, Robot und andere), welches ein unterstütztes Format ist.

Wenn Sie ein zusätzliches Format unterstützt sehen möchten, wenden Sie sich bitte an support@verit.de.