UNIVERZA V MARIBORU
FAKULTETA ZA ELEKTROTEHNIKO,
RAČUNALNIŠTVO IN INFORMATIKO
Milan Fesel
PRIMERJAVA TESTIRNIH ORODIJ DOSTOPNIH NA
PROSTEM TRGU
Diplomsko delo
Maribor, september 2017
i
PRIMERJAVA TESTIRNIH ORODIJ DOSTOPNIH NA PROSTEM TRGU
Diplomsko delo
Študent: Milan Fesel
Študijski program: Visokošolski študijski program
Informatika in tehnologije komuniciranja
Smer: Razvoj informacijskih sistemov
Mentor: red. prof. dr. Ivan Rozman
Lektor: Ivan Cepanec, prof. slov. jez. in zgod.
ii
iii
ZAHVALA
Zahvaljujem se mentorju prof. dr. Ivanu
Rozmanu za pomoč in vodenje pri izdelavi
diplomskega dela.
Zahvaljujem se tudi svoji punci Špeli za
spodbudo in podporo pri pisanju diplomskega
dela.
Posebna zahvala velja staršem, ki so verjeli
vame in mi omogočili študij.
iv
Primerjava testirnih orodij dostopnih na prostem trgu
Ključne besede: primerjava testirnih orodij, prosto dostopna orodja, upravljanje
testiranja, orodje FitNesse.
UDK: 004.4'22(043.2)
Povzetek
V diplomskem delu smo predstavili prosto dostopna orodja za upravljanje testiranja. Na
začetku smo podali pregled priporočil, metode in nivoje testiranja. Nato smo raziskali
lastnosti in zahteve orodij za upravljanje testiranja. Predstavljena orodja smo najprej
primerjali med seboj, nato pa še s prosto dostopnimi orodji. Na koncu smo v prosto
dostopnem orodju FitNesse predstavili primer testiranja, tako da smo s pomočjo
programske kode in testnih primerov primerjali aktualne in pričakovane rezultate.
v
The testing tools available on open market
comparison
Key words: comparison of test management tools, open source test management tools,
testing, FitNesse tool
UDK: 004.4'22(043.2)
Abstract
The thesis present open source test management tools. In the first part, we provided an
overview of recommendations, methods and levels of testing. We also studied properties
and requirements of test management tools. Then, we compared the tools we presented to
one another and to other open source tools. At the end of the paper, we prepared a test
example in an open source tool FitNesse and compared real and expected results using code
and test examples.
vi
KAZALO VSEBINE
1 UVOD ..................................................................................................................... 1
2 UPRAVLJANJE TESTIRANJA ..................................................................................... 2
2.1 TESTIRANJA PO PRIPOROČILIH STANDARDA IEEE 829 ..................................................... 2
2.1.1 Dokumentacija za pripravo testov .............................................................. 2
2.1.2 Dokumentacija za izvedbo testiranja .......................................................... 4
2.2 METODE TESTIRANJA ............................................................................................... 5
2.2.1 Testiranje po principu črne skrinje .............................................................. 5
2.2.2 Testiranje po principu bele skrinje .............................................................. 6
2.2.3 Primerjava testiranja po principu črne in bele skrinje ................................ 8
2.3 ROČNO IN AVTOMATSKO TESTIRANJE .......................................................................... 9
3 GLAVNI NIVOJI TESTIRANJA ................................................................................... 11
3.1 FUNKCIONALNO TESTIRANJE .................................................................................... 11
3.1.1 Testiranje programskih enot ..................................................................... 12
3.1.2 Integracijsko testiranje ............................................................................. 13
3.1.3 Validacijsko testiranje ............................................................................... 14
3.1.4 Sistemsko testiranje .................................................................................. 15
3.1.5 Sprejemno testiranje ................................................................................. 16
3.2 NEFUNKCIONALNO TESTIRANJE ................................................................................ 17
4 OPIS ORODIJ ZA UPRAVLJANJE TESTIRANJA ........................................................... 18
4.1 IMPLEMENTACIJA ORODIJ ........................................................................................ 18
4.2 UPORABA ORODIJ ................................................................................................. 18
4.3 LASTNOSTI IN ZAHTEVE ORODIJ PRI UPRAVLJANJU TESTIRANJA ........................................ 19
4.4 IZBOLJŠAVE ORODIJ V PRIHODNOSTI .......................................................................... 21
4.5 ODPRTOKODNA ORODJA ......................................................................................... 22
5 PRIMERJAVA ORODIJ............................................................................................. 29
5.1 PRIMERJAVA ODPRTOKODNIH ORODIJ ....................................................................... 32
6 PRIMER TESTIRANJA V ORODJU FITNESSE .............................................................. 33
6.1 OPIS PROBLEMA ................................................................................................... 33
6.2 PROGRAMSKI DEL .................................................................................................. 33
6.3 TESTNI PRIMERI .................................................................................................... 35
6.4 REZULTATI TESTIRANJA ........................................................................................... 39
7 SKLEP .................................................................................................................... 42
VIRI ............................................................................................................................. 43
vii
KAZALO SLIK
SLIKA 2.1: TESTIRANJE PO METODI ČRNE SKRINJE. [18] ...................................................................... 5
SLIKA 2.2: TESTIRANJE PO METODI BELE SKRINJE. [17] ....................................................................... 7
SLIKA 3.1: FUNKCIONALNO TESTIRANJE PO PRINCIPU ČRNE SKRINJE. .................................................... 11
SLIKA 3.2: NIVOJI TESTIRANJA. .................................................................................................... 12
SLIKA 4.1: DIAGRAM LASTNOSTI ORODIJ PRI UPRAVLJANJU TESTIRANJA. [14] ....................................... 20
SLIKA 4.2: RAZPOREDITEV MOŽNOSTI QABOOK. [21] ..................................................................... 26
SLIKA 4.3: POSTOPEK IZVEDBE TESTIRANJA V ORODJU FITNESSE. [20] ................................................. 27
SLIKA 6.1: PROGRAMSKA KODA ZA IZVEDBO TABELNE VSEBINE. .......................................................... 34
SLIKA 6.2: DODAJANJE TESTNE STRANI IN PREUSMERITEV.................................................................. 35
SLIKA 6.3: UREDITEV TESTNEGA PRIMERA. ..................................................................................... 36
SLIKA 6.4: PRIKAZ TESTNEGA PRIMERA PO UREDITVI. ....................................................................... 37
SLIKA 6.5: TESTNI PRIMER Z NEPRAVILNIMI REZULTATI. .................................................................... 38
SLIKA 6.6: TESTNI PRIMER V MANJKAJOČEM IN V NAPAČNEM REZULTATU. ............................................ 38
SLIKA 6.7: REZULTATI TESTNEGA PRIMERA S PRAVILNIMI IZRAČUNI...................................................... 39
SLIKA 6.8: REZULTATI TESTNEGA PRIMERA Z NAPAČNIMI REZULTATI. ................................................... 40
SLIKA 6.9: REZULTATI TESTNEGA PRIMERA V PRAZNEM IN V NAPAČNEM VNOSU..................................... 41
KAZALO TABEL
TABELA 2.1: PRIMERJAVA TESTIRANJA PO METODI ČRNE IN BELE SKRINJE [8] .......................................... 8
TABELA 5.1: PRIMERJAVA ORODIJ: TESTRAIL, TESTLINK, ZEPHYR IN TESTOPIA (PODPORA, UVOZ IN IZVOZ
TESTNIH PRIMEROV IN SLEDENJE). [9] .............................................................................. 29
TABELA 5.2: PRIMERJAVA ORODIJ TESTRAIL, TESTLINK, ZEPHYR IN TESTOPIA (CENA, UPORABA,
KONFIGURACIJA IN POVEZAVA Z EL. POŠTO). [9] ................................................................. 30
TABELA 5.3: PRIMERJAVA ORODIJ TESTRAIL, TESTLINK ZEPHYR IN TESTOPIA (AVTOMATIZACIJA IN
INTEGRACIJA, POROČANJE, STATISTIKA IN GRAFI). [9] .......................................................... 31
TABELA 5.4: PRIMERJAVA ORODIJ ZA UPRAVLJANJE TESTIRANJA ......................................................... 32
