Click here to load reader

PRIMERJAVA TESTIRNIH ORODIJ DOSTOPNIH NA PROSTEM TRGU · PDF file Ključne besede: primerjava testirnih orodij, prosto dostopna orodja, upravljanje testiranja, orodje FitNesse. UDK:

  • View
    2

  • Download
    0

Embed Size (px)

Text of PRIMERJAVA TESTIRNIH ORODIJ DOSTOPNIH NA PROSTEM TRGU · PDF file Ključne besede: primerjava...

  • UNIVERZA V MARIBORU

    FAKULTETA ZA ELEKTROTEHNIKO,

    RAČUNALNIŠTVO IN INFORMATIKO

    Milan Fesel

    PRIMERJAVA TESTIRNIH ORODIJ DOSTOPNIH NA

    PROSTEM TRGU

    Diplomsko delo

    Maribor, september 2017

  • i

    PRIMERJAVA TESTIRNIH ORODIJ DOSTOPNIH NA PROSTEM TRGU

    Diplomsko delo

    Študent: Milan Fesel

    Študijski program: Visokošolski študijski program

    Informatika in tehnologije komuniciranja

    Smer: Razvoj informacijskih sistemov

    Mentor: red. prof. dr. Ivan Rozman

    Lektor: Ivan Cepanec, prof. slov. jez. in zgod.

  • ii

  • iii

    ZAHVALA

    Zahvaljujem se mentorju prof. dr. Ivanu

    Rozmanu za pomoč in vodenje pri izdelavi

    diplomskega dela.

    Zahvaljujem se tudi svoji punci Špeli za

    spodbudo in podporo pri pisanju diplomskega

    dela.

    Posebna zahvala velja staršem, ki so verjeli

    vame in mi omogočili študij.

  • iv

    Primerjava testirnih orodij dostopnih na prostem trgu

    Ključne besede: primerjava testirnih orodij, prosto dostopna orodja, upravljanje

    testiranja, orodje FitNesse.

    UDK: 004.4'22(043.2)

    Povzetek

    V diplomskem delu smo predstavili prosto dostopna orodja za upravljanje testiranja. Na

    začetku smo podali pregled priporočil, metode in nivoje testiranja. Nato smo raziskali

    lastnosti in zahteve orodij za upravljanje testiranja. Predstavljena orodja smo najprej

    primerjali med seboj, nato pa še s prosto dostopnimi orodji. Na koncu smo v prosto

    dostopnem orodju FitNesse predstavili primer testiranja, tako da smo s pomočjo

    programske kode in testnih primerov primerjali aktualne in pričakovane rezultate.

  • v

    The testing tools available on open market comparison

    Key words: comparison of test management tools, open source test management tools,

    testing, FitNesse tool

    UDK: 004.4'22(043.2)

    Abstract

    The thesis present open source test management tools. In the first part, we provided an

    overview of recommendations, methods and levels of testing. We also studied properties

    and requirements of test management tools. Then, we compared the tools we presented to

    one another and to other open source tools. At the end of the paper, we prepared a test

    example in an open source tool FitNesse and compared real and expected results using code

    and test examples.

  • vi

    KAZALO VSEBINE

    1 UVOD ..................................................................................................................... 1

    2 UPRAVLJANJE TESTIRANJA ..................................................................................... 2

    2.1 TESTIRANJA PO PRIPOROČILIH STANDARDA IEEE 829 ..................................................... 2

    2.1.1 Dokumentacija za pripravo testov .............................................................. 2

    2.1.2 Dokumentacija za izvedbo testiranja .......................................................... 4

    2.2 METODE TESTIRANJA ............................................................................................... 5

    2.2.1 Testiranje po principu črne skrinje .............................................................. 5

    2.2.2 Testiranje po principu bele skrinje .............................................................. 6

    2.2.3 Primerjava testiranja po principu črne in bele skrinje ................................ 8

    2.3 ROČNO IN AVTOMATSKO TESTIRANJE .......................................................................... 9

    3 GLAVNI NIVOJI TESTIRANJA ................................................................................... 11

    3.1 FUNKCIONALNO TESTIRANJE .................................................................................... 11

    3.1.1 Testiranje programskih enot ..................................................................... 12

    3.1.2 Integracijsko testiranje ............................................................................. 13

    3.1.3 Validacijsko testiranje ............................................................................... 14

    3.1.4 Sistemsko testiranje .................................................................................. 15

    3.1.5 Sprejemno testiranje ................................................................................. 16

    3.2 NEFUNKCIONALNO TESTIRANJE ................................................................................ 17

    4 OPIS ORODIJ ZA UPRAVLJANJE TESTIRANJA ........................................................... 18

    4.1 IMPLEMENTACIJA ORODIJ ........................................................................................ 18

    4.2 UPORABA ORODIJ ................................................................................................. 18

    4.3 LASTNOSTI IN ZAHTEVE ORODIJ PRI UPRAVLJANJU TESTIRANJA ........................................ 19

    4.4 IZBOLJŠAVE ORODIJ V PRIHODNOSTI .......................................................................... 21

    4.5 ODPRTOKODNA ORODJA ......................................................................................... 22

    5 PRIMERJAVA ORODIJ............................................................................................. 29

    5.1 PRIMERJAVA ODPRTOKODNIH ORODIJ ....................................................................... 32

    6 PRIMER TESTIRANJA V ORODJU FITNESSE .............................................................. 33

    6.1 OPIS PROBLEMA ................................................................................................... 33

    6.2 PROGRAMSKI DEL .................................................................................................. 33

    6.3 TESTNI PRIMERI .................................................................................................... 35

    6.4 REZULTATI TESTIRANJA ........................................................................................... 39

    7 SKLEP .................................................................................................................... 42

    VIRI ............................................................................................................................. 43

  • vii

    KAZALO SLIK

    SLIKA 2.1: TESTIRANJE PO METODI ČRNE SKRINJE. [18] ...................................................................... 5

    SLIKA 2.2: TESTIRANJE PO METODI BELE SKRINJE. [17] ....................................................................... 7

    SLIKA 3.1: FUNKCIONALNO TESTIRANJE PO PRINCIPU ČRNE SKRINJE. .................................................... 11

    SLIKA 3.2: NIVOJI TESTIRANJA. .................................................................................................... 12

    SLIKA 4.1: DIAGRAM LASTNOSTI ORODIJ PRI UPRAVLJANJU TESTIRANJA. [14] ....................................... 20

    SLIKA 4.2: RAZPOREDITEV MOŽNOSTI QABOOK. [21] ..................................................................... 26

    SLIKA 4.3: POSTOPEK IZVEDBE TESTIRANJA V ORODJU FITNESSE. [20] ................................................. 27

    SLIKA 6.1: PROGRAMSKA KODA ZA IZVEDBO TABELNE VSEBINE. .......................................................... 34

    SLIKA 6.2: DODAJANJE TESTNE STRANI IN PREUSMERITEV.................................................................. 35

    SLIKA 6.3: UREDITEV TESTNEGA PRIMERA. ..................................................................................... 36

    SLIKA 6.4: PRIKAZ TESTNEGA PRIMERA PO UREDITVI. ....................................................................... 37

    SLIKA 6.5: TESTNI PRIMER Z NEPRAVILNIMI REZULTATI. .................................................................... 38

    SLIKA 6.6: TESTNI PRIMER V MANJKAJOČEM IN V NAPAČNEM REZULTATU. ............................................ 38

    SLIKA 6.7: REZULTATI TESTNEGA PRIMERA S PRAVILNIMI IZRAČUNI...................................................... 39

    SLIKA 6.8: REZULTATI TESTNEGA PRIMERA Z NAPAČNIMI REZULTATI. ................................................... 40

    SLIKA 6.9: REZULTATI TESTNEGA PRIMERA V PRAZNEM IN V NAPAČNEM VNOSU..................................... 41

    KAZALO TABEL

    TABELA 2.1: PRIMERJAVA TESTIRANJA PO METODI ČRNE IN BELE SKRINJE [8] .......................................... 8

    TABELA 5.1: PRIMERJAVA ORODIJ: TESTRAIL, TESTLINK, ZEPHYR IN TESTOPIA (PODPORA, UVOZ IN IZVOZ

    TESTNIH PRIMEROV IN SLEDENJE). [9] .............................................................................. 29

    TABELA 5.2: PRIMERJAVA ORODIJ TESTRAIL, TESTLINK, ZEPHYR IN TESTOPIA (CENA, UPORABA,

    KONFIGURACIJA IN POVEZAVA Z EL. POŠTO). [9] ................................................................. 30

    TABELA 5.3: PRIMERJAVA ORODIJ TESTRAIL, TESTLINK ZEPHYR IN TESTOPIA (AVTOMATIZACIJA IN

    INTEGRACIJA, POROČANJE, STATISTIKA IN GRAFI). [9] .......................................................... 31

    TABELA 5.4: PRIMERJAVA ORODIJ ZA UPRAVLJANJE TESTIRANJA ......................................................... 32

Search related