Erfaringer med systemtest baseret på cases i det nordjyske af Niels Andersen, Witas

Erfaringer med systemtestB A S E R E T P Å C A S E S I D E T N O R D J Y S K E

A F N I E L S A N D E R E N

I N F I N I T – 4 . J U N I 2 0 1 3

WITAS - SOFTWARE SOLUTIONS 1

AgendaHvem er jeg

Hvem er WITAS

Test af:AAU projekter: 1992 – 1997

Thorsted Mailroom System: 1997 – 2002 ( - 2011)

Inmarsat BGAN software: 2003 – 2009 ( - 2013)

OPUS Økonomi Bilag: 2011 – 2013

Opsummering

WITAS - SOFTWARE SOLUTIONS 2

Niels AndersenCivilingeniør indenfor proceskontrol i 1997 fra AAU

Dator, conscius, GateHouse, Logistics og KMD

Projektleder igennem 15 år

Software udvikler igennem 6 år

Industri, satellit kommunikation, overvågning, test, energi og finans

Schur Packaging Systems, Crisplant, Inmarsat, Vestas, AAU, etc.

WITAS - SOFTWARE SOLUTIONS 3

Witas – Software SolutionsJeg hjælper firmaer med at skabe den gode software, igennem min indsats som projektleder, testkoordinator og hvad der ellers kræves.

Freelance og konsulent Projektledelse og test koordinering Projekt gennemførsel Krav, arkitektur, design, udvikling, test og idriftsættelse

Kursus

Produkter

WEB: www.witas.dk

Kontakt:Niels Andersen nan@witas.dk

WITAS - SOFTWARE SOLUTIONS 4

AgendaHvem er jeg

Hvem er WITAS

Test af:AAU projekter: 1992 – 1997

Thorsted Mailroom System: 1997 – 2002 ( - 2011)

Inmarsat BGAN software: 2003 – 2009 ( - 2013)

OPUS Økonomi Bilag: 2011 – 2013

Opsummering

WITAS - SOFTWARE SOLUTIONS 5

AAU projekterHavde jeg lært noget test?

Ikke det store fokus i rapporter?

Fokus nogle gange bare på kompilering og debug.

Uformelle manuelle test.

Exploratory test.

Debugging.

Prototype resultater …

WITAS - SOFTWARE SOLUTIONS 6

AgendaHvem er jeg

Hvem er WITAS

Test af:AAU projekter: 1992 – 1997

Thorsted Mailroom System: 1997 – 2002 ( - 2011)

Inmarsat BGAN software: 2003 – 2009 ( - 2013)

OPUS Økonomi Bilag: 2011 – 2013

Opsummering

WITAS - SOFTWARE SOLUTIONS 7

Thorsted Mailroom SystemDator udviklede PC styringen for Schur Packaging System.

PC styring: Konfiguration, diagnoser, pakkeliste, adresseliste og SCADA.

Brugerstyring og sprog.

Konfiguration: Indstikker, inkjet, stakker og bundtadressering. En PLC til hver enhed.

Enkelt server, samt op til 20 linier hver med 2 PC’er på hver.

Fuldt ud konfigurerbart system igennem ini filer og gui / DB.

Udviklet i 1996, og årene fremover med knopskydninger.

Fast pris.

Ude at køre 50-100 steder.

Ofte releases … En gang om ugen.

Slut brugere ikke ret IT kyndige.

WITAS - SOFTWARE SOLUTIONS 8

Indstikker og stakker

WITAS - SOFTWARE SOLUTIONS 9

Stakker og bundtadressering

WITAS - SOFTWARE SOLUTIONS 10

Transport og lager

WITAS - SOFTWARE SOLUTIONS 11

TMS - TeknologiProfibus og ethernet.

Windows NT (ude af trit med normal udvikling PC).

Access og senere MS SQL Server.

Primært - Java, VB og C, samt Perl.

WITAS - SOFTWARE SOLUTIONS 12

TMS – Test strategiUdvikling:Debugging eller log analyse.

Simulator.

FAT:Manuel test af ny funktionalitet vha. simulator.

Manuel smoke test af enkelt konfigurationer.

Simulator med og uden profibus.

SAT:Leverandør tager del i idriftsættelse (remote eller onsite),

eller kunden tester selv.

Typisk enkelte konfigurationer.

WITAS - SOFTWARE SOLUTIONS 13

Opsummering – TMS

WITAS - SOFTWARE SOLUTIONS 14

Pro

• Test specifikationer.

• Exploratory test.

• Simulatorer.

• Tæt på kunden igennem FAT og SAT.

Cons

• Check af eksisterende funktionalitet mangler.

• Mange konfigurationer ikke testet.

• Unit test (automatisk) eksisterede ikke.

• Gentagne manuelle test.

• Person afhængigt.

• PC afhængigt.

AgendaHvem er jeg

Hvem er WITAS

Test af: AAU projekter: 1992 – 1997

Thorsted Mailroom System: 1997 – 2002 ( - 2011)

Inmarsat BGAN software: 2003 – 2009 ( - 2013)

OPUS Økonomi Bilag: 2011 – 2013

Opsummering

WITAS - SOFTWARE SOLUTIONS 15

Inmarsat BGAN software

WITAS - SOFTWARE SOLUTIONS 16

Inmarsat BGAN Protocol Stack

WITAS - SOFTWARE SOLUTIONS 17

BGAN Network Emulator

WITAS - SOFTWARE SOLUTIONS 18

Inmarsat BGAN forløbGAN

UTRS – Inmarsat køber User Terminal Reference Stack vs. BPT.

Flere andre terminal udviklere køber BPS.

BAF

BNE

Autotest

Mere end 50.000 enheder solgt.

WITAS - SOFTWARE SOLUTIONS 19

BPS & BNE - TeknologiC++ (Reduced pga. embedded platforme).

Ruby ved autotest (Note – Script sprog)

WITAS - SOFTWARE SOLUTIONS 20

BGAN test strategiUdvikling:Unit test.

ITS (TTCN3) – Ikke anvendt senere.

System test:BNE – BGAN Network Emulator.

Autotest.

On-air ready:BPT – Inmarsat compliance script.

Og en masse andet test for at få terminalen godkendt.

WITAS - SOFTWARE SOLUTIONS 21

Opsummering – BGAN

WITAS - SOFTWARE SOLUTIONS 22

Pro

•Automatiseringsgrad høj.

•Emulator / simulator.

•Mulighed for dagligt at følge regressioner.

•Separat test og udvikling (overgang).

•Udviklere efterspurgte test systemet.

•Anvendes fortsat efter 4 år.

•Defect trend.

Cons

•Taget laaang tid at udvikle.

•Systemerne ikke oppe at køre dag et.

•Separat test og udvikling (overgang).

AgendaHvem er jeg

Hvem er WITAS

Test af: AAU projekter: 1992 – 1997

Thorsted Mailroom System: 1997 – 2002 ( - 2011)

Inmarsat BGAN software: 2003 – 2009 ( - 2013)

OPUS Økonomi Bilag: 2011 – 2013

Opsummering

WITAS - SOFTWARE SOLUTIONS 23

OPUS Økonomi BilagKommunale marked > 45 kunder

Indrapportering af udgiftbilag

Godkendelse af fakturaer, samt indkøb ordre bundne fakturaer

Søgninger

Rolle håndtering

Kreditnota

WITAS - SOFTWARE SOLUTIONS 24

OPUS Økonomi BilagPersoner i teamet – 20+ (totalt 600 personer som releaser til OPUS)

Udvikling: Forretningspecialister (Domæne, kunder)

Arkitekter

Udviklere

Test Manager + testere

Osv.

Maintenance, support, drift, launching, etc.

Teknologi: Udvikling - SAP ABAP

Test - HP ALM / QC, udviklet I QTP

WITAS - SOFTWARE SOLUTIONS 25

OPUS test strategiUdviklingDebuggingUnit test (Manuel)

System testAutomatiskManuel

Integration testAutomatiskManuel

Release testAutomatiskManuel

Produktion test

WITAS - SOFTWARE SOLUTIONS 26

Opsummering – OPUS

WITAS - SOFTWARE SOLUTIONS 27

Pro

•Stort test fokus.

•Test design.

•Automatisering.

•Defect trend.

•Exploratory test.

•Pilot test.

Cons

•Håndtering af konfiguration.

•Automatisering tager lang tid.

•Manuel test. Manuelle regressionstest gav ofte nye fejl.

•Unit test ikke automatiserede.

•Manglende synergi mellem udvikling og test.

•Release overhead.

•Versionskontrol.

AgendaHvem er jeg

Hvem er WITAS

Test af: AAU projekter: 1992 – 1997

Thorsted Mailroom System: 1997 – 2002 ( - 2011)

Inmarsat BGAN software: 2003 – 2009 ( - 2013)

OPUS Økonomi Bilag: 2011 – 2013

Opsummering

WITAS - SOFTWARE SOLUTIONS 28

Opsummering af testKunde involvering – Kravsudvikling og forståelse.

Indbygget kvalitet – Fælles holdning til kvalitet.

Unit test (automatisk) – Fundament.

Simulatorer – Giver realistisk og lettere test.

Manuelt test – Skal ikke undværes. Exploratory test, slipper fantasien løs til at komme ud i hjørnerne.

Samarbejde mellem ”domæne viden”, udviklere og testere giver synergi.

Spiller sammen med simulatorer.

Automatisering – Husk afvejning af behov. Daglige test.

Regressionsanalyser.

Konfigurationsmanagement – Kode, konfiguration, test og test framework.

Defect trend.

Management – Fokus og forståelse. I sidste ende koster projektet mindre, hvis der testes – fornuftigt.

WITAS - SOFTWARE SOLUTIONS 29

Tak for at i lyttede …Yderligere spørgsmål og diskussion?

Kontakt: Niels Andersen

nan@witas.dk

WITAS - SOFTWARE SOLUTIONS 30