Erfaringer med systemtest baseret på cases i det nordjyske af Niels Andersen, Witas

Erfaringer med systemtestB A S E R E T P Å C A S E S I D E T N O R D J Y S K E

A F N I E L S A N D E R E N

I N F I N I T – 4 . J U N I 2 0 1 3

WITAS - SOFTWARE SOLUTIONS 1

AgendaHvem er jeg

Hvem er WITAS

Test af:AAU projekter: 1992 – 1997

Thorsted Mailroom System: 1997 – 2002 ( - 2011)

Inmarsat BGAN software: 2003 – 2009 ( - 2013)

OPUS Økonomi Bilag: 2011 – 2013

Opsummering


Niels AndersenCivilingeniør indenfor proceskontrol i 1997 fra AAU

Dator, conscius, GateHouse, Logistics og KMD

Projektleder igennem 15 år

Software udvikler igennem 6 år

Industri, satellit kommunikation, overvågning, test, energi og finans

Schur Packaging Systems, Crisplant, Inmarsat, Vestas, AAU, etc.


Witas – Software SolutionsJeg hjælper firmaer med at skabe den gode software, igennem min indsats som projektleder, testkoordinator og hvad der ellers kræves.

Freelance og konsulent Projektledelse og test koordinering Projekt gennemførsel Krav, arkitektur, design, udvikling, test og idriftsættelse

Kursus

Produkter

WEB: www.witas.dk

Kontakt:Niels Andersen [email protected]


AgendaHvem er jeg

Hvem er WITAS





Opsummering


AAU projekterHavde jeg lært noget test?

Ikke det store fokus i rapporter?

Fokus nogle gange bare på kompilering og debug.

Uformelle manuelle test.

Exploratory test.

Debugging.

Prototype resultater …


AgendaHvem er jeg

Hvem er WITAS





Opsummering


Thorsted Mailroom SystemDator udviklede PC styringen for Schur Packaging System.

PC styring: Konfiguration, diagnoser, pakkeliste, adresseliste og SCADA.

Brugerstyring og sprog.

Konfiguration: Indstikker, inkjet, stakker og bundtadressering. En PLC til hver enhed.

Enkelt server, samt op til 20 linier hver med 2 PC’er på hver.

Fuldt ud konfigurerbart system igennem ini filer og gui / DB.

Udviklet i 1996, og årene fremover med knopskydninger.

Fast pris.

Ude at køre 50-100 steder.

Ofte releases … En gang om ugen.

Slut brugere ikke ret IT kyndige.


Indstikker og stakker


Stakker og bundtadressering


Transport og lager


TMS - TeknologiProfibus og ethernet.

Windows NT (ude af trit med normal udvikling PC).

Access og senere MS SQL Server.

Primært - Java, VB og C, samt Perl.


TMS – Test strategiUdvikling:Debugging eller log analyse.

Simulator.

FAT:Manuel test af ny funktionalitet vha. simulator.

Manuel smoke test af enkelt konfigurationer.

Simulator med og uden profibus.

SAT:Leverandør tager del i idriftsættelse (remote eller onsite),

eller kunden tester selv.

Typisk enkelte konfigurationer.


Opsummering – TMS


Pro

• Test specifikationer.

• Exploratory test.

• Simulatorer.

• Tæt på kunden igennem FAT og SAT.

Cons

• Check af eksisterende funktionalitet mangler.

• Mange konfigurationer ikke testet.

• Unit test (automatisk) eksisterede ikke.

• Gentagne manuelle test.

• Person afhængigt.

• PC afhængigt.

AgendaHvem er jeg

Hvem er WITAS

Test af: AAU projekter: 1992 – 1997




Opsummering


Inmarsat BGAN software


Inmarsat BGAN Protocol Stack


BGAN Network Emulator


Inmarsat BGAN forløbGAN

UTRS – Inmarsat køber User Terminal Reference Stack vs. BPT.

Flere andre terminal udviklere køber BPS.

BAF

BNE

Autotest

Mere end 50.000 enheder solgt.


BPS & BNE - TeknologiC++ (Reduced pga. embedded platforme).

Ruby ved autotest (Note – Script sprog)


BGAN test strategiUdvikling:Unit test.

ITS (TTCN3) – Ikke anvendt senere.

System test:BNE – BGAN Network Emulator.

Autotest.

On-air ready:BPT – Inmarsat compliance script.

Og en masse andet test for at få terminalen godkendt.


Opsummering – BGAN


Pro

•Automatiseringsgrad høj.

•Emulator / simulator.

•Mulighed for dagligt at følge regressioner.

•Separat test og udvikling (overgang).

•Udviklere efterspurgte test systemet.

•Anvendes fortsat efter 4 år.

•Defect trend.

Cons

•Taget laaang tid at udvikle.

•Systemerne ikke oppe at køre dag et.

•Separat test og udvikling (overgang).

AgendaHvem er jeg

Hvem er WITAS





Opsummering


OPUS Økonomi BilagKommunale marked > 45 kunder

Indrapportering af udgiftbilag

Godkendelse af fakturaer, samt indkøb ordre bundne fakturaer

Søgninger

Rolle håndtering

Kreditnota


OPUS Økonomi BilagPersoner i teamet – 20+ (totalt 600 personer som releaser til OPUS)

Udvikling: Forretningspecialister (Domæne, kunder)

Arkitekter

Udviklere

Test Manager + testere

Osv.

Maintenance, support, drift, launching, etc.

Teknologi: Udvikling - SAP ABAP

Test - HP ALM / QC, udviklet I QTP


OPUS test strategiUdviklingDebuggingUnit test (Manuel)

System testAutomatiskManuel

Integration testAutomatiskManuel

Release testAutomatiskManuel

Produktion test


Opsummering – OPUS


Pro

•Stort test fokus.

•Test design.

•Automatisering.

•Defect trend.

•Exploratory test.

•Pilot test.

Cons

•Håndtering af konfiguration.

•Automatisering tager lang tid.

•Manuel test. Manuelle regressionstest gav ofte nye fejl.

•Unit test ikke automatiserede.

•Manglende synergi mellem udvikling og test.

•Release overhead.

•Versionskontrol.

AgendaHvem er jeg

Hvem er WITAS





Opsummering


Opsummering af testKunde involvering – Kravsudvikling og forståelse.

Indbygget kvalitet – Fælles holdning til kvalitet.

Unit test (automatisk) – Fundament.

Simulatorer – Giver realistisk og lettere test.

Manuelt test – Skal ikke undværes. Exploratory test, slipper fantasien løs til at komme ud i hjørnerne.

Samarbejde mellem ”domæne viden”, udviklere og testere giver synergi.

Spiller sammen med simulatorer.

Automatisering – Husk afvejning af behov. Daglige test.

Regressionsanalyser.

Konfigurationsmanagement – Kode, konfiguration, test og test framework.

Defect trend.

Management – Fokus og forståelse. I sidste ende koster projektet mindre, hvis der testes – fornuftigt.


Tak for at i lyttede …Yderligere spørgsmål og diskussion?

Kontakt: Niels Andersen

[email protected]


Technology

Erfaringer med systemtest baseret på cases i det nordjyske af Niels Andersen, Witas