SwissQ Testing Trends &Benchmarks Schweiz 2012Software Testing Trends Schweiz 2012. Wo stehen wir – wohin geht es?

EDITORIAL

TRENDWAVE 2012

KEY MESSAGES

PROJEKTE

REIFE

MOBILE TESTING Schwerpunkt

ORGANISATION

VORGEHEN

AGILE TESTING Schwerpunkt

TESTWERKZEUGE

AUTOMATISIERUNG Schwerpunkt

ERHEBUNGSGRUNDLAGEN

STRATEGIE & MANAGEMENT Schwerpunkt

3

4

6

7

8

9

10

12

13

14

15

16

17

SwissQ Testing Trends & Benchmarks 2012 2INHALTSVERZEICHNIS

Die Teilnehmergruppe setzt sich vor allem aus Testmanagern und Abteilungslei-tern, aber auch aus Test Engineers und Projektleitern zusammen, die insbesondere im IT-Sektor, im Finanz- und Versicherungswesen, in der Industrie oder in staatli-chen Betrieben tätig sind. Zum ersten Mal haben wir in diesem Jahr einen speziel-len Fokus auf die Themen Agile Testing und Requirements Engineering gelegt und deshalb den Teilnehmerkreis entsprechend erweitert. So ist etwa ein Viertel der Umfrageteilnehmer im Requirements Engineering tätig. Zusammen dienten uns die über 300 ausgefüllten Fragebogen als Grundlage für die Analyse und Interpre-tation des aktuellen Standes und zukünftiger Entwicklungen für 2012.

Die Benchmarks, in Form einer Vielzahl informativer Grafiken, bilden das Rückgrat des Reports und ermöglichen, sich im Vergleich mit anderen Unternehmen zu positionieren.

Um die Aktualität der untersuchten Themen aufzuzeigen, wird wie bis anhin die SwissQ Trend Wave® verwendet. Diese zeigt in vier Phasen auf, wie sich einzelne Trends wahrscheinlich entwickeln, wodurch wiederum deren Einfluss auf die Unternehmen abgeschätzt werden kann.

Wie bereits im letzten Jahr offeriert SwissQ den Unternehmen wieder die Gelegen-heit, die SwissQ Testing Trends & Benchmarks intern vor ihren Mitarbeitern zu prä-sentieren. Zielpublikum sind vor allem die Tester Community, Software Ingenieure, Projektleiter, Requirements Engineers und das Management. Die Präsentation ermöglicht, einen externen Blick auf die aktuellen Veränderungen zu bekommen, die Motivation und den Stellenwert des Testings zu steigern sowie von Ideen für die konstante Weiterentwicklung des Testings zu profitieren.

In diesem Sinne hoffen wir, dass die vorliegenden Trends und Benchmarks Sie dazu inspirieren, neue Herausforderungen aktiv anzugehen und die aktuell besten Massnahmen in Ihrem Unternehmen zu ergreifen.

Zum vierten Mal in Folge hat SwissQ zum Jahresende bei der Schweizer IT Community die aktuellen Trends und Benchmarks erfragt. Nebst einem sehr positiven Rücklauf von über 300 ausgefüllten Fragebogen wurden auch diverse IT-Entscheidungsträger aus unterschiedli-chen Firmen, Branchen und Regionen, in einem persönlichen Interview zu den aktuellen Trends befragt. Daraus entstanden ein repräsentati-ver Überblick zum Stand des Software-Testings in der Schweiz im Jahr 2012 und ein Ausblick auf die wichtigsten Trends der kommenden Zeit. Neu wird mit der Trends & Benchmarks Analyse nicht mehr nur die Disziplin Testing beleuchtet, sondern auch die beiden Themenbereiche Requirements Engineering und Agile. Die entsprechenden Reports erscheinen einzeln, um deren Wichtigkeit Rechnung zu tragen.

SwissQ Testing Trends & Benchmarks 2012 3EDITORIAL

INTRODUCTION GROWTH MATURITY DECLINE

TIME

PRIO

RITY

INTRODUCTION – Das Thema wurde erkannt und einige Unternehmen arbeiten an ersten Umsetzungen. Es ist allerdings nicht absehbar, ob sich dieser Trend positiv weiterent-wickelt und das Testing tatsächlich erheblich beeinflussen wird.

GROWTH – Das Thema wird immer mehr anerkannt und viele Unterneh-men gehen darauf ein. Es entstehen die ersten Werkzeuge und Beratungs-firmen bieten Dienstleistungen dazu an. Mit der fehlenden Erfahrung bei der Umsetzung gehen oft diverse Risiken einher.

MATURITY – Die meisten Unterneh-men arbeiten an der Umsetzung oder haben diese bereits abgeschlossen. Das Wissen zu dem Thema ist oft sehr verbreitet, wobei häufig auch Unter-arten dazu entstehen.

DECLINE – Das Thema wurde von den meisten Unternehmen, mit Ausnahme einzelner Nachzügler, bereits umgesetzt. Wissen in diesen Bereichen neu aufzubauen generiert oft keinen Nutzen mehr, da dieses in Kürze obsolet wird.

SwissQ Testing Trends & Benchmarks 2012 4TRENDWAVE 2012

Cloud Testing

Mobile Testing

Risk Based Testing

ISTQB FL & AL Level

Outsourcing

ZentraleTestorganisation

Load and Performance Tests

SCRUM

AutomatisierteRegressionstests

TDD

ATDD

Session Based Testing

Security & Penetration Testing

Exploratives Testing

Agiles Testing

Testprozessverbesserung

Regressionstest

ALM Tools

ISTQB Expert Level

Die Technologien, welche den Consumer-Markt in den letzten Jahren verändert haben – Smartphones und Tablets, SocialMedia, die Cloud und hochaktuell die Sprachsteuerung – finden vermehrt auch in der Unternehmenswelt Verwendung. Die damit einhergehenden neuen Informations- und Kommunikationskanäle führen dazu, dass die Kundenerwartungen stetig steigen, wie folgendes Beispiel illustriert:

Bei einer hitzigen Diskussion über die Notwendigkeit einer separaten Versicherung für Ski-Diebstahl, zücke ich am Samstag Nachmittag im Après-Ski das Smartphone und öffne die App meiner Versicherung, um die aktuelle Deckung zu prüfen. Mit Schrecken stelle ich fest, dass Ski-Diebstahl nicht dazugehört. Sofort frage ich Siri nach einem entsprechenden Anbieter und schliesse die Versicherung gleich Online ab. Zum Glück, denn gerade fährt da hinten ein Kerl im gelben Ski-Anzug mit meinen Skiern davon!

Solche Szenarien, welche gestern noch utopisch waren, heute jedoch kurz vor dem Durchbruch stehen, stellen nicht nur die Business Analysten und die Software-Entwickler vor neue Herausforderungen. Gerade das Testing wird dadurch immer komplexer und aufwändiger.

Viele Firmen haben diese Trends erkannt. Einige berücksichtigen sie bereits in ihren aktuellen Projekten und Produkten, andere sammeln erste Erfahrungen und bauen langsam Wissen auf. Ein grosser Teil ist jedoch der Meinung, dass es zu früh ist und möchte sich noch nicht damit auseinander setzen, sollte dann aber wach-sam sein, um nicht zu stagnieren.

Momentan liegt der primäre Fokus auf zwei Bereichen, da sie in den letzten Jah-ren immer mehr an Bedeutung gewonnen haben. Einer davon ist Agile Testing, denn die meisten der Befragten arbeiten inzwischen mindestens zum Teil mit agilen Vorgehensweisen. Der zweite Bereich ist das Requirements Engineering, der damit direkt eine der grössten Herausforderungen aufgreift: Die mangelhafte Qualität von Anforderungen. Zufall oder Schicksal, die parallele Entwicklung dieser beiden Themen kann nur von Vorteil sein.

Somit ist anzunehmen, dass Mobile Testing und erst recht Cloud Testing für viele Organisationen und Software-Tester erst auf dem Radar erscheinen, wenn die gröbsten Hindernisse in der Umstellung auf Agile und der Qualitätserhöhung der Anforderungen überwunden sind. Zudem ist mit der Test-Automatisierung ein weiteres Thema im Fokus, das uns schon viele Jahre begleitet und oft immer noch nicht zufriedenstellend gelöst wurde.

Trotzdem ist absehbar, dass die „Mobilisierung“ der IT in naher Zukunft rapide zunimmt. Es stellt sich die Frage, ob man hier nicht schon ansetzen sollte, bevor man den Zug verpasst hat und ein Aufholen zu zeit- und kostenintensiv wird.

Ziel der Trendwave ist es aufzuzeigen, welche Themen in nächster Zeit sowohl die Disziplin Testen beeinflussen werden, als auch die Personen und Organisationen, welche sich damit befassen. Sie hilft somit dem Leser, sich gezielt auf diese Veränderungen vorzubereiten und sie wo immer möglich aktiv mitzugestalten.

SwissQ Testing Trends & Benchmarks 2012 5TRENDWAVE 2012

4 5 6Während 40 % der Befragten die Reife des Testprozesses als gut oder ausgezeichnet einschätzen, beurtei-len Dreiviertel die Reife des Requi-rements Engineering als höchstens mittelmässig.

Nicht überraschend werden als grösste Herausforderungen im Testing die mangelhaften Anfor-derungen genannt, gefolgt vom zu späten Einbezug der Tester.

Die interdisziplinäre Zusammen-arbeit zwischen Business Analyst, Software-Entwickler und Tester hat weiter an Bedeutung zugenommen. Das grosse Umdenken hat aber noch nicht stattgefunden.

7 8 9Am meisten wird in die Erweite-rung der Testautomatisierung und den Auf- und Ausbau der Regressionstests investiert. Dagegen werden kaum noch neue Stellen für Tester geschaffen.

Obwohl 80 % ihre funktionalen Tests automatisieren, hat fast die Hälfte erst weniger als 10 % auto-matisiert. Positiv zu vermerken ist jedoch, dass es 2011 noch fast 2/3 waren, die weniger als 10 % auto-matisiert hatten.

Der Trend zu integrierten Tool-Lösungen hat sich insbesondere mit HP ALM und teilweise mit MS TFS verstärkt. Tools, welche nur eine Disziplin abdecken, haben einen schweren Stand.

2 31 In über der Hälfte der Unterneh-men kommen agile Vorgehen zum Einsatz. 84.5 % der Befragten set-zen dabei auf Scrum als bevorzugte agile Methode.

Neue, technologie- und prozess-getriebene Vorgehen wie Mobile Testing, agiles Testen oder Session Based Test Management, geniessen noch (zu) wenig Aufmerksamkeit.

Der Fokus der Aus- und Weiter-bildung wird vermehrt auf die Bereiche Requirements Engineering und Agilität gerichtet, dicht gefolgt von den ISTQB Advanced Level-Zertifizierungen.

SwissQ Testing Trends & Benchmarks 2012 6KEY MESSAGES

Projektart70 % der Projekte sind Neu-Entwicklungen oder Erweiterungen bestehender Lösungen.

ProjekterfolgNur knapp über ein Drittel aller Projekte wird mit der gewünschten Funktionalität, innerhalb der vereinbarten Zeit und ohne Überschreitung des geplanten Budgets beendet.

SwissQ Testing Trends & Benchmarks 2012 7PROJEKTE

der Befragten beschreibt die Ausgangslage für Projekte als nur zufriedenstellend oder ungenügend in Bezug auf:

>50% Aufwandschätzung Planung Anforderungs-Definition Realistische Erwartungen

12 %

39 %

31 %

10 %

8 % Neu-Entwicklung

Erweiterung einer bestehenden Lösung

Migration

Einführung Standard- Software

Betrieb, Support, Wartung, Re-Design, ...

Projektgrösse (in CHF)

bis 1 Mio0 %

20 %

40 %

über 20 Miobis 20 Mio

51 %

39.2 %

10.8 %Projekt

gestopptProjekt

verlängert/neu geplant

im Rahmen, über Budget und/oder Zeit

grosse funktion. Änderungen, aber Projekt

beendet

Projekt in Zeit, Budget,

Funktionalität beendet

0 %

10 %

20 %

30 %

40 %

35.1 %

17.5 %18.1 %

25.1 %

39.2 %

4.1 %

Reifegrad des TestensIm Schnitt beurteilen die Befragten die Reife des Testprozesses in ihrer Organisation als mittelmässig bis gut. Diese Einschätzung blieb über die letzten Jahre gleich. Im Gegensatz dazu wird die Reife des Requirements Engineering (RE) von den Befragten wesentlich schlechter beurteilt.

SwissQ Testing Trends & Benchmarks 2012 8REIFE

10 %

20 %

30 %

40 %

50 %

0 %

Sehr s

chwac

h

Schw

ach

Mittelm

ässig Gut

Ausg

ezei

chnet

Test

RE

Ansehen des Testens

Die grössten Herausforderungen

der Befragten schätzen die Reife des Testprozesses als gut oder ausgezeichnet ein.

40%der Befragten beurteilen die Reife des Requirements Engineering als höchstens mittelmässig.

75%

Tester zu spätinvolviert:

◦Anforderungen mangelhaft:

38 %

0 %

Die Kosten für Tests könnten wir uns sparen

Es hat tiefe Priorität

Es ist ein notwendiges Übel

Es ist ein wichtiger Faktor, um verlässliche Software zu produzieren

Es ist für den Erfolg der Organisation strategisch

10 % 20 % 30 % 40 % 50 %

18 %

19 %

13 %

2 %

49 %

63 %

33 %

30 %

30 %

◦Automati-sierung:

Verfügbarkeit der Test-

umgebung:

Zu wenig Budget /

Ressourcen:

SwissQ Testing Trends & Benchmarks 2012 9SCHWERPUNKT MOBILE TESTING

Das Testen Mobiler Apps stellt die Tester vor eine Reihe von Herausforderungen, für die sie nicht ausreichend vorbereitet sind. Dazu gehört beispielsweise die Erweiterung des risikobasierten Testansatzes um relevante Gerätezustände, wie das Verhalten der App bei WLAN- und 3G-Zugang, Offline oder bei einkommender SMS. Die grösste Herausforderung für Entwicklung und Test bleibt aber die Vielzahl von unterschiedlichsten Geräten und OS-Versionen. Durch das Aufkommen von iOS 5 und dem iPad 2 gilt dies vermehrt auch für iPhone Apps. Das Testen von Darstel-lung, Usability und Funktionalität kann sehr kostenintensiv sein, jedoch sind das die Bereiche, welche nach Markteintritt entscheidend zum ersten Eindruck der Applikation beitragen.

Es reicht nicht mehr, nur eine iPhone App zu haben. 2011 ist in der Schweiz der Marktanteil von Android von einem einstelligen Bereich auf ca. 30% gestiegen. In der Folge haben viele Firmen begonnen, Apps für Android zu entwickeln bzw. zu portieren. Die Veränderungen in den Marktanteilen beschränken sich dabei jedoch nicht nur auf Smartphones, sondern auch auf Android Tablets, deren Ver-kaufszahlen besonders im Q4 2011 enorm zugelegt haben.

Die Test-Teams vieler Firmen haben keine besondere Ausbildung für den Test von Apps erhalten, da weiterhin die Meinung vorherrscht, eine Mobile App sei “einfach zu testen”. Standards, Schulungen, Zertifizierungen fehlen bislang völlig. Kleine und mittlere Firmen lassen ihre bisherigen Tester oder sogar ihre Entwickler testen.

Weder wird ein systematisches Device Management betrieben, noch finden Schu-lungen statt. Erst beim Auftreten grösserer Probleme wird punktuell externe Hilfe herangezogen. Die Folge sind neben einem hohen Risiko häufig steigende Test-kosten – bei vergleichsweise geringem Nutzen. Dass diese unbestritten vorhanden sind, zeigt zum Beispiel auch der SwissQ App Test Report, welcher die bekanntes-ten Zeitungs-Apps auf Herz und Nieren geprüft hat.

Testautomation für Mobile war Anfang 2011 nur mit wenigen Werzeugen möglich. Inzwischen bieten mehrere namhafte Hersteller eigene Tools oder Partnerschaften an, wie z.B. Jamos mit einer starken Integration in HP QC und QTP. Dabei stellt sich die Frage, wie gut dieses Thema in die vorhandene Infrastruk-tur und die existierenden Prozesse integriert werden kann, oder ob es eventuell doch externen Spezialisten überlassen wird. Dies wird für 2012 sicherlich eine spannende Entwicklung mit viel Potential für First-Mover-Fehler, aber auch viel Potential für Senkung von Kosten und vor allem von Time-to-Market.

Spezialisierte Firmen, wie zum Beispiel SwissQ, bieten inzwischen eine breite Palette an Dienstleistungen für Mobile Testing an. Mit gut ausgestatteten Geräte-Koffern, speziellen Bug-Hunters und viel Erfahrung testen sie Apps innert Stunden und können so ohne grossen Aufwand die Risiken stark minimieren.

Der mobile Markt wächst stark und mit ihm sowohl die Anzahl, als auch die Komplexität der verfügbaren Applikationen. Das für einen erfolgreichen Test nötige Wissen dringt jedoch nur langsam in die Entwicklungs- und Testorganisationen vor.

Quelle: Wikipedia

Android Gerätevielfalt CH

Galaxy SII

Galaxy SI

HTC Desire HD

HTC Desire

HTC Desire S

HTC Sensation

Galaxy Ace

Motorola Defy

Else

Verkaufszahlen Tablets

Quelle: Strategy Analytics

Q4 2010

Q4 2011

18

16

14

12

10

8

6

4

2

0Apple iOS Android Others

Marktanteile Smartphones

2007 2007 2007 2007 2008 2008 2008 2008 2009 2009 2009 2009 2010 2010 2010 2010 2011 2011 2011Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3

70

60

50

40

30

20

10

0

Android

iOS

Symbian

RIM

Microsoft

Bada

Other OS

6166

66 62

49

57

50 4749 51

44 4441

3633

27

22

17

53

43

36

3125

108

322113 3

1310 11

11

12

12

17 1619 21 21 20 20 18

1513 13

19

1317 17

1816 1615

1514

17

11 11

5 5

45

Wer führt Testaktivitäten durch

SwissQ Testing Trends & Benchmarks 2012 10ORGANISATION

AusbildungDer Fokus der Aus- und Weiterbildung der Mitarbeiter verschiebt sich von den ISTQB Zertifizierungen – welche die meisten schon haben – hin zu Themen im Bereich Requirements Engineering und Agilität.

Erstellung der Testfälle

Testdurchführung

IT Tester 36 %

Req. Engineer/ Business Analysten

21 %

Entwickler IT Tester

19 %

Fachbereich Endbenutzer

16 %Entwickler

7.4 %

IT Tester 34 % Fachbereich

Endbenutzer 26% Entwickler

IT Tester 17%

Req. Engineer/BA

14% Entwickler 9 %

Hab ich schon Ist geplant Mal in ferner Zukunft

0 %

ISTQB Foundation Level

„ISTQB Advanced Level Test Manager“

ISTQB Advanced Level Test Analyst

ISTQB Advanced Level Technical Test Analyst

Projektmanagement (IPMA, PMI, ...)

Certified IT Process and Quality Manager

IREB CPRE Advanced LevelElicitation & Consolidation

IIBA CBAP (Certified Business Analysis Professional)

IREB CPRE Advanced LevelRequirements Modeling

IREB® CPRE Foundation Level

Certified Scrum Master

Agile Testing

Agiles Requirements Engineering

ISTQB Expert Level

Certified Product Owner

20 % 40 % 60 % 80 % 100 %

SwissQ Testing Trends & Benchmarks 2012 11ORGANISATION

TestaufwandDie Streuung beim Testaufwand bleibt relativ gross. Im Durchschnitt liegt der Testaufwand im Verhältnis zum Gesamtaufwand zwischen 15 % und 20 %. Im Verhältnis zum Entwicklungsaufwand liegt der Wert bei etwas über 50 % (nicht visualisiert).

Einsatz externer RessourcenDie Unterstützung der Testaktivitäten durch externe Ressourcen hat sich gegenüber 2011 leicht erhöht. Weiterhin werden die Ressourcen meist vor Ort im Unternehmen eingesetzt. Outsourced Testing stagniert, wäh-rend Managed Services (z.B. automatisierte Regressionstests) zulegen.

Investitionen

keine externen Ressourcen

Bezug externer Ressourcen (Insourcing)

Bezug als Dienstleistung (Managed Service)

Auslagerung an externe Ressourcen (Outsourcing)

10,4 %

33.8 %

50 %

5.9 %

Testaufwand im Verhältnis zum Gesamtaufwand

< 5 % 5 – 10 % 10 – 15 % 15 – 20 % 20 – 30 % 30 – 50 % darüber

30 %

20 %

10 %

0 %

Investitionen nehmen tendentiell zu

Investitionen bleiben eher gleich

Investitionen nehmen tendentiell ab

Testautomatisierung Auf- und Ausbau Regressionstests

Testumgebungen Testmanagement-Tools Testdaten-Management Aus- und Weiterbildung für Mitarbeiter Strukturierte Testprozesse / Methoden

Auslagerung von Testaktivitäten Anstellung neuer Test-Mitarbeiter

30 %

21 %19 %

8 %

1 %4 %

17 %

Angewandte VorgehensmodelleIn über der Hälfte der Unternehmen kommen agile Vorgehensweisen zum Einsatz. Viele setzen dabei auf mehr als ein Vorgehensmodell, oft in Kombination mit dem Wasserfallmodell.

SwissQ Testing Trends & Benchmarks 2012 12VORGEHEN

Einführung agiler Methoden

Treiber agiler Methoden

Agile Vorgehensweisen werden vor allem von den direkt involvierten Personen gefördert.

Gründe für agile Methoden

der Befragten setzen Scrum als bevorzugte agile Methode ein.

84.5%

SwissQ Agile Trends & Benchmarks 2012Viele weitere Zahlen und Details sind im SwissQ Agile Trends & Benchmarks Report 2012 zu finden.

CEOProjektleiterAbteilungs-leiter / Team-

leiter

Leiter Entwicklung

Entwickler0 %

10 %

60 %

40 %

52.1 %

39.4 %36.6 %

38.0 %

39.2 %

19.8 %

Agil 51 %

Interaktiv 22 % RUP

16 %

Hermes 12 %

Wasserfall 40 %

Beschleunigung Time-to-Market

Besserer Umgang mit sich ändernden

Prioritäten

Zusammenarbeit zwischen IT und Business

Produktivität

SwissQ Testing Trends & Benchmarks 2012 13SCHWERPUNKT AGILE TESTING

Software Testing in Bezug auf Agilität ist sehr vielfältig und stellt daher eine grosse Herausforderung dar. Dabei kann das Thema in drei Dimensionen betrachtet wer-den: Agiles Testen in agilen Projekten (Scrum & Co), in nicht-agilen Projekten und agile Projekte im Kontext von Organisationen. Dieser Artikel widmet sich der 1. Dimension und dort primär den fachlich orientierten Tests, wie mit Quadranten 2 und 3 der „Agile Testing Matrix“ (aus Brian Marick, 2009) dargestellt.

Für das agile Testen gab es in der Vergangenheit, ausser für Entwicklertests, fast keine Ansätze und Vorgaben, geschweige denn eine institutionalisierte Ausbildung oder erfahrene Tester. Aufgrund der wesentlich unterschiedlichen Vorgehensweisen der phasenorientierten und der agilen Welt fällt den meisten Testern der Wechsel zwischen diesen beiden Welten nicht leicht. Die Ausgangslage, die Prozesse und die Team-Zusammensetzung sind anders, teilweise auch die Werkzeuge und die Methoden. Die flinke, konfrontative und in-tegrative Welt der Agilität verlangt nach zusätzlichen Qualifikationen und sozialen Fähigkeiten, die in der separierten lang-phasigen Welt der traditionellen Metho-den nicht erforderlich waren. Damit ist ein komplett anderer „Mindset“ notwen-dig, der nicht von dem einen auf den nächsten Tag herbeigeführt werden kann.

Agiles Testen hat drei grundsätzliche Aufgaben: Das Produkt zu hinterfragen und zu prüfen, die Entwicklung zu unterstützen und Informationen für die kontinuier-liche Verbesserung des Teams zu liefern. Diverse neue dynamische Testmethoden helfen dabei, die Ziele der Iterationen zu erreichen und die Effizienz des Teams zu steigern. Ansätze wie klassisches exploratives Testen, die mess- und auditierba-re Variante „Session Based Testing“, Acceptance Test Driven Development (ATDD) oder Scenario Testing können zu sehr guten Ergebnissen führen, welche oft sogar gestandene Test-Experten überraschen. In Bezug auf die Regressionstest-Explosion im Kontext der vielen Iterationen gilt Testautomatisierung, neben der risikobasier-ten Priorisierung, als Schlüssel zum Erfolg.

Aus der Praxis können zusätzlich folgende Aspekte mitgegeben werden:Der Zeitpunkt des Testens kann im Projekt in 4 verschiedenen Varianten gesetzt werden. Möglichst viele Fehler können innerhalb eines Sprints gefunden und behoben werden, wodurch die Fehler nicht in den nächsten Sprint gezogen werden (weniger Aufwand, mehr Zeit für die Arbeit an neuen Stories).Der Tester kann in allen Scrum-Prozessen und -Meetings anregen, offen über Qualität, Testbarkeit und Anwendbarkeit zu sprechen. Der Tester sorgt für kreative Diskussionen und eine hohe Lernkurve im Team, weil er eine andere, sehr kritische Perspektive einbringt. Die Wichtigkeit von Features, User Stories und Regressions-testfällen kann spielerisch durch Priority Poker ermittelt werden.

Der Nutzen von agilem Testen kann beispielhaft durch die SwissQ Embedded Scrum Tester aufgezeigt werden: Durch das zeitnahe Feedback wird die Testarbeit für das gesamte Team sichtbar und erfährt grosse Wertschätzung. Die Entwickler sehen darin nicht nur ihre Entlastung, sondern schätzen auch die gegenseitige Bereicherung.

Embedded Scrum Tester, Scrum Master und Coaches werden von SwissQ gerne und auf Anfrage zur Verfügung gestellt. Ihre jahrelange Erfahrung im Kontext von Agilität, Scrum und Testen gibt es auch in Form von Schulungen, wie z.B. Agile Testing mit Scrum.

Bereits mehr als die Hälfte der Unternehmen hat agile Vorgehensweisen im Einsatz. Agile Software-Entwicklung erfordert jedoch auch agiles Testen, worauf die wenigsten Organisationen vorbereitet sind. Ein Wechsel des „Mindsets“ ist notwendig, der vielen schwerfällt. Doch die guten Ergebnisse überraschen sogar gestandene Test-Experten.

Du bist eine echte Test-Maschine. Wir sind froh, dass wir dich dabei haben!(Entwickler aus einem Scrum Projekt, 2011)

We recently transitioned to agile. But all our testers quit. (aus Crispin & Gregory 2009)

Business-Facing

Technology-Facing

Unit TestsComponent Tests

Functional TestsStory Acceptance Testing

Feature Acceptance Testing

Q2

Q1

Q3

Q4

Suppor

tin

g D

evel

opm

ent

Crit

ique

Prod

uct

System Acceptance TestsExploratory Testing

Scenario TestingUsability Testing

User Acceptance Testing (UAT)Alpha/Beta Testing

System Qualities TestsPerformance ans Load Testing

Security Testing„ility“ Testing

Automatedand Manual

Automated Tools

Manual

Testmanagement-ToolsÜber 60 % der Befragten geben an, mit HP QC (seit Version 11 in ALM um-benannt) zu arbeiten. Viele verwenden aber mehr als ein Tool, oft kombi-niert mit Excel oder Word. Der MS Test Manager ist klar im Vormarsch und trumpft vor allem mit der Integration in den Team Foundation Server auf.

SwissQ Testing Trends & Benchmarks 2012 14TESTWERKZEUGE

Testautomatisierung

Selenium

EigenentwicklungTosca

LisaRanorexCanoo Webtest

Quick Test ProfessionalRational Functional Tester

QF TestAndere

Eingesetzte Tools

Spitzenreiter ist und bleibt Quick Test Professional von HP, gefolgt von den Eigenentwicklungen. Insgesamt bleibt der Markt stark fragmentiert. Es wurden fast 30 verschiedene Tools genannt.

Kosteneinsparungen durch Testautomatisierung

Die durch Testautomatisierung möglichen Einsparungen werden als eher gering eingeschätzt. In einem Drittel der Fälle ist keine Aussage möglich.

der Befragten automatisieren ihre funktionalen Tests.

80%

haben weniger als 10 % der funktionalen Tests automatisiert. Im 2011 waren es noch 60 %.

48%

Kostengestiegen

bis 10 % bis 20 % bis 50 % bis 80 % KeineAussagemöglich

7.3 %10.2 %

33.3 %

2.8 %

22.6 % 23.7 %

0 %

keines

IBM Rational TestManager

Inflectra Spira

MS TFS 2010 Test Manager

Eigenentwicklung

Open Source

MS Office

HP QC / ALM

20 % 40 % 60 %

62 %

44 %

20 %

8 %

5 %

2 %

2 %

1 %

80%

SwissQ Testing Trends & Benchmarks 2012 15SCHWERPUNKT AUTOMATISIERUNG

Nachdem es vor einigen Jahren ruhiger um das Thema Testautomatisierung wur-de, hat das Interesse daran in den letzten Jahren wieder sprunghaft zugenom-men. Dies kann darauf zurückgeführt werden, dass agile Vorgehensmethoden sich immer mehr durchsetzen und diese durch die vielen kurzen Iterationszyklen beste Voraussetzungen für Testautomatisierungen bieten.

Gleichzeitig entwickelt sich die Tool-Landschaft, vor allem im Bereich GUI-Automatisierung, stetig weiter. Werkzeuge mit neuen Lösungsansätzen treten auf – siehe TOSCA – und die bestehenden Tools werden weiterentwickelt. Eine Konsolidierung des Marktes ist noch lange nicht absehbar. So überbieten sich sowohl viele Tool-Hersteller als auch Open Source-Produkte wie Selenium gegenseitig mit Funktionen, die das traditionelle Capture-Replay-Verfahren durch verbesserte, flexible Objekterkennungen und vielfältige Scripting- und Reporting-Möglichkeiten erweitern. Dazu kommen noch eine Vielzahl von Eigenentwicklungen vor allem beim Einsatz von GUIs, die von den kommer-ziellen Tools nicht oder nur schlecht unterstützt werden.

Die grössten Herausforderungen der Testautomatisierung können jedoch nur bedingt durch technische Features abgefangen werden. So erschweren es mangelhafte Anforderungen, die am sinnvollsten zu automatisierende Funktio-nalität zu erkennen und korrekt abzubilden. Auch sind die Applikationen unter Tests oft nicht stabil genug und werden bis kurz vor Release überarbeitet und weiterentwickelt. Häufig übersteigen Wartungsaufwand und Betrieb der auto-matisierten Tests deren Nutzen und es besteht die grosse Gefahr, dass die Tests nicht mehr weiter gewartet werden und schnell unbrauchbar werden.

Es ist überraschend und sogar erschreckend, dass viele der Probleme, die von James Bach bereits in seinem erstmals 1996 publizierten Artikel „Test Automation Snake Oil“ (www.satisfice.com) beschrieben wurden, immer noch gelten.

Weiter kommt hinzu, dass Spezialisten und Experten, z.B. für den Marktführer Quick Test Professional, extrem rar sind. Das führt dazu, dass das Potential der Tools nicht voll ausgeschöpft werden kann.

Hier kann Outsourcing einen Ausweg bieten, wobei es sich empfiehlt, dies nur auf bekannte, wohl-dokumentierte Regressions-Testfälle von Applikationen anzuwen-den, die bereits eine gewisse Reife und Stabilität erreicht haben.

Ein anderer Lösungsansatz vor allem in agilen Vorgehensweisen besteht darin, die Testautomatisierung als Teil der Entwicklung voranzutreiben, also GUI-Tests auf der Stufe von Unit-Tests und in der Verantwortung der Entwickler anzusiedeln. Hier lassen sich Synergien nutzen, da Scripting sowieso Entwicklungs-Know How erfordert. Es handelt sich dabei um eine Erweiterung des Test Driven Develop-ment-Ansatzes (TDD). Hier sind jedoch die zum Teil recht hohen Lizenzkosten der kommerziellen Tools ein Thema, weil sie zum Beispiel verhindern können, dass jeder Entwickler die Möglichkeit hat, GUI-Tests auszuführen. Deshalb werden oft Open Source-Werkzeuge eingesetzt, welche sich zudem gut mit anderen Open Source-Komponenten – wie z.B. Sonar oder Jenkins – integrieren lassen und so Tool-Einsatz und -Monitoring zu tiefen Kosten ermöglichen.

Für die Zukunft ist es wichtig, den Einsatz der Testautomatisierung weiter zu professionalisieren. Ressourcen für die Durchführung manueller (Regressions-) Tests, welche oft im Fachbereich angesiedelt sind, werden immer knapper, da der Druck durch das Tagesgeschäft ständig steigt. Zudem ist die Motivation, repetitive Regressionstestfälle auszuführen, verständlicherweise nicht sehr gross. Dadurch werden viele Flüchtigkeitsfehler gemacht, welche die Effektivität der Tests stark beeinträchtigen.

Die Experten von SwissQ sind mit den verschiedenen Ansätzen vertraut und haben Automatisierungsvorhaben in mehreren Organisationen begleitet. Zudem stellt SwissQ – extrem gesuchte – Test-Automatisierer zur Verfügung.

Testautomatisierung ist schwer. Obwohl seit mindestens 20 Jahren Werkzeughersteller immer neue Generationen von Tools auf den Markt bringen, ist der Nutzen in vielen Organisationen und Projekten beschränkt. Trotzdem bleibt es die einzig gangbare Lösung, um eine genügend grosse Testabdeckung zu erreichen, insbesondere in iterativen Entwicklungsvorgehen mit vielen und oft wiederkehrenden Regressionstests.

IT-MitarbeitendeEtwas mehr als die Hälfte der Befragten arbeitet in Firmen mit mehr als 500 IT-Mitarbeitenden.

SwissQ Testing Trends & Benchmarks 2012 16ERHEBUNGSGRUNDLAGEN

AufgabenbereichÜber 50 % der Befragten umschreiben ihre Tätigkeit mit mehr als einer Rolle. Gerade Test Manager üben ihre Aufgabe nicht zu 100 % ihrer ver-fügbaren Zeit aus, sondern nehmen zusätzlich andere Rollen wahr.

30 %

20 %

10 %

0 %

Test

Manag

er

Abte

ilung

s- /

Team

leite

r

Requ

irem

ents

Engi

neer /

BA

Test

Engi

neer

Proj

ektle

iter

Teste

r

Requ

irem

ents

Manag

er

Softw

are

Engi

neer

0 %

IT

Finanzen, Versicherungen

Industrie

Staatliche und staatsnahe Betriebe

Transport und Verkehr

Telekom

MedTech

Andere

10 % 20 % 30 % 40 %

36.1 %

28.4 %

7.4 %

7.4 %

5.6 %

4.0 %

3.7 %

7.4 %

0 %

2001– ...

501 – 2000

251 – 500

51 – 250

11 – 50

1 – 10

5 % 10 % 15 % 20 % 25 % 30 % 35 %

33.0 %

13.6 %

17.6 %

15.4 %

14.2 %

6.2 %

Wirtschafts-SektorÜber 60 % der Befragten arbeiten entweder in der IT-Branche oder im Finanzbereich. Im Vergleich zu den Vorjahren hat sich deren Anteil jedoch reduziert, was zeigt, dass das Thema auch in anderen Branchen angekom-men ist.

der Befragten arbeiten vor allem im Projektkontext.

60%der Befragten haben eine Linienfunktion inne.

33%

SwissQ Testing Trends & Benchmarks 2012 17SCHWERPUNKT STRATEGIE & MANAGEMENT

Während sich viele Organisationen lange Zeit den Diskussionen „zentrales vs. dezentrales Testing“ und „evolutionärer vs. revolutionärer Verbesserung“ ge-widmet haben, sind momentan Lösungen zum aktuellen Kostendruck und zur Effizienzsteigerung und Reduzierung von „Waste“ gefragt. Auf der Suche nach Einsparungen können gerade Fragen nach dem Wert von Software Testing im lokalen Kontext Lösungen bieten; ist beispielsweise hohe Prozessreife das Ziel, oder „wichtige“ Dokumente zu haben, oder liegt der Fokus einfach nur darauf, möglichst viele Fehler in kurzer Zeit zu finden?

Unabhängig vom aktuellen Reifegrad von Testing in einer Organisation ist bemer-kenswert zu sehen, dass eigentlich so gut wie niemand auf die Zukunft vorbereitet ist; wichtige Themen werden verschlafen, Mannschaft, Methoden und Werkzeuge nicht auf die nächsten Veränderungen vorbereitet. Der eigentliche Radar fehlt und somit wird nicht wahrgenommen, welche Themen wie Planeten um das eigene System kreisen, auf dieses einwirken und wo der nächste Asteroid einschlagen wird.

Zusammenfassend kann gesagt werden, dass nach der Spezialisierung von Testing nun die Phase der stärkeren Integration folgen wird. Tester wie Testorganisationen müssen sich öffnen und einiges stärker mit den anderen Disziplinen und Vorgehen interagieren. Organisationen, die neu an diesen Themen arbeiten, starten gleich an diesem Punkt. Der Fokus muss stärker auf dem Wertbeitrag für das Unterneh-men liegen und weniger als in der Vergangenheit auf Prozessen, Dokumenten und Werkzeugen. Dass verschiedene, auf den jeweiligen Kontext passende Ansätze die-sen Wertbeitrag liefern können, zeigt die Arbeit von SwissQ bei ihren unterschied-lichsten Kunden. Referenzen und Beispiele werden gerne zur Verfügung gestellt.

In den letzten Jahren wurde in einigen Organisationen stark in Testing investiert, es wurden dedizierte Personen eingestellt, Werkzeuge eingekauft und Ausbildung betrieben. Doch viele Erwartungen werden nicht erfüllt. Die Tester-Zunft muss sich die Fragen des Wie‘s und Wieso‘s gefallen lassen. Neue, schlankere und effizientere Ansätze sind gefragt. Ein klarer Wertbeitrag an das Unternehmen wird verlangt.

Bei 200 FTEs in Testing kommt logischerweise die Frage der Existenzbe-rechtigung und möglicherweise der Zerschlagung der Einheit auf. Leiter Testeinheit aus der Industrie

Beispiel eines minimalen Zukunfts-Radars

Outsourcing

Testing

Scrum

Re-org

Seit rund 10 Jahren ist eine beachtliche Evolution im Bereich Testing im Gange. In vielen Organisationen wurde Testen als wichtig deklariert und entsprechend in die einzelnen Gebiete wie dediziertes Personal, Werkzeuge, Ausbildung oder gar zentrale Testorganisationen investiert. Dem Hype folgt nun jedoch die Er-nüchterung: Die Erwartungen wurden nicht erfüllt, die Kosten sind zu hoch, der (ausgewiesene) Nutzen ist zu tief oder zu technokratisch - das hört man oft. Einige Unternehmen bauen bereits wieder zurück oder zerschlagen gar ihre Testeinhei-ten, wie neulich die Raiffeisen.

Viele Organisationen, so scheint es, haben Mühe, die richtige Balance zwischen Kosten und Nutzen zu finden. Während Sinn und Zweck des Testens langsam anerkannt sind, wird oft versucht, mit allgemeinen „Silver-Bullets“ die Herausfor-derungen zu lösen. Das richtige Management-Handwerk, die Berücksichtigung des lokalen Kontexts und gute strategische Führung scheinen zu fehlen.

Mit ein Grund für die mangelnde strategische Ausrichtung des Themas Testing (resp. der Test-Organisationen, falls vorhanden) ist die oft fehlende Definition des Wertbeitrags von Testing: Was wird genau erwartet, wo sollen welche Veränderun-gen erkennbar sein, wie wird der Erfolg gemessen, etc. Dass dabei auch andere Ansätze, als die oft hoch umjubelte zentrale Testorganisation, passen können, wird gerade von Testern nicht gerne gehört.

Vor allem bei Organisationen mit 20-100 FTEs sind solch neue, organisch wachsende und stark integrierende Vorgehen gefragt. Wie das Beispiel nebenan auf-zeigt, können diese oft mit weniger Aufwand einen erhebli-chen Mehrwert generieren.

150 Fehlerin nur 3 Tagen haben zwei SwissQ Embedded Scrum Tester 8 Tage vor Go-Live gefunden.

SwissQ Testing Trends & Benchmarks 2012 18SWISSQ REQUIREMENTS ENGINEERING TRENDS & BENCHMARKS REPORT 2012

Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über Requirements Engineering ab April über www.SwissQ.it

SwissQ Requirements Engineering Trends & Benchmarks 2012Viele weitere Zahlen und Details sind im SwissQ Requirements Engineering Trend & Benchmark Report 2012 zu finden.

der Befragten verwenden weniger als 1 Tag für die Stakeholderanalyse.

2/3

der Fälle werden Anforde-rungen auf fachliche Rich-tigkeit, Realisierbarkeit und Vollständigkeit geprüft.

> 80%prüfen Anforderungen nicht auf ihre Notwendigkeit.

36%Investitionennehmen zu

Investitionenbleiben gleich

Investitionennehmen ab

Wo wird künftig investiert?

Aus- und Weiterbildung für Mitarbeiter

Engere Zusammenarbeit zwischen Business und IT

Standardisierung der internen RE Prozesse

Ausarbeitung / Definition der RE Rolle

Entwicklung von Vorlagen und Guidelines

Anstellung neuer RE-Mitarbeiter

Etablierung spezifischer RE Tools

Etablierung eigener RE-Bereiche/-Abteilungen

Auslagerung von RE Aktivitäten

0 % 20 % 40 % 60 % 80 % 100 %

33 %

33 %

25 %

24 %

22 %

22 %

21 %

17 %

11 %

54 %

53 %

61 %

60 %

61 %

55 %

64 %

63 %

48 %

13 %

14 %

14 %

16 %

17 %

23 %

15 %

20 %

41 %

Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über agile Trends ab April über www.SwissQ.it

SwissQ Agile Trends & Benchmarks 2012Viele weitere Zahlen und Details sind im SwissQ Agile Trend & Benchmark Report 2012 zu finden.

der Befragten haben 2 oder mehr Jahre Erfahrung mit agilen Methoden.

1/3

sind zufrieden mit der Implementierung ihrer agilen Vorgehensmethode.

Nur

40%

SwissQ Testing Trends & Benchmarks 2012 19SWISSQ AGILE TRENDS & BENCHMARKS REPORT 2012

Hauptgründe für das Scheitern von agilen Vorgehensmethoden

0 %

Fehlende Erfahrung mit agilen Vorgehensmethoden

Unternehmensphilosophie nicht mit agilen Werten verknüpfbar

Externer Druck einem klassischen Vorgehensmodell zu folgen

Fehlende Unterstützung durch das Management

Fehlende Verbindung zw. den Organisationseinheiten

Fehlende / ungenügende Schulung / Coaching

Fehlender Wille des Teams

Andere

10 % 20 % 30 % 40 % 50 % 60 %

52 %

45 %

41 %

38 %

36 %

35 %

22 %

12 %

© by SwissQ Consulting AG | Stadthaus-Quai 15 | CH-8001 Zürichwww.SwissQ.it | info@SwissQ.it | Tel +41 43 288 88 40 | Fax +41 43 288 88 39

ÜBER UNS

SwissQ unterstützt ihre Kunden bei der Entwicklung und Einführung von IT-Lösungen und stellt sicher, dass die Benutzer die Funktionalität erhalten, die sie tatsächlich benötigen. Wir erreichen dies durch die eindeutige Erfassung der Anforderungen und das risikogerechte Testen der Umsetzung.

Unsere Vision ist es, die Wertsteigerung in der IT durch Anforderungsmanage-ment und Software Testing zu verbessern. Nebst der Erbringung von hochquali-tativen Services,verfolgen wir diese Vision durch die Schaffung von unabhängi-gen Plattformen wie dem Swiss Testing Day und dem Swiss Requirements Day, die den Wissens- und Erfahrungsaustausch ermöglichen.

Ausserdem helfen wir hellen Köpfen, ihr Wissen durch unsere Schulungen zu erweitern.