Upload
daniel-knott
View
241
Download
4
Embed Size (px)
Citation preview
Mobile Testing @ STUGHH
Alles was Ihr schon immer über Mobile Testing wissen wollt
Daniel Knott
@dnlknttwww.adventuresinqa.com
2www.handsonmobileapptesting.com https://leanpub.com/smartwatchapptestinghttp://bit.ly/2bUasW8
Warum ist Mobile Testing sowichtig?
3
4
5
https://twitter.com/_adrianhinojosa/status/757015786057641985
6
Pokémon Go
7
Jede App kann über Nacht zum Hype werden!
8
Und dann sollte die Appstabil sein!
http://www.trustedreviews.com/opinions/how-to-fix-common-pokemon-
go-problems-bugs-issues
http://www.gameswelt.de/pokemon-go/special/die-5-nervigsten-
bugs,261518
9
Eine Technologie kann unser Leben und die Art wie wir kommunizieren grundlegend verändern.
10
11
Mobile Devices & Apps werden überall verwendet
12
Author: Ian Britton, http://www.flickr.com/photos/freefoto/728651045/
13
Author: Dan Levy, http://www.flickr.com/photos/danlevy/5607259711/
14
https://pixabay.com/static/uploads/photo/2015/04/22/09/21/barcelona-734422_960_720.jpg
15
Author: Moyan Brenn, https://www.flickr.com/photos/aigle_dore/5626341059/
16
© Daniel Knott
17
https://upload.wikimedia.org/wikipedia/commons/3/3c/Blick-ins-Buero.jpg
18
Und je nach Use Case sollten Apps auch in der
echten Umgebung getestet werden
Eure Fragen
19
20
Welches minimal Set an nicht funktionalen Tests
siehst du als absolut notwendig an?
21
1. Usability Tests2. Security Tests3. Performance Tests4. Update Test5. Check Log Files
22
Kann man eine spezielle Kategorie von
funktionalen Tests definieren, wo ein Test
mit verschiedenen Devices ein Muss ist?
23
Ja, immer dann wenn gerätespezifische
Hardwarekomponenten genutzt werden.
24
Author: amateur_photo_bore, http://www.flickr.com/photos/andresv/233667770/ Author: Rain Rabbit, http://www.flickr.com/photos/37996583811@N01/8033259053/
Author, Daniel Sancho, http://www.flickr.com/photos/teclasorg/2852716491/Author: Juan de Dios Santander Vela, http://www.flickr.com/photos/juandesant/209098053
25
https://fscl01.fonpit.de/userfiles/6727621/image/2016/HeroS-random/AndroidPIT-android-uis-4371-w782.jpg
26
Was sind die aktuellen Trends an
Toolunterstützung?
27
Github
HockeyAppLint
PMDFindBugs
CheckStyleRobolectric
Espresso
UIAutomator
KIF CalabashCocoapods
ExpectaXCTest
FBSnapshot
openSTF
...Appium Crashlytics
EarlgreyOCUnit
Robotium monkey
Chaos monkey
adb
Charles Proxy
28
Calabash
monkey
HockeyApp
Espresso
adb
Charles Proxy
29
Mobile Testing==
manuelles Testen
30
Tools sollten das Testen unterstützen
31
Calabash
monkey
HockeyApp
adb
Charles Proxy
32
Wie sieht eine angemessene Strategie für die Testautomatisierung mit Blick auf die hohe
Fragmentierung im Bereich Android aus? Oder anders herum: Vorausgesetzt, es gibt eine
Testsuite für automatisierte Tests (sagen wir 400 TCs), auf wie vielen Geräten kommt die dann
tatsächlich zur Anwendung ?
33
Antwort: Es kommt drauf an J
34
http://opensignal.com/reports/2015/08/android-fragmentation/
35
36
Wichtig sind Nutzerdaten- Tracking
37
38
Group 1, Prio A
- High End Devices- Quad Core CPU- RAM >2048MB- Full HD Display >= 5“
Group 2, Prio B
- Mid-range devices- Dual Core CPU- RAM <1024MB- Screen size <= 4“- Software not older than 1 year
Group 3, Prio C
- Small devices- Single Core- RAM < 512MB- Low screen size and resolution
- Older OS, older browser
Basierend auf den Nutzerstatistiken
39
Aus jeder Gruppe 3-4 Geräte= 9 bis 12 Geräte für die Automatisierung nutzen
40
Kleine Testsuites
41
Was glaubst Du, wie stark manaufgrund der hohen
Fragmentierung der Geräte im Androidsegment auf A/B-Tests bei Endusern setzen sollte bzw. machst Du das viel und nimmt
dies an Testcases zu?
42
Antwort: Ja und Ja J
43
Problem: Der Nutzer
44
Ich nehme an, man kommt nichtumher, sich auch echte Geräte
anzuschaffen. Welche Tipps hast Du für ein Lab Management?
45
Wichtig sind Nutzerdaten- Tracking
46
47
48
Geräte aus den Gerätegruppen kaufen
49
Top 15 Geräte der Nutzer kaufen
50
Geräte gruppieren
51
Mobile Device Management sehr wichtig
52
Mobile Rental Tool
53
Internal App Store
54www.openstf.io
Android Test Farm
55
DEMO
https://medium.com/xing-engineering/android-smartphone-test-farm-66f28f9bc73d#.oejn8d1jl
56
Welche Art von (technischem) Monitoring scheint sinnvoll,
nachdem die App in Gebrauch ist? Und wie kann man die App
Store Bemerkungen sinnvoll nutzen?
57
Crash Reporting Tools
58
HockeyAppTestflight
Crashlytics...
59
60
61
62
Eigenes Monitoring / TrackingGraylog 2
...
63
- Review der Reviews- Antworten & Nachfragen- Nicht alles zu ernst
nehmen
64
65
66
Habt ihr eine sinnvolle Strategie für die Verzahnung der
Ergebnisse aus manuellen und automatisierten Tests für den Report oder liefern die beiden
Testarten mit Hilfe unterschiedlicher Tools
unterschiedliche Reports?
67
Nein, Keine Strategie
68
Statische Code Analyse == GrünTest Automation == Grün
6+ Augen Prinzip bei Code Review
Manuelle Tests == OKCommit auf Master Branch
69
Manuelle Tests werden nicht in einem TM Tool gelistet.
Exploratives TestenContext Driven Testing
Mind Maps sind unsere Freunde
70
Welche Android Versionen sind denn interessant?Halten sich gewisse ältere Minor Versionen, obwohl es schon längst neuere Versionen gibt? (Also z.B. 4.3 - obwohl 4.4 schon länger veröffentlicht ist)
71
Antwort: Es kommt drauf an J
72
Unterschiedlich je nach Appund Land in
denen die App verfügbar ist
73
https://developer.android.com/about/dashboards/index.html
74
75
Alles unter Android 4.0 wird meist nicht mehr unterstützt
76
Viele App Hersteller unterstützen nur noch ab
Android 4.4
Weitere Fragen?
77
Vielen Dank für IhreAufmerksamkeit!www.xing.com
Daniel Knott@[email protected]