Software Testing activities at Continental Teves · SW unit test / SW module test Purpose of testing: - Functional testing - Unit structure Advantage of test level: - focus on smaller

1

Software Testing activities at Continental Teves

2 / Torsten Kerz / ERX / 23.06.06 © Continental AG

Continental Automotive Systems Competence Center Control Systems Software

Agenda

● Vorstellung Continental Automotive Systems

● Überblick Fahrdynamik Regelsysteme

● Entwicklungsprozess von Bremsensteuergeräten

● Testprozess

● Testwerkzeuge

● Testorganisation

2



Umsatz 13,8 Mrd. €

EBIT 1,5 Mrd. €

Mitarbeiter ca. 80.000

Daten von 2005

Continental Unternehmenszahlen



Continental Produktportfolio

Kunststoffprodukte:a. Reifenb. Dichtungenc. Keilriemend. Schläuche...

b

a

Elektronikprodukte:e. Bremsensteuergerätf. Luftfedersteuergeräteg. Radarsensor...

f

g

Bremsenzubehör:h. Boosteri. Bremsanlagen...

h

c

d

i

e

3



WirWir machenmachen individuelleindividuelle MobilitätMobilität sicherersicherer und und komfortablerkomfortabler..

Wert Wert schaffenschaffen istist unserunser AntriebAntrieb..

Unsere Vision



Marken unserer internationalen Kunden

4



Unsere Divisionen

Nfz-Reifen

Automotive Systems

Pkw-Reifen

ContiTech



ElektronischeBrems- undSicherheits-systeme

ElektronischeBrems- undSicherheits-systeme

Fahrwerkund AntriebFahrwerkund Antrieb ElektroantriebElektroantrieb

Brems-betätigungBrems-betätigung

Komfort-ElektronikKomfort-Elektronik

AftermarketAftermarket

Automotive Systems - Geschäftsbereiche

5



Electronic Brake & Safety Systems – R&D Locations worldwide



Einblick in Fahrdynamik Regelsysteme

6



Driver

Actual vehicle state

�Traffic

�Road

�Environment

�Vehicle-specific non-linearities

�Friction level modulations

�Side wind

VehicleActual vehicle state�Steering

�Braking

�Accelerating

� ...

Measured vehicle state

Control System

Vehicle Control System



Brake unit components

ACC

ASRESC

ASRESC

EBD

AYC

Headway sensor Vacuum-Booster with TMCand Pressure Transducers

Hydraulic Control Unitwith integrated controller

Steeringwheelanglesensor

Enginemanagementinterface

Wheel speedsensor (4x)

Sensorcluster

e.g. Electronic Stability Program - extended to Adaptive Cruise Control

7



Merkmale von „Embedded Systems“

●Kompakte Bauweise und geringes Gewicht

●Gegenüber klassischen Systemen stark eingeschränkte Ressourcen

●ROM, RAM, Rechenleistung, Stromverbrauch

●Hardwarenahe Programmierung

●Verwendung ressourcen schonender Hochsprachen (z.B. C )

Bei sicherheitsrelvanten Anwendungen

●Erweiterte Fehlererkennung durch redundante Hardwarekomponenten

●C mit Teilmenge und Codierrichtlinie sowie Verwendung von statischen Analysewerkzeugen



Anzahl der Software Funktionen im ESP Steuergerät

8



�Testen von Bremsensteuergeräten



Einleitung

Anzahl der Testfälle für gedimmte Innenraumleuchte- 5 Türkontaktschalter als Auslöser mit relevanter Reihenfolge- 4 Leuchtenzustände (aus, aufdimmen, voll, abdimmen)

=> 5! * 44 = 30720 theoretische Testfälle

100 % Verifikation ??

Anzahl der Testfälle für EBS Steuergerät- 4 Radsensoren - Längs-,Querbeschleunigungssensoren- Lenkradwinkelsensor- .....

=> Anzahl der Testfälle ??

Wie verifiziert man wirtschaftlich ??

9



Tes

t O

rga

Fundamental elements of Testing

Tes

t to

ols

Tes

t le

vels

Test Process

SW Development process

Objective of testing:- Ensure Quality- ensure functionality- increase confidence



SW development process

The process by which user needs are translated into a product.

„Allgemeiner Entwicklungsplan, der das generelle Vorgehen beim Entwickeln eines Software-Produkts festlegt, auch Vorgehensmodell genannt“

Prof.Dr.Balzert „Lehrbuch der Software Technik“

Test Process

Tes

t O

rga

Tes

t to

ols

Tes

t le

vels


10



V-Model

Inte

grat

ion

Configuration Management

Risk Management

Project Planning

SoftwareArchitecture

Implementation

HW/SW/SYSIntegration Test

Unit/ module Test

Software System Design

SW/SW (Module)Integration Test

Module Design

RELEASEF0x

Integration & Verification

Planning

Software Requirement Specification

Validation Test(Acceptance Test)



Product development

Development phase Production preparation phase

Massproduction

t

F05 F06 F07 F08

First customer samplesto be used for test drives on restricted test areas

To be used for test drives

on public streets

Pilot Production Release / limited numbers

Mass Production Release

Specification

Architecture

Design

Implementation

Specification

Architecture

Design

Implementation

Specification

Architecture

Design

Implementation

Specification

Architecture

Design

Implementation

Requirements Phase

11



Test levels

„A group of test activities that are organized and managed together.

A test level is linked to theresponsibilities in a project.

Examples of test levels are component test, integration test, system test.“

[After TMap]

Test Process

Tes

t O

rga

Tes

t to

ols

Tes

t le

vels




Cost of SW Bugs

12



Software Testverfahren

SoftwareArchitecture

Implementation

HW/SW/SYSIntegration Test

Unit/ module Test

Software System Design

SW/SW (Module)Integration Test

Module Design

Software Requirement Specification

Validation Test(Acceptance Test)

Statische Tests

Ziel:Prüfung der Einhaltung von Konventionen und Standards

Methoden:- Review von Spezifikationen- Statische Analyse

- Kontrollflussanalyse- Datenflussanalyse

Dynamische Tests

Ziel:Prüfung der Funktionalität

Methoden:- White-Box Tests- Black-Box Tests



Integration steps

So

ftw

are

Integrate with Electronic

Interface to Sensors / Actuators

Integrate with Hydraulic

Integrate with Real environment

SW-Sub System

PCB including all electronics

(e.g. µP, Flash,..)

ElectronicControl Unit

SW-unit

SW-unit

SW –Component

SW-component

SW SubSystem

SW-UnitECU Sub System

System

13



Integration based Test activities

Products

SW Unit test

SW-SWintegration

SW System test(SIL)

SW System test(HIL)Test Activities System

test

SW-component

SW SubSystem


System



SW unit test / SW module test

Purpose of testing:- Functional testing- Unit structure

Advantage of test level:- focus on smaller units- allows SW debugging

Test Input:- Module specification

Test end criteria:- Code coverage

„The goal is NOT to show that a module meets its specification, but to show that the module contradicts the specification“

„The art of SW testing“ Glenford J.Myers

regarding SW unit test

Products

Test Activities

SW-component

SW SubSystem


System

SW Unit test

SW-SWintegration

SW System test(SIL)

SW System test(HIL)

Systemtest

14



SW-SW Integration test / SW component test

Purpose of testing:- Interface testing- Functional testing

Advantage of test level:- Surveyable SW components- Allows SW debugging

Test Input:- Interface Specification- Requirement Specification

Test end criteria:- Boundary test for all Interfaces- test coverage of component requirements

Products

Test Activities

SW-component

SW SubSystem


System

SW Unit test

SW-SWintegration

SW System test(SIL)

SW System test(HIL)

Systemtest



SW Systemtest / SW Sub System test

Products

Test Activities

SW-component

SW SubSystem


System

Purpose of testing:- Functional testing

Advantage of test level:- Test without HW- Isolated system without external influences- Reproducibility - Safety critical maneuvre tests- Allows debugging

Test Input:- Requirement specification

Test end criteria:- Test coverage of functional requirements

SW Unit test

SW-SWintegration

SW System test(SIL)

SW System test(HIL)

Systemtest

15



SW-HW Integration test / SW Sub System test

Products

Test Activities

SW-component

SW SubSystem


System

Purpose of testing:- Functional testing- Robustness tests (e.g. runtime)

Advantage of test level:- Test without vehicle- Isolated system without external influences- Reproducibility - Safety critical maneuvre tests



SW Unit test

SW-SWintegration

SW System test(SIL)

SW System test(HIL)

Systemtest



System test

Products

Test Activities

SW-component

SW SubSystem


System

Purpose of testing:- Functional/efficiency testing- Robustness tests- Mass tests

Advantage of test level:- Testing under real conditions- Testing with real components



SW Unit test

SW-SWintegration

SW System test(SIL)

SW System test(HIL)

Systemtest

16



Test Process

Test Process

Tes

t O

rga

Tes

t to

ols

Tes

t le

vels


„The fundamental test processcomprises planning, specification, execution, recording and checking for completion and Test closure activities.“

[After BS7925/2]



Test Process phasemodel

AnalyseTest-suite

Execution EvaluationDesign CompletionPlanning

PL

-Testmetrics

-Test Optimization

+

Change Requests:-Function-test-tool-Documentation

FN-Spec.

FN-Spec.

Test-basis

Test-planResulted

Documents

Test-log

TestSummary

Report

Test IncidentReport

Test result

Process-

support

Test planningrequest

Lab-toolreq

Test design

task

Test execution

task

Test evaluation

task

FunctionOr

Testtoolrequest

Analyse&

Design

Test specificationTrace-ability-matrix

Test-cases

Test-technique

17



Planung

●Definition des Testplans

●Was – Wann – Wer - Womit

●Einbetten in die Entwicklungsplanung

●Welche Dokumentation ist zu erstellen ?

●Abstimmung mit dem Entwicklungsteam

●Einrichten der Organisation

●Verantwortlichkeiten / Ansprechpartner

●Konfigurations-/Version Control Tools

●Testumgebung

●Anforderung an die Testwerkzeuge

●Beschaffung von Testprototypen

Planning

PL

CompletionDesign Execution Evaluation



Testdesign

●Überprüfung der Testbasis

●Reviews / Checklisten

●Definition des Detailtestpläne (Testspezifikation)

●Zuweisung der Testtechniken

●Definition der Manöver / Stimuli / Testfälle(Stimuli scripting)

●Anpassung der Testwerkzeuge

●Abstimmung der Simulationsumgebung

●Simulationsmodellerstellung

●Parameterbeschaffung

●Metriken zum Projektfortschritt

●CodeCoverage zur Testfallbewertung

●Fortschrittsinfo bzgl. Testautomatisierung

Planning CompletionDesign

FN-Spec.

FN-Spec.

Test-basis

Analyse&

Design

Execution Evaluation

18



Durchführung

●Abstimmung der Logistik

●Verfügbarkeit Freigabesoftware + Konfiguration

●Überprüfung der HW -Stände

● Inbetriebnahme der Testwerkzeuge

●Pretest

●Anwendung der Testfälle

●Manuell / automatisiert

Planning CompletionDesign

Test-suite

Execution Evaluation



Auswertung

Planning CompletionDesign Execution

Analyse

Evaluation

●Berichterstattung

●Voranalyse der Messergebnisse

●Verteilung der Messergebnisse

● „Test incident report“

●Bewertung der Abweichungen

●Ursachenforschung

●Einleitung der notwendigen Korrekturmaßnahmen

●Erstellen des Test reports

●Archivierung der Messergebnisse

19



Vervollständigung

Planning Completion

-Testmetrics

-Test Optimization

+

Change Requests:-Function-test-tool-Documentation

Design Execution Evaluation

●Erstellen der “Freigabe Empfehlung“

●Bewertung der Teststrategie

●Ressourcenaufwand

●Testmetriken

●Planung/Überprüfung der notwendigen Korrekturmaßnahmen

●Anpassen der Reggresionsteststrategie



Anbindung an die Teststufen

Tester engineer=> SW developer

Execution EvaluationDesign CompletionPlanning

Unit testExecution

Unit testEvaluation

Unit testDesign

Tester engineer=> Lab Test team

Integration /Sub system test

Execution


Evaluation


Design

Tester engineer=> Vehicle test team

System testExecution

System testEvaluation

System testDesign

20



Anforderungen an das Testdesign

1. Effizientes TestenZiel: Soviel testen wie nötig und nicht soviel als möglich !

2. Es muss immer gegen etwas getestet werdenDie Ergebnisse eines Tests müssen sorgfältig geprüft werden !

3. Testfälle müssen auch unerwartete Eingabedaten berücksichtigen

4. Testfälle müssen wiederverwendbar sein

5. Tests sollten reproduzierbar sein



Methoden der Testfallermittlung

Black-Box TestingZiel:Prüfung der funktionalen Anforderungauf Basis einer Spezifikation

Umfang:- vollständiger Test umfaßt jede Kombination der Eingabedaten=> Kombinatorische Explosion

Was leistet BBT nicht:- gezielte Suche von Laufzeitfehler

White-Box TestingZiel:Überprüfung der Struktur der SW

Umfang:- vollständiger Test umfaßt den Durchlauf aller Pfade (C4 Coverage)=> Kombinatorische Explosion

Was leistet WBT nicht:- kein Beweis, dass das Programm denAnforderungen entspricht

- gezielter Tests der Schnittstellen

Pragmatische Entwurf von Black BoxTest als BasisVorgehensweise Ergänzung durch White-Box Tests zur Erreichung der

gewünschten Coverage

21



Testwerkzeuge

Werkzeuge dienen zur automatischen Unterstützung von Methoden, Verfahren und Notationen.


Test Process

Tes

t O

rga

Tes

t to

ols

Tes

t le

vels




Testworkflow supported by Tools

Req 1.0

Req 1.1

Test planningrequest

Test design task

Test execution task

Test evaluationtask

Test technique

Req 1.2

Req 1.3

Test case 1

Testcase 2

Testcase x

Test report F06

Custom checkpoint 51

Test report F08

Problemresolution

Maneuvre Db

Generic Requirements

Stimuli 1Stimuli 2

:Stimuli X

project specific*

* * *

*

* *

Implemented or release requestedTest plan

n

n

n

n m

m

m

1

22



Test environment overview

Products

Test environment

Polyspace

QAC

SIL – ECU DLL

HIL Prüfstand

Vehicle Tests

SW Component Test (VTC based)

Dynamic TestTest method Static Test

SW-component

integrated SW


System

SW Unit test

SW-SWintegration

SW System test(SIL)

SW System test(HIL)

SystemtestTest Activities



PolySpace im Überblick

Polyspace ist ein Software Werkzeug zur statischen Verifikation von Software

Vorteile der Methode gegenüber dem traditionellen Testen sind:

● Vollautomatische Analyse ohne Vorgaben von Testfällen => keine Vorgabe von Stimuli und erwartetem Ergebnis notwendig

● Analysewerkzeug mit direkter Markierung im CodeAlle Elemente, die einen Laufzeitfehler verursachen können, werden ROT (Fehler),ORANGE (Warnung - möglicher Fehler), GRAU (toter Code), oder GRüN (sicherer Code)markiert.

● Umfassende Analyse aller möglichen Wertekombinationen, die zur Laufzeit auftreten können

=> Statische Verifikation beweist die Abwesenheit von Bugs!=> In grünem Code tritt KEIN Laufzeitfehler auf!

23



Teststufen und Tools (dynamische Testwerkzeuge)

Tes

tab

ility

+-

Rea

lity

+VIL

HIL

SIL

SILFunktionImplementation

Modul test

SW – HW Integration

SW – SWIntegration

System Integration

V-Model

WER ? WOMIT ? TESTOBJECT

DLL: Dynamic Link Library

-



Virtual Test Center Base Components

VisualizationModule

Interfaces

Open

Loop

Control

Replay

Script

Automation

Control

Panel

24



Software in the Loop environment

● PC Simulation

● Virtual ECU (Module)

● Open Loop Simulation

● Closed Loop Simulation

● Anwendung

● Debugging

● SW Komponenten Test

Messdaten

Modelle

Modelle

Software Komponente



HIL Simulation

Simulation ComputerElectricalInterface

Host Computer

DataAcquisition

6

Ele

ctri

cal F

ailu

re S

imu

lati

on

ECU

25



HIL Test Setup

+5V +12V -12V FAN

0I

2 3 4 5 6 7 81

NetzteilGND

BUS1- A

BUS1-B

BUS2- A

BUS2-B

DIAG-K

KL30GND

PCO VLP REF1 REF2

W L1

W L2

W L3

W L4

FL

FR

RR

RL

SV

MV

SV3 / BST

KL30

IGN

EXT VCC

HIL Simulator

KL30 DIAGNOSE

POW ER

ERROR

DT A

FIFO

K L

0 ... 70V 0 ... 20A

+ -

Power Supply

V A12.8 00.0

0I

Data Conversion Box Diagnostics and Download

Data Acquisition System

ECU

Host PC for Simulation

Real-Time Display external Power Supply

Ethernet or Link

Wire Harness

Fibre optical Line

K-ISO

Power Cable



Hardware-in the-Loop environment

HIL - Toolanforderung� Multi-Projekt fähig� Multi-User fähig

z.Z. ca. 90 Simulatoren weltweit im Einsatz

Methoden der Simulation:� open-loop� closed loop

Einsatzgebiete:� ECU SW Entwicklungs-/Integrations- Tests� Modultest (in Verbindung mit Messdatenausgabe)

� HW-SW Integration test� Automatisierte Tests für:

� Regelfunktionen� Failsafe Funktionalität� Fahrzeug Netzwerk� Diagnose

26



Automated Lab Tests

Stimuli-generation

Test Trouble Report

Result Analyst

(Testoracle)MeasuredResult files

Requirements and

Specification

or

Developer team

Verification team

Test-specification

Real timesimulation

Stimuli-execution Result-

evaluation



Organisation

„Ein Organisatorisches System besteht aus Anwendern, Benutzer und sonstige Mitarbeiter, die zusammen Aufgaben erledigen.“


Test Process

Tes

t O

rga

Tes

t to

ols

Tes

t le

vels


27



Test - Organisation

SW-PL

SW-FV 1 SW-FV 2

Testleiter

TestTeam 1 TestTeam 2

QM

SystemtestTeam

TesttoolTeam

Change RequestManagement

Konfigurations-Management

Version ControlManagement



http://www.conti-online.com

[email protected]

Are you auto-motivated ?