trends and buzzwords for SW tetsing

Testing tools for times of crisis…and

www.tact.co.il

" הינה חברת הבדיקות הגדולה והמובילה בישראל, לאחר המיזוג עם מטריקס, טאקט בדיקות "

בישראל IT - של שוק ה 2008בסקר STKIל חברת המחקר "ימי שוורצקוף מנכ'ג

Testing tools for times of crisis…and more

אודות מטריקס

2

)2009מרס STKIלפי (מטריקס מובילה את שוק הבדיקות

טאקט בדיקות

3

matrixmatrix ==Think Business Think Business -- Implement Value Implement Value

תעשיהתעשיהבריאותבריאות

ומסחרומסחר

ממשלהממשלה

והמגזר והמגזר

הציבוריהציבורי

טלקום טלקום

ומדיה ומדיה

פיננסיםפיננסים,,בנקאותבנקאות

,,כרטיסי אשראיכרטיסי אשראיביטוח ביטוח ושוק ההוןושוק ההון

מערכת מערכת

הביטחוןהביטחון

Offshore & Onshore

חבילות ומוצרי תוכנה

ייעוץ ותכנון אסטרטגי

4

ITאינטגרציה ותשתיות

בדיקות תוכנה

הדרכה והטמעה

Offshore & Onshore

מרכזי התמחות טכנולוגיים 19

מרכזי ההתמחות במטריקס 19

5

כרטיס ביקור - טאקט בדיקות

שנה בשוק 15 -חטיבת הבדיקות של מטריקס

ל"מומחים בארץ ובחו 600 -למעלה מ

קהל הלקוחות הגדול והמגוון ביותר

:תחומי התמחות

עומסים וביצועים, ייעוץ הטמעה וביצוע של בדיקות אוטומציה

ב "מערכות מוטסות ומערכות שו,מערכות קריטיות, בדיקות למערכות זמן אמת

-מוסמכים לISO 9000

ISTQB

DO 178B

6

,WEB, ERP: בדיקות תוכנה ליישומים ואפליקציות CRM, Billing

BI -ו DWH, בדיקות של הסבות נתונים

ISOכולל הכנת ארגונים למבחני QAייעוץ והטמעה של

mobile -טלקום ו, הייטק, ממשלה, בנקאות וביטוח, צבא וביטחון: מגזרים

,on-site, near-shore: מודלים עיסקיים ייחודיים off-shore, turnkey, fixed

,HP, Microsoft: ייצוג ספקים מובילים IBM, Borland, Compuware, Automated-QA, ldra

?למה כדאי לכם להישאר

...זה כבר מאחורינו-מי אנחנו �

�Disclaimer–אני לא אחראי לכלום...

נט-חידון חמיצר�

מגמות בבדיקות תוכנה�

כולל סקירת כלי ניהול בדיקות–הוזלת עלויות בשעת משבר �

מבט לעתיד הקרוב -כלי אוטומציה �

7

מבט לעתיד הקרוב -כלי אוטומציה �

יהיו סרטונים וקישורים, וגם כי יהיה נחמד

ולפחות דבר אחד שיהיה חדש עבורכם

אז שבו בנוח ותהנו מהשעתיים וחצי הקרובות

Overview of testing tools for times of crisis - Disclaimer

During the last year I have found my self trying to answer the same question again and again: “can you recommend of a low price/ freeware testing tool”. As days passing by and the economic storm seem to grow larger and larger, I thought it will be a good service to try and answer this question.

I’m not considering my self as an automation expert (far from that), but in my presentation I have tried to collect relevant testing tools/ vendors and to present an overview of all kind of tools based on my experience and more important of others.

8

experience and more important of others.

Those of you that will decide to participate in my presentation will receive basic information that should be very helpful as the first step of selecting the right testing tool. I will present tools for test management, test automation and special freeware tools for accessibility and compatibility testing.

Most important - as always in such presentations the most valuable and extended knowledge is buried in each one and one of the participants them self. I guarantee I will use this knowledge so we can all benefit from this meeting the most.

נט- חידון חמיצר

?מי הנשיא שהוכתר לתפקיד שלא בפניו1.

?מיליון איש ביום 1.5באיזה קפה ישראלי מבקרים 2.

?chromeומה של Firefoxמהו פלח השוק של 3.

האתרים הנצפים 20כמה פעמים מופיעים אתרים של גוגל ברשימת 4.

9

?ביותר

?2-4ומי במקומות ? מהי החברה המובילה בעולם לכלי בדיקות5.

וגמד משתדרג הבאס בפינה , נכנסים לזירהוהענק האדום הענק הכחול 6.

?האם אגדה או מציאות...הופך לענק מפוקס

ניתוח הספקים המובילים של כלים לבדיקות פונקציונאליות

10

מבט לעתיד+ גורמים מרכזיים 3 - מגמות בבדיקות תוכנה

מגמות של תהליכי הפיתוח

11

התקדמות טכנולוגית

בשלות ובגרות

מגמות המקבילות למגמות ושינויים -מגמה ראשונה בתהליכי הפיתוח

)scrumכגון (פיתוח איטרטיבי

לתכנן ולבצע בדיקות באופן , הפיתוח האיטרטיבי מחייב לחשובבין השאר . Vשונה משהורגלנו לו במודלים מסורתיים כגון מודל

לתקשר יותר ולהשתמש בהרבה יותר , עלינו לתעד פחותאוטומציה

12

הוזלת עלויות

העברת פעילויות למודלים של אופשור ונירשור

או לכלים זולים ) freeware( מעבר לכלי בדיקות חינמיים backאחרים

התקדמות טכנולוגית - מגמה שניה

מגוון של פתרונות

מגוון רחב מאוד של פתרונות וכלי אוטומציה לבדיקות לכל סוגי דגש לפתרונות . הטכנולוגיות ושלבי הפיתוח, הפלטפורמות

.חינמיים open sourceזמינים בעלויות נמוכות ואף פתרונות

)קורסים(בעיקר בפורומים מקצועיים - כל המידע קיים באינטרנט

13

)קורסים(בעיקר בפורומים מקצועיים - כל המידע קיים באינטרנט

)ALM )tools consolidationכלי

הנותנים פתרון וויזיביליות מלאה ALMשימוש הולך וגובר בכלי .ופחות בפתרונות נקודתיים) הפיתוח(על כל שלבי הפרויקט

back

QA -בשלות ובגרות של תחום ה - מגמה שלישית

חדירה מאסיבית של הסמכות לבדיקות תוכנה בדגש על ISTQB .

: כגון(השקעה משמעותית של ארגונים בעמידה בתקני איכות

CMMI ,Cobit ,Do178B ,FDA , ואחריםנגישות תקן(

החל מהשלבים , בכל תהליך הפיתוח QAהטמעת מתודולוגיות

14

החל מהשלבים , בכל תהליך הפיתוח QAהטמעת מתודולוגיות שימוש : כגון(קלאסיים " פיתוח"כולל בתחומי , המוקדמים ביותר

וטכניקות ניהול סיכונים , ניהול תצורה, code analysis - בכלי בדיקות ייחודיים ל

.תקשורת טובה יותר בין הצוותים). בדיקה ייחודיות

בעלי , בתפקידים בכירים בארגונים QAהגדרת פונקציות )מרכזי בדיקות: לדוגמא(השפעה ומוטת ניהול רחבה , סמכויות

הוזלת עלויות בתקופת משבר

:הוזלת השימוש בכלים אוטומטיים

)תמיד רצוי(מ עם הספק להקטנת עליות התחזוקה "מו

חינמיים או פיתוח עצמי, "זולים"מעבר לשימוש בכלים

"עננים"ומיחשוב SAASמודלים של

15

:השקעה בהטמעת מתודולוגיה מתאימה לארגון

לצוותי ) בין רכיבים(הגדרת אחריות לבדיקות יחידה ואינטגרציה )דוגמא לדגשים למנהלי פיתוח(הפיתוח

הגדרת תנאי סף ברורים להעברת גרסה לסביבת הבדיקות

DR -שילוב הבודקים בתהליכי האפיון וב

)static code analysis(ביצוע בדיקות ובקרות לקוד

המשך -הוזלת עלויות בתקופת משבר

:ניתוח סיכונים ותיעדוף

. לא חייבים לבדוק הכל ובוודאי שלא באותה רמת חשיבותרכיבים או תהליכים שהסיכון שלהם נמוך לא חייבים להיבדק או

מה שיחסוך זמן רב exploratory testingשייבדקו במסגרת בתכנון הבדיקות ובביצוען

16

אופשורהוצאת פעילויות למיקור חוץ באמצעות מודלים של :ונירשור

יש הרבה מאוד חברות המספקות שירותים אלו בארץ ובעולם ברור ומובטח ROIויכולות להראות

?הקרוב... מבט קצר לעתיד

HP software vs. Microsoft -מלחמת גוג ומגוג 1.

:וגם

17

והבודק האוטומטי Test Analysis -הבודק המאפיין 2.

ותמיד לזכור מאיפה באנו

?שאלות

18

!איכות וגמישות זה טאקט

?off-shoreמה זה ?היכן

סין, הודו �

) מקדוניה, בולגריה, אוקריאנה, רומניה, הונגריה( רוסיה ומזרח אירופה �

קמבודיה,ויטנאם �

)קולומביה, מכסיקו, אקוודור, ברזיל(מרכז ודרום אמריקה �

)חרדיות(ישראל -מרוקו ו , מצרים �

Off - shore Near - shore home- shore

19

)חרדיות(ישראל -מרוקו ו , מצרים

?מדוע זה טוב

עלויות �

� Time zone )PS - 24/7, קרוב ללקוח (

)גרף(מיקוד בעבודה , מקצועיות ותחומי נישה �

שירות מנוהל �

מקום פיסי �

off-shoreדגשים להצלחת פרויקטי

מעורבות הנהלה

מפתחים/ הגדרה מדוייקת של משימות ופרופיל הבודקים

הגדרת תכולה מדוייקת

הגדרת מוביל מטעם הלקוח בעל מוטיבציה להצלחה

)אחוז נטישה נמוך(יציבות הצוות

)הדרכה(העברת ידע

20

)הדרכה(העברת ידע

בקרה ושליטה, שימוש בכלי ניהול

הגדרת תנאי הצלחה וכישלון ברורים

ביצוע פיילוט מקדים

)remote server(עבודה באותה הסביבה

שפה משותפת

kick off - ו DRהשתתפות פעילה בישיבות back

?מי יודע מה זה - מתודולוגיה אחידה

21

משוק הבדיקות בארץ הוסמכו בשלוש השנים האחרונות 10% - מעל ל

מוסמכים בישראל1500 -מעל ל

מוסמכים בעולם 100,000 -מעל ל

מדינות 42 - ב

ISTQB - מתודולוגיה אחידה

22

:שלוש רמות הסמכה

�Foundation

�Advanced

�Expert

back מחקר של גרטנרISOבדרך לתקן

כלי ניהול בדיקות ודיווח תקלות

QC-HP software

Rational quality manager-IBM

Silk Central Test Manager-Borland

QA director-Compuware

Orcanos - Qpack

SpiraTest-Inflectra

23

Jira– לארגון ללא מגבלה$ 5000מקסימום

RALLY - למשתמש לחודש$ 35או , חינם - 10עד

(almost free)PractiTest

BUG track - לחודש לארגון$ 200-100או , לחודש$ 30עד.

TRAC )free(

Free)(Bugzila

כלים לבדיקות פונקציונאליות

QTP-HP

RFT-IBM

Silk Test-Borland

Test partner-Compuware

Test complete-Automated QA

24

test suite2010 VSTS -Microsoft

Auto It

Badboy

Selenium

AQUA-Jsystem

כלים לבדיקות עומסים

HP - Load Runner

IBM - RPT

Borland - Silk Performer

Compuware – QA Load

Test Complete (web)

25

Radview - web load

VSTS 2010 (load agent for web)

Jmeter -free

Open STA - free

back

כלי עזר לתכנון בדיקות

Pair wise testing tools list

All Pairs test case generation tool

Perl clip

Log watch

PICT-Microsoft

26

back

...למה מתכוון המתכנת כאשר הוא אומר ש

.אין לי מושג איך עושים את זה–אפשרי בעליל בלתי .אין לי כוח לעשות את זה - אפשרי בלתי .מתקמפל–עובד

.לא מתקמפל–אני מלטש את זה .מחפש מצבים שבהם התוכנית לא עפה–בודק על בעיות לדוגמא

.עדיין אין לנו מושג מה לעשות–אנו מנסים כמה גישות שונות .'סטודנטים שנה א 3כרגע גייסנו - ח מסכם על הגישה החדשה שלנו לפתרון הבעיה"אנו מכינים דו

.שהלקוח יהיה מאושר כשיקבל לפחות משהו, Deadlineאנחנו כל כך לא עומדים ב –אנו ערבים שהלקוח יהיה מרוצה .לא ציפינו שזה יעבוד–בדיקות קבלה עברו בסדר .כרגע התפטר, הבן אדם היחיד שהבין בזה לפחות משהו–צריך לשנות את כל הגישה

27

.כל עוד מה שאתם אומרים לא משפיע על מה שכבר עשינו, כמובן, אנו יכולים לשמוע את דעתכם–בא ונשמע את דעתכם .תוכנית אחת בסוף התחילה לעבוד - שנים של פיתוח

! אנחנו תמיד עושים ככה–! אנו עושים את זה לפי סטנדרטים

.תשכח מלקבל תשובה נורמאלית–יש הרבה גורמים שמשפיעים על זה ! בפעם האחרונה התוכנית כמעט עבדה–אנו על סף פריצת דרך

.אם הקודמת לא תעבוד, אנו מבטיחים לשלוח עוד גרסה–יש לתוכנה תמיכה מלאה .לא יהיה לכם עם מי לדבר, אם משהו יקרוס–יש לתוכנה תמיכה חלקית

back.התוכנה התקמפלה בסדר–התוכנה עומדת בתקני איכות

זיהוי ותיקון תקלות בשלב מוקדם בתהליך הפיתוח

28

back

כלי בקרת קוד וכלים אחרים

)Web Accessibility Tool)WAT -בדיקות נגישות

Browser compatibility tool -בדיקות תאימות

analysis tools:

�EMMA - Code coverage tool (java)

�Check Style - code style checker (java)

29

back

Agile -מתודולוגיות פיתוח חדשות

לפתח מהר ולבדוק מהר

?עדיין רלוונטי -האם ה

)פיתוח ובדיקות ביחד, אפיון(צוותי משימה אורגניים

)Drop, sprint( - פיתוח ב

מעט מאוד תיעוד

Iterative model

V model

30

מעט מאוד תיעוד

חייבים להכניס אוטומציה כמה שיותר מהר

מחברות הזנק ועד תאגידי ענק: כולם במשחקwww.scrumalliance.com

www.danko.org.il

www.planningpoker.com

www.controlchaos.com

www.implementingscrum.com

www.agilemanifesto.org

www.scrum-master.com

http://scrumforteamsystem.com

www.winnowmanagement.com

http://scrumoogle.com/

back

עקרונות לאיכות בתהליך הפיתוח 6

)הוראות הפעלה לשימוש בספר במקום מגילה( business -להבין את ה1.

-) cem kaner(" טופס פתיחת תקלה"התוצר הכי חשוב של הבודק הינו 2.

המפתח חייב לרשום את מהות התיקון

ישיבות , כלי תקשורת, )?ALM(קונסולידציה של מערכות : שיתוף מידע3.

...)DR(משותפות

31

...)DR(משותפות

, מדידה ושיפור, תיעוד, גילוי מוקדם של תקלות(מתודולוגיה זו לא מילה גסה 4.

)תחזוקתיות

.5Just do it (test) )תנאי סף, אינטגרציה, בדיקות יחידה(

...)למה מתכוון המפתח כשהוא אומר ש(לתקשר , להקשיב, לדבר6.back