Upload
others
View
3
Download
0
Embed Size (px)
Citation preview
6출처 : http://msdn.microsoft.com/ko-kr/library/dd286726.aspx
F5 경험
UI를통해전체 응용프로그램을빌드하고수동으로테스트
일반적인 비-CUIT 테스트
UI를 이용하지 않고 전체 응용프로그램 테스트 (예, 단위 테스트)
일반적인 CUIT 테스트
UI를 통하여 전체 응용프로그램을자동으로 테스트
UI를 검증하는 테스트
격리 상태에서 UI 테스트
[DataSource]
TestContext.DataRow["열 이름"]
참고 : http://msdn.microsoft.com/ko-kr/library/ee624082.aspx
13
데이터 형식 데이터 원본 어트리뷰트
CSV[DataSource("Microsoft.VisualStudio.TestTools.DataSource.CSV", "|DataDirectory|\\data.csv",
"data#csv", DataAccessMethod.Sequential), DeploymentItem("data.csv"), TestMethod]
Excel
[DataSource("System.Data.Odbc", "Dsn=Excel Files;Driver={Microsoft Excel Driver (*.xls)};dbq=|DataDirectory|\\Data.xls;defaultdir=.;driverid=790;maxbuffersize=2048;pagetimeout=5;readonly=true", "Sheet1$", DataAccessMethod.Sequential), TestMethod]
테스트 케이스(TFS)
[DataSource("Microsoft.VisualStudio.TestTools.DataSource.TestCase", "http://vlm13261329:8080/tfs/DefaultCollection;Agile", "30", DataAccessMethod.Sequential), TestMethod]
XML[DataSource("Microsoft.VisualStudio.TestTools.DataSource.XML", "|DataDirectory|\\data.xml“,
"Iterations", DataAccessMethod.Sequential), DeploymentItem("data.xml"), TestMethod]
SQL Express[DataSource("System.Data.SqlClient", "Data Source=.\\sqlexpress;Initial Catalog=tempdb;
Integrated Security=True", "Data", DataAccessMethod.Sequential), TestMethod]
Selenium components for Coded UI Cross Browser Testing
운영체제 Windows 7, 8, Windows Server 2008 R2
.NET .NET 2.0, 3.0, 3.5, 4.0, 4.5(상기 버전으로 개발된 앱을 지원한다는 의미임)
Internet Explorer 8 ,9, 10, 11 버전 지원 (10, 11은 데스크탑 버전만 지원)
Window Store App 지원. XAML 기반 앱
Windows Forms와 WPF 써드파티 컨트롤 지원
Chrome, Firefox 최신 버전만 지원
Window Form 2.0 이상 지원
MFC 부분적으로 지원
WPF 3.5 이상 지원 (다만, 일부 써드파티 컨트롤은 지원되지 않을 수 있음)
SharePoint 지원
Dynamics CRM web client 지원
http://msdn.microsoft.com/en-us/library/dd380742(v=vs.110)
http://msdn.microsoft.com/en-us/library/dd380742(v=vs.110)
19
Internet Explorer 6, 7 지원안함
Silverlight 지원안함(플러그인 설치 시 가능하긴 하나 문제있음)
Flash 지원안함
Java 지원안함
Office Client Applications 지원안함
SAP 지원안함
Coded UI tests는 단위 테스트 수트의일부로 실행되기 때문에, 결함을 조기에
발견할 수 있게 한다
룩앤필이 변경된다 하더라도, 자동화된테스트는 여전히 잘 동작한다
Coded UI tests 는 소스 제어로버전 관리도 가능하다
• 5분 * 60초 = 300초
• 200,000 / 300 = 666.6 TPS
웹 서버 자체의 처리 속도
+ Static 컨텐츠(이미지) 속도
+ 플랫폼 API에 대한 호출/응답 속도
사용자 체감 응답속도
즉, 플랫폼 API는 500ms 이내의 응답속도를 보장해야 함
• Stress Test를 통해 응답 속도가 지연되거나 타임아웃이발생하더라도 Crash는 일어나지 않아야 한다.
• 불가피하게 Crash가 되더라도 Fail-Over가 정상적으로 수행되는지,
Fail-Over 상황에서의 성능 수치도 확인한다
• 장비 수, 인스턴스 수, 설정 등에 대해 다양한 경우의 수를 조합하여Comparison Test를 수행하여 성능을 비교한다
• 쉽게 테스트 시나리오를 작성하고,
서버에 대한 모니터링 대상카운터를 설정
• Application, ASP.NET, .NET
Application, IIS, SQL 등을 모니터가능
• 결과는 텍스트 혹은 그래픽으로보여줌
VS UltimateVS Test Controller
(QTController.exe)SQL Server
VS Test Agent
(QTAgent.exe)
VS Test Agent
(QTAgent.exe)
Local Controller
Local Agent
부하 테스트 작성
테스터를 위한 UI 제공 테스트 결과 저장소
Control Test Agent를제어한다
부하 테스트 데이터/성능 카운터를 수집한다
실제 부하를 생성
테스트 결과와 데이터를 컨트롤러로 전송
VS Test Agent
(QTAgent.exe)
구성 CPU HD 메모리
30대이하의 컴퓨터로 구성된 환경(테스트 대상 서버와 Agent를 포함)
2.6 GHz - -
30대컴퓨터 x N 으로 구성된 환경(테스트 대상 서버와 Agent를 포함)
2.6 GHz, N 개 - -
VS Test Agent 하드웨어 기본 사양
구성 CPU HD 메모리
500 이하의 가상 사용자 2.6 GHz 10 GB 2 GB
1000 이하의 가상 사용자 Dual processor 2.6 GHz 10 GB 2 GB
N x 1000 가상 사용자Dual 2.6 Ghz를갖는
N 개의 Agent로스케일 아웃10GB 2GB
VS Test Controller 하드웨어 기본 사양
단일 대시보드를통한애플리케이션의성능, 사용현황 파악
진단 대시보드사용자의사용 패턴과 가장많이 쓰는 기능들파악.
차기에 투자해야할 요소를예측
사용현황 대시보드통지 및 상세 분석
무엇인 문제인지파악의심되는코드 및 테스트를통지해준다
https://www.facebook.com/groups/MicrosoftALMKorea/