[WWDC] Testing in Xcode: Test plans

WWDC 영상은 여기를 클릭해주세요 ('-' э )Э

 

해당 세션에서는 크게 Introduction To XCTest, Test plans, Continuous integration workflows 이렇게 3가지 토픽에 대해 얘기하고 있습니다. 블로그에서는 마지막 토픽을 제외한 앞의 두 가지 내용에 대해서만 다루고자 하니 참고 부탁드립니다! (CI는 ... 나중에.. 커밍쑨 ε( ε ˙³˙)з ○º )

 

Test plan

Test plan은 Xcode 11에서 등장한 신기능으로 테스트를 최대한 활용하는데 도움이 되는 기능임.

 

예를 들어 ...

 

Localization이 적용돼있는 앱에 대한 UI 테스트를 진행하고자 하는데

특정 언어에 대한 localization이 누락되어 아래와 같이 UI가 깨지는 현상이 발생할 수 있음

 

이런 현상을 수정한 후 해당 언어로 UI 테스트를 진행하고자 하는 경우, 물론 수동으로 Xcode 설정을 변경하여 테스트하는 것도 가능한 시나리오임. (Different localizations)

혹은 매번 다른 방식으로 테스트를 두 번 이상 실행해야만 발견할 수 있는 버그가 있을 수도 있음. (랜덤 순서로 실행했을 때 우연하게 발견할 수 있는 종속성 관련 오류 등..) (Random order)

그리고 address sanitizer, thread sanitizer 등 두 개 이상의 sanitizer를 사용해서 테스트 하는 것도 가능함. (Using sanitizers)

또는 웹 서버의 테스트 버전이나 모의 데이터 셋을 사용해야되는 등 임의의 환경 변수를 변경해서 테스트 해야하는 경우도 존재함. (Arguments or environment variables)

 

이러한 상황들에 대해 매번 다른 스킴으로 변경하여 테스트를 진행할 수 도 있지만 test plan을 적극 활용한다면 다양한 설정으로 여러 번의 테스트를 실행할 수 있음 !! 또한 testing variances를 한 번 정의하고 여러 test plan에서 공유할 수 있음. 

 

이전에 테스트를 여러번 실행하기 위해 스킴을 복제했던 것을 이제 스킴 복제하는 것 없이 하나의 스키마로 여러 설정의 테스트를 진행할 수 있음! ദ്ദി˶ˆ꒳ˆ˵)

 

Demo

테스트 대상 별, 클래스 별, 모든 테스트 메서드 확인이 가능함.

- 전체 목록 확인 가능

- 특정 테스트를 찾기 위해 필터링 가능

- 원하는 특정 테스트 일시적으로 비활성화 가능

- 모든 test plan이 공유하는 shared 설정과 각 플랜 별 설정 수정 가능(ex. UI 테스트의 경우 테스트를 병렬적으로 실행하면 훨씬 빠른 속도 유지 가능 -> 병렬 실행으로 설정 변경)

 

위에서 언급됐던 localization 관련 테스트를 설정하기 위해서는 새로운 test configuration을 추가하고 언어와 지역 설정을 변경해주면 원하는 지역/언어로 테스트가 동시에 진행 가능함.

 

이렇게 test configuration을 두 개 이상으로 생성한 상태에서 테스트를 진행하면 생성된 configuration의 개수만큼 테스트가 실행됨. configuration 중 원하는 configuration만 선택하여 해당 설정으로만 테스트를 진행할 수도 있음. 

 

Test plan file

test plan file은 실제로 확장자가 .xctestplan 파일 확장자를 가진 JSON 파일

실행할 모든 테스트와 테스트 실행 방법을 설명하는 모든 테스트 구성이 포함돼있음.

 

test plan file은 일반 프로젝트 구조에 포함되며 하나 이상의 계획에서 참조할 수 있음.

테스트 실행 팝업 메뉴 및 테스트 보고서와 같은 곳에서 test plan의 이름을 볼 수 있으므로 각 테스트 구성에 의미 있는 이름을 지정하는 것이 좋음.

Potential Use Cases

🤔 test plan을 어떻게 사용하면 좋을까 ?!

Different sanitizers

Sanitizer은 코드를 계측하고 수동으로 재현하기 어려운 버그를 식별하는 데 도움이 되는 Xcode에 내장된 도구임. 그리고 일부 새니타이저는 서로 결합할 수 있음.

 

첫 번째 상자에는 address sanitizer가 활성화되어 있고 다른 상자에는 thread sanitizer가 활성화되어 있음.

프로젝트에 C 또는 Objective-C 코드가 포함된 경우 각 구성에서 undefined behavior sanitizer를 활성화하여 계획을 확장할 수 있음.

 

해당 설정은 요금제의 공유 설정에서 수정하는게 공통으로 사용할 수 있기 때문에 효율적임. 그러면 요금제의 모든 구성에 자동으로 상속됨. 이제 한 가지 주의해야 할 점은 상호 호환되지 않는 새니타이저로 이와 같은 테스트 계획을 구성하는 경우 계획에서 두 가지 구성을 모두 실행하면 Xcode가 각 새니타이저 세트에 대해 한 번씩 프로젝트를 두 번 빌드해야 한다는 것. 이는 보다 철저한 테스트를 수행하기 때문에 테스트 빌드에 시간이 조금 더 걸리더라도 상관없는 지속적 통합 환경에 이상적임.

Simulated languages, locations, locales

다양한 언어, 지역에 대한 테스트 설정 또한 가능함.

shared 설정에서 localization screenshot 기능을 활성화시킨다면 UI 테스트 시 언어별 스크린샷을 수집함. 앱스토어 목록에서 스크린샷 활용도 가능함.

Mix-and-match(혼합 가능)

 

test plan에서 이러한 설정을 프로젝트에 맞게 혼합하여 사용할 수 있음

예를 들어, 이와 같은 테스트 계획을 세 가지 구성으로 구성할 수 있음.

첫 번째는 메모리 안전에 초점을 맞춘 것으로, Address Sanitizer와 Zombie Objects 메모리 설정.

두 번째 구성은 동시성에 초점을 맞춘 구성으로 thread sanitizer, undefined behavior sanitizer가 있으며 매번 무작위 순서로 테스트를 실행.

마지막 구성은 테스트를 실행하는 동안 추가 진단을 수집하도록 설정함. 더 많은 로그 수집을 트리거하기 위해 테스트 중인 코드가 알고 있는 사용자 지정 환경 변수를 설정하여 이를 수행함. 또한 테스트가 성공한 경우에도 모든 사용자 지정 파일 첨부 파일을 유지하는 옵션을 사용할 수 있음.

 

이런 식으로 테스트를 하는 목적을 조금 더 세분화하여 그에 맞는 Plan을 생성 및 설정해줄 수 있는 것이 test plan의 장점 ! ദ്ദി･ω･`)

---

나중에 테스트 하고자 하는 환경이 여러 가지가 생긴다면 test plan을 활용하여 미리 설정해서 편하게 테스트할 수 있을 것 같습니다 ٩(　ᐕ)و