게시 날짜 : 8, 2026
잘못된 위치 찾기는 재시도해도 고쳐지지 않습니다.
월요일에 로그인 테스트가 통과하고 화요일에 실패했다가 수요일에 다시 통과했습니다. 로그인 흐름은 전혀 건드리지 않았습니다. 변경된 사항은 디자인 팀이 로그인 버튼을 감싸는 컨테이너를 추가한 것인데, 이로 인해 버튼이 화면 요소 트리에서 한 단계 더 깊은 위치로 이동했습니다. 해당 버튼을 가리키는 XPath는 이전 레이아웃을 기준으로 작성되었습니다. 화면 렌더링 속도에 따라 XPath 조회가 제대로 이루어질 때도 있고 그렇지 않을 때도 있었습니다.
Appium 테스트 스위트에서 흔히 나타나는 불안정성의 모습이 바로 이렇습니다. 원인을 알 수 없는 미스터리가 아니라, 테스트 자체가 검사하도록 설계되지 않은 UI의 세부 사항에 의존하는 경우죠.
변덕스러움에는 한 가지 이상의 원인이 있습니다.
불안정한 테스트란 동일한 코드에 대해 통과하기도 하고 실패하기도 하는 테스트를 말합니다. 규모가 커지면 이러한 불안정한 테스트는 막대한 비용을 초래합니다. Atlassian에 따르면 불안정한 테스트는 Jira 백엔드 저장소에서 발생하는 실패의 약 15%를 차지하며, 이로 인해 재실행으로 연간 150,000만 시간 이상의 개발자 시간이 낭비되고, Jira 프런트엔드에서는 메인 브랜치 빌드 실패의 최대 21%를 차지하는 것으로 나타났습니다.아틀라시안, 2025년).
원인은 크게 두 가지 범주로 나뉩니다.
- 테스트 소유 원인. 불안정한 로케이터, 실제 대기 대신 고정된 슬립 시간, 공유 테스트 데이터, 순서 의존성. 이러한 것들은 코드 안에 존재하며, 여러분이 수정할 수 있습니다.
- 환경적 요인. 네트워크 연결 끊김, 느린 백엔드 호출, 예기치 않은 OS 대화 상자. 이러한 것들은 여러분의 코드 외부에서 발생합니다. 이러한 문제들을 줄일 수는 있지만 완전히 없앨 수는 없습니다.
해결 방법이 다르기 때문에 이러한 구분이 중요합니다. 로케이터가 손상된 상태로 테스트를 다시 시도하면 동일한 오류가 더 느리게 발생하거나, 최악의 경우 문제가 숨겨진 채로 간헐적으로 테스트가 통과될 수 있습니다. 먼저 자신이 가진 부분부터 점검하세요. 모바일 UI 테스트에서는 로케이터가 가장 먼저 살펴볼 부분입니다.
앱은 문제없이 작동하는데 위치 추적 기능만 작동하지 않는 이유는 무엇일까요?
모든 Appium 단계는 요소를 찾는 것으로 시작합니다. 로케이터는 테스트에서 요소를 찾는 데 사용하는 주소입니다. 이 주소가 요소의 식별자가 아닌 화면 구조를 나타내는 경우 레이아웃 변경으로 인해 오류가 발생할 수 있습니다.
연구자들은 이를 로케이터 취약성이라고 부릅니다. 2026년 한 연구에서는 359개의 오픈 소스 저장소를 분석하여 449건의 로케이터 오류를 재현했습니다. 이는 UI의 구조적 변경으로 인해 애플리케이션은 여전히 올바르게 작동했지만 테스트가 실패한 경우를 말합니다.ReproBreak, ASE 2026해당 연구는 웹 테스트 프레임워크를 다루었지만, 모바일에서도 메커니즘은 동일합니다. 요소의 이름을 바꾸거나, 컨테이너를 추가하거나, 목록의 순서를 바꾸면 구조 기반 로케이터가 다른 곳을 가리키게 됩니다.
모바일 환경은 두 가지 추가적인 압력을 가합니다.
- 플랫폼 차이. 동일한 화면이라도 iOS와 Android에서 서로 다른 요소 트리가 생성되므로 하나의 XPath로 두 운영체제 모두에서 작동하는 경우는 드뭅니다.
- 렌더링 시간. 모바일 화면은 비동기적으로 로드됩니다. 요소가 존재하기 전에 테스트가 실행되면 올바른 로케이터라도 오류가 발생할 수 있으며, 이것이 로케이터 문제와 대기 문제가 함께 나타나는 이유입니다.
AI가 생성한 시험이 시험의 난이도를 높인다
테스트 물량이 팀의 검토 속도보다 빠르게 증가하고 있습니다. 현재 기업 코드의 약 40~50%는 AI가 생성한 것으로 추정됩니다.Digital.ai), 그리고 점점 더 많은 테스트 코드가 생성되고 있습니다.
Slack의 엔지니어링 팀은 최근 AI로 생성된 Playwright 테스트를 실제 워크플로에 대해 실행했습니다. 생성된 테스트는 간단한 워크플로에서는 약 8%, 더 복잡한 워크플로에서는 약 48%의 실패율을 보였습니다. Slack은 이러한 실패의 주요 원인을 UI 상태의 가변성과 정확한 요소 타겟팅을 방해하는 기존 추상화 때문이라고 분석했습니다.Slack 엔지니어링, 2026(웹 테스트였지 모바일 테스트는 아니었지만) 여기서 얻을 수 있는 교훈은 다음과 같습니다. 생성된 테스트는 주어진 로케이터 습관을 그대로 물려받습니다. 만약 아무도 요소를 찾는 방식을 검토하지 않는다면, 테스트 스위트 규모가 커질수록 검색이 더욱 취약해집니다.
Appium용 실용적인 위치 지정 순서
Appium 프로젝트 자체의 가이드라인에서도 로케이터 전략의 순위를 이 순서대로 매기고 XPath를 최후의 수단으로 언급합니다.:
- 접근성 ID를 먼저 확인하세요. 이는 앱 개발팀이 의도적으로 설정한 것이며, 검색 속도가 빠르고 iOS와 안드로이드에서 동일한 전략을 사용합니다.
- 리소스 ID 또는 ID를 다음으로 지정하세요. 개발자들이 이름을 바꾸지 않는 한 안정적입니다.
- ID가 존재하지 않을 때 플랫폼 기본 쿼리가 실행됩니다. iOS에서는 조건자 문자열과 클래스 체인을, Android에서는 UiAutomator를 사용할 수 있습니다. XPath보다 더 정확하지만 플랫폼에 따라 다릅니다.
- XPath 마지막. Appium의 가이드라인에서는 인덱스 기반 방식이 느리고 불안정하다고 설명합니다. 부득이하게 사용해야 할 경우에는 표현식을 간결하게 유지하고 인덱스 기반이 아닌 속성 기반으로 작성해야 합니다.
위치 추적기를 안정적으로 유지하는 습관
- 테스트 가능성을 완료 기준에 포함시키세요. 앱 개발팀에게 인터랙티브 요소에 접근성 식별자를 추가하도록 요청하세요. 이는 실제 사용자의 접근성 향상에도 도움이 됩니다.
- 위치 정보들을 중앙 집중화하세요. UI 변경 시 스무 번이 아닌 한 번만 수정하면 되도록 페이지 객체나 화면 클래스에 UI 정보를 저장해 두세요.
- 시간이 아니라 상황을 기다리세요. 고정된 대기 시간을 요소가 존재하거나 클릭 가능해질 때까지 명시적으로 기다리는 방식으로 대체하십시오.
- 생성된 테스트를 포함하여 코드 검토에서 로케이터를 검토하십시오. 인덱스가 세 개 포함된 XPath는 향후 오류를 초래할 수 있습니다.
- 조회 실패는 별도로 추적합니다. 요소를 찾을 수 없다는 오류가 특정 화면에 집중되어 나타난다면, 바로 그 부분에서 로케이터 정리의 효과가 가장 먼저 나타납니다.
소유하고 있는 것을 고치고, 그 다음에 소유하지 않은 것을 관리하세요.
안정적인 오류 탐지기는 사용자가 완전히 제어할 수 있는 많은 유형의 오류를 제거합니다. 하지만 제어할 수 없는 오류는 제거하지 못합니다. 장치, 네트워크 및 환경은 여전히 간헐적인 오류를 발생시키는데, 이때 중요한 것은 팀이 수동으로 테스트를 다시 실행하지 않고도 이러한 오류와 실제 결함을 얼마나 빨리 구분할 수 있느냐입니다.
이것이 바로 불안정성 문제의 두 번째 부분이며, 다음 게시물에서 다룰 주제입니다. 재시도는 쉽습니다. 하지만 그들이 당신에게 무엇을 말했는지 아는 것은 쉽지 않습니다..
당신은 또한 좋아할 거라
시험 횟수 증가는 쉽습니다. 하지만 시험 관리는 점점 어려워지고 있습니다.
테스트 자동화는 계속해서 성장하고 있습니다. 팀들은 Appium을 이용한 테스트를 더욱 많이 구축하고 있습니다…