하지만 그 모든 테스트를 어디서 진행할 건가요?

현재 QA 팀에서 흥미로운 변화가 일어나고 있습니다. AI 에이전트와 MCP 기반 도구 덕분에 테스터들이 그 어느 때보다 빠르게 자동화 스크립트를 작성할 수 있게 되었습니다. 예전에는 일주일씩 걸리던 작업이 이제는 오후 시간에 대략적인 윤곽만 잡아낼 수 있게 되었습니다. 한때는 꿈만 같았던 테스트 커버리지 달성이 이제는 현실이 되었습니다. 정말 고무적인 현상입니다. 하지만 동시에 아무도 이야기하지 않는 문제가 조용히 발생하고 있기도 합니다.

테스트 작성 속도가 빨라지면 대화는 거의 항상 작성 자체에 집중됩니다. 어떤 도구를 사용할지, 프롬프트를 어떻게 구성할지, 안정적인 로케이터를 어떻게 얻을지 등에 대한 논의죠. 하지만 정작 아무도 묻지 않는 질문은, 이러한 기능들이 실제로 출시될지 여부를 결정짓는 핵심적인 질문입니다.

그렇다면 그 모든 테스트를 정확히 어디에서 실행할 예정인가요?

AI는 예전에는 10개의 테스트를 작성하는 데 걸리던 시간에 수백 개의 새로운 테스트를 생성할 수 있습니다. 이것이야말로 진정한 레버리지입니다. 하지만 레버리지는 그 밑에 깔린 시스템, 특히 애초에 부하를 감당하도록 설계되지 않은 시스템의 성능을 증폭시킵니다. 지금 이 사실을 깨닫고 있는 팀들은 자동화에 실패하고 있는 것이 아닙니다. 오히려 실행 시스템이 따라잡을 수 없을 정도로 빠르게 자동화에 성공하고 있는 것입니다.

건물 자동화는 중요한 진전입니다. 하지만 이를 대규모로 안정적으로 구현하는 것은 완전히 별개의 문제입니다.

거의 모든 팀이 따르는 패턴

보통은 아주 간단하게 시작됩니다. 누군가의 책상 위에 놓인 몇 대의 안드로이드 기기. 두 엔지니어가 함께 사용하는 아이폰. 릴리스 전에 노트북에서 실행되는 Appium 스크립트. 잘 작동합니다. 그리고 한동안은 충분합니다.

그러다 보면 범위가 넓어집니다. 더 많은 기기 모델, 더 많은 OS 버전, 다양한 브라우저 지원, 여러 팀이 병렬로 테스트를 실행해야 하는 상황까지. 그리고 거의 하룻밤 사이에 제약 조건이 바뀝니다. 질문은 더 이상 "이것을 자동화할 수 있을까?"가 아니라 "실제로 실행할 수 있는 역량이 있을까?"가 됩니다. 대부분의 팀은 이러한 상황에 대비하지 못합니다. 자동화가 다가오고 있다는 것을 몰랐던 것이 아니라, 실행 문제가 조용히 스며들어 오기 때문입니다.

"규모"란 실제로 어떤 모습일까요?

어느 시점에 이르면 테스트 양 자체가 어려운 부분이 아니라, 그 주변의 모든 것들이 문제가 됩니다. 기기 파편화, 운영체제 조합, 브라우저 버전 변화, 여러 시간대에 걸쳐 있는 팀들이 동시에 동일한 기기 풀을 사용하려는 상황 등 말이죠. 테스트는 계속 늘어나지만, 애초에 시스템 기반은 그런 상황을 감당할 수 있도록 설계되지 않았습니다.

게다가 더 어려운 시나리오들이 등장하기 전의 이야기입니다. 실제 하드웨어에서 다르게 동작하는 접근성 흐름, Wi-Fi 전용 에뮬레이터에서는 아예 나타나지 않는 통신사 종속 기능, 데스크톱 환경에서는 제대로 구현할 수 없는 안드로이드 오토나 카플레이 같은 커넥티드 카 통합 기능 등이 그 예입니다. 이러한 문제들은 예외적인 경우가 아니라, 대부분의 실행 환경에서 조용히 실패하는 실제 앱의 핵심적인 부분들입니다.

이것이 바로 실행 부채가 실제로 나타나는 모습입니다. QA 팀은 테스트 작성을 중단하고 운영 체제 업데이트 관리, 용량 충돌 디버깅, 설정 문제로 밝혀진 불안정한 결과에 대한 불만 처리 등으로 바뀝니다. 릴리스 속도를 높여야 할 자동화가 오히려 자체적인 오버헤드를 발생시키는 것입니다.

진정한 문제는 기기를 소유하는 것이 아니라, 그 위에 구축하는 레이어에 있다.

많은 팀이 이미 자체 기기를 보유하고 있으며, 이는 좋은 현상입니다. 기기 자체는 문제가 아닙니다. 문제는 기기를 중심으로 구축해야 하는 모든 것, 즉 오케스트레이션, 통합, 접근 제어, 그리고 운영체제 버전 변경과 하드웨어 노후화에 따른 안정적인 운영 유지 관리입니다. 이는 한 번 설정으로 끝나는 작업이 아니라, 누군가가 지속적으로 책임지고 관리해야 하는 작업입니다.

팀이 직접 관리 계층을 구축하려고 하면, 로드맵도 없고, 전담 담당자도 없고, 최악의 순간에 고장 나는 경향이 있는 또 다른 엔지니어링 제품이 되어버리는 경우가 많습니다. 이는 누구도 원치 않는 대가입니다.

기기를 소유하는 것 자체는 괜찮습니다. 하지만 기기 관리 플랫폼을 처음부터 직접 구축하는 데에 진정한 비용이 숨어 있습니다.

올바른 플랫폼이 실제로 해결하는 것

QA 리더들이 실행 플랫폼을 평가할 때, 논의는 대개 기기 호환성과 CI 통합 여부에 집중되는 경향이 있습니다. 물론 이러한 요소들도 중요하지만, 기본 전제일 뿐입니다. 더 중요한 질문은 해당 플랫폼이 앱 테스트에 실제로 필요한 모든 기능을 고려하여 설계되었는지 여부입니다.

배포 방식부터 살펴보겠습니다. 일부 팀은 구매 비용 부담 없이 필요에 따라 디바이스를 즉시 사용하고 싶어하며, 클라우드 솔루션이 이러한 요구를 충족합니다. 반면, 이미 디바이스 랩을 보유하고 있고 이를 확장하여 운영하기 위한 적절한 소프트웨어 계층이 필요한 팀은 온프레미스 솔루션이 적합합니다. 어떤 방식을 선택하든 편의성과 제어력 사이에서 타협해야 하는 것은 바람직하지 않습니다. 평가할 가치가 있는 플랫폼은 두 가지 방식 모두를 지원하며, 어떤 방식을 선택하든 동일한 기능을 제공해야 합니다.

그룹 BPCE프랑스에서 두 번째로 큰 은행 그룹인 는 바로 이러한 방식을 택했습니다. 여러 지역에 걸쳐 일관성 없는 수동 테스트가 진행되었고, 추적성도 부족했으며, 팀은 자신들의 기기를 포기하지 않고 중앙 집중식으로 테스트를 실행해야 했습니다. 온프레미스 배포를 통해 이제 700명의 사용자가 102개의 기기와 32개의 브라우저 버전에서 테스트를 진행하고 있으며, 24시간 내내 5~15분 간격으로 테스트를 실행하고 있습니다. 전체 사례 연구를 읽어보십시오.

하지만 배포 유연성은 시작점에 불과합니다. 평가하기 더 어려운 부분이자 대부분의 팀이 너무 늦을 때까지 고려하지 않는 부분은 바로 커버리지의 깊이입니다.

앞서 언급한 시나리오들을 생각해 보세요. TalkBack이나 VoiceOver에 의존하는 접근성 흐름은 실제 기기에서 실행되어야 합니다. 화면 읽기 프로그램의 동작이 정확한 유일한 환경이기 때문입니다. CPU 부하, 메모리 사용량, 배터리 소모와 같은 실제 사용 환경에서의 성능은 물리적 하드웨어에서만 드러납니다. 오디오 관련 기능, SIM 카드가 있어야 작동하는 이동통신사 흐름, Android Auto 또는 CarPlay와 같은 차량용 통합 기능은 실제 앱의 핵심 요소이지만, 대부분의 플랫폼은 이러한 기능을 지원하지 않거나 틈새 시장의 추가 기능으로 취급합니다.

따라서 플랫폼을 평가할 때는 "Appium 테스트를 실행할 수 있는가?"라는 질문에 그치지 않고, 팀에서 조용히 미뤄왔던 시나리오들을 처리할 수 있는지 자문해 보세요. 지역별 랩을 구축하지 않고도 여러 지역에서 테스트를 실행할 수 있습니까? 병합된 PR이 빌드, 업로드, 실행, 보고 과정을 거쳐 자동으로 진행될 수 있도록 CI 파이프라인에 통합되어 있습니까?

이 문제를 제대로 해결하는 팀은 단순히 운영상의 오버헤드를 줄이는 데 그치지 않습니다. 이전에는 엄두도 낼 수 없었던 수준의 테스트 커버리지를 확보하게 되는데, 이는 테스트 작성 자체가 어려워서가 아니라 테스트를 실행할 믿을 만한 곳이 없었기 때문입니다.

지금 던져볼 만한 질문

다음 자동화 계획 회의 전에, 또는 누군가가 80% 커버리지 달성을 축하하는 다음 스프린트 리뷰 전에, 더 어려운 질문을 던져보세요.

"6개월 후 이 모든 검사를 어디서 진행할까요?"

수학은 용서가 없기 때문입니다.

100개의 테스트는 거의 모든 곳에서 실행할 수 있습니다. 5,000개의 테스트는 오케스트레이션이 필요합니다. 기능, 접근성, 성능, 오디오, 통신 사업자 및 커넥티드 카 시나리오를 포괄하는 50,000개의 테스트는 아키텍처가 필요합니다.

클라우드, 온프레미스 또는 하이브리드 등 어떤 형태를 취할지는 여러분에게 달려 있습니다. 하지만 대규모로 자신 있게 제품을 출시하는 팀들은 모두 한 가지 공통점을 가지고 있습니다. 바로 실행에 대한 질문을 충분히 일찍 제기하고 그에 대한 명확한 답을 찾았다는 것입니다.