인공지능이 암호해독 속도를 가속화하고 있다. 암호학은 이에 적응해야 한다. 

2026년 7월, Anthropic은 Claude Mythos Preview를 사용하여 얻은 두 가지 암호 분석 결과를 발표했습니다. 하나는 양자 컴퓨팅 이후 암호화 방식인 HAWK에 대한 공격을 개선한 것이고, 다른 하나는 7라운드 버전의 AES에 대한 공격을 개선한 것입니다. Anthropic은 두 결과 모두 현재 운영 시스템에 영향을 미치지 않는다는 점을 명확히 밝혔습니다. 

이러한 전제 조건을 먼저 짚고 넘어가는 것이 중요합니다. 인공지능이 갑자기 기존 암호화 기술을 무용지물로 만든 것은 아닙니다. 인공지능은 연구자들이 방대한 기법을 검색하고, 가설을 검증하고, 실험을 설계하고, 생소한 구조를 탐구하는 속도를 변화시켰습니다. 즉각적인 효과는 암호 해독 작업의 속도 향상이지, 어려운 수학 문제를 마법처럼 해결하는 지름길이 아닙니다. 

따라서 실질적인 문제는 AI가 "암호화를 뚫을 수 있을지" 여부가 아닙니다. 오히려 암호 시스템의 어떤 부분이 압박을 받고 있는지, 최근 연구 결과가 실제로 무엇을 보여주는지, 그리고 방어자들이 연구 결과가 실제 운영상의 문제로 이어지기 전에 대응할 수 있는지 여부가 중요합니다. 

암호화 시스템이 실패할 수 있는 세 가지 방법  

암호화 보안은 최소 세 가지 계층으로 구성되며, 이 계층들은 서로 대체될 수 없습니다. 

제 인 구조암호화 알고리즘, 그 매개변수, 그리고 그 알고리즘의 수학적 가정을 의미합니다. 공개된 암호화 알고리즘은 누구나 검토할 수 있어야 합니다. 알고리즘의 보안은 공격자가 주어진 자원으로 관련 문제를 해결할 수 없다는 전제에 기반합니다. 디지털 서명 체계는 위조를 불가능하게 만들지 않으면서 누구나 서명을 검증할 수 있어야 합니다. 보안 증명은 이러한 주장을 구체화하지만, 명시된 가정 하에서 특정 보안 목표에 한해서만 가능합니다. 

두 번째 인 이행수학적으로 타당한 알고리즘이라도 타이밍, 캐시 동작, 전력 소비, 전자기 방출 등에서 성능 저하가 발생할 수 있습니다.safe 무작위성이나 오류 응답을 이용할 수도 있습니다. 구현 과정에서 올바른 기본 요소를 오용하거나 일반적인 프로그래밍 오류를 통해 비밀 정보를 노출할 수도 있습니다. 이러한 공격들은 근본적인 수학적 문제를 해결할 필요가 없습니다. 

세 번째는 조작키는 주기적으로 교체해야 합니다. 보안이 취약한 클라이언트는 권한을 박탈해야 합니다. 프로토콜은 새로운 알고리즘으로의 전환 경로를 확보해야 합니다. 보안팀은 암호화가 어디에 사용되는지, 각 키에 어떤 데이터가 의존하는지 파악해야 합니다. 취약점이 발견된 후에도 변경할 수 없는 시스템은 알고리즘 이름이 시사하는 것만큼 실질적인 복원력이 떨어집니다. 

이러한 구분은 최근의 AI 연구 결과를 암호화에 대한 하나의 획일적인 공격으로 요약해서는 안 되는 이유를 설명해 줍니다. HAWK는 후보 구조에 관한 것이고, AES 결과는 축소된 연구 대상에 관한 것이며, BSI 사례는 구현 분석에 관한 것입니다. 각 결과는 서로 다른 위협 모델과 실질적인 의미를 지닙니다. 

암호화는 더 큰 공격 표면 내부에 위치합니다. 

암호화는 드물게 단독으로 실패합니다. 기본 요소를 둘러싼 배포 방식은 공격자가 해당 요소를 관찰하고, 테스트하고, 대응하는 방식에 영향을 미칩니다. 

2026년 페타르 라단리예프의 연구는 다른 관점에서 유사한 결론에 도달합니다. 이 연구는 문헌 분석과 20명의 전문가 인터뷰, 3개의 산업 워크숍을 결합하여 공개키 시스템에 대한 AI 기반 공격을 조사했습니다. 논문은 암호화 보안을 알고리즘 강도만의 함수가 아니라 적응형 시스템 수준의 속성으로 간주해야 한다고 주장합니다. 인터뷰와 워크숍 자료는 실무자들의 우려를 보여주는 유용한 지표이지만, 소규모의 질적 표본을 전체 인구의 유병률 추정치로 해석해서는 안 됩니다. 

시스템 수준의 접근 방식은 구축, 구현 및 운영 계층을 연결하기 때문에 유용합니다. AI는 체계의 취약점을 찾아내고, 구현 과정에서 발생하는 보안 누수를 분석하며, 보안 침해 발생 후 대응을 더욱 유연하게 만들 수 있습니다. 이러한 기능들은 서로 다르지만, 모두 검사, 검증 및 변경이 가능한 시스템을 선호하는 사람들에게 유리하게 작용합니다. 

이러한 가속 기술은 공개 키 암호화를 사용하는 시스템을 포함하여 애플리케이션 사칭을 더욱 저렴하게 만들 수 있습니다. 애플리케이션은 서명 기관을 식별하거나 서명된 메시지를 검증하는 등 정상적인 작동 과정에서 공개 키 또는 인증서를 포함할 수 있습니다. 이러한 자료는 공개되어야 하지만, 여전히 사칭의 도구로 사용될 수 있습니다. 악성 프로그램은 백엔드 또는 보안 검사에서 특정 키 또는 인증서의 제시를 애플리케이션 신원 증명으로 간주할 때, 이를 추출하여 유사 애플리케이션에 복사할 수 있습니다. AI 기반 악성 프로그램은 이러한 추출을 자동화하고, 요청 흐름을 재구성하고, 유사 클라이언트를 생성하고, 애플리케이션 변경에 따라 트래픽을 조정할 수 있습니다. 

추출된 공개 자료로는 여전히 해당 서명을 위조하거나 데이터를 해독할 수 없습니다. 문제는 주변 프로토콜이 공개 암호화 자료를 실제 애플리케이션에서 요청이 왔다는 증거로 오해하고 있다는 점입니다. 클라이언트 신원이 중요한 경우, 서버는 플랫폼 인증(가능한 경우)이나 해당 설치 환경에서 생성 및 보호된 개인 키 소유를 증명하는 서명과 같은 더 강력한 신호가 필요합니다. AI는 가장 클라이언트의 추출 및 구축 속도를 높이지만, 그 기반이 되는 공개 키 알고리즘을 해킹하는 것은 아닙니다. 

최근 결과가 보여주는 것은 무엇인가? 

HAWK: 후보자에 대한 중요한 결과 

Anthropic은 격자 동형 문제(Lattice Isomorphism Problem)를 기반으로 하는 양자 후 서명 방식인 HAWK에 대한 개선된 키 복구 공격을 보고했습니다. HAWK는 NIST의 추가 양자 후 서명 방식 승인 절차를 거쳤지만, 실제로 배포되거나 표준으로 채택된 알고리즘은 아니었습니다. HAWK 프로젝트 측은 해당 공격이 공개된 후 승인 절차에서 철회했다고 밝혔습니다. 

이번 공격 결과는 여전히 의미 있는 것입니다. Anthropic은 이번 공격으로 HAWK의 키 강도가 사실상 절반으로 줄어들었다고 밝혔습니다. 공격 속도는 실질적인 다항 시간 복잡도가 아닌 지수 함수적 확장성을 보이며, 더 큰 파라미터 세트를 사용하는 공격도 여전히 어렵습니다. 하지만 원래 의도했던 보안 마진을 복원하려면 HAWK의 효율성 이점을 일부 약화시키는 변경이 필요할 것입니다. 

이는 구조적 수준에서의 발견일 뿐, 양자 후 암호화 전반에 대한 최종적인 판단은 아닙니다. 해당 공격은 HAWK에 특화된 것이며, 다른 난제를 기반으로 하는 Falcon에는 직접적으로 적용되지 않으며, 격자 기반 암호화 방식 자체가 취약하다는 것을 보여주는 것도 아닙니다. 이 결과의 가치는 HAWK가 실제 시스템에 사용되는 표준이 되기 전에 공개적인 검토를 통해 취약점이 발견되었다는 점에 있습니다. 

라운드 수를 줄인 AES: 연구의 진전이지, 실질적인 혁신은 아니다 

두 번째 Anthropic 연구 결과는 7라운드 버전의 AES-128에 관한 것입니다. 완전한 AES-128은 10라운드를 사용하고, AES-192와 AES-256은 각각 12라운드와 14라운드를 사용합니다. 암호 분석가들은 라운드 수를 줄인 버전을 연구하는데, 이는 완전한 암호를 해독하지 않고도 공격 기법을 테스트하고 보안 여유를 추정할 수 있는 방법을 제공하기 때문입니다. 

Anthropic은 7라운드 AES 암호화에 대한 기존 공격보다 실행 시간을 약 200배에서 800배까지 향상시키는 새로운 중간자 공격 기법을 발표했습니다. 이 공격은 여전히 ​​선택 평문(chosen-plaintext) 설정을 가정하며, 공격자는 고정된 미지의 키를 사용하여 여러 입력값의 암호화를 요청할 수 있습니다. 기존 연구는 약 2의 실행 시간을 필요로 합니다.105 선택된 평문으로 인해 일반적인 시스템에서는 실험이 완전히 비현실적이게 됩니다. 

이는 AI가 암호 해독 연구에 기여할 수 있다는 유용한 증거입니다. 하지만 HTTPS, 디스크 암호화 또는 전체 라운드 AES를 사용하는 다른 시스템에 긴급 마이그레이션이 필요하다는 증거는 아닙니다. 7라운드에 대한 결과를 10라운드 AES 해독으로 제시하는 것은 결과의 의미를 부여하는 조건을 없애는 것이나 마찬가지입니다. 

CryptanalysisBench: 역량을 보다 체계적으로 측정하기 

벤치마크는 실제 배포된 암호화 기술에 대한 공격이 아니라, 모델이 공격으로 이어지는 작업에서 유용하게 활용되고 있는지 여부를 보여주는 도구입니다. 암호해독벤치 본 연구는 6가지 암호화 기본 요소 계열을 포괄하는 191개 작업에 걸쳐 언어 모델을 평가합니다. 

이 논문은 과제를 크게 세 가지 그룹으로 분류합니다. 첫째, 실제적인 해독 방법이 알려진 암호 체계, 둘째, 실제적인 해독 방법은 알려지지 않았지만 실제 강도 및 축소된 변형 난이도로 테스트된 암호 체계, 셋째, 암호 분석의 최첨단을 대표하는 도전 과제입니다. 보고된 결과에 따르면, 최첨단 모델은 해독 방법이 알려진 과제의 상당 부분을 해결하고, 두 번째 그룹의 실제 강도 과제 중 일부를 해결하며, 훨씬 더 많은 축소 변형 과제를 해결합니다. 

저자들은 또한 SpoC 인증 암호화 구조의 설계 결함과 KINDI에서 공개한 선택 암호문 보안 증명의 오류를 이용한 키 복구 공격을 보고합니다. 이러한 발견 사항은 신중하게 해석해야 합니다. 논문에서는 이러한 발견이 저자들의 지식으로는 새로운 사실일 뿐이며, 모든 유사한 구조가 안전하다고 가정할 이유가 되지 않는다는 점을 분명히 밝히고 있습니다.safe이러한 모델의 중요성은 이제 연구자들이 실제 사양 및 구현과 비교하여 검증할 수 있는 구체적인 주장을 모델 출력에서 ​​도출할 수 있다는 점에 있습니다. 

따라서 벤치마크의 실질적인 가치는 두 가지입니다. 연구원들에게 진행 상황을 측정하는 방법을 제공하고, 후보 시스템에 대한 배포 전 스트레스 테스트를 가능하게 합니다. 하지만 전문가 검토의 필요성을 없애는 것은 아닙니다. 모델은 더 취약한 변형을 겨냥하거나, 가정을 잘못 진술하거나, 미묘한 오류를 포함하는 설득력 있는 주장을 제시할 수 있습니다. 발견 비용이 저렴해질수록 독립적인 검증의 가치는 더욱 커집니다. 

AI는 이미 구현 단계에서 중요한 역할을 하고 있습니다. 

인공지능과 암호학의 연관성은 대규모 언어 모델에만 국한되지 않습니다. 독일 연방 정보 보안국(BSI)은 머신 러닝을 사이드 채널 분석에 널리 사용되는 기술로 설명합니다. 사이드 채널 공격은 연산 과정에서 의도치 않게 발생하는 결과, 예를 들어 실행 시간, 전력 소비, 전자기파 방출, 캐시 동작 등을 학습하는 방식입니다. 

BSI는 2018년 CHES 챌린지에서 자사 팀이 신경망과 SAT 솔버를 결합하여 전력 소비 곡선으로부터 AES 비밀 키를 복구했다고 보고했습니다. 2020년 챌린지에서는 관련 기술을 사이드 채널 공격에 대한 저항력을 갖도록 설계된 경량 암호 구현체인 Clyde-128에 적용했습니다. 이러한 사례들은 AES의 수학적 구조를 무너뜨리는 것이 아니라, 물리적 구현에서 유출된 정보를 복구하는 것입니다. 

이러한 차이점은 방어자에게 중요합니다. AI는 공격자가 잡음이 섞인 측정값을 처리하고, 유용한 특징을 선택하고, 가설을 비교하고, 통계적 인식을 정확한 키 복구와 연결하는 데 도움을 줄 수 있습니다. 또한 방어자가 테스트 중에 정보 유출을 발견하는 데에도 도움을 줄 수 있습니다. BSI는 이러한 방법이 비대칭 및 양자 컴퓨팅 구현에 어떻게 적용되는지 연구하고 있으며, 가장 강력한 결과는 종종 머신 러닝과 전문가 지식을 결합할 때 나타난다는 점에 주목하고 있습니다. 

이 교훈은 기계 학습이 암호 분석 전문가를 대체한다는 것이 아닙니다. 구현 보안은 이미 자동화를 통해 전문 분석 비용을 절감할 수 있는 실질적인 연구 분야라는 것입니다. 

화이트박스 암호화는 비용 증가 요인이지 신뢰의 경계가 아닙니다. 

화이트박스 암호화는 구현 문제를 매우 명확하게 보여주기 때문에 유용한 사례 연구입니다. 애플리케이션이 라이선스 토큰을 검증하거나 클라이언트 요청을 인증해야 한다고 가정해 보겠습니다. 기존의 메시지 인증 코드(MAC)는 비밀 키에 의존합니다. 신뢰할 수 없는 클라이언트가 해당 키를 수신하면, 클라이언트를 제어하는 ​​공격자는 암호화 알고리즘의 강도와 관계없이 유효한 MAC을 생성할 수 있습니다. 

화이트박스 기법은 내장된 키를 난독화된 코드, 변환된 조회 테이블 및 기타 구현 기법과 결합하여 추출하기 어렵게 만듭니다. 이러한 기법은 사용자가 검사하고 조작할 수 있는 환경에서 실행되는 소프트웨어를 위해 설계되었습니다. 따라서 소프트웨어 전용 결제 구성 요소, 라이선스 시스템, 콘텐츠 보호 및 일부 온디바이스 모델 보호 체계에 대한 공격 비용을 높이는 데 유용합니다. 

이러한 공격 방식은 클라이언트를 신뢰할 수 있는 환경으로 만들지 않습니다. 2016년 마이크로소프트 리서치 발표에서 차분 연산 분석(Differential Computation Analysis, DCA)의 저자들은 차분 전력 분석(Differential Power Analysis, DPA)의 소프트웨어 버전을 설명했습니다. 이 도구는 계측된 소프트웨어의 메모리 접근 추적을 기록하고 키 종속 상관 관계를 사용하여 공개적으로 사용 가능한 표준화된 암호화의 화이트박스 구현에서 키를 추출합니다. 이 공격은 공급업체의 조회 테이블에 대한 접근이나 기존의 리버스 엔지니어링 작업을 필요로 하지 않습니다. 

DCA는 인공지능(AI) 결과물이 아닙니다. AI는 미량 분석의 일부를 더 빠르게 처리할 수 있지만, 이는 DCA 자체에서 입증된 사실이 아니라 미래의 가능성일 뿐입니다. 이미 확립된 결론은 충분합니다. 즉, 계산 과정을 모호하게 만든다고 해서 계산 결과가 만들어내는 정보 자체가 사라지는 것은 아닙니다. 

화이트박스 암호화는 신뢰할 수 있는 하드웨어를 사용할 수 없거나 전체 기기 집단에서 사용할 수 없는 경우 합리적인 완화책이 될 수 있습니다. 하지만 중요한 비밀 정보나 거래를 보호하는 유일한 수단으로 여겨서는 안 됩니다. 서버 측 권한 부여, 가능한 경우 하드웨어 기반 키, 코드 서명, 런타임 무결성 검사, 모니터링, 단기 자격 증명, 그리고 해지 경로 설정은 다양한 장애 유형에 대응할 수 있습니다. 설계 시에는 클라이언트가 결국 변조되거나 추출될 수 있다는 점을 고려해야 합니다. 

무엇이 여전히 더 강력한 입지를 제공하는가 

어떤 알고리즘도 영구적인 보장을 제공하지 않습니다. 더 강력한 입지는 여러 속성을 조합함으로써 확보됩니다. 

- 공개적으로 검토된 구조물은 최대 강도로 시공되었습니다. 광범위한 분석을 거쳐 의미 있는 보안 여유를 확보한 최종 표준은 독자적인 설계나 축소된 실험보다 더 나은 출발점입니다. (NIST의) ML-KEM ML-DSA 표준화는 공개적인 분석을 통해 이점을 얻지만, 표준화가 향후 검토를 불필요하게 만드는 것은 아닙니다. 

- 보수적인 가정과 여유분. 보안 체계는 가장 잘 알려진 공격 방식이 요구되는 보안 수준보다 약간 더 비용이 많이 드는 것에 의존해서는 안 됩니다. 후보 구조는 초기 검토 과정을 통과한 후에도 지속적인 분석이 필요합니다. 

- 강화된 구현. 일정한 시간 동작, safe 무작위성, 사이드 채널 테스트, 오류 저항성, 안전한 키 저장소 및 올바른 프로토콜 구성은 기본 요소와 이를 실행하는 장치 사이의 간극을 보호합니다. BSI의 사이드 채널 저항 관련 지침 이를 알고리즘 이름에서 자동으로 도출되는 속성이 아니라 엔지니어링 및 평가 문제로 취급합니다. 

- 공개 키 자료를 애플리케이션의 신원 증명으로 간주하지 마십시오. 앱에서 추출한 공개 키 또는 인증서를 유사 클라이언트에 복사할 수 있습니다. 이러한 정보가 존재하면 취약한 신원 확인을 속일 수는 있지만, 그 자체로는 유효한 서명을 생성할 수 없습니다. 클라이언트 신원이 중요한 경우, 가능한 경우 플랫폼 인증을 사용하거나 기기에서 생성 및 보호되는 설치별 개인 키를 사용하고, 소유 증명을 요구하며, 해지를 지원해야 합니다. 

- 독립적인 검증. 공격을 재현하고, 매개변수를 확인하고, 코드를 테스트하고, 실제로 증명하는 정리를 검토하십시오. 형식적이고 기계가 검증할 수 있는 증명이 도움이 될 수 있지만, 전문가들은 형식적인 진술이 중요한 보안 주장과 일치하는지 여전히 확인해야 합니다. 

- 부품을 교체할 수 있는 능력. 암호화 종속성을 파악하고, 알고리즘 선택을 애플리케이션 로직과 분리하고, 프로토콜 버전을 관리하고, 체계적인 마이그레이션 경로를 지원하고, 키를 주기적으로 변경하고, 손상된 클라이언트의 권한을 취소하는 것. 이것이 실질적인 의미의 암호화 유연성입니다. 

사용자 제어 기기의 소프트웨어의 경우, 유지해야 할 분리 원칙이 하나 더 있습니다. 기밀성, 무결성, 기기 신뢰도 및 권한 부여는 서로 다른 보안 목표입니다. 화이트박스 기법은 설계의 일부를 개선하는 데 도움이 될 수 있지만, 이러한 목표를 모두 동시에 달성할 수는 없습니다. 

회복탄력성이란 움직일 수 있는 능력을 의미합니다. 

인공지능 기반 암호 분석은 보안 연구의 속도를 변화시키고 있습니다. 후보 암호를 더욱 심층적으로 탐색할 수 있고, 사이드 채널 추적을 더 큰 규모로 처리할 수 있습니다. 심지어 인간 연구팀이 관련 문헌을 검토하기도 전에 잠재적인 공격 코드가 실행 가능한 코드로 변환될 수도 있습니다. 이러한 변화는 검증, 재현성, 그리고 전문가의 판단을 더욱 중요하게 만듭니다.  

즉각적인 대응책은 기존 암호화 기술을 포기하는 것이 아닙니다. 오히려 주변 보안 프로그램을 더 쉽게 검사하고 변경할 수 있도록 만들어야 합니다. 충분한 안전 여유를 둔 공개된 암호화 구조를 사용하고, 실제 구현체의 정보 유출 여부를 테스트해야 합니다. 모델 기반 분석 결과는 독립적으로 재현될 때까지 가설로 간주해야 하며, 알고리즘과 키가 사용되는 위치를 추적하고, 비상 상황 발생 전에 마이그레이션을 연습해야 합니다. 

암호화 기술이 강력한 이유는 그 자체가 신비롭기 때문이 아닙니다. 암호화 기술의 진정한 강점은 전제 조건이 공개되고, 구현 방식이 검증되었으며, 주장 내용이 타당성을 검증받을 수 있고, 새로운 증거가 나타날 때 운영자가 구성 요소를 교체할 수 있을 때 발휘됩니다. 인공지능은 공격자의 도구를 끊임없이 발전시킬 것입니다. 따라서 방어자는 그에 발맞춰 발전하고 변화할 수 있는 시스템이 필요합니다. 

출처 및 추가 자료 

• “Anthropic: Claude를 이용한 암호화 취약점 발견”: https://www.anthropic.com/research/discovering-cryptographic-weaknesses 

• “CryptanalysisBench: LLM이 암호 분석을 할 수 있을까요?”: https://arxiv.org/abs/2607.18538 

• “매튜 그린: 앤트로픽의 새로운 암호 분석 결과에 대한 몇 가지 생각”: https://blog.cryptographyengineering.com/2026/07/29/some-notes-about-anthropics-new-results/ 

• “BSI: 암호학 분야의 인공지능 응용”: https://www.bsi.bund.de/EN/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Kryptografie/KI-in-der-Kryptografie/ki-in-der-kryptografie.html 

• “BSI: 사이드 채널 저항”: https://www.bsi.bund.de/EN/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Kryptografie/Seitenkanalresistenz/seitenkanalresistenz_node.html 

• “NIST FIPS 203: 모듈-래티스 기반 키 캡슐화 메커니즘 표준”: https://csrc.nist.gov/pubs/fips/203/final 

• “NIST FIPS 204: 모듈-래티스 기반 디지털 서명 표준”: https://csrc.nist.gov/pubs/fips/204/final 

• “HAWK: 격자 동형 문제에서 영감을 받은 서명 방식”: https://hawk-sign.info/ 

• “Microsoft Research: 차분 계산 분석”: https://www.microsoft.com/en-us/research/video/differential-computation-analysis-hiding-your-white-box-designs-is-not-enough/ 

• “Radanliev: AI 기반 적응형 공격자와 공개 키 시스템의 암호화 신뢰도 저하”: https://link.springer.com/article/10.1186/s40543-026-00547-y