오늘날 AI는 사람과 대화하며 맥락을 이해하고, 시를 쓰며, 그림을 그리고, 우리보다 더 많은 정보를 기억할 수 있다. AI가 새로운 디지털 문명을 창조하는 중이라 해도 과언이 아니다. AI가 21세기 초반의 IT 핵심 기술 중 하나로 자리를 확고히 하는 지금, 보안 분야에서도 AI는 위협을 예측하고 스스로 대응하는 지능형 방어체계의 중심축이 되고 있다.

그러나 밝은 면이 있으면 어두운 면도 있듯이, AI를 무력화하고자 하는 기술 또한 인공지능의 발전과 함께 진화하고 있다. 이번 칼럼에서는 AI의 발전과 함께 변화하는 보안 기술을 (1) 전통적 보안 기술에 AI를 도입해 지능적, 능동적, 선제적 보안 환경을 구축하는 긍정적 측면과, (2) 현존하는 AI기술에 대한 공격이라는 부정적 측면으로 나눠 조망해 보고자 한다. AI를 이용해 공격 기술을 개발하고 강화하는 위협도 존재하지만, 이는 다음 기회에 다루기로 하겠다. 

AI 기반 보안 분야

먼저 AI를 기반으로 하는 주요 보안 기술 분야를 알아보자.

1. 위협 탐지 및 대응 자동화

AI 기반 위협 탐지 시스템은 정형화된 룰 기반 시스템보다 네트워크 트래픽 분석, 로그 데이터 모니터링, 이상 징후 탐지 등에서 더 빠르고 정교하게 보안 위협을 식별할 수 있다. 특히 지도 학습(Supervised Learning) 모델은 과거의 침해 사고 데이터를 학습하여 유사한 공격 패턴을 조기에 포착할 수 있으며, 비지도 학습(Unsupervised Learning) 모델은 알려지지 않은 위협(Zero-day Attack)이나 내부자의 이상 행위까지도 실시간으로 탐지할 수 있다.

2. 취약점 관리 및 보안 자동화

AI는 소프트웨어 및 시스템의 취약점을 자동으로 스캔하고, 이를 우선순위에 따라 관리하며 자동화된 패치, 보안 업데이트를 적용하기도 한다. 특히 공격자들의 최신 TTP(Tactics, Techniques, Procedures)를 학습해, 단순히 CVE 기반의 알려진 취약점 뿐만 아니라, 자산 구조나 설정 상의 이상 징후를 기반으로 잠재적 취약점까지도 사전에 식별할 수 있다.

또한 외부 위협 인텔리전스와 내부 보안 로그를 연계해, 취약점이 실제로 공격받을 가능성(Risk Exposure)을 계산하고, 패치 적용의 우선순위와 예상 효과(ROI)까지 예측함으로써 보안 운영자의 전략적 판단을 돕는다. 사람이 수행할 시 오류 발생 가능성이 높고 반복적인 절차를 AI 기반 보안 자동화 관리 시스템(SOAR, Security Ochestration, Automation, and Response)이 대신하면, 침해사고 초기 대응 속도, 운영의 효율성과 정확성 등을 동시에 높일 수 있다.

3. 사용자 인증 및 접근 제어

AI는 생체 인식, 행동 분석, 기기 정보 등 다양한 인증 요소를 결합하여 정밀하고 지능적인 사용자 인증 시스템을 구현한다. 지문이나 홍채, 음성, 얼굴 인식 (생체인증, Biometric Authentication) 외에도 AI는 타이핑 속도, 마우스 이동, 앱 사용 패턴 (행동 기반 인증, Behavioral Biometrics), GPS 이동 경로, 평소 접속 위치 및 시간 등 (맥락 기반 인증, Context-Aware Authentication) 사용자 고유의 데이터를 학습하여 비정상적인 접근 시도나 이상 행위를 자동으로 탐지할 수 있다. 특히 머신러닝 모델은 정상적인 사용자와 공격자 사이의 미묘한 차이를 학습함으로써, 비인가 사용자의 접근 시도에 대해 실시간 경고, 접근 차단 또는 추가 인증을 요구할 수 있다.

인공지능 기술의 보안을 위협하는 주요 요소

한편, 이러한 AI기반 보안 기술에 대한 위협도 꾸준히 증가하고 있다. 다음은 AI에 대한 주요 보안 위협 요소들이다.

1. 적대적 공격(Adversarial Attacks)

회피 공격(Evasion Attack)으로도 알려진 적대적 공격은 AI 모델의 입력값에 미세한 조작(예: 픽셀 노이즈, 주파수 왜곡 등)을 가해 사람이 보기에는 거의 동일한 데이터임에도 AI가 전혀 다른 결과를 출력하도록 만드는 방식이다. 공격자는 이를 통해 이미지 분류를 속이거나, 얼굴 인증, 자율주행, 의료 진단 등 중요한 시스템에서 의도적인 오판단을 유도할 수 있다. 특히 딥러닝 모델의 고차원 복잡성은 이러한 공격에 취약하다고 알려져 있어, 상용 환경에서 모델 운용 시 주의가 필요하다.

2. 데이터 중독(Data Poisoning)

데이터 중독은 AI 모델이 학습하는 과정에서 악의적으로 변조된 데이터를 일부 삽입하여, 향후 모델의 예측 결과에 오류를 유도하거나 공격자가 원하는 행동을 유도하는 방식이다. 모델의 개발 단계에 대한 공격이기 때문에, 훈련 단계에 사용되는 데이터셋의 무결성 확보가 매우 중요하다. 특히 오픈소스나 크롤링 기반 데이터셋을 활용하는 경우, 공격자가 이를 악용해 장기적이고 은밀한 영향을 미칠 수 있어 데이터셋 출처, 품질에 대한 검증이 반드시 필요하다.

3. 모델 탈취 및 역공학(Model Stealing & Reverse Engineering)

공격자가 예측 API를 반복적으로 호출하며 입력-출력 값을 조합해 모델 구조나 내부 가중치를 추정하고 복제하는 공격이다. 우수한 AI 모델이 기업의 핵심 자산으로 평가되는 현재 상황에서 이러한 공격은 회사의 자산 유출로 이어질 수 있다. 또한 공격자가 동일한 기능의 모형을 만들어 기존 모델을 우회하거나 도용할 수도 있다. 특히 SaaS 형태로 제공되는 AI 서비스는 공개된 인터페이스를 통해 탈취 공격에 노출될 가능성이 높다. 올해 초 뜨거운 화제가 되었던 LLM인 딥시크(DeepSeek)도, 모델의 훈련을 위해 고성능 대형 모델의 출력을 이용하는 지식 증류(distillation) 방법으로 ChatGPT 모델을 탈취했다고OpenAI는 주장하고 있다.

4. 서비스 거부 공격 및 자원 소모(DoS / Resource Exhaustion)

AI 서비스는 일반 웹 서비스에 비해 연산 자원이 크고 처리 시간이 긴 편이어서, 공격자가 반복 요청이나 대량 입력을 유도하면 서비스가 마비되거나 다른 사용자의 응답 지연이 발생할 수 있다. 특히 AI에 기반한 보안 솔루션이나 챗봇, 음성비서 등 실시간 응답이 중요한 서비스일수록 과부하 리스크가 크다. 이는 단순한 가용성 침해를 넘어, AI 시스템 전체의 신뢰성 저하와 운영비용 증가로 이어질 수 있다.

5. 프라이버시 침해 및 정보 유출

AI 모델이 과거의 실제 데이터를 학습하는 과정에서, 입력 데이터의 민감한 정보(예: 이름, 주소, 병력 등)가 결과에 은연중에 드러나거나 재식별될 위험이 존재한다. 특히 생성형 AI 모델은 단순히 일반화된 패턴을 생성하는 것이 아니라, 학습된 정보 일부를 응답 형태로 드러낼 수 있다는 점에서 프라이버시 리스크가 크다는 지적이 많다. 의료, 금융, 정부 데이터와 같이 개인정보 보호 기준이 엄격한 분야에서는 반드시 이같은 노출 가능성을 고려한 학습 및 배포 전략을 수립해야 한다.

AI 기반 얼굴인증 기술

지금까지 AI를 도입한 보안 기술과 이에 대한 주요 공격 양상을 살펴보았다. 다음으로는 AI기반 사용자 인증 및 접근 제어 기술 중 가장 널리 알려진 분야인 얼굴인증 기술에 대해 좀 더 상세히 알아보자.

AI 기반 얼굴인증은 딥러닝 기술을 활용해 사용자 얼굴의 고유한 특징을 인식하여 벡터화한 정보로 본인 여부를 판별하는 생체 인증 방식이다. 따라서 기존 비밀번호 기반 인증이나 지문 인식보다 보안성과 사용자 경험에서 우위를 가진다. 이와 같은 AI 기반 얼굴인증 기술은 사용자 인증 및 접근 제어 기술의 한 분야로, 앞에서 나열한 다양한 유형의 보안 위협을 받고 있다.

AI 기반 얼굴인증은 사용자의 얼굴을 인식하고 인증하는 여러 단계의 자동화된 과정을 거쳐서 인증 결과를 도출한다. 각 단계는 딥러닝 기술과 컴퓨터 비전 알고리즘을 기반으로 하며, 다양한 오픈소스 라이브러리와 모델이 실무에서 활용되고 있다.

첫 번째 단계는 영상 또는 이미지 속에서 얼굴의 위치를 식별하는 얼굴 탐지(Face Detection) 과정으로, 정확한 얼굴을 식별하기 위한 출발점이다. 대표적인 기술로는 OpenCV의 Haar Cascade와 DNN 모듈이 있으며, 더 정교한 딥러닝 기반 탐지기로는 MTCNN(Multi-task Cascaded Convolutional Networks), RetinaFace, 그리고 YOLOv5를 얼굴 검출에 특화시킨 YOLOv5-Face 등이 널리 사용된다.

다음은 얼굴 정렬(Face Alignment) 단계이다. 촬영 각도나 표정, 얼굴의 기울기 등으로 인해 발생할 수 있는 인식 오류를 최소화하기 위해, 눈, 코, 입 등의 랜드마크를 기준으로 얼굴을 회전·이동시켜 정렬 (Facial Landmark-based Alignment)한다. 이 과정에는 dlib의 68포인트 랜드마크 모델이나 PyTorch 기반의 face_alignment 라이브러리가 자주 활용되며, OpenCV에서도 일부 기능을 제공한다. 또한, MTCNN, RetinaFace 도 얼굴 검출 뿐 아니라 얼굴 정렬 과정에도 많이 사용된다.

정렬된 얼굴 이미지는 특징 추출(Feature Extraction) 단계의 입력값으로 사용된다. 이 단계에서는 얼굴의 고유 생체정보를 고차원 벡터 (임베딩 벡터)형태로 변환하는 딥러닝 모델이 적용된다. 대표적으로 FaceNet, ArcFace, DeepFace, InsightFace와 같은 신경망 모델이 널리 사용되며, 이들은 얼굴 이미지로부터 정규화된 임베딩 벡터(일명 얼굴 템플릿)를 생성해서 얼굴 간 유사성을 수치적으로 비교할 수 있게 해 준다.

추출된 얼굴 템플릿은 이후 사용자 일치 여부를 확인하는 비교하여 동일인 여부를 검증 (Matching & Verification)하는 단계에 사용된다. 이 단계에서는 인증 대상 사용자의 얼굴 벡터와 데이터베이스에 등록된 기존 얼굴 벡터 간의 유사도를 비교해 동일인 여부를 판단하게 되며, 보통 코사인 유사도(Cosine Similarity)나 유클리드 거리(Euclidean Distance) 등 수학적 거리 함수가 사용된다. 이러한 비교 방식은 1:1 검증 방식과 1:N 식별의 크게 두 가지로 구분된다. 1:1 검증(Verification)은 사용자가 주장하는 신원과 등록된 얼굴 정보를 비교해 본인 여부를 판단하는 방식이며, 1:N 식별(Identification)은 하나의 얼굴 벡터를 기반으로 데이터베이스 내 여러 사용자 중에서 일치하는 사람을 찾아내는 방식이다. 이러한 유사도 계산에는 Scikit-learn과 같은 머신러닝 라이브러리가 자주 활용된다.

딥러닝 기반 얼굴인증 과정

AI 기반 얼굴인증은 여러 유형의 보안 위협에 노출된다. 가장 보편화된 유형의 공격은 실제 얼굴이 아닌 사진, 동영상 등의 위조 얼굴을 이용해서 인증을 시도하는 방법으로, 스푸핑 공격(Spoofing Attack) 또는 프리젠테이션 공격(Presentation Attack, PA)으로 분류하며, 넓은 의미의 적대적 공격으로 볼 수 있다.

최근에는 높은 얼굴 인식 정확도를 갖춘 제품들이 다수 출시되면서, 시스템 간 얼굴 식별 성능의 격차는 점차 줄어들고 있는 반면, 이러한 스푸핑 공격을 차단하는 방어 능력은 여전히 제품별로 차이를 보이고 있다. 따라서 얼굴 인증 시스템의 보안을 강화하기 위해서는 단순한 인식 정확도를 넘어서, 스푸핑 탐지와 방어 기능의 고도화가 필수적이다.

이러한 스푸핑 공격을 방지하는 핵심 기술이 바로 라이브니스 감지(Liveness Detection)이다. 라이브니스 감지는 인증에 사용되는 얼굴 이미지가 실제 사람의 얼굴인지, 아니면 위조된 미디어(사진, 영상, 마스크 등)인지를 판별하는 절차로, 본격적인 인증 과정에 앞서 수행된다 (위 그림 참고). 즉, 얼굴 정렬 이후 특징 추출 및 비교에 들어가기 전에, 해당 얼굴이 ‘실시간으로 존재하는 생체 얼굴’인지를 먼저 확인하는 것이다.

라이브니스 감지 기술은 전통적인 방식과 딥러닝 기반 방식으로 구분된다. 전통적인 방법으로는 눈 깜빡임 감지, 고개 돌리기 등 사용자의 동작 수행 여부 확인, 피부의 빛 반사 특성 분석 등이 있으며, 간단한 규칙 기반으로 구현할 수 있어 실시간 처리에 적합하다. 이러한 기술들은 OpenCV나 MediaPipe 같은 영상 처리 프레임워크를 통해 구현할 수 있으며, 비교적 가벼운 환경에서도 운용 가능하다.

한편, 더 정교한 위조 시도에 대응하기 위해 최근에는 딥러닝 기반의 안티-스푸핑 (Anti-spoofing) 기법이 상용 시스템에 적극 도입되고 있다. 이 방식은 실제 얼굴과 위조 얼굴의 미세한 차이를 학습한 신경망 모델(CNN 등)을 사용하며, 피부 질감, 깊이 정보, 미세한 생체 반응 등을 종합적으로 분석한다. 특히 CASIA-SURF, SiW, CelebA-Spoof 등과 같은 공개 데이터셋을 활용해 학습된 모델들은 상용 환경에서도 높은 정확도를 보여준다. 추가적으로, 시스템에 3차원 카메라(Depth Camera) 또는 적외선(IR) 센서와 같은 하드웨어가 도입되었다면, 얼굴의 실제 깊이와 구조를 파악하는 방법도 활용할 수 있다. 이 경우 단순한 2D 이미지에서는 구분이 어려운 정교한 위조 얼굴도 효과적으로 차단할 수 있다.

결과적으로, AI 기반 얼굴 인증 시스템의 신뢰성과 보안성을 확보하기 위해서는 인식 정확도 못지않게 스푸핑 탐지 기술의 정교함이 중요하다. 인증 시스템을 설계하거나 평가할 때, 라이브니스 감지의 방식과 수준을 반드시 고려해야 하는 이유가 여기에 있다.

이와 같이 AI 기반 얼굴인증 시스템은 각 처리 단계마다 전문화된 기술과 오픈소스 도구들이 조화를 이루는 형태로 구성되어 있다. 특히 라이브니스 감지의 경우, 단일 기술로 위조 얼굴을 100% 차단하기에는 기술적 한계가 있기 때문에, 두 가지 이상의 기술을 적절히 조합해 각 기술의 취약한 부분을 보완할 필요가 있다.

맺음말

지금까지 살펴본 것처럼, 보안 기술에 AI가 도입되고 관련 기술이 발전함에 따라, 이를 겨냥한 다양한 보안 위협 또한 진화하고 있다. 드림시큐리티는 AI 기반 얼굴인증 솔루션 Magic Secu Face를 통해 진화된 얼굴인증 기술을 시장에 선보였다. 이 제품은 얼굴인증에 대한 다양한 위협을 차단하면서, 높은 얼굴인식률을 자랑한다.

드림시큐리티는 AI를 활용한 보안 제품 개발에 그치지 않고, AI 모델 자체에 대한 보안 위협에도 주목하여 기술의 오용을 방지하기 위한 대응 역량을 지속적으로 강화하고 있다. 나아가 고객이 AI 시대의 보안 혁신을 드림시큐리티와 함께 이루어갈 수 있도록 최선의 노력을 기울이고 있다.