2017.04 – 2017.08 · 팀원
SOC 태권로봇 경진대회
상대 로봇의 동작에 반응해 회피·공격·방어를 수행하는 휴머노이드 로봇. 관절 모터에 과부하가 걸리지 않는 범위에서 태권도 동작 모션을 설계하고 하드웨어를 관리했습니다.
AI 모델 연구를 통해 문제를 정의하고 해결 방법을 탐구해 왔습니다. 나아가 연구 성과를 실제 서비스로 구현하고, 다양한 AI 기술을 하나의 시스템으로 연결하며 개발 역량을 확장했습니다.
연구실 인턴으로 AI 연구를 시작해 모델 개발과 실험을 경험했으며, 석사과정에서는 실환경 문제를 해결하기 위한 연구를 수행했습니다. 이후 연구 성과를 AI 서비스와 시스템으로 구현하며 개발 영역까지 경험을 확장해 왔습니다.
숭실대학교 전자정보공학부 IT융합학과 학사
2017.03 – 2024.02
숭실대학교 일반대학원 정보통신공학과 석사
2024.09 – 2026.08 · 통신망보안연구실
학위논문 · 실환경 잡음에 강건성을 갖는 오디오 딥페이크 탐지 프레임워크 연구
ResearchAudio Deepfake Detection · Robust AI · Explainable AI · Audio Forensics
EngineeringAI Model Serving · AI System Integration · Model Deployment
로봇 모션, 영상처리, 임베디드, 적정기술까지 분야를 가리지 않고 시도했고, 졸업작품에서는 딥러닝 모델과 서버·앱을 하나의 서비스로 완성했습니다. 이 경험이 2023년 딥페이크 음성 탐지 연구실 인턴으로 이어졌습니다.
2017.04 – 2017.08 · 팀원
상대 로봇의 동작에 반응해 회피·공격·방어를 수행하는 휴머노이드 로봇. 관절 모터에 과부하가 걸리지 않는 범위에서 태권도 동작 모션을 설계하고 하드웨어를 관리했습니다.
2020.02 – 2020.11 · 팀장 · 영상처리 담당
휴머노이드 로봇이 라인 트레이싱으로 이동하며 4개 미션 중 3개를 완료하는 과제. 컨투어·Convex hull로 방위와 화살표를 인식하고, HSV 마스킹과 면적 비율로 구역·미션 완료 여부를 판별하는 영상처리 전 과정을 맡았습니다.
2021.07 – 2021.08 · 공모전
안전·재해 분야의 사회적 약자를 위한 적정기술 공모전. 겨울철 폭설로 비닐하우스가 무너지는 피해를 줄이기 위해, 지붕에 눈이 쌓이는 것을 최소화하는 구조 아이디어를 제안했습니다.
2023.06 – 2023.11 · 졸업작품
MediaPipe로 추출한 손 랜드마크 시퀀스를 LSTM으로 학습해 수어를 번역하고, Flask 서버(HTTP·Socket.IO)와 Flutter 앱을 직접 구축해 실시간으로 연동했습니다.
다양한 실환경 잡음으로 인해 저하되는 오디오 딥페이크 탐지 성능을 개선하기 위해, 입력 음성의 잡음 특성에 따라 탐지 모델을 효율적으로 적응시키는 방법을 제안했습니다.


기존 탐지 모델은 배경 소음·잔향·압축 등 실환경 조건에서 성능이 크게 저하되었습니다. 전체 모델을 재학습하는 방식은 학습 비용이 크고, 새로운 잡음 환경에 적응하는 과정에서 기존 성능이 저하될 수 있었습니다.
잡음 환경별 특성에 맞춰 모델을 효율적으로 적응시키기 위해, 잡음 유형별 LoRA 어댑터를 학습했습니다. 입력 음성의 Spectrogram·MFCC·F0 특징을 활용해 잡음 유형을 분류하고, 해당 환경에 적합한 어댑터를 선택해 동결된 탐지 모델에 적용했습니다.

중요도가 높은 프레임을 제거하면 탐지 오류율이 증가하지만, 중요도가 낮은 프레임을 제거할 때는 성능이 상대적으로 유지됩니다.
| 10% | 20% | 30% | ||||
|---|---|---|---|---|---|---|
| K (Kb/Ks) | Pos ↑ | Neg ↓ | Pos ↑ | Neg ↓ | Pos ↑ | Neg ↓ |
| 2 (1/1) | 9.74 | 8.03 | 16.58 | 7.89 | 37.71 | 8.88 |
| 4 (2/2) | 9.49 | 7.85 | 13.65 | 7.64 | 28.75 | 9.35 |
| 8 (3/5) | 8.61 | 7.77 | 10.99 | 7.48 | 24.29 | 9.56 |
| 16 (4/12) | 8.77 | 7.78 | 13.14 | 7.68 | 31.81 | 9.28 |

모델이 실제 음성(Bonafide)으로 판단한 예시입니다. 실제 음성 구간에 높은 중요도가 집중되고 위조·비음성 구간은 낮게 나타나, 모델이 실제 음성 구간을 근거로 판단했음을 보여줍니다.
음성이 포함된 녹음에서 환경음 단서가 가려지는 문제를 해결하기 위해, 장면 분류에 필요한 특징은 보존하면서 음성의 영향을 줄이는 프레임워크를 제안했습니다.


음성이 포함된 녹음에서는 발화가 주변 환경음과 중첩되어 녹음 장소를 구분하는 단서가 가려집니다. 이로 인해 기존 음향 장면 분류 모델의 성능이 저하될 수 있습니다.
음성이 없는 환경음으로 학습한 장면 분류 모델을 교사 모델로 활용했습니다. 이후 음성 억제 네트워크가 음성의 영향을 줄이면서도 환경 분류에 필요한 특징을 유지하도록, 신호 복원과 특징 보존 및 분류 목적을 함께 고려해 학습했습니다.
다른 음성 제거 기법은 한쪽 환경에서 오히려 성능이 떨어졌지만, SAFE는 두 환경 모두에서 가장 크게 향상했습니다.
SBR(Speech-to-Background Ratio) 10 dB 조건에서 음성이 포함된 환경음의 분류 성능 비교 · F1이 높을수록 우수
| Method | 한국어 기반 환경 | 영어 기반 환경 |
|---|---|---|
| Baseline | ||
| 억제 미적용 | 68.3 | 56.3 |
| 음성을 추정해 빼는 방식 | ||
| MossFormer2-SE | 76.9 (+8.6) | 45.4 (−10.9) |
| Demucs | 33.3 (−35.0) | 11.0 (−45.4) |
| 장면 신호를 복원하는 방식 | ||
| Liu et al. | 74.4 (+6.1) | 41.8 (−14.6) |
| SAFE (Ours) | 81.0 (+12.7) | 68.6 (+12.3) |
전체 목록은 Google Scholar에서 확인할 수 있습니다.
Trident of Poseidon: A Generalized Approach for Detecting Deepfake Voices
Grad-CAM을 이용한 딥페이크 음성 탐지 시스템의 결정 설명
음성 변형 추적: 강건한 음성 처리를 위한 노이즈 분류 접근법
Defending Speaker Verification Against Deepfake: A Multi-Step Approach
Dynamic Noise-Aware Multi-LoRA Framework towards Real-World Audio Deepfake Detection
Robust SASV System in Real-World Scenarios: A Fusion Approach for the WildSpoof Challenge
FLEX: Frame-Level Explanations for Trustworthy Audio Deepfake Detection
Explaining Suspicious Speech Beyond Binary Deepfake Detection: A Five-Module Proposition-Centered Evidence Profile
SAFE: A Speech Suppression-Based Acoustic Scene Classification Framework for Environmental Evidence in Audio Forensics

딥페이크 영상·딥보이스·AI 생성 뉴스 탐지와 원천 추적 기술을 고도화하고, 이를 MLOps 기반 통합 탐지 시스템으로 묶어 경찰 수사 현장에 적용하는 과제입니다. 이 중 음성 탐지와 1차 통합 시스템을 맡았습니다.

매일 최신 논문을 모아 로컬 LLM으로 요약하고, 지식 그래프와 벡터 DB로 정리해 의미 기반으로 검색할 수 있게 만든 개인 연구 파이프라인입니다.
참여 연구단의 실시간 딥페이크 음성 탐지 기술 개발 및 상용화 성과 선정
실환경 딥페이크 탐지·화자 인증 국제 챌린지 팀 2위
참여 연구단의 AI 기술 사업화 가능성 인정
함께 이야기 나누고 싶습니다.
wcn4457@naver.com그 밖의 저장소
© 2026 이웅재 · Woongjae Lee