의료 현장에서의 설명 가능한 AI(XAI): 현황과 미래 전망

의료 현장에서 인공지능(AI)의 활용이 급증하고 있습니다. AI는 의료 진단, 치료 계획, 환자 관리 등 다양한 분야에서 중요한 역할을 하고 있습니다. 그러나 AI 모델의 의사결정 과정이 불투명한 '블랙박스' 문제가 계속 제기되고 있습니다. 이러한 배경에서 '설명 가능한 AI(Explainable AI, XAI)'가 의료 분야에서 중요한 화두로 떠오르고 있습니다.

AI 기반 의료 진단과 설명 가능성 (Explainable AI in Healthcare)

 

의료 AI와 설명 가능성의 중요성

의료 환경에서 AI 모델이 왜 특정 진단을 내렸는지 설명할 수 없다면, 의료진과 환자 모두 해당 결과를 신뢰하기 어렵습니다. Ghassemi 등(2021)의 연구에 따르면, "현재 의료 AI 접근법의 불투명성은 임상 환경에서의 신뢰와 채택에 심각한 장벽이 된다"고 지적했습니다1. 이는 의료 AI가 실제 의료 현장에서 효과적으로 활용되기 위해서는 설명 가능성이 필수적임을 시사합니다.

 

설명 가능성은 단순한 신뢰 문제를 넘어 법적, 윤리적 측면에서도 중요합니다. 유럽연합의 AI 규제법(EU AI Act)은 의료 분야에서 고위험 AI 시스템에 대한 설명 가능성을 의무화하고 있으며, 미국 FDA도 의료 AI 승인 과정에서 설명 가능성을 중요한 평가 기준으로 삼고 있습니다. 특히 FDA는 2024년 6월 "기계학습 기반 의료기기의 투명성을 위한 지침 원칙(Transparency for Machine Learning-Enabled Medical Devices: Guiding Principles)"을 발표했으며2, 2025년 1월에는 "인공지능 기반 기기 소프트웨어 기능을 위한 생명주기 관리 및 마케팅 제출 권장사항" 지침을 발표했습니다3.

 

FDA는 AI 기반 의료기기의 투명성을 "기기에 관한 적절한 정보(의도된 사용, 개발, 성능, 그리고 가능한 경우 로직 포함)가 이해관계자들에게 명확하게 전달되는 정도"로 정의하고 있습니다4. 이는 정보 공유와 기기의 사용성 모두와 연결되어 있습니다.

 

최신 설명 가능 의료 AI 기술

1. 그래디언트 기반 방법론

Grad-CAM과 같은 기술은 딥러닝 모델이 의료 영상에서 어떤 부분에 집중했는지 시각적으로 설명합니다. Selvaraju 등(2017)이 개발한 이 기술은 특히 의료 영상 분석에서 AI의 의사결정 과정을 시각화하는 데 유용합니다5. 예를 들어, 흉부 X-ray에서 폐렴을 진단할 때 AI가 어떤 영역을 중점적으로 분석했는지 히트맵으로 표시함으로써 의료진의 이해를 돕습니다.

2. LIME과 SHAP의 의료 적용

LIME(Local Interpretable Model-agnostic Explanations)과 SHAP(SHapley Additive exPlanations)은 복잡한 AI 모델의 예측을 단순화하여 설명하는 기술입니다. Lundberg와 Lee(2017)가 개발한 SHAP는 게임 이론을 기반으로 각 입력 변수가 예측 결과에 미치는 영향을 정량화합니다6. 메이요 클리닉은 이 기술을 활용하여 당뇨병 합병증 예측 모델의 의사결정 과정을 설명하는 시스템을 개발했습니다.

3. 규칙 기반 설명 시스템

IBM Watson 헬스는 의료 AI 시스템에 규칙 기반 설명 레이어를 추가하여 복잡한 의사결정 과정을 임상 규칙 형태로 변환하는 기술을 개발했습니다. 이러한 접근법은 의료진이 익숙한 임상 용어와 개념을 통해 AI의 판단을 이해할 수 있게 합니다.

 

실제 적용 사례

1. 방사선 영상 분석의 설명 가능성

여러 병원에서 AI 기반 방사선 영상 분석 시스템에 설명 가능성 기능을 도입하여 의료진의 AI 활용도를 높이고 있습니다. 이러한 시스템은 폐암, 유방암 등의 병변을 감지할 뿐만 아니라, 해당 판단의 근거가 되는 영상 부위를 하이라이트하고 이를 기존 유사 사례와 비교하여 제시합니다.

2. 환자 맞춤형 치료 계획

암 환자의 개인화된 치료 계획을 수립하는 설명 가능한 AI 시스템이 개발되고 있습니다. 이러한 시스템은 환자의 유전적 특성, 병력, 생활 습관 등 다양한 요인을 고려하여 최적의 치료법을 제안하며, 각 요인이 치료 결정에 미치는 영향력을 시각적으로 표현합니다.

 

설명 가능한 의료 AI 개발의 도전과제

1. 정확성과 설명 가능성의 균형

설명 가능성을 높이기 위해 모델의 복잡성을 줄이면 정확도가 저하될 수 있습니다. 이러한 트레이드오프는 의료 AI 개발에서 중요한 도전 과제입니다. 세계보건기구(WHO, 2021)는 "의료 AI의 설명 가능성과 정확성 사이의 균형을 맞추는 것이 중요하다"고 강조했습니다7.

2. 임상 전문가와의 협력

설명 가능한 AI 개발에는 기술적 접근뿐만 아니라 임상 전문가와의 긴밀한 협력이 필요합니다. 의료 AI 개발 초기 단계부터 임상 전문가가 참여할 때 실제 의료 현장에서의 적용 가능성이 높아집니다.

3. 윤리적, 법적 고려사항

의료 AI의 설명 가능성은 윤리적, 법적 측면에서도 중요합니다. 특히 환자 개인정보 보호와 AI 모델의 편향성 문제가 주요 고려사항입니다. FDA는 2025년 1월 발표한 지침에서 AI 기반 의료기기의 투명성과 편향성 문제를 해결하기 위한 포괄적인 접근 방식의 중요성을 강조했습니다8.

 

미래 전망

의료 AI의 설명 가능성은 앞으로 더욱 중요해질 전망입니다. 기술적 발전과 함께 규제 환경 변화, 환자와 의료진의 인식 변화도 이러한 흐름을 가속화할 것입니다. 특히 주목할 만한 발전 방향은 다음과 같습니다:

• 멀티모달 설명 시스템: 텍스트, 시각화, 음성 등 다양한 형태로 AI 판단을 설명하는 시스템이 개발되고 있습니다.
• 자연어 기반 설명: 의료 AI가 의학 전문용어와 일반 언어를 모두 활용하여 의사와 환자 각각에게 맞춤형 설명을 제공하는 기술이 발전하고 있습니다.
• 실시간 설명 시스템: 수술 보조 로봇이나 중환자실 모니터링 시스템과 같은 실시간 의료 AI 시스템에서도 설명 가능성을 구현하는 연구가 활발히 진행되고 있습니다.

 

결론

설명 가능한 의료 AI는 단순한 기술적 과제를 넘어 의료 시스템 전반의 신뢰도와 효율성을 높이는 핵심 요소입니다. 정확한 진단과 투명한 설명이 결합될 때, AI는 의료진의 판단을 보조하는 신뢰할 수 있는 도구로 자리매김할 수 있을 것입니다. 특히 의료 현장에서는 AI가 대체재가 아닌 보완재로 기능하는 것이 중요하며, 설명 가능성은 이러한 협력 관계를 구축하는 데 필수적인 요소입니다.

 

참고문헌

1. Ghassemi, Marzyeh, et al. "The False Hope of Current Approaches to Explainable Artificial Intelligence in Health Care." The Lancet Digital Health, vol. 3, no. 11, 2021, pp. e745-e750, https://doi.org/10.1016/S2589-7500(21)00208-9.
2. FDA. "Transparency for Machine Learning-Enabled Medical Devices: Guiding Principles." FDA, 2024, https://www.fda.gov/medical-devices/software-medical-device-samd/transparency-machine-learning-enabled-medical-devices-guiding-principles.
3. FDA. "Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations." FDA, 2025, https://www.dlapiper.com/en-us/insights/publications/2025/01/fda-issues-artificial-intelligence-enabled-device-software-functions-guidance.
4. Shick, Aubrey, et al. "Defining Transparency for AI Medical Devices." npj Digital Medicine, 2024, https://www.auntminnie.com/imaging-informatics/artificial-intelligence/article/15663267/fda-defines-transparency-for-ai-medical-devices.
5. Selvaraju, Ramprasaath R., et al. "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization." International Journal of Computer Vision, vol. 128, no. 2, 2017, pp. 336-359, https://doi.org/10.1007/s11263-019-01228-7.
6. Lundberg, Scott M., and Su-In Lee. "A Unified Approach to Interpreting Model Predictions." Advances in Neural Information Processing Systems, vol. 30, 2017, https://proceedings.neurips.cc/paper/2017/file/8a20a8621978632d76c43dfd28b67767-Paper.pdf.
7. World Health Organization. "Global Strategy on Digital Health 2020-2025." World Health Organization, 2021, https://www.who.int/docs/default-source/documents/gs4dhdaa2a9f352b0445bafbc79ca799dce4d.pdf.
8. FDA. "FDA aims to stem AI device bias, boost transparency in draft guidance." MedTech Dive, 2025, https://www.medtechdive.com/news/fda-device-ai-draft-guidance/736682/.