초음파·임상정보 함께 보는 AI…진단 정확도 99.6%는 아니다

유승철 발행일 2026-11-02 16:49:21
3개 병원 1만1001건 자료로 평가…별도 보고서 라벨 추출 정확도와 구분해야
실제 응급실 임상효과는 아직 검증 전
[데일리환경=유승철 기자] 미국 연구진이 우상복부 초음파 영상과 임상정보를 함께 분석해 소견 분류, 판독 보고서 작성, 수술 의사결정 지원을 수행하는 인공지능(AI) 체계를 개발했다.

다만 이 연구가 보여준 것은 여러 병원 자료를 이용한 후향적 성능 평가다. 응급실에서 환자 진료를 바꾸거나 치료 결과를 개선하는지 확인한 임상시험은 아니다.
▲ 초음파 장비가 놓인 진료실 (출처 : Pavel Danilyuk via Pexels)


연구 결과는 9월 7일 국제학술지 네이처 커뮤니케이션스에 공개됐다. 논문은 존스홉킨스대병원 9189건의 검사 사례와 59만4099장의 초음파 영상을 학습에 사용했다. 성능 평가는 콜로라도대 1704건·9만616장, 스탠퍼드대 108건·3240장의 별도 자료로 진행했다. 전체 자료는 1만1001건의 우상복부 초음파 검사 시리즈로 구성됐다.


체계는 초음파에서 16개 임상 소견을 분류하고 영상에 근거한 보고서 초안을 만든 뒤, 임상정보와 보고서 등을 이용해 담낭절제술 필요성을 예측하도록 설계됐다. 소견 분류 모델의 매크로 AUROC는 내부 평가에서 0.820, 콜로라도대 외부 자료에서 0.794, 스탠퍼드 자료에서 0.775였다. AUROC는 여러 판정 임계값에서 질환이 있는 사례와 없는 사례를 구분하는 능력을 나타내는 지표로, 정확도 99%를 뜻하지 않는다.

논문에서 99.60%로 제시한 수치도 초음파 진단 정확도가 아니다. 연구진은 AI가 만든 보고서 100건을 사람이 검토해, 별도 Llama 3 언어모델이 보고서 문장에서 추출한 라벨을 확인했다.

4200개 라벨 판정 가운데 4183개가 일치해 라벨 단위 미세 정확도 99.60%를 기록했고, 보고서 단위로 모든 라벨이 맞은 비율은 83.00%였다. 보고서 문장을 정답 라벨로 변환하는 추출 절차의 평가를 질환 진단 성능으로 읽어서는 안 된다.

보고서의 임상적 품질은 별도의 맹검 평가에서도 검토됐다. 논문에 따르면 영상의학과 전문의들은 편집 전 AI 보고서를 사람 작성 보고서와 구별한 비율이 평균 85%였지만, 전문의가 수정한 AI 초안에서는 46%로 낮아졌다

. 이는 수정본의 문체나 내용이 사람 보고서와 구별하기 어려웠다는 평가이지, 환자 진단의 정답률이나 의료진 업무시간 절감 효과를 직접 측정한 결과는 아니다.

수술 의사결정 지원 단계에서도 입력 자료에 따라 성능 차이가 나타났다. 사람이 작성한 판독 보고서와 인구학적·진단코드 정보를 결합한 기준 모델은 정확도 0.843, 재현율 0.665였고, AI 생성 보고서로 바꾸면 각각 0.718과 0.602였다. 이 결과는 보고서 자동 생성과 치료 판단이 연결될 가능성을 탐색한 것이며, 특정 환자에게 수술을 권해야 한다는 임상 권고를 검증한 것은 아니다.

연구진은 여러 기관 자료를 이용했지만 학습 자료는 단일 3차 의료기관에서 나왔고, 환자 진료에서 실시간으로 작동시키는 전향적 검증도 제시하지 않았다.

논문은 데이터가 환자 식별 가능성과 기관 심의·개인정보 규정의 영향을 받기 때문에 임상 영상 자료를 공개하지 않는다고 밝혔다. 자격을 갖춘 비상업 연구자는 심의 승인과 데이터 이용계약을 거쳐 비식별 자료 접근을 요청할 수 있다. 연구 코드와 논문 부록의 일부 원자료는 공개돼 있다.

따라서 이번 성과는 영상과 진료 맥락을 함께 다루는 초음파 판독 보조 AI의 연구 가능성을 보여주는 단계로 보는 게 적절하다. 실제 도입을 판단하려면 응급실 현장에서 의료진이 초안을 어떻게 수정하는지, 환자별 오진 위험과 진료 흐름에 어떤 영향을 주는지, 다른 기관·장비·환자군에서도 성능이 유지되는지를 전향적으로 검토해야 한다. 논문 역시 진단 일관성, 보고 효율, 수술 선별 개선을 위해 추가 평가가 필요하다고 결론지었다.

댓글

(0)
※ 댓글 작성시 상대방에 대한 배려와 책임을 담아 깨끗한 댓글 환경에 동참에 주세요. 0 / 300

함께 보면 좋은 기사