건강 증상, 이직 고민, 부부 싸움, 회사 기밀이 섞인 보고서 초안. 요즘 사람들이 ChatGPT 같은 AI에게 털어놓는 것들이다. 검색창에는 못 치던 이야기를 AI에게는 한다. 문장으로 대답해주고, 판단하지 않는 것처럼 보이니까. 그래서 질문이 생긴다. 그 이야기들은 어디로 갔을까.우선 원리부터. AI에 입력한 내용은 내 폰이 아니라 그 회사 서버에서 처리된다. 여기까지는 이메일과 같다. 다른 점은 그 다음이다. 서비스와 설정에 따라 내 대화가 다음 모델을 만드는 학습 재료로 쓰일 수 있다. 내 문장이 그대로 박제된다는 뜻은 아니지만, 내 이야기가 모델이라는 반죽에 섞여 든다는 뜻이다. 한번 반죽에 들어간 밀가루는 골라낼 수 없다. 삭제 버튼은 내 화면의 기록을 지울 뿐, 반죽을 되돌리지 못한다.사고도 이미 있었다. 2023년 5월, 삼성전자에서 직원들이 내부 소스코드 등을 ChatGPT에 입력한 사실이 알려져 사내 생성형 AI 사용이 제한된 일이 있었다. 해킹이 아니었다. 직원이 자기 손으로, 업무를 잘하려고 넣었다. 악의가 아니라 편의가 사고의 경로였다. 회사들이 뒤늦게 "AI 사용 지침"을 만들기 시작한 이유다.그러면 뭘 조심해야 하나. 기준선은 간단하다. 병원 대기실에서 큰 소리로 말해도 되는 내용인가. 된다면 AI에게도 된다. 구체적으로 세 가지만 걸러내면 된다. 남의 정보(고객 명단, 동료 평가), 회사의 정보(미공개 실적, 소스코드, 계약서), 나를 특정하는 정보(주민번호, 계좌, 병명과 실명의 조합). 고민 상담이 문제가 아니라 상담에 실명을 붙이는 게 문제다. "우리 팀장이"까지는 익명이지만 "OO전자 OOO 팀장이"부터는 기록이다.설정도 1분이면 된다. 주요 AI 서비스에는 대화를 학습에 쓰지 않게 하는 옵션이 대부분 있다. 메뉴 이름은 서비스마다 다르지만, 설정에서 '학습', '데이터' 같은 단어를 찾으면 된다. 회사 업무라면 학습 배제가 계약된 기업용 서비스를 쓰는 게 맞고, 그게 없다면 그 업무는 AI 없이 하는 게 맞다.AI에게 아무것도 말하지 말자는 게 아니다. 요지는 AI를 일기장이 아니라 대화 상대로 대하라는 거다. 일기장은 나만 보지만 대화는 상대가 있다. "AI는 비밀을 지켜주지 않는다. 지킬 비밀이 뭔지 정하는 건 당신 몫이다."*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.

개발자들 사이에 이런 농담이 있다. "요즘 코딩은 AI가 하고, 나는 엔터만 누른다." 웃자고 하는 말이지만 통계는 진지하다. 신규 코드의 절반 가까이를 AI가 쓴다는 조직이 이제 드물지 않다. 나도 쓴다. 편하다. 빠르다. 문제는 그 다음이다.AI가 짠 코드에 취약점이 있었고, 그걸로 사고가 났다고 하자. 누구 책임인가. 지금 답은 정해져 있다. 개발자다. AI 서비스 약관에는 "결과물의 검증 책임은 사용자에게 있다"는 문구가 빠짐없이 들어 있다. 제안은 도구가 했지만 수락은 사람이 했다는 논리다. 따지자면 맞는 말인데, 현장에서는 안 통하는 말이다.왜 안 통하나. 검증이 실제로 안 일어나기 때문이다. 스탠퍼드 댄 보네(Dan Boneh) 교수 연구팀이 2023년 실험을 해봤더니, AI 어시스턴트를 쓴 개발자들이 안 쓴 쪽보다 취약점을 더 많이 만들었다. 정작 본인들은 자기 코드가 더 안전하다고 믿었다. 매끄러운 코드가 확신을 만들고, 확신이 검토를 생략시킨다. 문장이 매끄러우면 의심이 죽듯이, 코드가 매끄러우면 리뷰가 죽는다.규모 문제는 더 심각하다. 사람이 하루에 짜는 코드는 뻔하니 리뷰도 그 속도를 따라갔다. AI가 하루에 수천 줄을 쏟아내면 리뷰어는 둘 중 하나가 된다. 병목이 되거나, 거수기가 되거나. 대부분 후자가 된다. "사람이 검토했습니다"라는 체크박스는 남는데 검토는 없다. 책임을 따지려고 만든 절차가 책임을 세탁하는 절차로 변한다.그러면 어떻게 해야 하나. "더 꼼꼼히 읽자"는 답이 아니다. 사람 눈으로 기계의 속도를 따라잡겠다는 건 정신력으로 자동차와 경주하겠다는 소리다. 검증도 기계가 해야 한다. 코드가 약속한 성질을 지키는지 수학적으로 증명하는 정형 검증, 알려진 취약 패턴을 훑는 정적 분석, 입력을 퍼부어 깨지는 지점을 찾는 퍼징. 사람은 코드를 한 줄씩 읽는 대신, 무엇을 보장해야 하는지 정하고 그 보장이 증명됐는지 확인하면 된다. 쓰는 속도가 기계가 됐으면 읽는 속도도 기계가 돼야 맞다.사고가 났을 때 "AI가 짰다"는 변명이 못 된다. 맞는 말이다. 하지만 "개발자가 잘 봤어야지"로 끝내는 것도 답이 아니다. 검증할 수단은 안 주고 검증 책임만 지우는 건 책임 분배가 아니라 책임 전가다. 자동차 회사에 충돌 테스트를 요구하듯, AI로 코드를 찍어내는 조직에는 그만한 검증 체계를 요구하는 게 순서다. 누가 책임지나. 검증 없이 엔터를 누른 모든 사람이, 그리고 검증할 도구를 쥐여주지 않은 모든 조직이.* 본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.

예전에 AI 성능을 자랑하는 방법은 단순했다. 그럴싸한 숫자 하나면 됐다. "정확도 98%", "벤치마크 1위", "파라미터 수천억 개". 발표장에서 이 숫자가 뜨면 박수가 나왔고, 질문은 나오지 않았다. 나도 그런 슬라이드를 만들어봤다. 솔직히 잘 먹혔다. 문제는 그 숫자들이 말하지 않는 부분이다.벤치마크 1위부터 보자. 시험 문제가 공개돼 있으면 학생은 그 문제에 맞춰 공부한다. AI도 똑같다. 벤치마크 데이터가 학습 데이터에 섞여 드는 '오염'은 업계의 공공연한 골칫거리고, 오염이 없어도 개발사들은 점수 잘 나오는 방향으로 모델을 다듬는다. 모의고사 만점자가 실무에서 쩔쩔매는 이유와 같다. 점수가 오른 것이지, 실력이 는 게 아니다.정확도 98%는 더 난감하다. 어떤 데이터로, 어떤 조건에서 쟀는지는 대개 각주에도 없다. 실험실의 정제된 데이터로 얻은 98%는 현장에 나가는 순간 뚝뚝 떨어진다. 진짜 문제는 나머지 2%다. 2018년 MIT의 '젠더 셰이드' 연구가 짚었듯, 전체 정확도가 훌륭한 얼굴 인식 시스템도 피부색이 어두운 여성에게는 오류율이 30%대까지 치솟았다. 백인 남성은 1%도 안 됐다. 평균은 높은데, 누군가에게는 절반쯤 고장 난 기계다. 이때 물어야 할 질문은 "몇 퍼센트인가"가 아니라 "누구에게 몇 퍼센트인가"다.어떤 지표에도 안 잡히는 건 사람이다. 모델이 "스스로 학습했다"는 서사 뒤에는 데이터에 라벨을 붙이고 유해 콘텐츠를 하루 종일 들여다본 노동자들이 있다. 케냐에서 시간당 2달러 안팎을 받고 이 일을 한 사람들 이야기가 보도된 게 벌써 몇 년 전이다. 데이터센터가 삼키는 전력과 냉각수도 마찬가지다. 파라미터 수는 자랑하면서 전기요금은 말하지 않는다.그러면 뭘 봐야 하나. 세 가지다. 어떤 조건에서 잰 숫자인가. 평균 뒤에 숨은 분포는 어떤 모양인가. 집계되지 않은 비용과 노동은 무엇인가. 그래도 의심되면 데모 영상 말고 내 데이터로 직접 돌려보면 된다. 촌스럽지만 이만한 게 없다.AI 시대의 문해력은 코드를 읽는 능력이 아니라 숫자를 의심하는 능력이다. 봐야 할 곳은 숫자가 비추는 자리가 아니라 그림자가 진 자리다. "AI의 숫자는 당신의 직관보다 화려하다. 그러나 정확하다는 뜻은 아니다."* 본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.

예전 피싱 메일을 구별하는 법은 어렵지 않았다. 맞춤법이 틀렸다. "고갱님 귀하의 게좌가 정지되였습니다" 같은 문장을 보면 누구라도 고개를 갸웃했고, 보안 교육에서도 "오탈자가 보이면 삭제하라"고 가르쳤다. 나도 그렇게 가르친 적이 있다. 적어도 2023년까지는 틀린 말이 아니었다.요즘 피싱 메일에는 오탈자가 없다. 존댓말이 흠잡을 데 없고, 회사 내부에서 쓰는 용어까지 자연스럽게 섞여 있다. 받아본 사람이 "이거 진짜 팀장님이 보낸 거 아니야?"라고 되묻는 수준이다. 공격자가 갑자기 국어 실력이 는 게 아니다. ChatGPT 같은 대규모 언어 모델이 대신 써준다. KnowBe4가 2024년 9월부터 이듬해 2월까지 피싱 메일을 분석했더니, 82.6%에서 AI 개입 흔적이 나왔다. 10통 중 8통이다. 비슷한 통계는 차고 넘치지만, 이 숫자 하나면 충분하다.하버드 연구팀이 2024년 말 공개한 실험에서, AI가 사람 손을 전혀 거치지 않고 완전 자동으로 만든 스피어피싱의 클릭률은 54%였다. 같은 실험에서 함께 돌린 일반 피싱 대조군(12%)의 4배가 넘는 수치이고, 인간 전문가가 공들여 쓴 메일과 정확히 같은 성적이다. 자동 생성한 메일과 공들여 쓴 메일이 동점이라면, 이 승부는 사실상 끝난 거다.이건 LLM의 작동 방식을 알면 당연한 결과다. 이 모델들은 수십억 개의 정상적인 문장을 학습해서 "가장 자연스러운 다음 단어"를 예측하도록 훈련됐다. 애초에 문법 오류를 만들기가 어려운 구조다. 여기에 타깃의 SNS 활동, 직책, 소속 회사의 최근 공지까지 긁어서 넣는다. 그러면 "어제 회의에서 말씀하신 건으로 첨부 보내드립니다" 같은 메일이 그냥 나온다. 사람이 수백 곳에 맞춤형 메일을 쓰려면 몇 명이 붙어야 하나. AI는 혼자 한다.정작 관제하는 사람들이 골치 아파하는 건 따로 있다. 필터다. 같은 목적의 피싱이라도 AI가 매번 제목, 발신자명, 본문 구조를 조금씩 바꿔서 보낸다. 보안 쪽에서는 이걸 다형성(polymorphism)이라고 부른다. 기존 이메일 보안 게이트웨이는 알려진 악성 패턴의 "서명"을 대조하는 식으로 작동하는데, 변종이 수천 개씩 밀려오면 대조할 서명이 없다. 글을 잘 쓰는 것과는 차원이 다른 문제다. 탐지 시스템이 서 있는 바닥 자체가 흔들린다.그러면 이제 뭘 봐야 하나. IBM X-Force는 문법만 보는 교육이 오히려 역효과일 수 있다고 지적한다. 맞춤법이 깨끗하니까 괜찮겠지, 하는 착각을 심어준다는 거다. 봐야 할 건 문장이 아니라 행동이다. 돈을 보내라는 건지, 비밀번호를 바꾸라는 건지, 파일을 열라는 건지. 30분 안에 하라고 압박하는지. 진짜 은행이나 회사는 그렇게 재촉하지 않는다. 의심되면 메일에 적힌 번호 말고, 내가 이미 저장해둔 번호로 전화 한 통 돌리면 된다. 촌스러운 방법 같지만 이만한 게 없다.세계경제포럼(WEF)은 2026년 사이버보안 전망에서 AI 기반 사이버 사기를 랜섬웨어를 제치고 CEO들의 1순위 우려로 꼽았다. 맞춤법을 보고 판단하던 시대는 끝났다. "이제 피싱 메일의 맞춤법이 당신보다 정확하다."* 본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.