초판발행 2026. 9. 01

한국 공공 AX의 출발점 - AI는 마법 지팡이가 아니다

이 책의 사용 설명서

이 책의 무대는 14만 명 규모의 조직, 경찰청이다. 다룬 시기는 18개월. 그 안에서 우리가 부딪힌 결정의 갈림길을 17개로 추렸다. 비슷한 결의 책이 없는 건 아니다. IBM을 살린 거스너의 회고록, 인텔 운영의 정석을 적은 앤디 그로브, 스타트업의 한복판에서 쓴 호로위츠의 책. 다만 한국 공공 부문에서 같은 결로 쓰인 책은 아직 본 적이 없다.

거스너 IBM과의 차별화

이 책의 제목이 루이스 거스너의 『코끼리를 춤추게 하라』와 같은 메타포를 쓴 건 의도적이다. 거대 조직이 시대의 전환점에서 자기 체질을 바꾸는 일의 보편성을 표시하고 싶었다. 다만 거스너의 책과 이 책 사이에는 세 가지 결정적인 차이가 있다.

첫째, 무대가 다르다. 거스너의 IBM은 민간 영리 기업이었다. 이 책의 무대는 14만 명짜리 공공 위계 조직이다. 작동 원리가 다르다. 이윤이 아니라 공공 가치, CEO 결재가 아니라 법률과 예산 심의가 일을 움직인다.

둘째, 시기가 다르다. 거스너 책은 1990~2000년대, 인터넷과 서비스화로 대표되는 디지털 전환 시기의 기록이다. 이 책은 2024~2026년, 의사결정의 자동화로 대표되는 AI 전환 시기의 기록이다. 다루는 기술의 본질이 다르다.

셋째, 역할이 다르다. 거스너는 외부에서 영입된 CEO였다. 위에서 아래로 변화를 누를 수 있는 자리에 있었다. 나는 그 자리에 없다. 나는 위계 한가운데 있는 정책 설계자로서, 옆으로 설득하고 아래로 협상하며 변화를 이식해야 했다. ‘외부 CEO가 위에서 누른다’는 모델로는 풀리지 않는 한국 공공 조직의 특수성이 이 책의 핵심 변수다.

정리하면 이렇다. 거스너의 책이 ‘민간, 디지털 전환, 위에서 아래’의 기록이라면, 이 책은 ‘공공, AI 전환, 안에서 옆으로’의 기록이다. 같은 메타포를 빌렸지만, 다른 산업과 다른 시기와 다른 역할에 대한 다른 보고서다.

[케이스 매핑][매핑] 17개 케이스 → 5개 원칙. 본문 각 챕터 끝에는 [Decision Point/Mechanism/Principle/Beyond the Stage] 분석 박스가 있고, 부록에는 적용 체크리스트와 도구함이 수록되어 있다.

[빨리 읽고 싶다면][싶다면] 각 챕터 도입부의 짧은 핵심 문장과 에필로그의 다섯 원칙만 봐도 책의 뼈대는 잡힌다. [내 조직에 옮겨 보고 싶다면] 부록 체크리스트의 ‘민간 조직 적용 시’ 가이드부터 펼치고, 거기서 본문으로 거꾸로 들어가는 게 빠르다. [처음부터 끝까지 읽고 싶다면] 그냥 순서대로. 17개 결정이 누적되며 만드는 결이 보인다.

[고백 한 가지] 나는 경찰청에서 AI 정책을 짜는 자리에 있고, 책에 적힌 17개 결정의 자리마다 직접 서 있었다. 그래서 본문은 ‘나’로 적었다. 다만 챕터 끝의 분석 박스만큼은 나의 회고가 아니라 한 발 떨어져서 본 일반화다. 회고와 일반화를 같은 무게로 읽지 말아 달라.

그 회의실 밖에서 일어나고 있던 일을 먼저 적어 두어야겠다. 한국의 보이스피싱 피해액은 2024년 8,545억 원으로 역대 최고를 기록했고, 2025년에는 사상 처음으로 1조 원을 넘어섰다(1조 2,578억 원, 경찰청 · 금융감독원 통합 집계, 2025). 딥페이크 성범죄 영상물에 대한 방송통신심의위원회의 시정 요구는 2021년 1,913건에서 2024년 23,107건으로 12배 늘었다. 누군가의 휴대폰에서는 자녀의 목소리로 합성된 음성이 흘러나오고, 누군가의 PC에서는 다크웹의 알고리즘이 새로운 사기 시나리오를 자동 생성하고 있었다. 우리가 회의실 안에서 ‘누가 책임지나’를 두고 눈치를 보는 동안, 적들은 이미 같은 도구를 손에 쥐고 진화하고 있었다.

회의실 공기가 무거웠다. 참석자들의 시선은 자기 앞 종이 위만 맴돌았다. 아무도 먼저 손을 들지 않았다. 책임 소재를 조율해야 하는 자리였고, 그 조율이 쉽지 않다는 걸 다들 알고 있었다.

테이블 한가운데에는 열 장 남짓한 보고서 하나가 덩그러니 놓여 있었다. 표지에는 굵은 명조체로 「치안 AI 혁신 추진 계획」이라는 거창한 제목이 적혀 있었다. 시대의 화두인 인공지능을 치안 현장에 도입하여 대한민국 경찰의 미래를 혁신하겠다는, 야심 찬 청사진. 문제는 그 화려한 청사진을 ‘누가 직접 그릴 것인가’였다.

“AI가 중요하다는 건 다들 동의하시지 않습니까. 하지만 우리 부서는 지금 맡은 업무를 처리하기에도 인력이 부족한 상황이라…”

“저희는 AI 전문가가 아닙니다. 이런 업무는 전문 지식이 있는 부서에서 맡는 게 더 좋을 것 같습니다.”

이유는 제각각이었지만 결론은 하나였다. 아무도 이 미지(未知)의 기술을 책임지고 싶어 하지 않았다. 기획안을 최초로 올렸던 부서조차, 실행 단계에서 책임 소재가 거론되자 신중한 태도로 돌아섰다. ‘필요성’에는 고개를 끄덕이면서도, 정작 ‘실무’를 맡으라 하니 부담이 밀려온다.

그들의 공포에는 분명한 이유가 있었다. 14만 명짜리 조직, 그중에서도 국민의 생명과 안전을 책임지는 경찰은 ‘무결성’과 ‘적법성’을 산소처럼 들이마시며 산다. 정해진 매뉴얼대로 한 치의 오차 없이 움직여야 하는 시스템에서 자란 사람들에게, 확률로 움직이고 때로는 환각(Hallucination - AI가 사실이 아닌 내용을 그럴듯하게 지어 내는 현상)까지 일으키는 AI는 통제하기 어려운 존재에 가까웠다. 혁신이라는 이름으로 포장되어 있지만, 만에 하나 이 시스템이 잘못된 판단을 내리거나 예산만 삼킨 채 실패로 흘러간다면 그 책임은 온전히 실무 부서장에게 돌아올 터였다. 그것은 단순한 업무 기피가 아니다. 낯선 변화에 본능적으로 저항하며 검증된 방식을 지키려는 조직의 방어 본능 - 조직행동론에서는 이를 ‘건강한 관성(Healthy Inertia)’이라 부른다.

누구도 선뜻 손을 내밀지 않으려 눈치만 보는 이 무거운 공기는 단지 경찰청 회의실에만 머물지 않는다. 분기 마감과 당장의 매출에 쫓기는 영업 본부, 낡은 전산망 유지보수만으로도 허덕이는 IT 부서, 그리고 검증되지 않은 외부 AI 서비스 도입이 가져올 보안 유출을 우려하는 기업 컴플라이언스 팀의 회의실 풍경도 이와 딱 맞는다. 낯선 변화에 본능적으로 저항하며 기존의 방식을 지키려는 방어 본능은, 이윤과 생존을 다투는 민간 기업에서도 동일하게 나타나는 ‘건강한 관성’이다.

그렇게 주인을 찾지 못한 계획서는 몇 달째 부서와 부서 사이를 표류하고 있었다. 조직의 눈치 게임이 길어지던 2025년 3월, 지휘부가 결단을 내렸다. 표류하던 계획을 추진할 사람으로 나를 지목하며 자리 이동을 명했다. 모두가 피하고 싶어 했던 이 과제가 내게 맡겨진 데에는 나름의 이유가 있었다.

2016년부터 2022년까지, 나는 대한민국 경찰 역사상 주요한 패러다임 전환 중 하나였던 ‘자치경찰제도’의 도입과 법제화 실무를 총괄했다. 세상에 없던 새로운 제도와 법을 처음부터 설계하고, 수십 년 묵은 관료제에 뿌리내리도록 조율한 6년이었다. 제도를 조직에 뿌리내리게 하는 것은 기술을 도입하는 것과 본질적으로 같은 일이다 - 어느 쪽이든 결국 사람을 설득하고, 관성을 조율해야 한다. 지휘부는 AI라는 낯선 기술을 뿌리내리게 하는 이번 작업에도 그 ‘조직 이식의 노하우’가 필요했던 것은 아닐까? 어차피 벌어진 일, 긍정적으로 생각하기로 했다. 

지휘부의 이 판단 덕분에 논의는 비로소 다음 단계로 넘어갈 수 있었다.

하지만 내 자리로 돌아와 서류철의 첫 장을 넘겼을 때, 나는 막막해졌다. 기안 일자, ‘2024년 11월’. 부서 간 조율이 이어지는 동안, 4개월이 지나 있었다. 바깥세상에서는 하루가 다르게 새로운 AI 기술이 지각 변동을 일으키고 있는데, 우리의 AI 시계는 지난겨울에 멈춰 있었다.

숫자를 들여다보니 상황은 더 심각했다. 2025년 기준, 경찰청이 운용하는 정보화 시스템은 수십 개. 그 안에 축적된 데이터는 수십 테라바이트에 달했지만, AI 학습에 즉시 투입할 수 있도록 정제된 데이터세트는 사실상 전무했다. 다시 말해 수십 개의 시스템이 각자의 방언으로 중얼대고 있을 뿐, AI가 알아들을 수 있는 공통어로 번역된 것은 아무것도 없었다는 뜻이다.

AI 모델을 돌리는 데 필수적인 GPU(그래픽 처리 장치) 카드는 경찰청 전체를 통틀어 몇 장 없었다. 네이버나 카카오 같은 민간 빅테크 기업의 AI 연구소가 수천 장의 GPU를 풀가동하며 글로벌 경쟁에 뛰어들고 있다는 사실과 비교하면, 이것은 ‘AI 인프라’라 부르기조차 민망한 수준이었다. 

마이크로소프트의 사티아 나델라 CEO가 2025년 한국 방문 강연(Microsoft Build)에서 던졌던 한마디를 떠올렸다. “우리가 AI를 쓰지 않으면, 범죄자들이 AI를 쓰기 시작할 것이다.” 그것은 비유가 아니라 이미 벌어지고 있는 현실이었다. 인간의 얼굴을 훔치는 딥페이크, 국경을 넘나드는 보이스피싱, 다크웹 마약 거래 - 범죄자들은 이미 알고리즘을 무기로 갖고 있었다. 수사관들은 수천 시간 분량의 CCTV 영상과 테라바이트 단위의 포렌식 데이터를 제한된 도구만으로 대응해야 하는 비대칭 전쟁의 한복판에 놓여 있었다. 경찰에게 AI는 유행이 아니라, 국가 치안 시스템의 붕괴를 막기 위한 가장 강력한 비대칭 전력이자 ‘생존의 문제’였다.

조급함은 커졌지만, 시중의 경영서를 아무리 뒤져 봐도 치안 현장에 맞는 AI 매뉴얼은 어디에도 없었다. 지시가 없는 현장에 던져진 경찰관이 할 수 있는 일은 직접 발로 뛰는 것 하나뿐이다. 나는 무작정 밖으로 나갔다. 퇴근 후에는 AI 기술 스터디를 병행했고, 낮에는 서울시청, 경기도청, 국방부, 과학기술정보통신부, 한국지능정보사회진흥원(NIA) 등 AI 유관 기관의 문을 두드렸다. 공문으로 충분한 설명을 하고 적당한 명분을 찾는 정석적인 절차를 거칠 여유는 없었다. 무작정 담당 부서에 전화를 하고 양해를 구한 후 직접 사무실을 찾아갔다. 이 당시 수집한 인사이트는 기술의 조각들을 ‘경찰의 언어’로 번역해 내는 귀중한 자양분이 됐다.

처음 TF에 배정된 인원은 나와 함께 일하던 동료 두 명과 AI 기획안 초안을 묵묵히 다듬어 온 베테랑 실무자 한 명이었다.

나를 포함해 단 4명. 예산도, 인프라도 부족한 상태에서 조직 전체의 인공지능 대전환(AX, AI Transformation - 조직의 업무 방식과 의사결정 구조를 AI 중심으로 재설계하는 것)을 책임져야 하는 TF의 출발이었다. 우리는 테이블에 마주 앉았다.

“일단 한번 부딪혀 봅시다. 대한민국 모든 공공기관이 사실상 처음 시작하는 업무니까, 다 같은 처지 아니겠습니까.”

하지만 드라마나 영화 속 혁신처럼, 하룻밤 사이 극적인 결단으로 세상이 뒤집히지는 않는다. 관료제 속에서 혁신은 철저히 ‘문서’로 시작해 ‘문서’로 끝나는 행정 실무의 연속이다.

우리는 두 달 동안 밤낮없이 보고서와 씨름했다. “AI가 유행이니 도입하자”는 감성적 주장으로는 단 한 사람도 설득할 수 없었다. 우리가 필요로 했던 것은 냉정한 팩트였다. 대한민국 경찰은 260개의 경찰서와 2,050개의 지구대 · 파출소에서 24시간 365일 박동한다. 한 해 쏟아지는 112 긴급 신고만 천만 건 이상, 온 · 오프라인 경찰 민원은 3억 7천만 건에 달한다(2024년 기준, 「모두의 경찰관」 공모 안내서). 지금까지 이 거대한 파도를 현장 경찰관들의 야근과 육체적 헌신이라는 둑으로 막아왔지만, 그 둑은 이미 인지적 · 물리적 한계치에 도달해 있었다.

2025년 5월, 객관화 작업을 거친 끝에 우리는 마침내 「치안 AI 혁신 추진 계획」을 공식 발표했다. 팩트와 수치로 구성된 이 보고서는 조직의 공감대를 이끌어 내는 데 성공했고, 지휘부의 승인하에 ‘AI융합계’ 직원 3명을 추가 선발할 수 있었다. 기획을 담당하는 AI정책계와 실무 융합을 담당하는 AI융합계, 총 7명의 완전체가 꾸려진다.

이 책은 영웅담이 아니다. 14만 명짜리 조직이 AI를 받아들이는 18개월 동안 부딪힌 17개 결정의 갈림길을, 그 자리에 있던 사람의 시선으로 적은 기록이다. 성공한 결정과 실패한 결정이 섞여 있고, 그 사이에 어떤 조직 메커니즘이 움직였는지를 가능한 한 솔직히 풀었다. 부록에는 17개 케이스에서 뽑아낸 다섯 가지 원칙과, 독자가 자기 조직에 옮겨 적용할 수 있는 체크리스트, 그리고 실무 도구함을 묶었다. 

이 책의 무대는 경찰청이지만, 적용 대상은 경찰에 한정되지 않는다. 112 긴급 출동은 기업의 최접점 고객 서비스(CS) 클레임 대응과 같고, 수사 부서의 적법성 원칙은 금융 · 의료의 컴플라이언스 의무와 닮았다. 14만 명의 위계 조직의 관성은 대기업 부서 이기주의와 레거시 시스템의 한계와 정확히 겹친다. 표면의 단어를 자기 조직으로 한 번씩 옮겨 적어 두면, 17개 케이스 가운데 일곱 개쯤은 그대로 통한다. 권말 부록 C의 빈칸이 자기 조직의 답안으로 채워지는 순간, 이 책의 가장 큰 효용이 시작된다.

완벽한 지도는 없었다. 거대한 코끼리를 춤추게 할 첫발은 그렇게 시작됐다.

이치화 

경찰청 미래치안정책국 인공지능정책계장. 

2008년 경찰대학을 졸업한 18년 차 경찰관이다. 2016년부터 2022년까지 자치경찰제도의 도입과 법제화를 총괄하며 14만 경찰 조직의 제도 설계를 담당했고 2025년부터는 경찰청 AI 전담 조직 신설과 「치안 AI 혁신 종합계획」 수립을 주도했다. 4명으로 출발한 태스크포스(TF)가 3개의 상설 조직으로 성장하기까지 1년 6개월 동안 현장에서 조직의 변화를 이끌었다.

또한 동료 연구자들과 함께 신뢰할 수 있는 공공 AI를 연구하고 있다. 한 번의 오류가 국민에 대한 잘못된 처분으로 이어질 수 있는 공공안전 분야에서 AI를 어떻게 평가 · 검증하고 책임 있게 활용할 것인지가 주요 연구 주제다. 그 중심에는 AI 거버넌스가 있다. 공공 AI가 믿을 만하게 작동하는지를 살피고 그 근거를 검증하는 신뢰성 평가와 정책을 미리 실험해 보는 생성형 에이전트 시뮬레이션이 주된 연구 방법이다. 이 책에서 소개하는 「모두의 경찰관」 프로젝트의 개발도 함께 이끌고 있다. 현재 KAIST 문술미래전략대학원 석사 과정에 재학 중이다.

규제와 관성, 그리고 수많은 현실의 제약 속에서 조직을 설득하며 AI 혁신을 추진해 온 실무자의 경험을 이 책에 담았다. 완벽한 지도는 어디에도 없다. 지금도 더 나은 공공 AI를 향한 여정은 계속되고 있다.

차례

프롤로그 

한국 공공 AX의 출발점 - AI는 마법 지팡이가 아니다6 

1부 

공공 AX의 작동 환경

1장1장. 왜 민간의 DX 공식을 그대로 쓰면 안 되는가17

2장. 데이터 사일로는 왜 깨지지 않는가22

3장. 100억짜리 공모전에 떨어지고 무엇을 배웠는가27

4장. 글로벌 공공 AX의 철학 - 세계는 어떻게 하고 있는가37

5장. AI는 이미 무기다 - 그리고 우리는 같은 무기로 막아야 한다43

2부 

조직 AX의 면역 메커니즘

6장. 왜 14만 명은 새 기술을 거부하는가 - ‘건강한 관성’의 정체59

7장. 블랙박스의 공포와 ‘설명자(Explainer)’ - 공공 조직 인재 영입의 구조적 한계65

8장. AI가 인간을 밀어낼까, 인간을 본업으로 돌려보낼까73

9장. 업스킬링의 과학 - 막연한 두려움을 확신으로 바꾸는 교육81 

3부 

데이터의 사각지대

10장. 완벽한 데이터가 거짓말을 할 때, 무엇이 진실을 구하는가94

11장. AI가 잘못 판단했을 때, 누가 책임지는가101

12장. AI는 왜 자신감 있게 거짓말을 하는가109

4부 

암묵지 자산화

13장. 베테랑 은퇴와 조직 면역력의 손실 - 암묵지 증발 문제120

14장. 암묵지의 디지털 트윈 - 현장의 촉을 시스템에 이식하다126 

5부 

도입 로드맵

15장. 왜 핵심 업무가 아닌 곳부터 시작해야 하는가137

16장. 분절 시스템의 통합 - ‘느슨한 결합(Loose Coupling)’ 아키텍처141

17장. 분산 예산의 통합 모델 - 엣지 AI와 중앙 · 분산 추론 설계147

18장. 100일 도입 플레이북 - 1주차에서 14주차까지153

에필로그 

치안을 넘어 - 한국 공공 AX의 다음 18개월157

부록 

부록 A. 핵심 원칙 & 실무 체크리스트 / 직무-AI 매트릭스 / 통합 프레임워크174

부록 B. 공공 AX의 5년 · 10년 시나리오 - Dator 4 Archetypes로 본 한국 공공 AI의 분기점 186

부록 C. 실무자의 도구함191

부록 D. 참고 문헌 및 용어 해설219