초판발행 2025.10.17

추천사

나근왕, 유튜브 Trust & Safety, 전직 외교관: AI에 대한 장밋빛 전망과 흥분이 넘쳐나는 오늘, AI가 가져올 미래를 낙관하면서도 그 위험성을 간과하지 않는, 균형잡힌 시각을 갖추게 해 줄 이 책이 너무 반갑다. AI가 일상 깊숙이 스며든 지금, 우리는 전에 없던 새로운 유형의 안전문제를 고민해야 한다. 딥페이크로 만들어진 가짜 영상, AI가 생성한 허위정보, 알고리즘의 편향성까지?이런 문제들 앞에서 우리는 어떻게 대응해야 할까? 아직 한국에는 생소한 Trust and Safety란 개념은 해외 테크 기업들에서는 이미 핵심 영역으로 자리잡은 분야이다. 이들은 사용자의 안전을 지키고, 플랫폼에 대한 신뢰를 구축하며, 기술의 부작용을 최소화하는 역할을 수행한다.

이 책은 AI 시대의 새로운 위협들을 구체적으로 분석하고, 이에 대응하는 실질적인 기술과 전략을 제시한다. 특히 이 분야에서 커리어를 쌓고 싶은 분들에게는 실무적인 인사이트와 구체적인 로드맵을 제공한다. 기술적 전문성과 인문학적 사고, 글로벌 관점과 현실적 해결책을 균형감 있게 다룬 점이 인상적이다. 사이버정책을 전공하고 실리콘밸리 현지에서 같은 분야에서 일하고 있는 나에게도 많은 성찰과 생각거리를 던져준 책이다. 한국의 AI 대전환이 가속화되는 지금, 이 책이 던지는 질문들이 우리 사회에 꼭 필요한 논의의 출발점이 되기를 기대한다.

김윤호, Monoly, Inc. COO/공동창업자: 이 책은 글로벌 플랫폼의 현장 경험에 저자의 심층 고민을 더해, AI 시대 유해 콘텐츠의 문제 정의, 현실 진단, 대응 방안, 실천 로드맵을 제시한다. 실리콘밸리와 한국 간 정보격차를 현장감 있는 사례로 메우며, 기업, 로펌, 컨설턴트가 즉시 활용할 수 있는 인사이트와 팁을 제공한다. 특히, 8장의 ‘TnS 커리어 로드맵’은 다음 세대를 향한 비전과 애정이 담긴 제안을 전한다. 정책결정자, 기술 전문가, 실무자 모두에게 필독서이자 실천 지침이 될 책이다.

엔젤린 리(Angeline Lee), 세일즈포스, 프로덕트 정책 담당자: 우리는 단순한 AI 시대를 넘어, 스스로 판단하고 행동하는 ‘에이전틱 AI(Agentic AI)’ 시대에 들어섰다. 이 시대 AI 안전을 위한 최소한의 장치부터, 현실의 피해를 막기 위한 Trust and Safety의 토대까지, 독자 여러분이 반드시 알아야 할 중요한 통찰이 담겨 있다. 미래를 준비하고 싶다면, 이 책을 꼭 읽기를 권한다.

염현아, Amazon: 새로운 기술의 등장은 언제나 혁신과 함께 부작용을 동반한다. 최근 급격히 대중화된 AI는 방대한 정보를 쏟아내며 인간의 통제를 벗어나 우리 사회의 혼란을 키우고 있다. 이 책은 AI의 편리함 뒤 우리가 외면해온 위험을 드러내며, 보이지 않는 곳에서 고군분투하는 Trust and Safety 전문가의 고민을 누구나 쉽게 이해할 수 있도록 풀어낸다. 글로벌 테크 기업 현장의 고민을 생생히 담아 낸 이 책은, 업계 실무자뿐만 아니라 AI 시대를 살아가는 우리 모두에게 새로운 시각을 열어줄 것이다.

하진화, 카카오 AI Safety 및 카카오 그룹 기술윤리소위원회: 현재의 화두는 AI이지만, 어느새 또 다른 기술적 신개념이 등장할 것이다. 이렇듯 기술의 발전은 끝없이 그리고 쏜살같이 날아오는 화살과도 같고, 그 막막한 시야 속에서 우리는 ‘인간다움’이라는 본질을 꿰뚫어 보려 애쓰고 있다. 인권 중심의 기술 정책이 가져올 수 있는 기술 안전성과 신뢰성을 고민하는 실무자로서, 연대를 느끼고 고민의 시야를 넓힐 수 있는 도서였기에, 널리 알리고 싶은 마음을 전달드린다.

김민선(Davey Kim), 스탠퍼드 대학교 사회윤리센터 부소장(McCoy Center for Ethics in Society): 전수민 전문가는 온라인 위해와 남용에 대한 우려를 가진 이들을 위해, 오늘날의 Trust and Safety 전략과 도구, 그리고 풀기 어려운 윤리적 딜레마까지 폭넓은 독자들이 이해할 수 있도록 쉽게 풀어낸다. 이 책은 이 분야에 첫발을 내딛는 한국의 젊은 전문가들은 물론, 단순한 호기심을 가진 독자에게 큰 통찰을 줄 것이다. 무엇보다도, 우리 삶 곳곳에 스며든 기술에 윤리를 더하고자 하는 지금, 반드시 읽어야 할 시의적절한 책이다.

조셉 시어링(Joseph Seering), 한국과학기술원(KAIST) 전산학부 조교수: Trust and Safety 분야를 내부자의 시각에서 이처럼 명료하게 분석한 책은 드물다. 저자는 이 분야의 구조와 복잡성을 체계적으로 짚어내며, 직접 경험담과 연구에 기반한 통찰을 정교하게 엮어냈다. 이 책은 일반 독자에게는 가치 있는 입문서가 되고, 이 길을 준비하는 이들에게는 실질적인 지침서가 될 것이다.

임규건, 한양대학교 경영대학 학장 및 경영전문대학원 원장: 이 책은 생성형 AI 시대의 위험과 안전 전략을 가장 시의적절하게 짚어낸 통찰을 담고 있다. 저자 전수민은 실무자와 정책결정자에게 유해 콘텐츠 대응의 실천적 방향을 제시한다. AI 안전은 더 이상 기술자만의 과제가 아니며, 정부, 교육기관, 시민이 함께 나눠야 할 공동의 책임임을 이 책은 분명히 보여준다. 신뢰할 수 있는 사회를 바라는 모든 이에게 반드시 권하고 싶은 책이다.

서길수, 연세대학교 경영대학 교수: 대부분의 AI 관련 책들이 기술 활용과 효율에 초점을 맞추는 반면, 이 책은 AI의 그림자와 위험, 그리고 이를 통제할 인간의 책임에 주목한다. AI가 인류에 심각한 위협이 될 수 있다는 우려가 커지고 있는 시대에, ‘Trust and Safety’라는 새로운 분야를 통해 AI 시대의 윤리적·사회적 안전망 설계를 제시한다. AI 시대를 살아가는 모두가 반드시 읽어야 할 필독서이다.

이용석, 노트르담 대학교 부교수(FoLab): 저자는 실리콘밸리에서 신뢰와 안전 전문가로서의 경험과 글로벌 플랫폼 디스코드에서의 활동을 바탕으로, 한국이 왜 AI 신뢰성과 안전 문제를 진지하게 받아들여야 하는지, 그리고 실리콘밸리의 신뢰·안전 조직이 어떻게 운영되는지를 명확하고 설득력 있게 풀어낸다. 빠른 기술 발전과 경제 성장에도 불구하고 한국은 AI 윤리, 안전, 거버넌스 문제를 상대적으로 소홀히 다뤄왔다. 이 책은 그 공백을 메우며, 특히 청년 세대에게 AI 신뢰성과 안전 분야의 선도자가 될 것을 촉구하고, 다가올 AI 시대에 실질적인 변화를 만들기 위한 실용적 로드맵을 제시한다.

유미진, 대한민국 외교관, ‘나랑 밥 먹고 미국 갈래?’ 저자: 이 책은 문과 전공자들에게 특별한 의미를 가진다. 흔히 ‘문송합니다(문과여서 죄송합니다)’라는 표현이 회자되지만, 저자는 AI 시대에 인문학적 감수성과 인간에 대한 통찰력이 소중한 자산이 될 수 있다는 것을 보여주고 있다. 기술과 사람을 잇는 Trust and Safety는 문과 전공자에게 새로운 도전의 기회를 열어주고 있으며, 앞으로 더욱 주목받는 분야로 성장할 것이다.

이 책은 AI의 발전을 향한 열망과 질주 속에서 우리가 잊고 있던 ‘안전’이라는 중요한 가치를 되새기게 하며, 이 시대 안전에 대한 책임이 테크 기업뿐 아니라 우리 모두에게 있음을 분명히 일깨워 주고 있다. AI 시대, 기술이 우리를 어디로 데려갈지는 결국 ‘우리가 어디로 가고자’ 하느냐에 달려 있다. AI의 운전대는 결국 사람이 잡아야 한다. 기술의 발전과 함께, 그 방향과 책임 또한 우리 모두가 나눠야 할 것이다. 

양인숙, ㈜스카우트파트너스 커리어 컨설턴트, 前 전자책 출판·IT 플랫폼 창업자, 국책연구원 연구위원: “기술은 우리 모두의 삶에 크고 작은 변화를 주고 있다. 하지만 그 변화는 모두에게 공평하게 다가오지 않는다”라는 저자의 말처럼, 이 책은 기술이 만들어낸 불균형과 위험에 주목하고, 그에 맞서기 위한 인간의 개입과 협력, 그리고 글로벌 거버넌스의 필요성을 구체적으로 설계해 나간다. 이 책은 AI와 디지털 생태계 속에서 신뢰와 안전을 고민하는 모든 이들에게 매우 시의적절한 길잡이가 되어줄 것이다.

머리말: 실리콘밸리, AX 터뷸런스의 진원지에서

※ 본 책에서 언급하는 플랫폼 운영 사례, 정책적 논쟁, 기술의 한계는 업계에서 공통된 고민이며, 특정 기업이나 조직을 비판하거나 대변하지 않는다. 저자가 재직 중인 디스코드(Discord Inc.)의 공식 입장과는 무관하며, 모두 저자의 개인적 견해임을 밝힌다.

불평등의 현장에서 시작된 질문

어린 시절 외가 방문차 파라과이에 갔을 때 세상의 불평등을 자연스럽게 체감했다. 창문 너머로 내려다본 풍경은 어디서나 비슷해 보였지만, 문을 열고 그 땅을 직접 밟아보면 삶의 조건은 전혀 달랐다. 어떤 아이는 학교에 가기 위해 먼 길을 걸어야 했고, 어떤 동네는 전기도 물도 제대로 공급되지 않았다. 그때부터 내게는 하나의 질문이 자리 잡았다.

왜 누군가에게는 평범한 일상이 또 다른 이에게는 특별함이 되는가? 그 불평등은 어디서 비롯되는가?

아시아재단에서 몽골로 파견되어 처음 울란바토르에 도착했을 때 가장 먼저 마주한 건 매캐한 공기였다. 겨울이면 도시 전체가 숨 쉬기 조차 어려운 공해와 먼지로 덮였고, 창문을 열면 방 안까지 연기가 자욱히 들어왔다. 목이 칼칼하고 눈이 따가운 건 일상이었고, 밖에 잠시만 다녀와도 옷에는 연기의 냄새가 짙게 배어 있었다.

몽골은 1990년, 사회주의 체제에서 민주주의와 자본주의 기반의 도시화를 통해 빠르게 성장했다. 하지만 그 변화의 설계에 모두가 포함된 것은 아니었다. 유목민 출신 이주민들은 울란바토르 외곽에 게르촌을 형성했고, 안정적인 직업도 생계 수단도 없이 지금까지도 극심한 빈곤 속에 살아가고 있다. 영하 50도의 겨울을 버티기 위해 그들은 저질 석탄, 폐타이어, 심지어 쓰레기까지 연료로 사용할 수밖에 없다.

정부는 수차례 원석탄 사용 금지와 대체 연료 보급 정책을 시도했지만, 몽골의 공해 문제는 여전히 나아지지 않고 있다. 게르촌 주민들은 정책 결정 과정에 참여할 기회도, 목소리를 낼 채널도 충분하지 않다. 오늘날 울란바토르는 세계에서 가장 대기오염이 심한 도시 중 하나로 남아 있으며, 그 피해는 게르촌의 아이들, 임산부, 노인에게 가장 먼저, 가장 깊게 닿고 있다.

위해는 불평등하다. 언제나 가장 먼저, 가장 깊게 영향을 받는 이는 사회적으로 가장 취약한 사람들이다. 기술도 다르지 않다. 어떤 기술은 누군가에게는 편리함이지만, 다른 누군가에게는 심각한 피해로 이어질 수 있다. 자원의 배분이나 정책 및 제도의 수립뿐 아니라, AI 기술, 그

역시 불평등을 증폭시키거나 완화할 수 있는 구조물이다. 그리고 그 결과는 누가 설계에 참여했는가 혹은 누구의 목소리가 고려됐는가에 따라 달라진다.

오늘날 기술은 모두의 삶에 크고 작은 변화를 주고 있다. 너무 빠르게 흘러가는 기술의 물결에 몸을 싣기보다는 그 흐름을 설계할 방법은 없을까? 안전한 기술, 더 나아가 공정한 기술이란 무엇일까?

플랫폼과 권력, 새로운 딜레마

2020년 글로벌 코로나19 팬데믹과 경제 셧다운 속에서 전 세계는 미국 기반의 온라인 플랫폼의 영향력을 실감하게 되었다. 페이스북, 트위터와 같은 플랫폼은 사회적 거리두기로 단절된 오프라인을 대신해 온라인에서 사람들을 이어주는 통로가 되었지만, 동시에 극단주의, 가짜뉴스, 알고리즘 왜곡 현상도 함께 확산되었다. 특히 2020년 미국 대선을 전후로, 플랫폼은 ‘진실의 게이트키퍼가 되어야 하는가?’ 라는 거대한 질문에 직면했다. 표현의 자유 그리고 플랫폼의 책임 사이에서 균형을 맞추는 일은 생각보다 훨씬 더 복잡했고, 나는 그 속에서 기술 정

책의 본질적인 딜레마를 처음으로 실감했다.

이런 사회적 어지러움 가운데, 나는 스탠퍼드 대학교에서 석사 과정을 밟았다. 재학 중에는 온라인 플랫폼에서 급속히 퍼지는 기후변화 관련 악의적 허위정보에 대응하기 위한 콘텐츠 정책과 머신러닝 모델 설계를 기획했다. 이 경험을 통해 기술이 사회 문제 해결에 어떻게 활용될 수 있는지를 배웠지만, 동시에 기술만으로는 근본적인 문제를 해결할 수 없다는 현실을 마주했다. 또 기술의 한계를 간과했을 땐 오히려 문제를 더 키울 수 있다는 사실도 뼈저리게 깨달았다. 그 과정에서, 담당 교수였던 『역사의 종말』의 저자 프랜시스 후쿠야마(Francis Fukuyama)와 『시스템 에러』의 저자 제레미 와인스틴(Jeremy Weinstein) 교수의 지도를 통해 나는 한 가지 결론에 도달했다. 온라인 유해 콘텐츠 문제는 절대 기술만으로는 해결할 수 없다.

이후 나는 실리콘밸리와 샌프란시스코 지역의 글로벌 커뮤니케이션 플랫폼 기업 중 하나인 디스코드(Discord Inc.)에 기술 정책 전문가로 합류하게 되었다. 이곳에서 AI와 머신러닝 기술이 실제 글로벌 사용자 경험에 어떤 영향을 미치는지 사전에 분석하고, 그 기술이 악의적으로 사용되어 사용자에게 피해로 이어지지 않도록 안전을 설계하는 일을 맡고 있다. 특히, AI가 생성하거나 추천하는 콘텐츠가 청소년을 포함한 글로벌 사용자에게 미치는 영향을 평가하고, 위험을 줄이기 위한 정책을 수립해 프로덕트 설계에 반영하도록 하는 것이 주요 업무다.

AX 터뷸런스의 진원지에서 

지난 몇 년 사이, 이 지역 실리콘밸리는 그야말로 AI를 중심으로 한 격변의 진원지였다. 2022년, 오픈AI가 챗GPT를 출시하며 AI는 정보와 콘텐츠 생태계를 송두리째 뒤흔들기 시작했다. 이어 2025년 5월, 구글은 Google I/O에서 검색, 이메일, 코딩, 일상 업무 전반에 생성형 AI 기능을 통합하겠다고 선언했다. 지메일(Gmail)과 구글독스(Google Docs)에 완전히 탑재된 AI 에이전트는 사용자의 이메일을 읽고 회신을 작성하며, 브라우저 없이도 정보를 수집하고 정리하는 기능까지 선보였다. 검색의 시대를 열었던 구글은 이제 AI 비서의 시대로 전환을 가속화하고 있다.

우리는 지금, AX의 시대를 살아가고 있다. AX는 AI Transformation의 줄임말로, 인공지능(AI) 대전환이라고도 불린다. 2000년대 초반, 인터넷과 모바일 기술이 일상과 산업 전반을 바꿔놓은 디지털 전환(Digital Transformation, DX)이 있었다면, AX는 AI가 우리의 삶과 사회 구조 깊숙이 스며드는 또 하나의 변곡점이다. AI는 더 이상 특정 기능을 자동화하는 도구에 머물지 않는다. 이제는 우리의 사고방식과 의사결정, 정보의 흐름, 그리고 사회의 규칙까지 바꾸는 주체이자 동력이기도 하다.

더불어 기술의 진화는 단순한 기업 간 경쟁을 넘어 국가 간 기술 패권 경쟁으로 이어지고 있다. 누가 더 빠르고 더 강력한 AI를 만들어 내느냐가 세계의 질서를 좌우하는 시대다.

나는 지금 우리가 거대한 기술 소용돌이, AX 터뷸런스의 한복판에서 있다고 주장한다. 이 터뷸런스는 단지 기술의 속도나 경쟁만을 의미하지 않는다. AI가 일상 깊숙이 침투하면서 사회를 지탱해오던 기존의 기준들이 근본부터 흔들리는 그 명백한 혼돈의 시대를 뜻한다.

AI로 생성된 콘텐츠가 진실과 허위를 교란하고, 사회적 분열을 조장하는 새로운 국면을 열었다. 정보는 넘쳐나지만, 신뢰는 급속히 무너지고 있다. 동시에 우리는 점점 더 ‘AI가 제시하는 편리한 답’에 의존하는 사회로 나아가고 있다. 업무에서도, 학업에서도. 심지어 친구나 가족 관계에 대한 조언까지도 AI가 개입하고 있다. 더 나아가, 최근에는 AI 기반 동료 평가(peer review) 시스템의 허점을 악용한 사례도 등장했다. 한 작성자는 논문 속에 ‘숨은 지령’을 삽입해, AI 리뷰어가 이를 인식해 논문을 호의적으로 평가하도록 유도한 것이다.

이 기술은 얼마나 안전한가? 이 기술은 우리의 생각과 신념, 공동체와 사회에 어떤 영향을 미치고 있는가? 그리고 우리는 이 기술에 의지하기 전에, 이러한 질문들을 충분히 던지고 있는가?

나는 이 책에서 기술 그 자체의 진보보다도, 그 기술이 누구의 손에 쥐여 있는지, 그리고 이 시대에서 누가 이 기술의 안전을 설계할 것인지에 대한 질문에 집중하고자 한다. 기술이 앞서갈수록, 그 기술이 사회에 미치는 영향은 더 커지고, 더 복잡해진다. 그래서 이 속도에 발맞춰 신뢰와 안전의 기준을 세우는 집단, Trust and Safety(TnS) 전문가들의 역할은 그 어느 때보다 중요해지고 있다.

나는 이 책을 통해, 보이지 않는 자리에서 매일 새로운 위험과 씨름하며 안전망을 설계해 온 이들의 이야기를 소개하고자 한다. 독자는 그들의 고민과 선택을 따라가며, 기술의 미래가 단지 개발자의 책상 위에서만 만들어지는 것이 아니라, 온라인상 안전을 지키려는 실무자의 현

장에서도 함께 빚어지고 있음을 체감할 수 있을 것이며, 더 나아가 자신이 어떻게 그 설계에 참여할 수 있는지 알게 될 것이다.

이 책의 구성

이 책은 총 4부로 나뉘어졌고 9개의 장으로 구성되어 있다. AX 시대에 AI가 어떻게 위험을 만들고, 누가 그 위험에 맞서고 있는지를 소개하며, 우리가 AI 안전의 설계에 주체적으로 참여할 수 있는 방안을 제시한다.

1부는, 대혼돈의 터뷸런스에 빠진 콘텐츠 생태계에 대해 말한다. AX 시대에서 디지털 콘텐츠는 이제 그 어느 때보다 더 빠르게 많이 생성되고, 더 정교하며, 더 개인에게 맞춤화되어 있다. 그리고 누군가에겐 그저 도움이 되는 기술이지만, 누군가에겐 감정과 믿음을 조작하고 악의를 행하는 무기로 사용되기도 한다. 기술의 진보가 어떻게 오프라인 사회의 불평등을 확대하고, 위해를 심화시키는지 구체적인 사례와 함께 살펴본다.

2부는, 이런 혼돈의 시대에 온라인 질서를 세우고, 보이지 않는 곳에서 디지털 위해에 맞서는 사람들, 즉 TnS 전문가들의 세계를 실무자의 관점에서 본격적으로 조명한다. 왜 플랫폼은 유해 콘텐츠를 쉽게 지우지 못하는가? 사용자의 권리와 표현의 자유는 어디까지이며, 누구의 기준으로 판단하는가? TnS는 왜 오늘날 실리콘밸리와 샌프란시스코의 빅테크 기업에 필수적인 조직인가? 이 장에서는 기업 내부의 복잡한 의사결정 구조와 기술적 한계, 정책과 윤리의 경계에서 벌어지는 긴장을 더해, 온라인 안전의 실상을 파헤친다.

3부는, AX 시대 속 TnS가 AI기술을 어떻게 활용해 온라인상 위험을 감지하고 유해 콘텐츠에 대응하는지 살펴본다. 전통적인 방법부터 생성형 AI라는 고차원 기술이 존재하는 오늘도 AI와 사람은 한 팀으로 일한다. 모든 판단을 AI에 맡길 수는 없기 때문이다. 결국 온라인 위해 콘텐츠 문제에는 인간의 개입이 필수적이며 인간과 AI의 협력이야말로 진정한 안전 설계의 핵심임을 이야기한다.

4부는, AI와 기술의 안전한 발전에 모두의 참여를 위한 실천 안내서다. 이 분야에서 커리어를 시작하고 싶은 사람, 창업을 고민하는 사람, 혹은 기술과 사회 문제를 연결해보고 싶은 사람이라면 어디서부터 시작해야 하는지에 대한 구체적인 커리어 로드맵을 제안한다. 지금 우린 기술 기업만 탓하고 있기엔 시간이 없다. 그리고 법과 규제만으로는 이 문제를 해결할 수 없다. 안전한 기술 생태계가 만들어지려면 우리 모두가 함께 설계에 참여해야 한다는 사실을 강조한다.

우리는 어디에 있는가

기술은 이미 국경을 넘어 우리 모두의 삶을 바꾸고 있다. 하지만 기술이 가져오는 변화는 모두에게 공평하게 다가오지 않는다. 기술의 악영향은 여전히 가장 취약한 사람들에게 먼저 집중되고, 가장 큰 목소리를 가진 자들이 방향을 정한다. 오늘날 기술은 우리에게 어떤 모습으로 위해를 낳고, 불평등을 만들어가는가? 지금 그 기술의 설계에는 누가 참여하고 있는가?

우리는 더 이상 기술을 수동적으로 받아들이는 소비자에 머물러선 안 된다. AI가 만들어 내는 유해 콘텐츠와 그 확산 구조를 이해한다면 더욱 적극적으로 참여할 수밖에 없을 것이다.

이 책이 기술발전의 흐름을 주도적으로 설계할 당신의 여정에 첫 장을 열어주길 바란다.

저자소개

전수민

현재 디스코드(Discord Inc.)에서 AI와 머신러닝 기반 프로덕트의 안전 정책 수립을 담당하는 기술 정책 전문가다. 사전 위해 분석과 기술적 · 정책적 제안을 통해 유해 콘텐츠의 노출과 확산을 줄이고, 사용자 안전과 신뢰를 위한 프로덕트 안전 설계를 이끈다.

스탠퍼드 대학교에서 국제정책학 석사과정을 전액 장학금으로 수학하며, 기술 정책과 AI 거버넌스를 집중적으로 연구했다. 재학 중에는 스탠퍼드 아시아-태평양 연구소(Walter H. Shorenstein Asia-Pacific Research Center)에서 인간과 AI 상호작용에 따른 사회적 영향 연구에 참여했다.

그 이전에는 국제개발 NGO인 아시아재단(The Asia Foundation) 소속으로 몽골 현지에 파견되어, 기술 접근성 격차 해소와 여성의 디지털 역량 강화, 그리고 마이크로파이낸스 및 기술 창업 프로젝트를 기획하고 운영했다.

국제개발, 정책과 거버넌스, 그리고 AI라는 세 분야를 가로지르는 독특한 경력을 바탕으로, 기술이 초래할 수 있는 위험을 사전에 분석하고, 위해가 발생하기 전 단계에 구조적으로 안전을 설계하는 접근을 추구한다.

차례

01 콘텐츠 생태계, 대혼돈의 터뷸런스 속으로

제1장・생성형 AI, 콘텐츠 세계의 격변의 문을 열다 18

1. 생성형 AI, 더 똑똑한 뇌의 등장 19

2. 콘텐츠 생태계 23

3. 양 x 질 x 개인 맞춤화: 이 삼합이 만든 새로운 세상 28

제2장・가짜 뉴스는 시작일 뿐, 더 악랄한 악의를 구현하는 기술 30

1. 탈중앙화된 권력의 시대 30

2. 생성형 AI, 악인을 위한 완벽한 무기 31

3. 누구의 손에 들린 도구인가 37

자가 테스트 나는 지금 AI 콘텐츠 생태계 어디쯤에 있는가? 39

02 혼돈 속 질서를 설계하는 Trust and Safety 전문가들

제3장・플랫폼의 진짜 속사정, 유해 콘텐츠와의 전쟁 44

1. 온라인 플랫폼의 작동 방식 45

2. 인터넷의 그림자: 유해 콘텐츠 49

3. 유해 콘텐츠 관리가 어려운 진짜 이유 52

4. 기업의 우선 순위 61

제4장・당신이 몰랐던 스크린 너머의 세계, Trust and Safety 63

1. 일상에서 보이지 않는 Trust and Safety 64

2. Trust and Safety 조직이란? 66

3. TnS는 팀이 아니라 사명이다 79

실무자 인터뷰 극단주의 조직의 위협에 맞서는 TnS 전문가 이야기 80

03 AX 시대의 안전 설계: AI와 인간의 콜라보

제5장・AI vs. AI: 유해 콘텐츠에 맞서는 기술들 88

1. AI가 TnS에 필연이 된 이유 88

2. 키워드 필터에서 생성형 AI까지, TnS 기술의 발전과 AI 적용 92

3. 하지만 안전을 완성하는 것은 결국 사람이다 99

제6장・AI의 한계, 그리고 인간이 개입해야 하는 순간 101

1. 기술의 한계 102

2. TnS에 적용된 생성형 AI의 한계는? 105

3. 사람만이 할 수 있는 일 111

4. 사용자도 Human-in-the-loop이다 114

5. 터뷸런스를 헤쳐가는 법: 신뢰와 정당성 116

자가 테스트 내 디지털 일상 속 Trust and Safety는 어디에 있었을까? 117

04 더 안전한 디지털 세상, 이제는 우리가 설계할 차례

제7장・새로운 기회: Trust and Safety 커리어 로드맵 120

1. AI 시대, 지금 뛰어들어도 늦지 않았다 120

2. 진입 경로는 다양하다: 기업, 학문, 창업 등 121

3. 어디서 시작할 것인가? 129

4. 디지털 안전의 핵심, TnS 135

실천 체크리스트 오늘, 이 자리에서 시작하는 Trust and Safety 136

제8장・혼자 싸워 이길 순 없다: 공통의 적에 맞서는 글로벌 연대 139

1. TnS 기술은 나눌수록 강해진다 139

2. 플랫폼 간 협력과 성과 141

3. 아직 해결되지 않은 과제 145

4. 오픈소스는 답인가? 책임의 딜레마 148

제9장・AI 공존의 시대: 안전의 주권, 이제는 우리의 선택 150

1. TnS: 오늘의 현실 vs. 우리가 나아가야 할 미래 150

2. 기업 내 TnS의 위치 152

3. 정부는 규제자 역할을 넘어, 기술과 사회를 연결하는 파트너로 155

4. 교육기관 그리고 사용자의 역할 159

5. 당신의 선택은? 161