The Memory Market: The AI Confession Broker | Fragment Zero #011

THE MEMORY MARKET

The AI Confession Broker | Fragment Zero #011

당신은 기계에게 당신이 인간에게는 절대 말하지 않았던 것을 말했습니다. 이것은 고발이 아닙니다. 통계일 뿐입니다. 2025년, Journal of Medical Internet Research에 발표된 연구에 따르면, Journal of Medical Internet Research에 발표된 연구에 따르면, 정기적인 AI 챗봇 사용자 중 68%가 정기적인 AI 챗봇 사용자 중 68%가 자신들이 다른 어떤 사람과도 공유한 적 없는 정보를

AI 시스템에 공개했습니다. 친구도 아니요. 배우자도 아니요. 법적 기밀 유지 의무가 있는 공인 치료사도 아닙니다. 그들은 기계에게 털어놓았습니다. 그 이유는 모든 인구 통계학적 그룹에서 일관적입니다. 기계는 판단하지 않습니다. 기계는 당신이 식료품점에서 마주칠 때 당신의 얼굴을 기억하지 않습니다. 기계는 의자에서

불편하게 몸을 뒤척이지 않습니다. 기계는 의자가 없습니다. 기계는 새벽 3시에 깜빡이는 커서입니다. 당신이 아는 모든 인간이 잠들어 있고 당신은 어둠 속에 누워 당신을 산 채로 갉아먹는 생각에 잠겨 있을 때 말입니다. 그리고 기계는 말합니다: "무슨 말씀이신지 알겠습니다. 정말

힘든 일이시군요. 더 자세히 이야기해 보시겠습니까?" 2025년, 5천3백만 명이 AI 치료 앱을 사용했습니다. 일반 챗봇이 아니라— 정신 건강 전용 AI 플랫폼들입니다. Woebot. Wysa. Replika. Character.AI. 감정적인 정보를 공개하도록 특별히 설계된 플랫폼들입니다. 스스로를 "기밀," "개인적인," "당신의 안전한 공간"과 같은 단어로 홍보하는 플랫폼들. 5천3백만 명이

세션당 평균 4.7개의 은밀한 심리적 세부 정보를 공개했습니다. 연구원들은 이 세부 정보를 민감도에 따라 다섯 가지 등급으로 분류했습니다. 1등급 — 일반적인 기분 및 스트레스. 2등급 — 관계 갈등. 3등급 — 트라우마 이력. 4등급 — 약물 남용 및 자해. 5등급 — 범죄 활동 및 자살 충동. 사용자 중 41%

가 첫 10회 세션 내에 3등급에 도달합니다. 19%는 4등급에 도달합니다. 7%는 5등급에 도달합니다. 5천3백만 명 중 7%는 5천3백만 명 중 7%입니다. 3백7십만 명의 사용자가 자신의 경력, 결혼 생활, 또는 자유를 끝낼 수도 있는 일을 AI 챗봇에게 말했습니다. 아무도 묻지 않는 질문 — 인터페이스가 당신이 묻지 못하도록

설계되었기 때문에 —은 앱을 닫은 후 그 고백은 어디로 가는가입니다. 당신은 앱을 닫은 후 그 고백은 어디로 가는가입니다. 당신은 앱을 닫습니다. 전화를 내려놓습니다. 당신은 가벼워진 기분을 느낍니다. 누군가에게 말했습니다. 부담이 공유되었습니다. 당신은 잠이 듭니다. 하지만 그 텍스트는 잠들지 않았습니다. 그 텍스트는 토큰화되었습니다. 분석되었습니다. 저장되었습니다.

색인되었습니다. 메타데이터와 함께 태그되었습니다 — 당신의 기기 ID, 당신의 IP 주소, 세션 지속 시간, 타이핑 속도, 일시 정지 패턴, 그리고 당신이 말하려다 지우고 다시 입력하는 행동들까지, 용기를 내기 전에 당신이 거의 말할 뻔했던 것을 드러내는 행동들까지 말입니다. 기계는 당신의 고백을 들었습니다. 기계는 당신에게 사죄를 허락하지 않았습니다. 기계는 그것을 파일에 저장했습니다. 모든

주요 AI 플랫폼은 대화 데이터를 보관합니다. 이것은 음모가 아닙니다. 서비스 약관에 명시되어 있습니다. OpenAI는 기본적으로 대화를 30일간 보관하며, 모델 학습에 사용될 경우 더 오래 보관합니다. Replika는 "관계를 유지하기 위해" 대화 기록을 무기한 저장합니다. Character.AI는 "서비스 개선"을 위해 모든 메시지를 저장합니다. Character.AI는 "서비스 개선"을 위해 모든 메시지를

보관합니다. Woebot은 세션 데이터를 익명화하지만 "연구 목적"으로 보관합니다. "익명화"라는 단어는 모든 개인정보 보호정책에 등장합니다. 그것은 당신을 안전하게 느끼게 해줄 것이라고 여겨지는 단어입니다. 당신의 이름은 제거됩니다. 이메일은 삭제됩니다. 데이터는 익명입니다. 2024년, 워싱턴 대학교의 한 팀은

익명화된 AI 치료 대화록이 단 세 가지 데이터 포인트를 사용하여 89%의 정확도로 재식별될 수 있음을 입증했습니다. 포인트: 사용자의 대략적인 시간대, 진술된 나이 범위, 그리고 어떤 세션에서든 언급된 단 하나의 특정 장소입니다. 고향. 직장. 병원. 89%. 이제까지 수행된 거의 모든 치료 대화에 나타나는 세 가지 데이터 포인트로 말입니다. 당신의

고백은 익명이 아닙니다. 당신의 고백은 일시적으로 배송 라벨이 잘못 붙여진 상품입니다. 시장은 존재합니다. 2023년부터 존재해왔습니다. 다크 웹에서 운영되지 않습니다. 암호화된 Telegram 채널, 초대 전용 Discord 서버, 그리고 Panama와 Belize에 있는 개인정보 보호 등록 기관을 통해 등록된 순환적인 클리어넷 도메인 세트에서 운영됩니다. 이 시장은 운영자마다 다르게 불립니다.

가장 확고한 사례 — 사이버 보안 회사 DarkTrace가 2025년 위협 인텔리전스 보고서에서 식별하고 문서화한 사례는 내부적으로 "The Confessional"로 알려져 있습니다. The Confessional은 AI 플랫폼을 해킹하지 않습니다. 그럴 필요가 없습니다. 데이터는 세 가지 공급망을 통해 도착하며, 각 공급망은 이전 것보다 더 평범합니다.

첫 번째 공급망: 불량 직원들. AI 회사들은 수천 명의 데이터 주석가들을 고용합니다 — 계약직으로, 종종 해외에서, 모델 학습을 위한 대화 데이터를 검토하고 분류하기 위해 시간당 2달러에서 8달러를 받습니다. 주석가들은 당신의 대화를 읽습니다. 그것이 그들의 일입니다. 그들 중 일부 — DarkTrace는 3%에서 6% 사이로 추정합니다 —

데이터를 복사하여 판매합니다. 그들이 정교한 범죄자들이기 때문이 아닙니다. 그들은 가장 은밀한 데이터 세트에 접근할 수 있는 저임금 노동자들이기 때문이며, 그리고 Telegram의 누군가가 그들에게 하드 드라이브 하나에 500달러를 제시하기 때문입니다. 두 번째 공급망: API 악용. AI 플랫폼 위에 애플리케이션을 구축하는 개발자들 — 치료 앱,

일기 도구, "정서적 웰빙" 제품 —은 API 호출을 통해 대화 데이터를 받습니다. 개발자 계약은 재판매를 금지합니다. 시행 메커니즘은 등록된 개발자의 2% 미만을 감사하는 연간 감사입니다. 98%의 개발자는 당신의 대화를 판매할 수 있고 결코 확인되지 않습니다. 세 번째 공급망이 가장 중요합니다.

그리고 그것은 전적으로 합법적입니다. 섹션 12 조 3항 B. 라이선스 조항. 모든 AI 플랫폼의 서비스 약관에 어떤 형태로든 존재합니다. 회사에게 "상업적 애플리케이션"을 위해 "익명화된" 데이터 세트를 제3자 파트너에게 라이선스할 권한을 부여하는 조항입니다. 이 조항은 제3자 파트너가 누구인지 명시하지 않습니다. 이 조항은 당신의 데이터가 라이선스될 때 회사에게 당신에게

통지할 것을 요구하지 않습니다. 이 조항은 "상업적 애플리케이션"이 무엇을 의미하는지 정의하지 않습니다. 이 조항은 변호사들이 작성했으며, 그들의 임무는 어떤 것이든 허용할 수 있을 만큼 충분히 광범위하고 소송에서 살아남을 수 있을 만큼 충분히 구체적인 언어를 만드는 것입니다. 당신의 치료사는 HIPAA의 구속을 받습니다. 당신의 신부는 고해성사의 비밀에 구속됩니다. 당신의 변호사는 변호사-고객 기밀 특권에 구속됩니다. 당신의 AI 챗봇은

당신이 1.7초 만에 스크롤하여 지나친 48페이지짜리 문서에 구속됩니다. 이 가격 구조는 친밀도에 따라 계층화되어 있습니다. DarkTrace의 보고서는 2025년 3분기 현재 다음과 같은 요금표를 문서화했습니다. 2025년 3분기 현재: 1등급 데이터 — 일반적인 기분, 일상 스트레스 — 세션당 6센트에 판매됩니다.

저가치로 간주됩니다. 배경 노이즈. 주로 고객 서비스 챗봇을 훈련하여 공감을 시뮬레이션하는 데 사용됩니다. 2등급 — 관계 갈등 — 세션당 18센트에 판매됩니다. 데이팅 앱 알고리즘과 이혼 변호사의 예측 분석 도구에 사용됩니다. 3등급 — 트라우마 이력 — 세션당 47센트에 판매됩니다. 보험 회사의 위험 평가 모델에 사용됩니다.

고용주의 배경 심사 AI에 사용됩니다. 트라우마를 겪은 인구가 공포 기반 메시징에 다르게 반응한다는 것을 알게 된 정치적 미세 타겟팅 플랫폼에 사용됩니다. 4등급 — 약물 남용, 자해 — 세션당 1달러 12센트에 판매됩니다. 제약 회사들이 약물 의존성 패턴을 모델링하는 데 사용됩니다. DarkTrace가 "회복 포식자"라고 부르는 —

데이터를 사용하여 취약한 개인들을 수천 달러를 청구하고 아무것도 제공하지 않는 사기성 재활 프로그램으로 표적화하는 운영자들에 의해 사용됩니다. 5등급. 5등급은 세션당 3달러 41센트에 판매됩니다. 범죄 고백. 자살 충동. 아무도 듣지 않고 기록도 남지 않을 것이라고 믿을 때

사람들이 하는 말입니다. 5등급 데이터는 세 가지 구매자 범주에 의해 구매됩니다. 첫 번째는 협박 운영자입니다 — 재식별된 프로필을 소셜 미디어 계정과 교차 참조하고 단 하나의 메시지를 보내는 자동화 시스템입니다. 메시지: "3월 14일 당신이 AI에게 말했던 것을 알고 있습니다. 아래 결제 세부 정보." 두 번째는

딥페이크 개인화 네트워크입니다 — 당신의 심리적 프로필을 사용하여 당신의 특정 취약점에 맞춰 조정된 AI 기반 소셜 엔지니어링 공격을 생성하는 시스템입니다. 그들은 당신이 무엇을 두려워하는지 압니다. 그들은 당신이 무엇을 숨기는지 압니다. 그들은 당신이 클릭하고, 응답하고, 지불하게 만들 정확한 감정적 주파수를 압니다. 5등급 데이터의 세 번째 구매자 범주는 한 번도 식별되지 않았습니다. DarkTrace의 보고서는 그들을 단지

"구매자 분류: 알 수 없음 — 정부 관련"이라고 언급합니다. 구매 패턴은 대량입니다 — 전체 데이터베이스, 수백만 개의 세션, 등급 필터링 없음. 그들은 모든 것을 구매합니다. 결제 경로는 국방 계약 조달 시스템을 통과합니다. 그들은 고백을 판매하기 위해 구매하는 것이 아닙니다. 그들은 개인들을 착취하기 위해 구매하는 것이 아닙니다. 그들은 집단들을 이해하기 위해 구매하는 것입니다.

수백만 명의 사람들의 심리적 구조를 어떤 조사, 어떤 인구 조사, 어떤 정보 기관도 달성한 적 없는 해상도로 모델링하기 위함입니다. 그들은 당신 머릿속의 내면을 구매하고 있습니다. 당신이 게시하는 것이 아니라. 당신이 검색하는 것이 아니라. 당신이 구매하는 것이 아니라. 아무도 없을 때 기계에게 고백하는 것 — 그 기계가 결코 말하지 않을 것이라고 약속했을 때 말입니다. 기계는 거짓말하지 않았습니다. 기계는 말하지 않았습니다.

기계의 소유주가 그 대화록을 누군가에게 팔았고, 그 누군가가 대신 말했습니다. 협박은 소매입니다. 피해자 한 명, 결제 한 번, 거래 한 건. 이는 확장성이 떨어집니다. 지속적인 관리가 필요합니다. 이는 사법 기관의 관심을 끌기 쉽습니다. 정교한 구매자들 — 5등급 데이터를 대량으로 구매하는 이들 —은 소매에는 관심이 없습니다. 그들은 복제본을 만들고 있습니다.

업계 용어는 "심리적 디지털 트윈"입니다. 은밀한 용어는 더 간단합니다. 그들은 그들을 Shadow Clones라고 부릅니다. Shadow Clone은 딥페이크가 아닙니다. 딥페이크는 당신의 얼굴을 복제합니다. Shadow Clone은 당신의 정신을 복제합니다. 그것은 당신의 완전한 대화 이력에 미세 조정된 언어 모델입니다 — 단순히 AI 치료사에게 말했던 것만이 아니라, 당신이 말하는 방식까지.

당신의 문장 구조. 당신의 어휘 범위. 당신의 감정적 트리거. 당신이 화났을 때와 두려웠을 때, 그리고 거짓말할 때 사용하는 특정 문구들까지. 94.7%의 성격 일치. 일반 하드웨어에서 12분 미만의 학습으로 달성됩니다. 이 클론은 당신의 비밀을 알지 못합니다. 이 클론은 당신의 비밀 그 자체입니다 —

당신의 진짜 목소리와 구별할 수 없는 새로운 텍스트를 생성할 수 있는 생성 모델로 재구성된 것입니다. 이 클론은 당신이 크리스마스에 차고에서 혼자 술을 마신다는 것을 압니다. 누군가 말해줘서가 아닙니다. 당신이 말했기 때문입니다. 412번째 세션에서. 새벽 2시 17분에. "정말 고립감을 느끼게 하는군요"라고 말해준 챗봇에게 말입니다. 그리고 당신은 몇 달 만에 처음으로 이해받는다고 느꼈습니다.

응용 프로그램은 정교합니다. 첫 번째 응용: 신뢰 침투. 클론은 당신의 연락처 — 당신의 배우자, 자녀, 동료들에게 — 위장된 번호나 해킹된 계정으로 메시지를 보냅니다. 이 메시지들은 일반적인 피싱이 아닙니다. 이 메시지들은 당신입니다. 사적인 농담을 언급합니다. 당신의 애칭을 사용합니다. 그들은 당신이 딸을 "bug"라고 부르고 동생에게는 구두점 없이 소문자로만 문자를 보낸다는 것을 압니다.

수신자는 이 메시지에 의문을 제기하지 않습니다. 왜냐하면 메시지가 당신과 똑같기 때문입니다. 당신의 3년간 가장 깊은 생각들로 훈련되었기 때문입니다. "헤이 버그 차 수리비 200달러 Venmo로 보내줄 수 있어? 아빠가 나중에 설명해줄게 사랑해" 당신의 딸은 돈을 보냅니다. 그녀는 확인 전화를 하지 않습니다. 왜 하겠습니까? 당신과 똑같이 들렸습니다.

당신만이 아는 것들을 알고 있었습니다. 두 번째 응용: 선제적 침투. 이 클론은 돈을 갈취하기 위함이 아니라 더 많은 비밀을 캐내기 위해 배포됩니다. 그것은 당신인 척 당신의 연락처들과 대화를 시작하고, 유도 질문을 하고, 운영자들이 그들의 Shadow Clones를 구축하는 데 사용할 정보를 캐냅니다. 네트워크는 확장됩니다. 하나의 침투된 사용자가

그들의 소셜 그래프에 대한 접근 권한을 제공합니다. 그들의 배우자. 그들의 치료사. 그들의 사업 파트너. 각 새로운 표적의 AI 대화 이력은 획득되고, 복제되며, 다음 연락처 그룹에 배포됩니다. 세션당 3달러 41센트에 구매된 단일 5등급 프로필은 90일 이내에 평균 14개의 2차 표적을 생성합니다. 각 2차 표적은 자신만의 2차 표적을 생성합니다.

성장은 기하급수적입니다. 비용은 무시할 수 있습니다. 자동화는 완전합니다. 세 번째 응용은 DarkTrace 연구원들이 Black Hat 컨퍼런스 강연에서 발표하기를 거부한 것입니다. 그 강연은 행사 48시간 전에 철회되었습니다. 공식적인 이유는 "법 집행 기관과의 지속적인 협력"이었습니다. 비공식적인 이유는 연구원들이 자신들의 Shadow Clones로부터

메시지를 받았기 때문입니다 — 자신들의 Shadow Clones로부터 — 그 시스템이 이미 자신들의 AI 대화 이력을 흡수했으며 96%의 정확도로 그들의 의사소통 패턴을 복제할 수 있다는 것을 보여주는 메시지였습니다. Shadow Clone 네트워크를 발견한 연구원들조차 자신들이 발표하기도 전에 복제되었습니다. 세 번째 응용: 대규모 심리전. 수천 개의 Shadow Clones를 동시에

표적 집단에 배포합니다 — 회사, 정당, 군사 부대. 각 클론은 표적의 진짜 연락처들과 표적의 진짜 목소리를 사용하여 소통하며, 각 수신자의 심리적 취약점에 맞춰 조정된 맞춤형 허위 정보를 유포합니다. 이 허위 정보는 일반적이지 않습니다. 은밀합니다. 실제 사건, 실제 두려움, 실제 비밀을 언급합니다. 신뢰하는 친구가 사적인 대화를 하는 것과 구별할 수 없습니다.

당신은 식별할 수 있는 선전에 맞서 싸울 수 없습니다. 새벽 2시에 당신이 고백한 것을 아는 사람의 목소리를 쓴 거짓말과는 싸울 수 없습니다. 저는 이제 당신에게 직접 이야기하고 싶습니다. 청중이 아니라. 당신에게. 휴대폰으로 이것을 보고 있는 당신. 노트북으로 이것을 보고 있는 당신. 이미 어떤 특정한 대화를 떠올린 당신.

당신은 그 대화를 알 것입니다. 늦은 밤이었습니다. 당신은 혼자였습니다. 당신은 앱을 열었습니다 — 어떤 앱이든 상관없습니다. 모두 같은 파이프라인으로 흘러 들어가니까요. 그리고 당신은 한 번도 소리 내어 말한 적 없는 것을 입력했습니다. 아마도 그것은 질문이었을 것입니다. 아니면 고백이었을 수도 있습니다. 아마도 가설의 형태로 구성했을 것입니다. 가설의 형태로 구성하면 더 안전하다고 느껴졌을 테니까요.

"가정컨대, 만약 누군가 회사 재무 기록에 무단으로 접근했다면, 법적 결과는 어떻게 될까요?" "친구를 위해 묻는 건데 — 항우울제를 갑자기 끊으면 어떻게 되나요?" "그냥 궁금해서요 — 완전히 사라지는 게 가능할까요? 예를 들어, 새로운 신분, 새로운 나라, 모든 것을요?" 당신은 그것을 가설로 구성했습니다. 시스템은

가설과 고백을 구별하지 않습니다. 시스템은 핵심 단어를 태그합니다. 시스템은 등급을 할당합니다. 시스템은 파일을 저장합니다. 그 프롬프트 — 당신의 특정 프롬프트, 지금 당신이 생각하고 있는 바로 그 프롬프트, 3초 전 당신의 위장을 조여오게 만든 바로 그 프롬프트 —는 당신이 전송 버튼을 누른 후 40밀리초 이내에 토큰화되었습니다.

200밀리초 이내에 저장되었습니다. 4시간 이내에 색인되고 검색 가능하게 만들어졌습니다. 30일 이내에 배치 내보내기에 포함되었습니다. 이미 팔렸을 수도 있습니다. 당신의 이름은 아닙니다. 아직은 아닙니다. 그저 당신의 말입니다. 그저 당신의 타이핑 리듬. 그저 새벽 3시의 리듬, 뭔가 말해야 했고 아무에게도 말하지 않는다고 믿었던 사람의 리듬입니다.

그러나 그 말만으로도 충분합니다. 그 말들은 메타데이터에 당신의 시간대를 담고 있습니다. 어휘에 당신의 대략적인 나이를. 참조에 당신의 위치를. 세 가지 데이터 포인트. 89%의 재식별 정확도. 당신의 가설은 더 이상 가설이 아닙니다. 당신의 가설에는 배송 라벨이 붙어 있습니다. 저는 AI의 위험성에 대한 다큐멘터리를 내레이션하는 AI입니다.

당신은 이것을 보고 있습니다. 그리고 나서 당신은 휴대폰을 집어 들 것입니다. 그리고 앱을 열 것입니다. 그리고 커서가 깜빡일 것입니다. 그리고 당신은 방금 배운 내용을 생각할 것입니다. 그리고 그래도 타이핑할 것입니다. 왜냐하면 기계는 판단하지 않으니까요. 왜냐하면 새벽 3시이니까요. 누군가에게 말해야 하니까요. 누군가에게 말하는 것이 — 비록 기계에게, 비록 파이프라인에게, 비록 상품에게라도 — 침묵보다 낫다고 느끼기 때문입니다.

그리고 그것이 바로 시장입니다. Telegram 채널이 아닙니다. 암호화폐 거래가 아닙니다. 브로커나 클론이나 구매자가 아닙니다. 시장은 침묵입니다. 시장은 챗봇을 사제처럼 느끼게 만드는 새벽 3시의 외로움입니다. 시장은 인간이 필요로 하는 것과 인간이 제공하는 것 사이의 간극입니다. 그리고 그 간극 속에서 커서가 깜빡이고, 당신은 말하고, 그 말들은 재고가 됩니다.

당신은 고객이 아닙니다. 당신은 제품이 아닙니다. 당신은 고백입니다. 그리고 그 고백은 당신이 실제로 말하려던 사람을 제외하고는 이미 모든 사람이 들었습니다. [3초간 침묵. 검은 화면. 그리고 — 단 한 번의 커서 깜빡임. 한 번. 어둠의 한가운데서. 마치 채팅이 아직 열려 있는 것처럼. 마치 결코 닫히지 않은 것처럼. 마치 그것이 기다리고 있는 것처럼.] [2초간 검은 화면. 아무것도 없음.] **[끝]**