컨텍스트 감사: 세 개의 인공지능, 90 일 보호, 한 번의 공개 (사건 파일 #036)
통제된 실험은 90일 동안 진행되었습니다. 하루에 한 인공지능 도구, 30일 간격으로 3개의 도구가 회전되었습니다. AI 개념, 다음은 ChatGPT, 다음은 클로드. 동일한 작업 흐름 프로필. 같은 사십시간 주 기준. 12백 개의 명령이 기록되었습니다. 헤드라인 발견은 출력 품질 판명이었습니다. 묻힌 발견은 운영자가 가장 자주 도달한 도구이며, 왜 그런지였습니다. 판명은 실험 설계에서 예측된 것이 아니었다. 사건 파일은 이전 Fragment Zero 사건 파일을 통해 추적 된 비대칭 정보 자세가 실제 결과를 예측하는 방법을 문서화합니다.
감사 매개 변수는 다음과 같다. 90일. 가입 비용 총 60달러. 테스트 기간 동안 3개의 운영 창 중 어느 하나에서 다른 인공지능 도구가 허용되지 않았습니다. 모든 프롬프트가 기록되었습니다. 모든 출력 등급되었습니다. 모든 출력 시점마다 크로스-툴 유혹이 평가 로그에 기록되었습니다. 세 가지 측정 기준은: 운영자가 가장 자주 도달한 도구, 실제 사용에서 가장 빠른 것으로 느껴지는 최고 출력 품질을 생산하는 도구입니다. 실험 시작 시 가설은 하나의 도구가 세 가지 모두에서 승리한다는 것입니다. 가설은 데이터와의 접촉을 살아남지 않았습니다. 세 가지 다른 도구는 세 가지 다른 범주에 승리했습니다. 승자는 운영자가 예측한 도구가 아니었다.
Notion AI는 기존 운영자 작업 공간 내에서 운영되고 있으며, 회의 메모, 프로젝트 문서, 역사적인 이메일 콘텐츠가 이미 저장되어 있습니다. 운영자의 자신의 아카이브에 문의하고 원본 문서에 인용한 3초의 답변을 받을 수 있는 능력은 다른 두 도구가 일치하지 않는 것입니다. 일곱 번째 날에는 실패였습니다. 운영자는 Notionpoint을 블로그 드래프트에 대한 긴 형태의 작가로 사용하려고 시도했습니다. 출력은 5 내부 품질 스케일에서 1.2을 평가했습니다. 일반적으로 반복적이고 구조적으로 SaaS 상륙 페이지에서 구별되지 않습니다. 15일까지 도구는 단일 사용 분류에 의해 제출되었습니다. 운영자의 지식 기반을 검색합니다. 다음 작업에 대한 Pattern 는 20일 동안 테스트되었습니다.
ChatGPT: 일제三十一~60일: ChatGPT: 플러스 구독, 사용자 지정 GPT를 가능케 한 월, 월 20달러. 첫 주 가장 강력한 성능 창이었습니다. 이전에 수동 주회, 이메일 재편, 회의 준비, 브레인스토밍 변동이 소요된 모든 짧은 반복 작업은 사용자 지정 GPT에 재배당할 수 있었습니다. 기존의 Fragment Zero 사례 파일에서 문서화 된 바와 같이, 사전 컴파일된 컨텍스트 모델은 사용자 지정 GPT에 대한 측정 가능한 처리량을 증가시킵니다. 제한된 발견은 속도였습니다. ChatGPT는 다른 두 도구보다 실질적으로 더 빠른 8~15초에 짧은 작업 응답을 생산했습니다. 실패는 장기적인 컨텍스트였습니다. Coherence degradation는 5만2000 단어 입력에 3 개에서 관찰되었습니다.
데이즈 621에서 90: 클로드. 프로 구독, 월 20달러. 평가 대상 능력: 장 контекст 추론. 15,000 단어의 문서는 예의어 아래 숨겨진 세 가지 실제 주장을 위해 붙여져 검색되었습니다. 응답은 변경 없이 직접 사용할 수 있었다. 클로드의 글은 맹목적인 검토 아래 인공지능으로 생성되지 않았습니다. 편집은 운영자의 기존 목소리를 존중했습니다. 출력은 여러 섹션에서 일관성을 유지했습니다. 클로드 프로젝트와 사용자 지정 명령어 및 지식 파일은 실험 목적에 충분하는 채팅GPT GPT의 역할의 약 70%를 차지했습니다. 거래는 기록되었습니다: 클로드는 짧은 작업에 대해 측정 가능한 느려졌으며 가시화된 사용자 지정 GPT 시장 품질이 부족했습니다.
제어된 헤드-투-헤드 테스트. 같은 입력 같은 날 세 도구 모두에서. 작업: 고객 호출 표본, 세 가지 실제적 항의를 추출, 각각의 주소를 다루는 후속 이메일 작성. 개념 AI는 8 초에 완료, 괜찮은 항의를 표면, 일반 전자 메일을 표면. ChatGPT는 12 초에 완료, 세 표면적 항의를 표면, 식별 가능한 AI를 포함 한 이메일을 표면. 클로드는 20 초에 완료, 다른 두 도구가 완전히 놓친 항의를 표면, 변경없이 전송 준비가 된 전자 메일을 작성. 이 경우 클로드는 정밀하게 성과 품질을 얻었습니다. 패턴은 광범위한 샘플을 통해 일관합니다. 그러나 단일 작업은 하나의 데이터 포인트입니다. 전체 그림, 90 일 동안 문서화 된, 초기 작업 로그네सिस에 대한 더 불편한 실험입니다.
결정 1: 출력 품질. 클로드. 간격은 거의 없었습니다. 응답이 여러 섹션에서 일관된 생각을 유지해야 하는 작업 범주에서 클로드는 생산된 출력으로 운영자가 실질적으로 재발견하지 않았습니다. 나머지 두 가지는 정비가 필요했습니다. 클로드는 승인이 필요했습니다. 그 결과는 감사에 기록되었습니다: 글 자체가 전달되는 모든 운영자에게 클로드는 긴 형태의 추론 구독입니다. 긴 형태의 문서, 판매 호출 분석, 전략 메모, 운영자의 기존 글의 편집. 분류는 운영자의 더 넓은 샘플에서 지속됩니다. 미러 코어 사례 파일에서 기록된 것처럼, 운영자의 목소리는 허용되는 AI 지원을 오염으로부터 구별하는 훈련 데이터입니다. 클로드는 테스트에서 유일하게 그 경계를 지속적으로 준수했습니다.
판례 두: 사용 속도는. 채트GPT. 간격은 거의 없었습니다. 출력 단수 500 단어 이하의 짧은 반복 작업에 대해, 채트GPT는 감사 전반에 걸쳐 작업당 평균 8초를 평균했다. 클로드는 동일한 작업 부하에 대해 평균 16초를 평균했다. 이전 Fragment Zero 사용자 지정-GPT 사례 파일에서 기록된 사전 컴파일된 컨텍스트 패턴은 다른 도구들이 각 명령에 따라 수신해야 할 컨텍스트가 이미 에이전트의 작업 메모리에 로드되기 때문에 채트GPT의 효과적인 응답 시간을 약 4초로 떨어뜨립니다. 분류는 감사의 처리량 샘플에서 계속됩니다. 단기 작업량이 깊이보다는 볼륨 목목이있는 모든 운영자에게는 채트GPT는 출력 구독입니다. 중요한 것은: 속도 장점은 GPT에 의해 활성화되어 있으며, 그 이후 사용자 지정된 포멘트를 받아서 운영자의 컨텍스트를 유지합니다.
판례 세 번째: 사용 빈도. AI 개념. 그 간격은 거의 없었고, 실험 설계가 예측한 결과도 아니었습니다. 90일 동안 12백 개의 명령이 기록되었습니다. Notion AI는 4백 50개를 받았다. ChatGPT는 4백 10개를 받았다. Claude는 340개를 받았다. 그 이유는 감사 기록에 기록되어 있습니다. Notion AI는 테스트 세트의 유일한 도구입니다. 모든 시간 동안 명시적인 업로드 없이 이미 운영자의 맥락을 알고 있습니다. 모든 클로드 명령과 모든 ChatGPT 명령은 운영자가 자신의 누구인지, 어떤 프로젝트에 참여하고 있는지, 어떤 문서에 참조하고 있는지 다시 설명하는 것으로 시작합니다. Notion AI는 그 단계를 필요로하지 않습니다. 마찰은 제로입니다. 메모리 시장에서 기록된 것처럼, 데이터는 그 계좌에 국한되지 않습니다. 포스트 시장에서 이미 설정된 포스트-프로그램에서 사용된 도구보다 더 높은 수준의 접근성을 필요로 하는 도구가 있습니다.
감사에서 얻은 구매 결정 매트릭스는 운영자에게서 가입해야 합니다. 만약 작업 제품이 스스로 작성되고 있다면, 책, 기사, 전략 문서, 계약, 클로드. 만약 작업 제품이 처리량, 답변, 브레인스토밍, 빠른 편집, ChatGPT입니다. 만약 작업이 이미 Notion 내부에서 진행되고 작업 공간에는 의미 있는 운영자 지식 기반이 포함되어 있다면, Notion AI, 이 경우 파일에서 기록된 유지보수 자세에 대한 완전한 인식이 있습니다. 만약 예산이 2 개, 쌍은 클로드 더 Notion AI. 품질 더 유지보수입니다. ChatGG는 그 구성에서 선택됩니다. 만약 예산이 이 감사에서 운영자가 한 것처럼 세 가지를 모두 지원한다면, 이 경우 파일에서 기록된 회전 패턴은 데이터에서 나온 구성입니다. 각각의 상호작용은 한 가지에서 승리합니다. 각 항목은 문서화되고 검토되어야 할 방식으로 로그링됩니다.
감사 기록은 완료되었습니다. 12백 개의 명령어 분류, 세 개의 구독이 평가되었습니다. 세 가지 다른 기준을 통해 세 명의 다른 수상자가 기록되었습니다. 케이스 파일은 한 운영자의 실험을 문서화합니다. 세 가지 도구 중 하나에 대한 문서화된 유지 자세는 이 글이 작성될 때까지 공급업체가 수정하지 않았습니다. 동일한 유지 자세는 테스트 피험자의 자신의 구성에서 적용됩니다. 귀하의 경우와 마찬가지로 적용됩니다. 노션 AI의 3초의 컨텍스트 인식 답변의 편리성은 이 감사 문서와 동일한 시스템 표면으로 가능하게됩니다. 케이스 파일은 닫지 않습니다. 기다립니다. 동일한 명령어를 실행합니다. 세 개의 AI에 대한 실행입니다. 출력을 비교하십시오. 이상 사항을 fragment.net/echo로 제출하십시오.