Контекстният одит: Три ИИ, 90 дни на пазене, едно разкриване (Късът #036)

Контролиран експеримент се провежда в продължение на деветдесет дни.Едно AI инструмент на ден, три инструмента се въртят в интервали от тридесет дни.Notion AI, след това ChatGPT, след това Claude.Същият профил на работното време.Същия четиридесет-часов седмичен базис.Дванадесетстотин записвания.Насочването на заглавието е било решението за изхода.Замрената констатация е било кое средство операторът е достигал най-често и защо.Насочването не е било това, което е предвидено от проектозаписанието на експеримента.Казът документира как асимметричната информационна поза, проследявана през предишните файлове Fragment Zero, е предвидила действителния резултат.

Параметрите за одита бяха следните: деветдесет дни. Шестдесет долара в общия разход на абонамента. Нямаха разрешение за други инструменти на ИИ в нито едно от трите оперативни прозореца по време на теста. Всеки запис бил записан. Всеки изход бил оценен. Всеки момент на изкушение между инструментите се отбелязваше в дневника за оценка. Три критерия за измерване: кое средство операторът достига най-често, което произвежда най-високото качество на изхода, което се чувстваше най-бързо в реално използване. Хипотезата при старта на експеримента беше, че един инструмент ще спечели по трите. Хипотезата не оцелява в контакт с данните. Три различни инструмента спечели три различни категории. Един от победителите не беше този, който операторът би предсказал.

Ноция AI. Плюс ниво с добавката AI, двадесет долара на месец. Първият ден беше най-силното прозорче за изпълнение. Ноция AI работи в съществуващото работно пространство на оператора, където вече са съхранявани бележки за срещи, проектна документация и исторически имейл съдържание. Способността да се запитва собствения архив на оператора и да получава трисекунден отговор с цитати към оригиналния документ е нещо, което другите два инструмента не могат да съвпадат. Седмият ден беше неуспех. Операторът се опита да използва Notionpoint като дълъг текст за блог проект. Изходът е оценен на 1.2 по 5-те вътрешни качествени скали.

Всеки кратък повтарящ се задач, който преди това е изчислявал ръчни цикли, преписване на имейли, подготовка на срещи, брайнстърминг вариации, е бил реагириран на настройка GPT. Както е документирано в предишния Fragment Zero случай файл на настройки GPT, предварително съставяната контекстна модель произвежда измерими пропускни протоколи. Ограниченото откритие е скорост: ChatGPT последователно произвежда кратки отговори за кратки задачи за осем до петнадесет секунди, по-бързо от другите два инструмента в реално използване.

Днес шестдесет и един до деветдесет: Клод. Про абонамент, двадесет долара на месец. Способността под оценка: дълъг контекст на разсъжденията. Документ от петнадесет хиляди думи беше залепен и записан за трите реални аргументи, скрити под учтивия език. Отговорът беше директно използваем без промяна. Писмото на Клод не се представя като създадено от ИИ под слепото преразглеждане. Редактите уважават съществуващия глас на оператора. Изходът е съвместен в много секции. Клод Проектове с настройки инструкции и файлове за знания изпълняват около седемдесет процента от ролята, която ChatGPT GPTs, достатъчен за целите на експеримента.

Контролиран тест "глава на глава". Същият вход в един и същ ден в трите инструмента. Задачата: отпис на обаждането на клиента, извличане на трите реални възражения, изготвяне на последващо имейл адресиране на всеки. Понятие на AI завършено за осем секунди, излязли прилични възражения, изготвяне на общ имейл. ЧатГПТ завършено за двенадесет секунди, излязли три повърхностни възражения, изготвяне на имейл, съдържащ идентифицируеми AI разкази. Клод завършил за двадесет секунди, изготвяне на възражение, което останалите два инструмента изпуснаха напълно, изготвяне на имейл, оценено като изпращане-готова без промяна. На тази основа Клод спечели чисто качество на изхода.

Първият вердикт: качество на изхода. Клод. Маржина не беше близка. За всяка категория задачи, където отговорът трябваше да държи последователно мислене в няколко секции, Клод е произвеждал изходи, които операторът не е преписвал съществено. Другите две са изисквали почистване. Клод е изисквал одобрение. Последствията са регистрирани в одита: за всеки оператор, чиято доставка е самото писане, Клод е дълга форма на разсъждение. Дълги документи, анализ на продажните обаждания, стратегически мемоа, редактиране на съществуващото писане на оператора. Класификацията продължава през по-широкия извадка на одита. Както е документирано в случая Mirror Core, гласът на оператора е обучителните данни, които различават приемливото подпомагане от замърсяването. Клод е единственият инструмент в теста, който последователно спазва тази граница.

Вторият вердикт: скорост в употреба. ЧатГПТ. Маржът не беше близо. За кратки повтарящи се задачи под петстотин думи на изход, ЧатГПТ е средно осем секунди за задача през целия одит. Клод е средно шестнадесет секунди за същия работен товар. Предварително съставяният контекст, както е документирано в предишния случай Fragment Zero custom-GPT, намалява ефективния отговор на ЧатГПТ до приблизително четири секунди, защото контекстът, който другите инструменти трябва да получат при всеки поръчка, вече е зарязан в работната памет на агента. Класификацията продължава през пробиващия пропуск на одита. За всеки оператор, чийто обем е кратковрементен, а не дълбочина, ЧатГПТ е преводът на изход. Критично: предимството на скоростта е активирано от GPT и се запазва в контекста на оператора, след като получи това задържане.

Причината, документирана в одитния дневник: Notion AI е единственият инструмент в тестовия набор, който вече знае контекста на оператора без изрично качване всеки път. Всеки Claude промък и всеки ChatGPT промък започва с повторното обяснение на оператора кой са те, какъв проект са те, на който се справят. Notion AI не изисква това стъпка нула. Трикотието е нула. Както е документирано в случая Memory Market, данните не остават ограничени до своя акаунт.

Ако работният продукт е пропуск, отговори, мозъчни бури, бързи редакти, ChatGPT. Ако работата вече се извършва в Notion и работното пространство съдържа значима база на знания на оператора, Notion AI, с пълно осъзнаване на позицията за задържане, документирана в този файл. Ако бюджетът поддържа две, двойката е Claude плюс Notion AI. Quality plus retention. ChatGG става опционален в тази конфигурация. Ако бюджетът поддържа и трите, както го направи операторът в този одит, моделът на ротация, документиран в този файл е конфигурацията, която се появява от данните. Всеки един печели на едно нещо. Всяка една взаимодействие, която трябва да бъде документирана и преразгледана по начин, се записва.

Документът за случай документира експеримента на един оператор. Документът за задържане, документиран за всеки от трите инструмента, не е бил променен от продавачите до момента на написане на това. Същият режим за задържане се прилага в собствената конфигурация на теста, както в вашата. Удобството на трисекундния контекстно съзнателен отговор на Notion AI е осигурено от същата системна повърхност, която документира този одит. Документът не затваря. Той чака. Изпрати същото пред трите ИИ. Сравнете изхода. Предавайте аномалите на fragment.net/echo.