Контекстный аудит: три ИИ, 90 дней ухода, одно раскрытие (Файл #036)
Контролируемый эксперимент проводился в течение девяносто дней. Один инструмент ИИ в день, три инструмента вращались в интервалах тридцати дней. Понятие ИИ, затем ChatGPT, затем Клод. Тот же профиль рабочего потока. Тот же 40-часовой базовый уровень недели. Зарегистрировано двенадцатьсот запросов. Выявление заголовка было вердикт выпуска качества. Запокованное выявление было, к какому инструменту оператор пришел чаще всего, и почему. Приговор не был тем, к которому экспериментный дизайн предсказал. Документ документально описывает, как асимметричная информационная позиция, прослеживаемая через предыдущие файлы Fragment Zero, предсказывала фактический результат.
Аудиторские параметры были следующие: девяносто дней. Шестьдесят долларов в общем расчете на подписку. Ни один другой инструмент ИИ не был разрешен в любом из трех операционных окон во время тестирования. Каждый запрос был записан. Каждый выход был оценен. Каждый момент искушения между инструментами отмечался в журнале оценки. Три критерия измерения: какой инструмент оператор достигал чаще всего, который производил наибольшее качество выхода, которое чувствовалось самым быстрым в реальной использовании. Гипотеза при начале эксперимента заключалась в том, что один инструмент выиграл бы во всех трех. Гипотеза не выдержала контакта с данными. Три различных инструмента выиграли три различные категории. Один из победителей не тот, которого оператор мог бы предсказать.
Дни один до тридцати: Notion AI. Plus tier с дополнением AI, двадцать долларов в месяц. День первый был самым сильным окном производительности. Notion AI работает внутри существующего рабочего пространства оператора, где уже хранятся записки о заседаниях, документация проекта и исторический контент электронной почты. Возможность запросить собственный архив оператора и получить трехсекундный ответ с цитатами на оригинальный документ - это то, что два других инструмента не могут сопоставить. Седьмой день был неудачей. Оператор пытался использовать Notionpoint AI как длинный сценарий для проекта блога. Выход оценивался в 1,2 на 5-й шкале внутреннего качества.
Каждое короткое повторяющееся задание, которое ранее потребляло ручные циклы, перепись электронной почты, подготовку встреч, вариации мозговой шторма, было переназначано на пользовательский GPT. Как задокументировано в предыдущем случае Fragment Zero о пользовательских GPT, предварительно составленная контекстная модель производит измеримый выход. Ограниченное выявление было скоростью: ChatGPT последовательно производил короткие ответы на задачи за восемь до пятнадцать секунд, материально быстрее, чем два других инструмента в режиме реального использования. Неспособность была длинноконтекстирована. Ухудшение соответствия наблюдалось на трех с двадцать пятью тысячами слов. На протяжении трех дней с субкриптом с заложенным в протокол вносили заявки на продажу.
Дни шестьдесят один до девяносто: Клод. Про-подписка, двадцать долларов в месяц. Возможность под оценкой: долгое контекстовое рассуждение. Документ в пятнадцать тысяч слов был заклеен и запрошен на три реальных аргумента, скрывающихся под вежливым языком. Ответ был непосредственно использовательным без изменений. Письмо Клода не было представлено как искусственно созданное под слепым обзором. Редактирование уважало существующий голос оператора. Выход содерживал согласованность в нескольких разделах. Клод Проекты с пользовательскими инструкциями и файлами знаний заполняли примерно семьдесят процентов роли, которую играют ChatGPT GPT, достаточные для целей эксперимента.
Контролируемый тест головы к голове. Одинаковый ввод в тот же день по всем трем инструментам. Задача: транскрипт звонка клиента, извлечение трех реальных возражений, составление последующего электронного письма, адресующего каждого. Понятие ИИ завершено за восемь секунд, выявлены приличные возражения, составлен общий электронный письмо. ChatGPT завершен за двенадцать секунд, выявлены три поверхностных возражения, составлен электронный письмо, содержащий идентифицируемые AI-наказания. Клод завершен за двадцать секунд, выявленные возражения, другие два инструмента полностью пропустили, составлен электронный письмо, оцененный как готовый к отправке без изменений. На этом Клод выиграл качественный результат чисто.
Клод. Маржина была не близка. Для любой категории задач, где ответ должен был содержать последовательное мышление в нескольких разделах, Клод выпустил выходы, которые оператор не переписывал существенно. Остальные два требуют очистки. Клод требовал одобрения. Последствия, зафиксированные в аудите: для любого оператора, результатом которого является само написание, Клод является долгоформенной подпиской на рассуждение. Долгоформенные документы, анализ звонков на продажу, стратегические меморандумы, редактирование существующего письма оператора. Классификация сохраняется в более широком образе аудита. Как задокументировано в файле Mirror Core, собственный голос оператора - это данные о обучении, которые отличают приемлемую помощь от загрязнения. Клод был единственным в тесте, который последовательно соблюдал этот предел.
Второй вердикт: скорость в использовании. ChatGPT. Маржина была не близка. Для коротких повторяющихся задач менее пятисот слов выхода ChatGPT в среднем составил восемь секунд за задачу в течение аудита. Claude в среднем составил шестнадцать секунд за ту же рабочую нагрузку. Предварительно составленный контекстный шаблон, как задокументирован в предыдущем случае Fragment Zero custom-GPT, снижает эффективное время отклика ChatGPT примерно до четырех секунд, потому что контекст, который другие инструменты должны получать при каждом запросе, уже загружается в рабочую память агента. Классификация сохраняется в пробке пропускной способности аудита. Для любого оператора, объем которого является короткозадачным, а не глубиной, ChatGPT является пропускной подпиской. Критически: преимущество скорости активируется GPT и сохраняется в контексте оператора, после того как он получил задержанность.
Причина, задокументированная в журнале аудита: Notion AI - единственный инструмент в тестовом наборе, который уже знает контекст оператора без прямого загрузки каждый раз. Каждый запрос Клод и каждый запрос ChatGPT начинается с того, что оператор переясняет, кто они, на каком проекте они работают, на каком документе они ссылаются. Notion AI не требует этого шага. Трикость нулевая. Как показано в случае Memory Market, данные не ограничиваются своим учетом. С другой стороны, то, что сделано в контексте без прямого загрузки каждый раз. Задокументированное использование инструмента для установки более высокого качества, чем задокументированное, часто требует более удобного использования.
Если рабочий продукт составляет пропускную способность, ответы, мозговые бури, быстрые редактирования, ChatGPT. Если работа уже происходит внутри Notion, а рабочее пространство содержит значительную базу знаний оператора, Notion AI, с полным пониманием позиции удержания, задокументированной в этом файле. Если бюджет поддерживает два, пара - Claude плюс Notion AI. Quality plus retention. ChatGG становится опциональным в этой конфигурации. Если бюджет поддерживает все три, как это сделал оператор в этом аудиторе, схема ротации, задокументированная в этом файле, является конфигурацией, которая выходит из данных. Каждый из них выигрывает в одном. Каждое взаимодействие в виде, которое должно быть задокументировано и пересмотрено.
Документ о том, что три подписки были оценены, три победителя по трем различным критериям. Документ о том, что три инструмента были использованы, документирует эксперимент одного оператора. Документ о том, что три инструмента были использованы, не был изменен поставщиками на момент написания данного документа. То же же же положение о том, что и в вашей конфигурации, применяется в конфигурации испытуемого субъекта. Удобство трехсекундного контекстосознательного ответа Notion AI обеспечивается тем же системным поверхностью, что и в данном документе. Документ о том, что не закрывается. Он ждет. Запустите то же самое против трех ИИ. Сравните выводы. Отправьте аномалии на фрагмент.net/echo.