Сравнение первого проекта MarketMuse с GPT-3

При всем интересе к GPT-3 в последнее время мы решили сравнить его с первым черновиком MarketMuse, аналогично тому, как это делается при оценке GPT-2.

Прежде чем углубиться в примеры, давайте кратко рассмотрим отличительные факторы первого черновика.

• В отличие от GPT-3, учитывая тему, мы строим статью по частям, используя краткое содержание в качестве «основы».
• Учитывая тему, мы создаем краткое содержание, структурированное в подзаголовки и связанные темы, мы используем его в качестве руководства.
• Для каждого краткого раздела мы используем связанные темы и подзаголовок в качестве подсказки и продолжаем генерировать до тех пор, пока не получим вывод, который пройдет наши фильтры качества.
• Наши фильтры включают в себя, конечно, оценку контента и наличие релевантных тем, которые мы ожидаем увидеть в выводе, но мы также проверяем наличие грамматических ошибок, лексическое разнообразие, плагиат и другие показатели удобочитаемости.

Три примера контента

GPT-3 больше и предположительно лучше своего предшественника, но вряд ли он захватит Интернет. OpenAI опубликовала подробную статью (PDF) о своей языковой модели. Для наших целей мы не заинтересованы в изучении науки, лежащей в основе генерации естественного языка. Вместо этого мы используем эмпирический подход.

Ниже вы найдете три выдержки о том, как важно быть в Твиттере, написанные MarketMuse First Draft, GPT-3 и человеком с помощью MarketMuse First Draft. Можете ли вы сказать, что есть что?

Версия 1

Версия 2

Версия 3

Какая часть контента была создана человеком?

Во-первых, давайте посмотрим, пройдет ли он тест на «обнюхивание». Эти статьи кажутся написанными человеком?

Только один был. Можете ли вы угадать, какой?

Первый был написан GPT-3, второй — человеком, а третий — MarketMuse First Draft.

Насколько хорошо они передают информацию

Давайте рассмотрим результаты всех трех подходов в сравнении с оценкой содержания, оценкой писателя и уровнем оценки.

MarketMuse Content Score оценивает, насколько хорошо статья освещает тему по сравнению с моделью темы. Чем выше, тем лучше, и для этой статьи оценка предлагаемого контента составляет 42, хотя нет такой вещи, как высшая оценка.

Writer Score — это оценка, присваиваемая Writer.com и основанная на орфографии и грамматике, терминах, стиле, ясности, инклюзивности и доставке — чем выше, тем лучше. Уровень обучения обозначает ожидаемый уровень образования, необходимый для понимания содержания. Уровень вашего письма должен в целом соответствовать уровню вашей аудитории.

Первый проект MarketMuse

Как и следовало ожидать, первый черновик MarketMuse показал лучшие результаты с точки зрения решения тем в модели. Он предназначен для обеспечения соответствия двум важным KPI: количеству слов и оценке содержания.

MarketMuse First Draft показал себя на удивление хорошо, когда дело дошло до Writer Score. Было несколько проблем с орфографией и грамматикой, использованием терминов, стилем и ясностью. Уровень оценки находится в пределах диапазона предполагаемой аудитории этой статьи.

ГПТ-3

GPT-3 похож на человека, который много говорит, но мало говорит.

Этому есть очень простое объяснение оценки контента, равной 4. В статье не рассматриваются важные вопросы, которые поднимает эксперт, обсуждая важность пребывания в Твиттере. Конечно, пост может быть милым и интересным, но в нем нет никакой сути.

Ни разу из почти 2400 слов о Твиттере в статье не было сказано или объяснено что-либо, связанное с:

• социальные сети
• твиты
• Подписчики в Твиттере
• Твиттер-маркетинг
• популярные хэштеги

Не говоря уже о 45 других темах, которые вы найдете в тематической модели MarketMuse. Проблема в том, что статье не хватает структуры и какого-либо внутреннего смысла.

Если бы эту статью представил человек, что бы вы сделали?

В посте ничего не говорится о важности присутствия в Твиттере. В результате бесконечно сложнее редактировать и полировать этот черновик, превращая его в ценный материал для публикации. Это та же проблема, которую мы обнаружили при оценке GPT-2.

Есть слово для такого типа статей. Называется «пух».

Он также пострадал от самого низкого балла писателя. Это результат большого количества проблем с орфографией и грамматикой, а также других проблем, связанных с ясностью, инклюзивностью и стилем.

Письмо на уровне 4 класса здесь вызывает беспокойство. Всегда лучше писать на уровне вашей аудитории. Вы рискуете потерять их, если ваше письмо будет либо слишком сложным, либо слишком простым. В данном случае GPT-3 пишет на уровне, слишком базовом для деловой аудитории.

Человек

Человек, ваш покорный слуга, проделал довольно приличную работу, если можно так сказать. Статья удобно расположилась выше цели, с оценкой содержания 45. Оценка писателя, равная 99, почти идеальна, как и должно быть. Я использую плагин Writer для Chrome, поэтому заранее фиксирую любые ошибки. Уровень 8 по-прежнему находится в пределах досягаемости бизнес-аудитории.

Преимущество первого проекта MarketMuse

GPT-3 — это решение в поисках применения. Единственный способ получить доступ к API — присоединиться к списку ожидания, в котором должен быть описан ваш вариант использования. Даже при наличии доступа вы все равно будете ограничены в использовании того, что предоставляется через интерфейс прикладного программирования.

MarketMuse First Draft был создан для решения конкретной задачи, в частности, для создания длинных статей SEO-качества для контент-маркетологов. Вот преимущества, которые он может предложить.

1. Согласованность и структура – ​​выходные данные MarketMuse First Draft диктуются краткими описаниями содержания MarketMuse, поэтому проекты являются связными и структурированными по умолчанию. GPT-3 начинается с подсказки, но не имеет ограждений, что приводит к неструктурированному выводу, непригодному для контента SEO-качества.
2. Контроль — пользователи могут создавать свои собственные обзоры контента MarketMuse перед заказом черновика. Укажите темы, которые должны быть затронуты в статье, вопросы, на которые она должна ответить, и разделы статьи. GPT-3 предлагает небольшой контроль над тем, какие темы упоминаются поколениями и на какие вопросы отвечает контент.
3. Готовность к публикации – выходные данные MarketMuse First Draft можно преобразовать в готовый к публикации контент за 1–2 часа. Преобразование вывода GPT-3 в готовый к публикации контент занимает несколько часов.
4. Ухудшение качества, плагиат, повторение. Первый черновик создает текст, свободный от деградации по длине, плагиата и повторения. Выходные данные GPT-3 не проверяются на деградацию, плагиат или повторение.
5. Обучение — First Draft обучается на статьях из тщательно отобранного набора данных (который исключает сексистский, расистский и взрослый контент), чтобы улучшить результаты поколений. GPT-3 обучается во всей сети, включая некачественный, откровенный и ненавистный контент, что приводит к низкокачественным поколениям.
6. Конфигурация — MarketMuse First Draft можно настроить так, чтобы писать в своем стиле или стиле, которому вы хотите подражать, а также со временем изучать новый словарный запас. GPT-3 может генерировать текст только на основе параметров модели практически без возможности настройки.
7. Длина статьи – MarketMuse First Draft может генерировать статьи объемом до 5000 слов в зависимости от длины краткого описания содержания MarketMuse. GPT-3 может генерировать не более 1200 слов.

Вынос

Масштабируйте создание контента без масштабирования затрат и головной боли. MarketMuse First Draft ускоряет создание контента за счет использования искусственного интеллекта для создания полных черновиков статей на основе MarketMuse Content Briefs. Обеспечьте предсказуемость затрат на контент и неизменное качество, позволив ИИ сделать работу по созданию надежного первого черновика.