MarketMuse Erster Entwurf vs. GPT-3

Bei all dem Interesse an GPT-3 in letzter Zeit haben wir uns entschieden, einen Blick darauf zu werfen, wie es im Vergleich zu MarketMuse First Draft abschneidet, ähnlich wie bei der Bewertung von GPT-2.

Bevor wir uns mit den Beispielen befassen, hier ein kurzer Überblick über die Unterscheidungsmerkmale von First Draft.

• Im Gegensatz zu GPT-3 erstellen wir einen Artikel Stück für Stück, wenn wir ein bestimmtes Thema haben, wobei wir eine Inhaltsangabe als „Rückgrat“ verwenden.
• Ausgehend von einem Thema erstellen wir eine Inhaltsangabe, strukturiert in Unterüberschriften und verwandte Themen, die wir als Leitfaden verwenden.
• Für jeden kurzen Abschnitt verwenden wir die verwandten Themen und die Unterüberschrift als Aufforderung, und wir generieren weiter, bis wir eine Ausgabe produzieren, die unsere Qualitätsfilter passiert.
• Unsere Filter umfassen natürlich die Inhaltspunktzahl und das Vorhandensein relevanter Themen, die wir in der Ausgabe erwarten, aber wir prüfen auch auf Grammatikfehler, lexikalische Vielfalt, Plagiate und andere Lesbarkeitsmaßnahmen.

Drei Inhaltsbeispiele

GPT-3 ist größer und angeblich besser als sein Vorgänger, aber es ist unwahrscheinlich, dass es das Internet übernimmt. OpenAI hat ein ausführliches Papier (PDF) zu ihrem Sprachmodell veröffentlicht. Für unsere Zwecke sind wir nicht daran interessiert, die Wissenschaft hinter der Generierung natürlicher Sprache zu studieren. Stattdessen verfolgen wir einen empirischen Ansatz.

Unten finden Sie drei Auszüge darüber, wie wichtig es ist, auf Twitter zu sein, geschrieben von MarketMuse First Draft, GPT-3, und einem Menschen mit Hilfe von MarketMuse First Draft. Kannst du sagen, was was ist?

Version 1

Version 2

Fassung 3

Welcher Inhalt wurde von einem Menschen erstellt?

Lassen Sie uns zuerst sehen, ob es den „Sniff“-Test besteht. Scheinen diese Artikel, als ob sie von einem Menschen geschrieben wurden?

Nur einer war. Kannst du erraten, welche?

Der erste wurde von GPT-3 geschrieben, der zweite von einem Menschen und der dritte von MarketMuse First Draft.

Wie gut sind sie darin, Informationen zu übermitteln

Untersuchen wir die Ergebnisse aller drei Ansätze anhand von Content Score, Writer Score und Grade Level.

MarketMuse Content Score bewertet, wie gut das Stück das Thema im Vergleich zum Themenmodell behandelt hat. Je höher desto besser, und für diesen Artikel beträgt die empfohlene Inhaltspunktzahl 42, obwohl es keine perfekte Punktzahl gibt.

Writer Score ist eine von Writer.com zugewiesene Punktzahl und basiert auf Rechtschreibung und Grammatik, Begriffen, Stil, Klarheit, Inklusivität und Lieferung – höher ist besser. Die Klassenstufe bezeichnet das erwartete Bildungsniveau, das erforderlich ist, um den Inhalt zu verstehen. Das Notenniveau Ihres Schreibens sollte im Allgemeinen dem Ihres Publikums entsprechen.

MarketMuse Erster Entwurf

Wie zu erwarten war, schnitt MarketMuse First Draft am besten ab, um die Themen im Modell zu adressieren. Es wurde entwickelt, um sicherzustellen, dass es zwei wichtige KPIs erfüllt, Wortzahl und Inhaltsbewertung.

MarketMuse First Draft schnitt beim Writer Score überraschend gut ab. Es gab ein paar Probleme mit Rechtschreibung und Grammatik, Begriffsverwendung, Stil und Klarheit. Die Klassenstufe liegt im Bereich der Zielgruppe dieses Artikels.

GPT-3

GPT-3 ist wie eine Person, die viel redet, aber sehr wenig sagt.

Es gibt eine wirklich einfache Erklärung für den Content Score von 4. Der Artikel geht nicht auf die wichtigen Probleme ein, die ein Experte anspricht, wenn er die Bedeutung von Twitter diskutiert. Zugegeben, der Post mag niedlich und unterhaltsam sein, aber er ist haltlos.

Nicht ein einziges Mal in fast 2.400 Wörtern über Twitter sprach oder erklärte der Artikel etwas, das damit zu tun hatte:

• sozialen Medien
• Tweets
• Twitter-Follower
• Twitter-Marketing
• angesagte Hashtags

Ganz zu schweigen von den 45 anderen Themen, die Sie im MarketMuse-Themenmodell finden. Das Problem ist, dass dem Artikel Struktur und jede inhärente Bedeutung fehlen.

Wenn ein Mensch diesen Artikel einreichen würde, was würden Sie tun?

Der Beitrag sagt nichts Aufschlussreiches darüber aus, wie wichtig es ist, auf Twitter zu sein. Infolgedessen ist es unendlich viel schwieriger, diesen Entwurf zu einem wertvollen Stück veröffentlichungsfähigem Inhalt zu bearbeiten und zu polieren. Es ist das gleiche Problem, das wir bei der Evaluierung von GPT-2 entdeckt haben.

Es gibt ein Wort für diese Art von Artikel. Es heißt „Fluff“.

Es litt auch unter dem niedrigsten Writer Score. Das ist das Ergebnis einer großen Anzahl von Rechtschreib- und Grammatikproblemen, zusammen mit anderen, die Klarheit, Inklusivität und Stil betreffen.

Das Schreiben auf Klassenstufe 4 ist hier ein Anliegen. Es ist immer am besten, auf der Ebene deines Publikums zu schreiben. Sie riskieren, sie zu verlieren, wenn Ihr Schreiben entweder zu kompliziert oder zu einfach ist. In diesem Fall schreibt GPT-3 auf einem Niveau, das für ein Geschäftspublikum viel zu einfach ist.

Menschlich

Der Mensch, mit freundlichen Grüßen, hat ziemlich anständige Arbeit geleistet, wenn ich das selbst sagen darf. Der Artikel liegt mit einem Content Score von 45 deutlich über dem Ziel. Der Writer Score von 99 ist nahezu perfekt, was er auch sein sollte. Ich verwende das Writer for Chrome-Plug-in, damit ich alle Fehler im Voraus erkenne. Eine Klassenstufe von 8 liegt immer noch im Bereich eines Geschäftspublikums.

Der Vorteil des ersten Entwurfs von MarketMuse

GPT-3 ist eine Lösung auf der Suche nach einer Anwendung. Die einzige Möglichkeit, auf die API zuzugreifen, besteht darin, sich einer Warteliste anzuschließen, in der Ihr Anwendungsfall beschrieben werden muss. Selbst mit Zugriff sind Sie immer noch eingeschränkt in der Nutzung dessen, was über die Anwendungsprogrammierschnittstelle bereitgestellt wird.

MarketMuse First Draft wurde erstellt, um einen bestimmten Anwendungsfall zu lösen, insbesondere die Generierung von Langform-Artikeln in SEO-Qualität für Content-Vermarkter. Hier sind die Vorteile, die es zu bieten hat.

1. Kohärenz und Struktur – MarketMuse First Draft Output wird von MarketMuse Content Briefs vorgegeben, sodass Entwürfe kohärent und sofort einsatzbereit sind. GPT-3 beginnt mit Eingabeaufforderungstext, aber es fehlen Leitplanken, was zu einer unstrukturierten Ausgabe führt, die für Inhalte in SEO-Qualität ungeeignet ist.
2. Kontrolle – Benutzer können ihre eigenen MarketMuse Content Briefs erstellen, bevor sie einen Entwurf bestellen. Geben Sie die Themen an, die der Artikel erwähnen soll, die Fragen, die er beantworten soll, und die Abschnitte des Artikels. GPT-3 bietet wenig Kontrolle darüber, welche Themen Generationen erwähnen und welche Fragen der Inhalt beantwortet.
3. Veröffentlichungsreif – MarketMuse First Draft-Output kann in 1-2 Stunden in veröffentlichungsreife Inhalte umgewandelt werden. Die Bearbeitung der GPT-3-Ausgabe in veröffentlichungsreife Inhalte dauert mehrere Stunden.
4. Verschlechterung, Plagiat, Wiederholung – First Draft erstellt Texte, die frei von Verschlechterung, Plagiat und Wiederholung sind. Die GPT-3-Ausgabe prüft nicht auf Verschlechterung, Plagiat oder Wiederholung.
5. Schulung – First Draft wird anhand von Artikeln aus einem kuratierten Datensatz (der sexistische, rassistische und nicht jugendfreie Inhalte ausschließt) geschult, um das Ergebnis von Generationen zu verbessern. GPT-3 wird im gesamten Web trainiert, einschließlich minderwertiger, expliziter und hasserfüllter Inhalte, was zu minderwertigen Generationen führt.
6. Konfiguration – MarketMuse First Draft kann so konfiguriert werden, dass es in Ihrem Stil schreibt oder einem, den Sie nachahmen möchten, und im Laufe der Zeit neue Vokabeln lernt. GPT-3 kann nur Text basierend auf den Parametern des Modells generieren, mit wenig bis gar keiner Konfigurierbarkeit.
7. Artikellänge – MarketMuse First Draft kann Artikel mit bis zu 5.000 Wörtern generieren, basierend auf der Länge des MarketMuse Content Brief. GPT-3 kann nur bis zu 1.200 Wörter generieren.

Das wegnehmen

Skalieren Sie Ihre Inhaltserstellung, ohne Ihre Kosten und Kopfschmerzen zu skalieren. MarketMuse First Draft beschleunigt die Inhaltserstellung, indem KI verwendet wird, um vollständige Artikelentwürfe auf der Grundlage von MarketMuse Content Briefs zu erstellen. Halten Sie Ihre Content-Kosten vorhersehbar und Ihre Qualität konsistent, indem Sie die KI die Arbeit erledigen lassen, um Ihnen einen starken ersten Entwurf zu liefern.