Mengapa TF-IDF Tidak Menyelesaikan Masalah Konten dan SEO Anda, Tapi Rasanya Seperti Itu

Dalam posting ini kita melihat tantangan menggunakan TF-IDF untuk membuat dan mengoptimalkan konten web. Meskipun menggunakan TF-IDF mungkin membuat Anda merasa baik, itu tidak benar-benar menyelesaikan masalah. Saat kami menyelidiki masalah seputar penggunaannya, Anda akan menemukan bahwa menggunakan TF-IDF sebenarnya dapat menyesatkan Anda.

Apa itu TF-IDF?

Term frequency inverse document frequency ( TF-IDF ) adalah metrik yang digunakan untuk menentukan relevansi suatu istilah dalam dokumen. Rumus menghitung frekuensi istilah (TF) dalam dokumen tertentu dan menerapkan faktor frekuensi dokumen terbalik (IDF) untuk mengurangi bobot istilah yang sangat sering muncul, sekaligus meningkatkan bobot yang jarang muncul.

TF-IDF didasarkan pada upaya Hans Peter Luhn (1957) untuk karyanya pada frekuensi term, dan Karen Sparck Jones (1972) untuk karyanya pada frekuensi dokumen terbalik. Pembaca yang cerdik akan melihat bahwa ini mendahului kelahiran world wide web selama beberapa dekade, yang menimbulkan pertanyaan.

Apakah Google Bahkan Menggunakan TF-IDF dan Apakah Masih Relevan?

John Mueller dari Google menyiratkan bahwa penggunaan TF-IDF oleh mesin pencari sangat terbatas . Selama hangout, satu-satunya konteks di mana dia menyebutkan TF-IDF adalah untuk menghilangkan stopword.

Itu tidak mengejutkan mengingat kemajuan Grafik Pengetahuan, Hummingbird, Rankbrain, dan Lapisan Topikal. Google adalah algoritme yang terus berkembang yang terus-menerus melatih dan mempelajari tentang arti segala sesuatu dan cara menangani ambiguitas bahasa manusia.

Kami melihat fitur SERP variabel dan penanganan hasil yang lebih baik yang memiliki personalisasi. Mesin telusur meningkatkan kemampuannya untuk menangani fraktur maksud (kueri penelusuran yang menarik bagi banyak maksud). Tetapi algoritma ini jauh dari sempurna. Seperti yang akan kita lihat, ini merupakan tantangan serius bagi mereka yang menggunakan TF-IDF sebagai sarana untuk mengoptimalkan konten.

Di dunia di mana AI, jaringan saraf, dan pembelajaran mesin adalah norma, TF-IDF seperti sepeda anak-anak di atas roda pelatihan dibandingkan dengan Ferrari.

Roger Montti, Pemasar Penelusuran dan Pembicara

Mengapa TF-IDF Terasa Sangat Baik untuk Banyak SEO?

Meskipun Google menggunakan teknologi setengah abad ini secara terbatas, banyak pakar SEO percaya TF-IDF adalah jalan menuju keunggulan mesin pencari. Mengapa demikian?

TF-IDF adalah konsep yang relatif tidak jelas dalam komunitas SEO. Karena itu tidak asing bagi mereka,   SEO menganggap teknologinya mutakhir. Itu memberinya sejumlah cap.

Mayoritas SEO tidak mengetahui sejarah TF-IDF. Mereka tidak menyadari usia sebenarnya atau tujuan sebenarnya. Petunjuk, ini bukan untuk optimasi konten.

SEO percaya TF-IDF memainkan peran besar dalam algoritma pencarian Google. Karena Google memiliki paten dan beberapa posting yang merujuk pada TF-IDF, ada asumsi yang salah tentang peran yang dimainkan oleh teknologi ini.

TF-IDF tampak canggih untuk sebagian besar SEO. Jarang bagi SEO untuk memiliki latar belakang ilmu data. Dalam konteks ini, mudah untuk mengasumsikan bahwa kompleksitas yang tampak dari TF-IDF sama dengan efektivitas.

Siapa yang tidak ingin menggunakan teknologi optimisasi mesin pencari yang canggih dan inovatif? Terutama ketika kedengarannya sangat menjanjikan!

Kecuali tidak.

Masalah Dengan TF-IDF

Ada sejumlah alat SEO, gratis atau murah, yang dimaksudkan untuk menggunakan TF-IDF sebagai metode untuk mengoptimalkan konten untuk SEO. Semuanya menderita masalah berikut.

TF-IDF adalah Pendekatan Primitif

Saya meminta pendapat JR Oakes, Senior Director, Technical SEO Research di Adapt Partners tentang TF-IDF. Dia menawarkan analisis ringkas tentang batas-batasnya.

TF-IDF adalah ukuran yang baik tentang seberapa penting suatu dokumen, dibandingkan dengan dokumen lain, untuk istilah eksplisit. Yang gagal adalah bahwa Anda mungkin memiliki dokumen yang sangat relevan untuk "bayi" menurut TF-IDF, namun Anda mencari "bayi". Karena dokumen (yang paling relevan untuk "bayi") jarang menggunakan istilah ini, itu tidak terlihat sebagai kecocokan yang relevan.

Google memahami bahwa "bayi" dan "bayi" adalah istilah yang sangat terkait (seringkali identik), dan halaman dengan relevansi untuk satu, kemungkinan besar relevan untuk yang lain, kecuali ada petunjuk konteks di sisa kueri yang mengatakan sebaliknya. . Ini didasarkan pada penggunaan bersama di internet serta kemungkinan bahwa keduanya digunakan dalam konteks yang sama.

Contoh bagus lainnya adalah salah mengeja. Jika Anda memiliki dokumen tentang sepatu “reebok”, dan Anda mencari “rebok”, dengan TF-IDF, kemungkinan besar Anda akan menemukan halaman yang salah eja. Google akan memahami ini sebagai hal yang sama dan akan memberikan hasil yang sesuai.

JR Oakes, Direktur Senior, Riset SEO Teknis di Adapt Partners

Aplikasi TF-IDF Mengandalkan Hasil Pencarian Google

Ini adalah frekuensi kebalikan dari frekuensi dokumen menggunakan dokumen-dokumen itu seperti yang muncul di SERP. Aplikasi ini biasanya mengandalkan 10 atau 20 halaman teratas di SERP secara membabi buta tanpa lebih memikirkan dan menyelidiki mengapa halaman ini memiliki topik ini di dalamnya.

Menggunakan begitu sedikit dokumen sebagai korpus secara signifikan mempengaruhi kualitas hasil. Mereka tidak mempertimbangkan outlier dengan konten berkualitas rendah atau item konten pendek yang gagal memberikan nilai untuk model itu.

Mengambil hasil teratas dari Google mengabaikan outlier untuk faktor di luar halaman; halaman yang berperingkat baik terlepas dari kontennya. Kesalahan yang terlibat sangat tinggi sehingga bahkan memperhitungkan hal-hal itu, Anda kekurangan informasi yang diperlukan untuk membuat keputusan dan berpotensi menempatkan Anda di jalan yang salah.

Menggunakan penghemat waktu seperti pemrosesan bahasa alami. Anda harus memproses semua yang ada di luar sana tentang suatu topik.

TF-IDF dan solusi kepadatan kata kunci membuang semua itu ke luar jendela. Jika Anda mengikuti saran mereka, kemungkinan besar Anda akan berhasil seolah-olah Anda melempar dadu.

Saya menghubungi Bill Slawski, Direktur Riset SEO di Go Fish Digital. Bill telah menganalisis paten pencarian Google dan menulis tentangnya di blognya, SEO by the Sea, sejak 2005.

TF-IDF dirujuk dalam sejumlah Paten Google sebagai sesuatu yang dapat digunakan mesin pencari sebagai bagian dari proses di balik hal-hal seperti menghasilkan penyempurnaan kueri. Karena Google memiliki akses ke kumpulan dokumennya di Web, dan kata-kata yang digunakan pada dokumen-dokumen itu dalam indeksnya, itu sangat masuk akal.

Bagian IDF dari TF-IDF dapat digunakan untuk mengidentifikasi seberapa langka atau seberapa umum kata-kata di Corpus Google di Web. Sayangnya Google tidak membagikan corpus itu.

Saat Anda melakukan kueri, Google memang mengatakan berapa banyak hasil istilah kueri yang muncul di dalamnya, tetapi jumlah itu adalah perkiraan persentase dokumen di korpus Web Google (seperti yang dikatakan salah satu paten Google kepada kami.) Tetapi siapa pun selain Google yang menggunakan TF -IDF pada dokumen tanpa korpus Google tidak mampu menentukan seberapa umum atau seberapa jarang kata-kata di dalam dokumen yang sebenarnya tidak menggunakan korpus Google.

Ada beberapa pembuat alat yang menyediakan alat TF-IDF. Mereka melakukan hal-hal seperti melihat istilah apa yang muncul di halaman yang berperingkat tinggi untuk istilah kueri tertentu yang Anda masukkan. Perlu diingat bahwa ini tidak selalu terkait secara semantik satu sama lain. Meskipun saya telah melihat beberapa klaim bahwa TF-IDF yang digunakan dengan cara ini dapat mengidentifikasi kata-kata yang secara semantik terkait satu sama lain.

Bill Slawski, Direktur Riset SEO di Go Fish Digital.

TF-IDF Melihat Halaman yang Mencapai Berbagai Tujuan dan Menggabungkannya

Mengandalkan halaman "N" teratas di SERP menciptakan masalah lain. Anda mungkin menggunakan halaman yang terlalu umum atau terlalu spesifik atau ditargetkan untuk industri yang berbeda. Konten mungkin ditulis dengan buruk dan memiliki nilai di luar halaman yang signifikan yang mendorong peringkatnya. Ambil contoh halaman arahan halaman arahan yang telah disangga di SERP dengan strategi membangun tautan.

Daftar Kata Kunci yang Relevan Secara Topikal Belum tentu Sesuai untuk Bisnis Anda

TF-IDF menyediakan daftar kata kunci yang relevan secara topikal yang terkait dengan item konten tersebut. Namun Anda tetap harus menentukan relevansi frasa tersebut dengan bisnis Anda. Jika Anda menulis posting blog yang meniru halaman arahan atau halaman konten berkualitas rendah, atau yang tidak terhubung dengan niat Anda, itu tidak akan cocok.

TF-IDF Sangat Didorong Kata Kunci

P usia bukan tentang kata kunci. Halaman yang berkinerja baik untuk banyak hal, adalah tentang banyak hal. Menggunakan TF-IDF dari satu kata kunci untuk membuat atau mengoptimalkan halaman meninggalkan banyak hal. Secara khusus, semua hasil pencarian lain dari semua kata kunci lain itu berbeda. Itu kehilangan besar.

Kata kunci istilah dapat muncul secara kumulatif, stemming dan sinonim dan konsep keterkaitan lainnya. Pembongkaran semacam itu menggunakan kata kunci. Itu bias yang dibuat dengan hanya menggunakan halaman atau kata kunci “N” teratas.

Pada akhirnya, Anda tidak akan pernah benar-benar tahu apakah salah satu dari halaman itu benar-benar ditulis dengan ahli secara komprehensif. Masing-masing halaman tersebut juga diberi peringkat untuk "N" topik lain, yang menghasilkan kumpulan halaman yang harus Anda nilai . Berdasarkan halaman-halaman itu dan tentang apa itu, itu dapat terus bercabang.

Fokus kata kunci dapat mengarah pada hal-hal seperti bahasa yang benar-benar tidak wajar; jenis sampah konten berkualitas rendah di mana mereka memaksakan kata kunci ke dalam konten dengan segala cara. Atau, kontennya mungkin bagus, tetapi tidak ada hubungannya dengan apa pun di situs Anda.

Andy Crestodina, Co-Founder / Chief Marketing Officer Orbit Media Studios mengatakannya seperti ini.

“Artikel yang bagus, tetapi TF-IDF bisa menjadi sedikit lebih baik…” Ketika saya mendapatkan komentar itu dari seorang pembaca, saya akan mulai mengkhawatirkan hal-hal seperti frekuensi dokumen terbalik.

Ya, pilih frasa kunci utama yang dapat dijangkau. Ya, gunakan frasa itu di judul, header, dan isi teks. Ya, bekerjalah dalam frasa dan subtopik yang terkait secara semantik itu. Ya, jawab pertanyaan “orang juga bertanya” yang relevan. Tapi tidak, jangan hitung TF-IDF. Karena itu hanya konyol.

Sebaliknya, tulislah sesuatu yang orisinal, sesuatu yang berguna secara tak terduga. Lebih khawatir tentang menyenangkan pembaca Anda. Lakukan ini dan Anda akan mengirim semua sinyal pencarian yang tepat. Anda akan memenangkan tautan, waktu tunggu, dari mulut ke mulut, dan pencarian merek. Lupakan matematika dan lakukan sesuatu yang luar biasa. Anda pembaca berharap Anda akan mengambil nasihat ini.

Andy Crestodina, Co-Founder / Chief Marketing Officer Orbit Media Studios

Menggunakan TF-IDF untuk Menentukan Pentingnya Metrik Cacat

Menghitung kepentingan dengan frekuensi penggunaan di SERP vs relevansi adalah metrik yang benar-benar cacat. Jika beberapa entri di SERP fokus pada satu maksud dan yang lainnya fokus pada yang lain, istilah pembobotan (kepentingan) dapat diberi skor 50%. Namun, jika setiap orang menggunakan semacam kata umum, itu akan dinilai lebih penting.

Jadi, Anda mencoba menarik satu maksud itu. Tetapi model tersebut akan mencegah Anda untuk mengejar jalan itu karena hanya lima dari hasil yang menggunakan istilah tersebut. Model akan mengatakan bahwa itu hanya lima dari 10.

Dengan kata lain, jika Anda memiliki konten berkualitas tinggi, terfokus pada maksud yang berbeda, Anda akan tersesat. Jika Anda memiliki konten berkualitas rendah yang memiliki faktor di luar halaman yang tinggi, itu akan membawa Anda ke jalan yang salah. Jika Anda memiliki niat yang campur aduk, itu akan membawa Anda keluar jalur. Jadi menggunakannya sebagai metrik hanyalah sampah.

Aplikasi TF-IDF Hanya Fokus di Level Halaman

Dengan membatasi diri pada tingkat halaman, aplikasi TF-IDF tidak dapat menghubungkan titik-titik di antara sisa konten di situs Anda. Satu halaman pada suatu topik biasanya tidak akan memotongnya. Untuk melakukannya dengan baik, Anda memerlukan konten lain yang mendorong otoritas Anda dan bekerja sama melalui tautan yang sesuai dan penggunaan teks jangkar yang relevan .

Nilai Tidak Memberikan Wawasan

Menilai halaman berdasarkan kepatuhannya dengan TF-IDF sepertinya ide yang bagus. Tetapi jika Anda tidak dapat menyelami dan mempelajari lebih lanjut tentang situs atau halaman tersebut, informasi tersebut tidak berarti dan tidak dapat ditindaklanjuti.

Halaman dengan nilai tertinggi dapat:

• Memiliki tujuan yang berbeda dari Anda.
• Menjadi jauh lebih kuat atau lebih lemah dari Anda.
• Memiliki dua tujuan.
• Mungkin juga mencakup topik ini, tetapi juga mencakup sesuatu yang lain.

Jadi tujuan Anda untuk menyederhanakan proses proyek penelitian ini dengan TF-IDF tidak mungkin tercapai. Ini memberi Anda nilai ini, tetapi Anda masih harus kembali dan menelitinya secara manual untuk melihat apakah data TF IDF valid untuk setiap halaman.

Apa gunanya itu?

Mengapa menggunakan TF-IDF jika Anda mendapatkan nilai dan sekarang Anda masih harus mengerjakan halaman secara manual? Teknologi harus memungkinkan Anda untuk melakukan analisis yang canggih termasuk:

• Analisis tumpang tindih topik eksplisit dari topik itu dan semua kata lain yang mereka rangking versus halaman Anda dan untuk apa peringkatnya.
• Struktur situs kompetitif
• Maksud kompetisi adalah mencari layanan.

Di sinilah TF-IDF jatuh datar. Ini tidak memberikan nilai pintasan yang dapat Anda andalkan.

Tidak mampu menggali dalam menggunakan teknologi adalah metodologi yang cacat. Karena Anda masih harus melakukan lapisan penelitian tambahan untuk mendapatkan analisis langsung tentang apa artinya mendekati satu maksud versus mendekati yang lain.

Bagaimana TF-IDF Sesuai dengan Alur Kerja

Alat yang menggunakan TF-IDF mendorong kebiasaan buruk bagi penulis dan SEO. Mereka mencoba merangkai kata-kata yang tidak sesuai secara alami atau mungkin menambahkan bagian yang tidak cocok dengan narasinya.

Aplikasi ini mengabaikan hubungan antara peneliti dan penulis. Menyerahkan daftar kata yang mungkin tidak sesuai dengan visi penulis justru akan menimbulkan konflik. Mereka mungkin terinspirasi oleh beberapa dari kata-kata itu, tetapi itu bukanlah solusi pemberdayaan alur kerja yang berpura-pura.

Apa yang terjadi jika Anda mengirimkan daftar kata kunci menggunakan metodologi ini? Beberapa dari mereka berada pada satu topik dan beberapa dari mereka pada maksud lain. Orang yang menerima tidak akan tahu apa yang harus dilakukan dengan ini. Itu tidak hanya tidak terlihat benar.

Ahli strategi konten sejati tahu bahwa mereka perlu menilai. Mereka perlu melakukan pekerjaan untuk memahami apa artinya menjadi ahli materi pelajaran, untuk memahami maksud pengguna.

Haruskah saya mencoba menjadi seperti halaman yang mendapat nilai bagus? Karena jika saya melakukan itu, kemungkinan keberhasilannya sama acaknya dengan metodologi penelitian lainnya. Terus terang, jika saya harus melakukan semua penelitian manual tentang metrik yang saya miliki, nilai apa yang benar-benar diberikannya? Saya tidak bisa mengandalkannya.

Menggabungkan TF-IDF Dengan Poin Data Lainnya

Menggunakan data TF-IDF dengan titik data cacat lainnya mengarah pada kesimpulan yang salah. Berikut adalah beberapa yang kami lihat digunakan sehubungan dengan TF-IDF.

Volume Pencarian

Mungkin Anda mengandalkan volume pencarian untuk menentukan apa yang harus ditulis. Alih-alih menilai potensi sebenarnya yang akan dihasilkan oleh halaman yang mencapai peringkat teratas untuk topik ini, Anda menggabungkannya dengan jenis analisis kompetitif ini.

Katakanlah kata kunci yang Anda targetkan memiliki 8.100 pencarian bulanan. Tetapi pesaing, yang menjadi model Anda memiliki konten yang memiliki peringkat lusinan, ratusan atau ribuan kata dengan halaman-halaman itu dan jaringan halaman web mereka di dalamnya.

Masing-masing dari mereka mungkin menerima 10.000 kunjungan bulanan sementara kunjungan Anda mungkin hanya 1.000. Jadi, Anda menggunakan volume pencarian untuk menghitung potensi dengan cara yang salah. Anda melakukan analisis kompetitif dengan menilai konten tanpa menyelam dan melakukan penelitian. Menggabungkan kedua hal tersebut dengan cara yang salah, dan panduan yang diberikan oleh penggunaan kedua metrik tersebut, kemungkinan besar akan memberikan kesuksesan dan juga menghasilkan kegagalan.

Fitur SERP

Menggunakan fitur SERP dan analisis jenis halaman sebagai bagian dari panduan Anda untuk menentukan jenis halaman yang Anda butuhkan tidak menunjukkan maksud sebenarnya dari kueri tersebut.

Apa saja fitur SERP yang ada? Apakah saya memiliki kesempatan untuk berhasil?

Tetapi jika Anda:

• Belum pernah menulis apa pun tentang ini.
• Tidak memiliki otoritas di luar halaman.
• Tidak memiliki kumpulan konten atau fondasi atau kumpulan konten.

Kemudian menggunakan fitur SERP dengan volume pencarian dan konten kompetitif hanya menambah kekacauan dan ketidakteraturan pada peluang yang saya miliki untuk tampil. Ini benar-benar data yang tidak berguna.

Persaingan AdWords dan BPK AdWords

Persaingan AdWords dan BPK AdWords adalah metrik yang hanya digunakan dengan pemasaran mesin telusur (iklan berbayar). Tidak ada metrik yang berkorelasi dengan kesulitan. Mereka juga tidak mewakili hubungan apa pun dengan seberapa mudah atau sulit bagi Anda untuk menentukan peringkat dalam hasil pencarian organik.

Nilai TF-IDF

Apakah ada fitur penukaran TF-IDF?

• Itu bisa berfungsi untuk menginspirasi Anda atau mengungkapkan topik yang mungkin tidak Anda pertimbangkan.
• Ini dapat membantu Anda dalam menentukan apakah pengoptimalan pada halaman Anda jauh dari apa yang alami.
• Bahkan dapat membantu menemukan pesaing yang Anda perlukan untuk melakukan penelitian tambahan yang mendetail.

Kevin Indig, VP SEO and Content, G2 secara rutin membuat blog tentang konsep ide pemasaran digital segar di blognya. Saya bertanya apakah dia bisa memberikan beberapa wawasan tentang pengalamannya dengan TF-IDF.

Saya agak ambivalen tentang TF-IDF. Google mengatakan tidak menggunakannya dan meskipun demikian, tanpa korpus Google lengkap (artinya semua konten di internet telah diindeks oleh Google), kami tidak dapat memperoleh nilai TF/IDF yang akurat. Namun, saya harus mengatakan bahwa setiap kali saya menggunakan alat TF-IDF di masa lalu, peringkat konten saya lebih baik daripada yang tidak. Jadi, tidak peduli seberapa tidak akurat atau tidak dapat diterapkannya konsep tersebut, tampaknya ada nilai dalam menggunakan beberapa alat ini.

Kevin Indig, VP SEO dan Konten, G2

Ini tampaknya mirip dengan pengalaman yang ditulis Joe Hall dalam postingannya TF-IDF Tidak Akan Membantu SEO Anda.

Jenis alat ini dapat membantu mengoptimalkan konten untuk SEO, tetapi bukan karena TF-IDF . Hanya karena mereka memberikan panduan dan dorongan untuk menulis ulang konten dengan bahasa yang lebih alami yang biasa digunakan. Alat yang sama ini dapat dibuat menggunakan metrik lain seperti “kepadatan kata kunci” atau hanya “jumlah istilah total”, yang dapat dibandingkan satu sama lain.

Joe Hall, Konsultan SEO & Analis Utama di Analisis Hall

Kata-kata terakhir

Namun, apakah TF-IDF adalah sesuatu yang menyediakan informasi yang cukup untuk mendukung seluruh alur kerja Anda? Tidak semuanya.

Meskipun mungkin terasa menyenangkan bagi banyak SEO, kenyataannya adalah bahwa metrik berusia 50 tahun ini memainkan peran yang sangat terbatas dalam algoritme pencarian Google. Tidak terlalu mutakhir bukan?

Sekarang, apakah halaman Anda harus komprehensif dan berkualitas tinggi? Ya.

Dengan memodelkannya menggunakan TF-IDF? Tidak.

Anda idealnya mencoba membangun model topik yang relevan dan Anda memang membutuhkan relevansi sebagai bagian dari perhitungan ini. Mesin pencari mungkin menggunakan TF-IDF, tapi itu hanya satu faktor.

Ini adalah salah satu komponen dari keseluruhan gambaran tentang apa yang dibutuhkan untuk penelitian yang tepat dan mengoptimalkan konten Anda. Jadi, jika seseorang menjual alat TF-IDF sebagai solusi ujung ke ujung, mereka menjual cerita yang tidak memiliki informasi yang diperlukan untuk membuat keputusan besar bagi bisnis Anda.

Anda mungkin juga mempercayai editor Anda untuk membuat keputusan bisnis tersebut. Atau hanya melempar dadu. Either way, itu sama.

Masih ada pertanyaan tentang TF-IDF? Baca jawabannya di sini, TF-IDF untuk FAQ SEO.