ما هي ميزانية الزحف وكيفية تحسينها

قد تبدو ميزانية الزحف كمفهوم أجنبي عندما تتعرف لأول مرة على كيفية عمل روبوتات محرك البحث. على الرغم من أنها ليست أسهل مفهوم لتحسين محركات البحث ، إلا أنها أقل تعقيدًا مما قد تبدو عليه. بمجرد أن تبدأ في فهم ماهية ميزانية الزحف وكيف يعمل زحف محرك البحث ، يمكنك البدء في تحسين موقع الويب الخاص بك لتحسين إمكانية الزحف. ستساعد هذه العملية موقعك على تحقيق أعلى إمكانياته للترتيب في نتائج بحث Google.

ما هي ميزانية الزحف؟

ميزانية الزحف هي عدد عناوين URL من موقع ويب واحد يمكن لروبوتات محرك البحث فهرستها خلال جلسة فهرسة واحدة. تختلف "ميزانية" جلسة الزحف من موقع ويب إلى موقع ويب بناءً على حجم كل موقع فردي ومقاييس حركة المرور وسرعة تحميل الصفحة.

إذا وصلت إلى هذا الحد وكانت مصطلحات تحسين محركات البحث غير مألوفة بالنسبة لك ، فاستخدم قاموس مصطلحات تحسين محركات البحث (SEO) الخاص بنا لتتعرف أكثر على التعريفات .

ما العوامل التي تؤثر على ميزانية الزحف لموقع الويب؟

لا تخصص Google نفس القدر من الوقت أو عدد عمليات الزحف لكل موقع ويب على الإنترنت. تحدد برامج زحف الويب أيضًا الصفحات التي يتم الزحف إليها وعدد المرات بناءً على عدة عوامل. فهي تحدد عدد مرات الزحف إلى كل موقع ومدة الزحف إليه بناءً على:

• الشعبية: كلما تمت زيارة موقع أو صفحة ، زاد عدد مرات تحليلها من أجل التحديثات. علاوة على ذلك ، فإن الصفحات الأكثر شيوعًا ستجمع المزيد من الروابط الواردة بسرعة أكبر.
• الحجم: تستغرق مواقع الويب الكبيرة والصفحات التي تحتوي على عناصر أكثر كثافة للبيانات وقتًا أطول للزحف.
• الصحة / المشكلات: عندما يصل برنامج الزحف على الويب إلى طريق مسدود من خلال الروابط الداخلية ، فإنه يستغرق وقتًا للعثور على نقطة بداية جديدة - أو يتخلى عن الزحف. أخطاء 404 وعمليات إعادة التوجيه وأوقات التحميل البطيئة تبطئ وتعيق برامج زحف الويب.

كيف تؤثر ميزانية الزحف على تحسين محركات البحث؟

عملية فهرسة webcrawler تجعل البحث ممكنًا. إذا تعذر العثور على المحتوى الخاص بك ثم فهرسته بواسطة برامج زحف الويب من Google ، فلن يتمكن الباحثون من اكتشاف صفحات الويب الخاصة بك وموقع الويب. سيؤدي هذا إلى فقدان موقعك للكثير من حركة البحث.

لماذا يزحف Google إلى مواقع الويب؟

ينتقل برنامج Googlebots بشكل منهجي عبر صفحات موقع الويب لتحديد موضوع الصفحة وموقع الويب بشكل عام. تقوم برامج زحف الويب بمعالجة البيانات من موقع الويب هذا وتصنيفها وتنظيمها صفحة تلو الأخرى من أجل إنشاء ذاكرة تخزين مؤقت لعناوين URL مع محتواها ، بحيث يمكن لـ Google تحديد نتائج البحث التي يجب أن تظهر استجابةً لاستعلام البحث.

بالإضافة إلى ذلك ، يستخدم Google هذه المعلومات لتحديد نتائج البحث التي تناسب استعلام البحث بشكل أفضل لتحديد المكان الذي يجب أن تظهر فيه كل نتيجة بحث في قائمة نتائج البحث الهرمية.

ماذا يحدث أثناء الزحف؟

يخصص Google مقدارًا محددًا من الوقت لبرنامج Googlebot لمعالجة موقع ويب. بسبب هذا القيد ، من المحتمل ألا يزحف الروبوت إلى موقع كامل أثناء جلسة زحف واحدة. بدلاً من ذلك ، ستعمل في طريقها عبر جميع صفحات الموقع بناءً على ملف robots.txt وعوامل أخرى (مثل شعبية الصفحة).

أثناء جلسة الزحف ، سيستخدم Googlebot طريقة منهجية لفهم محتوى كل صفحة يقوم بمعالجتها.

يتضمن ذلك فهرسة سمات معينة ، مثل:

1. العلامات الوصفية واستخدام البرمجة اللغوية العصبية لتحديد معناها
2. الروابط ونص الرابط
3. ملفات الوسائط الغنية لعمليات البحث عن الصور والفيديو
4. ترميز المخطط
5. ترميز HTML

سيجري زاحف الويب أيضًا فحصًا لتحديد ما إذا كان المحتوى الموجود على الصفحة هو نسخة مكررة من الصفحة الأساسية. إذا كان الأمر كذلك ، فسيقوم Google بنقل عنوان URL لأسفل إلى عملية زحف ذات أولوية منخفضة ، لذلك لا يضيع الوقت في الزحف إلى الصفحة كثيرًا.

ما هو معدل الزحف وطلب الزحف؟

تخصص برامج زحف الويب من Google مقدارًا معينًا من الوقت لكل عملية زحف تقوم بها. بصفتك مالكًا لموقع الويب ، لا يمكنك التحكم في هذا المقدار من الوقت. ومع ذلك ، يمكنك تغيير مدى سرعة زحفهم إلى صفحات فردية على موقعك أثناء وجودهم على موقعك. هذا الرقم يسمى معدل الزحف الخاص بك .

طلب الزحف هو عدد المرات التي يزحف فيها محرك بحث Google إلى موقعك. يعتمد هذا التردد على طلب مستخدمي الإنترنت على موقعك وعدد المرات التي يحتاج فيها محتوى موقعك إلى التحديث عند البحث. يمكنك اكتشاف عدد المرات التي يزحف فيها محرك بحث Google إلى موقعك باستخدام تحليل ملف السجل (انظر # 2 أدناه).

كيف يمكنني تحديد ميزانية الزحف لموقعي؟

نظرًا لأن Google يحد من عدد المرات التي يزحفون فيها إلى موقعك ومدة الزحف ، فأنت تريد أن تكون على دراية بميزانية الزحف الخاصة بك. ومع ذلك ، لا تزود Google مالكي المواقع بهذه البيانات - خاصةً إذا كانت ميزانيتك ضيقة جدًا بحيث لا يصل المحتوى الجديد إلى SERPs في الوقت المناسب. يمكن أن يكون هذا كارثيًا للمحتوى المهم والصفحات الجديدة مثل صفحات المنتجات التي يمكن أن تحقق لك المال.

لفهم ما إذا كان موقعك يواجه قيودًا على ميزانية الزحف (أو لتأكيد أن موقعك على ما يرام) ، ستحتاج إلى: احصل على جرد لعدد عناوين URL الموجودة على موقعك. إذا كنت تستخدم Yoast ، فسيتم إدراج الإجمالي الخاص بك في الجزء العلوي من عنوان URL لخريطة الموقع .

بمجرد حصولك على هذا الرقم ، استخدم قسم "الإعدادات"> "إحصائيات الزحف" في Google Search Console لتحديد عدد الصفحات التي يزحف إليها محرك بحث Google على موقعك يوميًا.

كيف يمكنك تحسين ميزانية الزحف الخاصة بك؟

عندما يحين الوقت الذي يصبح فيه موقعك كبيرًا جدًا بالنسبة لميزانية الزحف الخاصة به ، ستحتاج إلى الغوص في تحسين ميزانية الزحف. نظرًا لأنه لا يمكنك إخبار Google بالزحف إلى موقعك مرات أكثر أو لفترة أطول من الوقت ، يجب عليك التركيز على ما يمكنك التحكم فيه.

يتطلب تحسين ميزانية الزحف نهجًا متعدد الأوجه وفهمًا لأفضل ممارسات Google . من أين يجب أن تبدأ عندما يتعلق الأمر بتحقيق أقصى استفادة من معدل الزحف الخاص بك؟ هذه القائمة الشاملة مكتوبة بترتيب هرمي ، لذا ابدأ من الأعلى.

1. ضع في اعتبارك زيادة حد معدل الزحف إلى موقعك

يرسل Google طلبات في وقت واحد إلى صفحات متعددة على موقعك. ومع ذلك ، تحاول Google أن تكون مهذبًا وأن لا تعيق الخادم الخاص بك مما يؤدي إلى إبطاء وقت التحميل لزوار موقعك. إذا لاحظت أن موقعك يتأخر من العدم ، فقد تكون هذه هي المشكلة.

لمكافحة التأثير على تجربة المستخدمين ، تسمح لك Google بتقليل معدل الزحف لديك. سيؤدي القيام بذلك إلى تحديد عدد الصفحات التي يمكن لـ Google فهرستها في وقت واحد.

ومن المثير للاهتمام ، مع ذلك ، أن Google تسمح لك أيضًا برفع حد معدل الزحف الخاص بك - مما يؤدي إلى إمكانية سحب المزيد من الصفحات مرة واحدة ، مما يؤدي إلى الزحف إلى المزيد من عناوين URL في وقت واحد. على الرغم من أن جميع التقارير تشير إلى أن Google بطيئة في الاستجابة لزيادة حد معدل الزحف ، ولا تضمن أن تقوم Google بالزحف إلى المزيد من المواقع في وقت واحد.

كيفية زيادة حد معدل الزحف الخاص بك:

1. في Search Console ، انتقل إلى "الإعدادات".
2. من هناك ، يمكنك عرض ما إذا كان معدل الزحف الخاص بك هو الأمثل أم لا.
3. ثم يمكنك زيادة الحد إلى معدل زحف أسرع لمدة 90 يومًا.

2. إجراء تحليل ملف السجل

تحليل ملف السجل هو تقرير من الخادم يعكس كل طلب يتم إرساله إلى الخادم. سيخبرك هذا التقرير بالضبط بما يفعله Googlebots على موقعك. بينما يتم تنفيذ هذه العملية غالبًا بواسطة مُحسّنات محرّكات البحث التقني ، يمكنك التحدث إلى مسؤول الخادم للحصول على واحد.

باستخدام تحليل ملف السجل أو ملف سجل الخادم ، ستتعلم:

• كم مرة يزحف محرك بحث Google إلى موقعك
• ما هي الصفحات التي يتم الزحف إليها أكثر من غيرها
• الصفحات التي تحتوي على رمز خادم غير مستجيب أو مفقود

بمجرد حصولك على هذه المعلومات ، يمكنك استخدامها لأداء من رقم 3 إلى رقم 7.

3. احتفظ بملف XML Sitemap و Robots.txt محدثين

إذا أظهر ملف السجل الخاص بك أن Google تقضي وقتًا طويلاً في الزحف إلى الصفحات التي لا تريدها أن تظهر في SERPs ، فيمكنك أن تطلب من برامج الزحف من Google تخطي هذه الصفحات. هذا يحرر بعض ميزانية الزحف الخاصة بك للصفحات الأكثر أهمية.

يمنحك ملف Sitemap (الذي يمكنك الحصول عليه من Google Search Console أو SearchAtlas ) Googlebots قائمة بجميع الصفحات الموجودة على موقعك والتي تريد من Google فهرستها حتى تظهر في نتائج البحث. الحفاظ على خريطة موقعك محدثة بجميع صفحات الويب التي تريد أن تجدها محركات البحث وتجاهل تلك التي لا تريدها أن تجدها يمكن أن يزيد من كيفية قضاء زواحف الويب وقتهم على موقعك.

يخبر ملف robots.txt برامج زحف محركات البحث بالصفحات التي تريدها ولا تريدها أن يقوموا بالزحف إليها. إذا كانت لديك صفحات لا تنشئ صفحات مقصودة جيدة أو صفحات ذات بوابات ، فيجب عليك استخدام علامة noindex لعناوين URL الخاصة بها في ملف robots.txt الخاص بك. من المحتمل أن يتخطى Googlebots أية صفحة ويب بها علامة noindex.

4. تقليل عمليات إعادة التوجيه وسلاسل إعادة التوجيه

بالإضافة إلى تحرير ميزانية الزحف عن طريق استبعاد الصفحات غير الضرورية من زحف محرك البحث ، يمكنك أيضًا زيادة عمليات الزحف عن طريق تقليل عمليات إعادة التوجيه أو القضاء عليها. ستكون هذه أي عناوين URL ينتج عنها رمز الحالة 3xx.

تستغرق عناوين URL المُعاد توجيهها وقتًا أطول حتى يستردها Googlebot نظرًا لأن الخادم يجب أن يستجيب بإعادة التوجيه ثم يسترد الصفحة الجديدة. بينما تستغرق عملية إعادة التوجيه بضع أجزاء من الألف من الثانية ، إلا أنها يمكن أن تضيف ما يصل. وهذا يمكن أن يجعل الزحف إلى موقعك يستغرق وقتًا أطول بشكل عام. يتم مضاعفة هذا المقدار من الوقت عندما يدخل Googlebot في سلسلة من عمليات إعادة توجيه عناوين URL.

لتقليل عمليات إعادة التوجيه وإعادة توجيه السلاسل ، ضع في اعتبارك إستراتيجية إنشاء المحتوى وحدد النص الخاص بك بعناية.

5. إصلاح الروابط المعطلة

الطريقة التي يستكشف بها Google الموقع غالبًا هي التنقل عبر بنية الارتباط الداخلية. أثناء عمله في صفحاتك ، سيلاحظ ما إذا كان الرابط يؤدي إلى صفحة غير موجودة (يُشار إلى هذا غالبًا باسم خطأ soft 404). سوف تنتقل بعد ذلك ، دون الرغبة في إضاعة الوقت في فهرسة الصفحة المذكورة.

يجب تحديث الروابط المؤدية إلى هذه الصفحات لإرسال المستخدم أو Googlebot إلى صفحة حقيقية. أو (على الرغم من صعوبة تصديق ذلك) قد يكون Googlebot قد أخطأ في تعريف الصفحة على أنها خطأ 4xx أو 404 عندما تكون الصفحة موجودة بالفعل. عندما يحدث هذا ، تحقق من أن عنوان URL لا يحتوي على أي أخطاء إملائية ، ثم أرسل طلب زحف لعنوان URL هذا من خلال حسابك على Google Search Console.

للبقاء على اطلاع بأخطاء الزحف هذه ، يمكنك استخدام فهرس حساب Google Search Console> تقرير التغطية. أو استخدم أداة تدقيق الموقع في SearchAtlas للعثور على تقرير أخطاء موقعك لتمريره إلى مطور الويب لديك.

ملاحظة: قد لا تظهر عناوين URL الجديدة في تحليل ملف السجل على الفور. امنح Google بعض الوقت للعثور عليها قبل طلب الزحف.

6. العمل على تحسين سرعات تحميل الصفحة

يمكن أن تتحرك روبوتات محرك البحث عبر الموقع بوتيرة سريعة. ومع ذلك ، إذا لم تكن سرعة موقعك على قدم المساواة ، فيمكن أن يكون لها تأثير كبير على ميزانية الزحف الخاصة بك. استخدم تحليل ملف السجل أو SearchAtlas أو PageSpeedInsights لتحديد ما إذا كان وقت تحميل موقعك يؤثر سلبًا على رؤية البحث.

لتحسين وقت استجابة موقعك ، استخدم عناوين URL الديناميكية واتبع أفضل ممارسات Google Core Web Vitals . يمكن أن يشمل ذلك تحسين الصورة للوسائط الموجودة في الجزء المرئي من الصفحة.

إذا كانت مشكلة سرعة الموقع من جانب الخادم ، فقد ترغب في الاستثمار في موارد الخادم الأخرى مثل:

• خادم مخصص (خاصة للمواقع الكبيرة)
• الترقية إلى أجهزة الخادم الأحدث
• زيادة ذاكرة الوصول العشوائي

ستعمل هذه التحسينات أيضًا على تعزيز تجربة المستخدم الخاصة بك ، والتي يمكن أن تساعد موقعك على الأداء بشكل أفضل في بحث Google نظرًا لأن سرعة الموقع هي إشارة إلى PageRank.

7. لا تنس استخدام العلامات المتعارف عليها

المحتوى المكرر يثير استياء Google — على الأقل عندما لا تقر بأن المحتوى المكرر يحتوي على صفحة مصدر. لماذا ا؟ يزحف Googlebot إلى كل صفحة ما لم يكن حتمًا ، ما لم يُطلب منه خلاف ذلك. ومع ذلك ، عندما تصادف صفحة مكررة أو نسخة من شيء مألوف له (على صفحتك أو خارج الموقع) ، فإنها ستتوقف عن الزحف إلى تلك الصفحة. وبينما يوفر هذا الوقت ، يجب توفير المزيد من الوقت للزاحف باستخدام علامة أساسية تحدد عنوان URL الأساسي.

تخبر Canonical برنامج Googlebot ألا يكلف نفسه عناء استخدام الفترة الزمنية للزحف لفهرسة هذا المحتوى. يمنح هذا روبوت محرك البحث مزيدًا من الوقت لفحص صفحاتك الأخرى.

8. التركيز على هيكل الربط الداخلي الخاص بك

يمكن أن يؤدي وجود ممارسة ربط جيدة التنظيم داخل موقعك إلى زيادة كفاءة زحف Google. تخبر الروابط الداخلية Google بالصفحات الأكثر أهمية على موقعك ، وتساعد هذه الروابط برامج الزحف في العثور على الصفحات بسهولة أكبر.

تعمل أفضل هياكل الربط على توصيل المستخدمين و Googlebots بالمحتوى في جميع أنحاء موقع الويب الخاص بك. استخدم دائمًا نص الرابط ذي الصلة وضع روابطك بشكل طبيعي في جميع أنحاء المحتوى الخاص بك.

بالنسبة إلى مواقع التجارة الإلكترونية ، تمتلك Google أفضل الممارسات لخيارات التنقل ذات الأوجه لزيادة عمليات الزحف إلى الحد الأقصى. يسمح التنقل الأوجه لمستخدمي الموقع بتصفية المنتجات حسب السمات ، مما يجعل التسوق تجربة أفضل. يساعد هذا التحديث في تجنب الارتباك المتعارف عليه ومشكلات التكرار بالإضافة إلى عمليات الزحف إلى عناوين URL الزائدة.

9. تقليم المحتوى غير الضروري

يمكن لـ Googlebots فقط التحرك بسرعة كبيرة وفهرسة العديد من الصفحات في كل مرة يزحفون فيها إلى أحد المواقع. إذا كان لديك عدد كبير من الصفحات التي لا تتلقى زيارات أو بها محتوى قديم أو منخفض الجودة ، فقم بقصها! تتيح لك عملية التقليم التخلص من الأمتعة الزائدة في موقعك والتي يمكن أن تثقل كاهل الموقع.

قد يؤدي وجود عدد كبير من الصفحات على موقعك إلى تحويل Googlebots إلى صفحات غير مهمة مع تجاهل الصفحات.

فقط تذكر إعادة توجيه أي روابط إلى هذه الصفحات ، حتى لا ينتهي بك الأمر مع أخطاء الزحف.

10. تجميع المزيد من الروابط الخلفية

مثلما تصل Googlebots إلى موقعك ثم تبدأ في فهرسة الصفحات بناءً على الروابط الداخلية ، فإنها تستخدم أيضًا روابط خارجية في عملية الفهرسة. إذا كانت هناك مواقع أخرى مرتبطة بموقعك ، فسيقوم Googlebot بالانتقال إلى موقعك وفهرسة الصفحات من أجل فهم أفضل للمحتوى المرتبط.

بالإضافة إلى ذلك ، تمنح الروابط الخلفية موقعك مزيدًا من الشعبية والحداثة ، وهو ما تستخدمه Google لتحديد عدد المرات التي يحتاج فيها موقعك إلى الفهرسة.

11. القضاء على الصفحات اليتيمة

نظرًا لأن زاحف Google ينتقل من صفحة إلى أخرى من خلال الروابط الداخلية ، يمكنه العثور على الصفحات المرتبطة بسهولة. ومع ذلك ، غالبًا ما تمر الصفحات غير المرتبطة بمكان ما على موقعك دون أن يلاحظها أحد من قبل Google. ويشار إلى هذه باسم "الصفحات اليتيمة".

متى صفحة يتيمة مناسبة؟ إذا كانت صفحة مقصودة لها هدف أو جمهور محدد للغاية. على سبيل المثال ، إذا أرسلت بريدًا إلكترونيًا إلى لاعبي الغولف الذين يعيشون في ميامي مع صفحة مقصودة تنطبق عليهم فقط ، فقد لا ترغب في ربط الصفحة من صفحة أخرى.

أفضل الأدوات لتحسين ميزانية الزحف

يمكن أن يكون Search Console و Google Analytics مفيدًا جدًا عندما يتعلق الأمر بتحسين ميزانية الزحف الخاصة بك. يسمح لك Search Console بطلب الزاحف لفهرسة الصفحات وتتبع إحصائيات الزحف. يساعدك Google Analytics على تتبع رحلة الربط الداخلية الخاصة بك.

تتيح لك أدوات تحسين محركات البحث الأخرى ، مثل SearchAtlas ، العثور على مشكلات الزحف بسهولة من خلال أدوات تدقيق الموقع. من خلال تقرير واحد ، يمكنك مشاهدة ما يلي:

• تقرير الزحف القابلية للفهرسة
• عمق المؤشر
• سرعة الصفحة
• محتوى مكرر
• خريطة موقع XML
• الروابط

حسِّن ميزانية الزحف لتصبح أفضل محرك بحث

بينما لا يمكنك التحكم في عدد المرات التي تقوم فيها محركات البحث بفهرسة موقعك أو المدة التي تستغرقها ، يمكنك تحسين موقعك لتحقيق أقصى استفادة من كل من عمليات الزحف التي يقوم بها محرك البحث. ابدأ بسجلات الخادم وألق نظرة فاحصة على تقرير الزحف على Search Console. ثم تعمق في إصلاح أي أخطاء في الزحف ، وهيكل الارتباط الخاص بك ، ومشكلات سرعة الصفحة.

أثناء عملك من خلال نشاط زحف GSC الخاص بك ، ركز على بقية إستراتيجية تحسين محركات البحث الخاصة بك ، بما في ذلك بناء الروابط وإضافة محتوى عالي الجودة . بمرور الوقت ، سوف تجد صفحات الهبوط الخاصة بك تتسلق صفحات نتائج محرك البحث.