إذا لم تتمكن محركات البحث من العثور على صفحات الويب الخاصة بك ، فإن كل التحسينات في العالم لن تفيد. عزز قابلية الزحف إلى موقعك وقابلية الفهرسة للعثور عليه عن طريق عناكب البحث.
قد تكون الكلمات الرئيسية والمحتوى الركيزتين التوأمين التي تُبنى عليها معظم استراتيجيات تحسين محرك البحث ، لكنها بعيدة كل البعد عن العوامل الوحيدة المهمة.
تتم مناقشة أقل شيوعًا ولكن بنفس الأهمية - ليس فقط للمستخدمين ولكن للبحث عن الروبوتات - هي قابلية اكتشاف موقع الويب الخاص بك.
هناك ما يقرب من 50 مليار صفحة ويب على 1.93 مليار موقع على الإنترنت. هذا كثير جدًا بحيث يتعذر على أي فريق بشري استكشافه ، لذلك تؤدي هذه الروبوتات ، التي تسمى أيضًا العناكب ، دورًا مهمًا.
تحدد برامج الروبوت هذه محتوى كل صفحة باتباع الروابط من موقع ويب إلى موقع ويب ومن صفحة إلى أخرى. يتم تجميع هذه المعلومات في قاعدة بيانات واسعة ، أو فهرس ، لعناوين URL ، والتي يتم وضعها بعد ذلك من خلال خوارزمية محرك البحث للترتيب.
تسمى هذه العملية المكونة من خطوتين للتنقل وفهم موقعك بالزحف والفهرسة.
بصفتك محترفًا في تحسين محركات البحث ، فقد سمعت هذه المصطلحات بلا شك من قبل ، ولكن دعنا نحددها فقط من أجل الوضوح:
- تشير إمكانية الزحف إلى مدى قدرة روبوتات محركات البحث هذه على فحص صفحات الويب الخاصة بك وفهرستها.
- تقيس قابلية الفهرسة قدرة محرك البحث على تحليل صفحات الويب الخاصة بك وإضافتها إلى فهرسها.
كما يمكنك أن تتخيل على الأرجح ، كلاهما جزء أساسي من تحسين محركات البحث.
إذا كان موقعك يعاني من ضعف قابلية الزحف ، على سبيل المثال ، العديد من الروابط المعطلة والطرق المسدودة ، فلن تتمكن برامج زحف محرك البحث من الوصول إلى كل المحتوى الخاص بك ، مما يؤدي إلى استبعاده من الفهرس.
من ناحية أخرى ، تعد القابلية للفهرسة أمرًا حيويًا لأن الصفحات التي لم تتم فهرستها لن تظهر في نتائج البحث. كيف يمكن لـ Google ترتيب صفحة لم يتم تضمينها في قاعدة بياناتها؟
تعتبر عملية الزحف والفهرسة أكثر تعقيدًا بعض الشيء مما ناقشناه هنا ، ولكن هذه هي النظرة العامة الأساسية.
إذا كنت تبحث عن مناقشة أكثر تعمقًا حول كيفية عملها ، فإن Dave Davies لديه مقال ممتاز عن الزحف والفهرسة .
كيفية تحسين الزحف والفهرسة
الآن بعد أن غطينا مدى أهمية هاتين العمليتين ، دعنا نلقي نظرة على بعض عناصر موقع الويب الخاص بك التي تؤثر على الزحف والفهرسة - ومناقشة طرق تحسين موقعك من أجلهم.
1. تحسين سرعة تحميل الصفحة
مع وجود المليارات من صفحات الويب التي يتم فهرستها ، ليس لدى عناكب الويب انتظار طوال اليوم حتى يتم تحميل الروابط الخاصة بك. يشار إلى هذا أحيانًا باسم ميزانية الزحف.
إذا لم يتم تحميل موقعك خلال الإطار الزمني المحدد ، فسوف يغادرون موقعك ، مما يعني أنك ستظل بدون زحف وغير مفهرس. وكما يمكنك أن تتخيل ، هذا ليس جيدًا لأغراض تحسين محركات البحث.
وبالتالي ، من الجيد تقييم سرعة صفحتك بانتظام وتحسينها حيثما أمكنك ذلك.
يمكنك استخدام Google Search Console أو أدوات مثل Screaming Frog للتحقق من سرعة موقع الويب الخاص بك.
إذا كان موقعك يعمل ببطء ، فاتخذ خطوات لتخفيف المشكلة. قد يشمل ذلك ترقية الخادم أو النظام الأساسي للاستضافة ، وتمكين الضغط ، وتقليل CSS ، و JavaScript ، و HTML ، وإزالة أو تقليل عمليات إعادة التوجيه.
اكتشف ما الذي يبطئ وقت التحميل عن طريق مراجعة تقرير Core Web Vitals . إذا كنت تريد المزيد من المعلومات الدقيقة حول أهدافك ، لا سيما من وجهة نظر تتمحور حول المستخدم ، فإن Google Lighthouse هي أداة مفتوحة المصدر قد تجدها مفيدة للغاية.
2. تقوية هيكل الارتباط الداخلي
يعد هيكل الموقع الجيد والربط الداخلي عنصرين أساسيين لاستراتيجية تحسين محركات البحث الناجحة. يصعب على محركات البحث الزحف إلى موقع ويب غير منظم ، مما يجعل الارتباط الداخلي أحد أهم الأشياء التي يمكن أن يقوم بها موقع الويب.
لكن لا تأخذ كلمتنا على محمل الجد. إليك ما قاله جون مولر ، المدافع عن البحث في Google حول هذا الموضوع:
"الارتباط الداخلي أمر بالغ الأهمية لتحسين محركات البحث. أعتقد أنه أحد أكبر الأشياء التي يمكنك القيام بها على موقع ويب لتوجيه Google نوعًا ما وتوجيه الزائرين إلى الصفحات التي تعتقد أنها مهمة ".
إذا كان الارتباط الداخلي الخاص بك ضعيفًا ، فإنك تخاطر أيضًا بالصفحات المعزولة أو تلك الصفحات التي لا ترتبط بأي جزء آخر من موقع الويب الخاص بك. نظرًا لعدم توجيه أي شيء إلى هذه الصفحات ، فإن الطريقة الوحيدة لمحركات البحث للعثور عليها هي من ملف Sitemap الخاص بك.
للتخلص من هذه المشكلة والمشكلات الأخرى الناتجة عن ضعف البنية ، قم بإنشاء بنية داخلية منطقية لموقعك.
يجب أن ترتبط صفحتك الرئيسية بالصفحات الفرعية التي تدعمها الصفحات الموجودة أسفل الهرم. يجب أن تحتوي هذه الصفحات الفرعية بعد ذلك على روابط سياقية حيث تبدو طبيعية.
هناك شيء آخر يجب مراقبته وهو الروابط المعطلة ، بما في ذلك تلك التي تحتوي على أخطاء إملائية في عنوان URL. هذا ، بالطبع ، يؤدي إلى ارتباط معطل ، مما يؤدي إلى خطأ 404 المخيف . بمعنى آخر ، الصفحة غير موجودة.
تكمن المشكلة في أن الروابط المعطلة لا تساعد وتضر بإمكانية الزحف لديك.
تحقق جيدًا من عناوين URL الخاصة بك ، خاصةً إذا كنت قد خضعت مؤخرًا لترحيل موقع أو حذف جماعي أو تغيير في الهيكل. وتأكد من أنك لا تربط عناوين URL القديمة أو المحذوفة.
تشمل أفضل الممارسات الأخرى للارتباط الداخلي وجود قدر كبير من المحتوى القابل للربط (المحتوى دائمًا هو الملك) ، واستخدام النص الأساسي بدلاً من الصور المرتبطة ، واستخدام " عدد معقول " من الروابط على الصفحة (مهما كان ذلك ).
أوه نعم ، وتأكد من أنك تستخدم روابط المتابعة للروابط الداخلية.
3. قم بإرسال ملف Sitemap الخاص بك إلى Google
مع إعطاء الوقت الكافي ، وبافتراض أنك لم تخبرها بعدم القيام بذلك ، فإن Google ستزحف إلى موقعك. وهذا رائع ، لكنه لا يساعد في ترتيب نتائج البحث أثناء الانتظار.
إذا كنت قد أجريت مؤخرًا تغييرات على المحتوى الخاص بك وتريد أن تعرف Google عنه على الفور ، فمن الجيد إرسال خريطة موقع إلى Google Search Console .
ملف Sitemap هو ملف آخر موجود في الدليل الجذر. إنه بمثابة خارطة طريق لمحركات البحث مع روابط مباشرة لكل صفحة على موقعك.
هذا مفيد للقابلية للفهرسة لأنه يسمح لـ Google بالتعرف على صفحات متعددة في وقت واحد. في حين أن الزاحف قد يضطر إلى اتباع خمسة روابط داخلية لاكتشاف صفحة عميقة ، فمن خلال إرسال خريطة موقع XML ، يمكنه العثور على جميع صفحاتك بزيارة واحدة إلى ملف خريطة الموقع الخاص بك.
يعد إرسال ملف Sitemap إلى Google مفيدًا بشكل خاص إذا كان لديك موقع ويب عميق ، أو تضيف صفحات أو محتوى جديدًا بشكل متكرر ، أو إذا كان موقعك لا يحتوي على روابط داخلية جيدة.
4. قم بتحديث ملفات Robots.txt
ربما تريد أن يكون لديك ملف robots.txt لموقعك على الويب. على الرغم من أنه ليس مطلوبًا ، إلا أن 99٪ من مواقع الويب تستخدمه كقاعدة عامة. إذا لم تكن معتادًا على هذا ، فهو ملف نصي عادي في الدليل الجذر لموقع الويب الخاص بك.
إنه يخبر برامج زحف محركات البحث بالطريقة التي تريدها أن يزحفوا بها إلى موقعك. استخدامه الأساسي هو إدارة حركة مرور الروبوتات والحفاظ على موقعك من التحميل الزائد بالطلبات.
حيث يكون هذا مفيدًا من حيث إمكانية الزحف ، فهو يحد من الصفحات التي يزحف إليها محرك بحث Google ويفهرسها. على سبيل المثال ، ربما لا تريد صفحات مثل الأدلة وعربات التسوق والعلامات في دليل Google.
بالطبع ، يمكن أن يؤثر هذا الملف النصي المفيد أيضًا بشكل سلبي على إمكانية الزحف لديك. يجدر النظر في ملف robots.txt الخاص بك (أو الاستعانة بخبير إذا لم تكن واثقًا من قدراتك) لمعرفة ما إذا كنت تمنع وصول الزاحف عن غير قصد إلى صفحاتك.
تتضمن بعض الأخطاء الشائعة في ملفات robots.text ما يلي:
- ملف robots.txt ليس في الدليل الجذر.
- سوء استخدام أحرف البدل.
- Noindex في ملف robots.txt.
- البرامج النصية وأوراق الأنماط والصور المحظورة.
- ليس هناك عنوان URL لخريطة الموقع.
5. تحقق من التحويل القياسي الخاص بك
تدمج العلامات الأساسية الإشارات من عناوين URL متعددة في عنوان URL أساسي واحد. يمكن أن تكون هذه طريقة مفيدة لإخبار Google بفهرسة الصفحات التي تريدها أثناء تخطي التكرارات والإصدارات القديمة.
لكن هذا يفتح الباب أمام العلامات الكنسية المارقة. تشير هذه إلى الإصدارات القديمة من الصفحة التي لم تعد موجودة ، مما يؤدي إلى قيام محركات البحث بفهرسة الصفحات الخاطئة وترك صفحاتك المفضلة غير مرئية.
للتخلص من هذه المشكلة ، استخدم أداة فحص عنوان URL للبحث عن العلامات المارقة وإزالتها.
إذا كان موقع الويب الخاص بك موجهًا نحو حركة المرور الدولية ، على سبيل المثال ، إذا قمت بتوجيه المستخدمين في بلدان مختلفة إلى صفحات أساسية مختلفة ، فيجب أن يكون لديك علامات أساسية لكل لغة. يضمن ذلك فهرسة صفحاتك بكل لغة يستخدمها موقعك.
6. إجراء مراجعة الموقع
الآن بعد أن قمت بتنفيذ كل هذه الخطوات الأخرى ، لا يزال هناك شيء أخير عليك القيام به لضمان تحسين موقعك للزحف والفهرسة: تدقيق الموقع. ويبدأ ذلك بالتحقق من النسبة المئوية للصفحات التي فهرستها Google لموقعك.
تحقق من معدل قابلية الفهرسة الخاص بك
معدل الفهرسة الخاص بك هو عدد الصفحات في فهرس Google مقسومًا على عدد الصفحات على موقعنا.
يمكنك معرفة عدد الصفحات الموجودة في فهرس Google من فهرس Google Search Console بالانتقال إلى علامة التبويب "الصفحات" والتحقق من عدد الصفحات على موقع الويب من لوحة إدارة CMS.
هناك فرصة جيدة أن يحتوي موقعك على بعض الصفحات التي لا تريد فهرستها ، لذلك من المحتمل ألا يكون هذا الرقم 100٪. ولكن إذا كان معدل قابلية الفهرسة أقل من 90٪ ، فحينئذٍ لديك مشكلات تحتاج إلى التحقيق.
يمكنك الحصول على عناوين URL غير المفهرسة من Search Console وإجراء تدقيق لها. قد يساعدك هذا في فهم سبب المشكلة.
هناك أداة أخرى مفيدة لتدقيق المواقع مدرجة في Google Search Console وهي أداة فحص عنوان URL . يتيح لك هذا معرفة ما تراه عناكب Google ، والتي يمكنك مقارنتها بعد ذلك بصفحات الويب الحقيقية لفهم ما لا تستطيع Google عرضه.
تدقيق الصفحات المنشورة حديثًا
في أي وقت تنشر فيه صفحات جديدة على موقع الويب الخاص بك أو تقوم بتحديث أهم صفحاتك ، يجب عليك التأكد من فهرستها. انتقل إلى Google Search Console وتأكد من ظهورها جميعًا.
إذا كنت لا تزال تواجه مشكلات ، فيمكن أن يمنحك التدقيق أيضًا نظرة ثاقبة حول الأجزاء الأخرى من إستراتيجية تحسين محركات البحث الخاصة بك ، لذا فهو فوز مزدوج. قم بتوسيع نطاق عملية التدقيق الخاصة بك باستخدام أدوات مثل:
7. تحقق من وجود محتوى منخفض الجودة أو مكرر
إذا كان محرك بحث Google لا يرى المحتوى الخاص بك على أنه ذو قيمة للباحثين ، فقد يقرر أنه لا يستحق الفهرسة. هذا المحتوى الرقيق ، كما هو معروف ، يمكن أن يكون محتوى مكتوبًا بشكل سيء (على سبيل المثال ، مليء بالأخطاء النحوية والأخطاء الإملائية) ، أو محتوى معياري ليس فريدًا على موقعك ، أو محتوى بدون إشارات خارجية حول قيمته وسلطته.
للعثور على ذلك ، حدد الصفحات التي لم تتم فهرستها على موقعك ، ثم قم بمراجعة الاستعلامات الهدف لها. هل يقدمون إجابات عالية الجودة لأسئلة الباحثين؟ إذا لم يكن كذلك ، قم باستبدالها أو تحديثها.
يعد المحتوى المكرر سببًا آخر وراء توقف برامج التتبع أثناء الزحف إلى موقعك. في الأساس ، ما يحدث هو أن بنية الترميز الخاصة بك قد أربكته ولا تعرف أي إصدار يجب فهرسته. قد يكون هذا ناتجًا عن أشياء مثل معرّفات الجلسات وعناصر المحتوى الزائدة ومشكلات ترقيم الصفحات.
في بعض الأحيان ، سيؤدي هذا إلى تشغيل تنبيه في Google Search Console ، لإعلامك بأن Google تواجه عناوين URL أكثر مما تعتقد. إذا لم تتلق واحدة ، فتحقق من نتائج الزحف الخاصة بك لأشياء مثل العلامات المكررة أو المفقودة ، أو عناوين URL التي تحتوي على أحرف إضافية يمكن أن تؤدي إلى عمل إضافي لبرامج الروبوت.
يمكنك تصحيح هذه المشكلات عن طريق إصلاح العلامات أو إزالة الصفحات أو ضبط وصول Google.
8. القضاء على سلاسل إعادة التوجيه وعمليات إعادة التوجيه الداخلية
مع تطور مواقع الويب ، تعد عمليات إعادة التوجيه منتجًا ثانويًا طبيعيًا ، وتوجه الزوار من صفحة واحدة إلى صفحة أحدث أو أكثر صلة. ولكن في حين أنها شائعة في معظم المواقع ، إذا كنت تسيء التعامل معها ، فقد تقوم عن غير قصد بتخريب الفهرسة الخاصة بك.
هناك العديد من الأخطاء التي يمكنك ارتكابها عند إنشاء عمليات إعادة التوجيه ، ولكن أحد أكثرها شيوعًا هو إعادة توجيه السلاسل. تحدث هذه عندما يكون هناك أكثر من إعادة توجيه بين الرابط الذي تم النقر عليه والوجهة. لا تنظر Google إلى هذا على أنه إشارة إيجابية.
في الحالات الأكثر خطورة ، يمكنك بدء حلقة إعادة توجيه ، حيث تقوم الصفحة بإعادة التوجيه إلى صفحة أخرى ، والتي تقوم بالتوجيه إلى صفحة أخرى ، وما إلى ذلك ، حتى ترتبط في النهاية بالصفحة الأولى. بعبارة أخرى ، لقد قمت بإنشاء حلقة لا تنتهي لا تنتهي في أي مكان.
تحقق من عمليات إعادة التوجيه في موقعك باستخدام Screaming Frog أو Redirect-Checker.org أو أداة مشابهة.
9. إصلاح الروابط المعطلة
على نفس المنوال ، يمكن أن تؤدي الروابط المعطلة إلى إحداث فوضى في إمكانية الزحف إلى موقعك. يجب أن تتحقق بانتظام من موقعك للتأكد من عدم وجود روابط معطلة ، لأن هذا لن يضر بنتائج تحسين محركات البحث فحسب ، بل سيحبط المستخدمين من البشر.
هناك عدد من الطرق التي يمكنك من خلالها العثور على ارتباطات معطلة على موقعك ، بما في ذلك التقييم اليدوي لكل رابط على موقعك (رأس الصفحة أو تذييلها أو التنقل أو النص أو ما إلى ذلك) ، أو يمكنك استخدام Google Search Console أو Analytics أو يصرخ الضفدع للعثور على أخطاء 404.
بمجرد العثور على الروابط المعطلة ، لديك ثلاثة خيارات لإصلاحها: إعادة توجيهها (انظر القسم أعلاه للاطلاع على التحذيرات) ، أو تحديثها أو إزالتها.
10. الفهرس الآن
يعد IndexNow بروتوكولًا جديدًا نسبيًا يسمح بتقديم عناوين URL في وقت واحد بين محركات البحث عبر واجهة برمجة التطبيقات. إنه يعمل كإصدار فائق الشحن من إرسال خريطة موقع XML عن طريق تنبيه محركات البحث حول عناوين URL الجديدة والتغييرات التي تطرأ على موقع الويب الخاص بك.
في الأساس ، ما يفعله هو تزويد برامج الزحف بخريطة طريق إلى موقعك مقدمًا. يدخلون موقعك بالمعلومات التي يحتاجون إليها ، لذلك ليست هناك حاجة لإعادة التحقق من خريطة الموقع باستمرار. وعلى عكس خرائط مواقع XML ، فإنه يسمح لك بإبلاغ محركات البحث عن صفحات رموز الحالة بخلاف 200 صفحة.
إن تنفيذه سهل ، ويتطلب منك فقط إنشاء مفتاح API ، واستضافته في دليلك أو في مكان آخر ، وإرسال عناوين URL الخاصة بك بالتنسيق الموصى به.
الآن ، يجب أن يكون لديك فهم جيد لقابلية فهرسة موقع الويب الخاص بك وقابلية الزحف. يجب أن تفهم أيضًا مدى أهمية هذين العاملين في تصنيفات البحث الخاصة بك.
إذا تمكنت عناكب Google من الزحف إلى موقعك وفهرسته ، فلا يهم عدد الكلمات الرئيسية والروابط الخلفية والعلامات التي تستخدمها - فلن تظهر في نتائج البحث.
وهذا هو السبب في أنه من الضروري فحص موقعك بانتظام بحثًا عن أي شيء يمكن أن يكون مضللاً أو مضللاً أو مضللاً.
لذا ، احصل على مجموعة جيدة من الأدوات وابدأ. كن مجتهدًا ومراعيًا للتفاصيل ، وستجد قريبًا عناكب Google تنتشر في موقعك مثل العناكب.