आपकी वर्डप्रेस वेबसाइट को सर्च इंजन में बेहतर रैंक दिलाने के लिए SEO (खोज इंजन अनुकूलन) बहुत जरूरी है. इसमें कई चीज़ें शामिल होती हैं, जिनमें से एक है robots.txt फाइल. ये फाइल सर्च इंजन बॉट्स को बताती है कि आपकी वेबसाइट पर किन पेजों को क्रॉल (crawl) करना है और किनको नहीं.
आइए, सीधे शब्दों में समझते हैं कि robots.txt फाइल क्या है और इसे SEO के लिहाज से कैसे इस्तेमाल किया जाए.
Robots.txt फाइल क्या है?
Robots.txt एक साधारण टेक्स्ट फाइल होती है जो आपकी वेबसाइट की जड़ (root) डायरेक्टरी में रखी जाती है. यह सर्च इंजन बॉट्स को निर्देश देती है कि आपकी वेबसाइट के किन पेजों को उनकी इंडेक्स में शामिल करना चाहिए और किनको नहीं.
सरल शब्दों में कहें तो, यह सर्च इंजन बॉट्स को आपकी वेबसाइट पर घूमने का नक्शा देती है. आप उन्हें बता सकते हैं कि वेबसाइट के कुछ खास हिस्सों, जैसे लॉगिन पेज या थीम फाइल्स को न देखें.
Robots.txt फाइल का इस्तेमाल क्यों करें?
कुछ कारण हैं कि आपको अपनी वर्डप्रेस वेबसाइट के लिए robots.txt फाइल का इस्तेमाल करना चाहिए:
- बेहतर SEO: आप सर्च इंजन बॉट्स को उन पेजों को क्रॉल करने से रोक सकते हैं जो आपकी वेबसाइट के रैंकिंग के लिए फायदेमंद नहीं हैं. उदाहरण के लिए, लॉगिन पेज या सर्च रिजल्ट पेज को क्रॉल करने से कोई फायदा नहीं होता. इससे सर्च इंजन बॉट्स का समय बचेगा और वो आपकी वेबसाइट के महत्वपूर्ण पेजों को क्रॉल करने पर ध्यान लगा सकेंगे.
- वेबसाइट की स्पीड: बहुत सारे कम जरूरी पेजों को क्रॉल करने से आपकी वेबसाइट की स्पीड धीमी हो सकती है. robots.txt फाइल का इस्तेमाल करके आप बॉट्स को सिर्फ जरूरी पेजों को क्रॉल करने का निर्देश दे सकते हैं, जिससे आपकी वेबसाइट की स्पीड बेहतर होगी.
- निजी जानकारी की सुरक्षा: आप robots.txt फाइल का इस्तेमाल करके सर्च इंजन बॉट्स को उन पेजों को क्रॉल करने से रोक सकते हैं जिनमें आपकी वेबसाइट की निजी जानकारी हो, जैसे एडमिन पेज या यूजर डाटा.
Robots.txt फाइल में क्या लिखें?
Robots.txt फाइल एक साधारण टेक्स्ट फाइल होती है. इसमें कुछ खास कमांड्स का इस्तेमाल किया जाता है जो सर्च इंजन बॉट्स को निर्देश देते हैं.
आमतौर पर इस्तेमाल होने वाले दो मुख्य कमांड्स हैं:
- User-agent: यह बताता है कि किस सर्च इंजन बॉट को ये निर्देश मानने हैं. आप चाहें तो सभी बॉट्स के लिए एक समान निर्देश दे सकते हैं या फिर हर बॉट के लिए अलग-अलग निर्देश लिख सकते हैं.
- Disallow: यह बताता है कि सर्च इंजन बॉट को किस URL या फोल्डर को क्रॉल नहीं करना चाहिए.
Robots.txt फाइल में किन फोल्डरों को Disallow (अनुमति न दें) करना चाहिए?
कुछ फोल्डर या पेज होते हैं जिन्हें आप सर्च इंजन बॉट्स को क्रॉल करने से रोकना चाहेंगे. यहां कुछ उदाहरण दिए गए हैं:
- /wp-admin/: यह फोल्डर आपकी वर्डप्रेस वेबसाइट के एडमिन एरिया से जुड़ा होता है. इसमें लॉगिन पेज और अन्य सुरक्षित फाइल्स शामिल होती हैं.
- /wp-content/plugins/: यह फोल्डर आपकी वर्डप्रेस वेबसाइट के प्लगइन फाइल्स को स्टोर करता है. इन फाइल्स को सर्च इंजन बॉट्स के लिए जरूरी नहीं है.
- /wp-includes/: यह फोल्डर वर्डप्रेस के कोर फाइल्स को स्टोर करता है. इन्हें भी सर्च इंजन बॉट्स के लिए जरूरी नहीं है.
- /search/: आपकी वेबसाइट पर सर्च रिजल्ट पेज को सर्च इंजन बॉट्स के लिए फायदेमंद नहीं माना जाता है. आप इसे Disallow कर सकते हैं./trackbacks/ और /pingbacks/: ये फाइल्स कम जरूरी होती हैं और इन्हें Disallow किया जा सकता है.
Robots.txt फाइल में किन फोल्डरों को Allow (अनुमति दें) करना चाहिए?
आपकी वेबसाइट के ज्यादातर पेजों को सर्च इंजन बॉट्स के लिए Allow (अनुमति) देना चाहिए ताकि उन्हें इंडेक्स किया जा सके. हालाँकि, कुछ खास परिस्थितियों में आप कुछ खास फोल्डरों को Allow करना चाहेंगे, भले ही वे ऊपर बताए गए Disallow किए जाने वाले फोल्डरों में आते हों.
उदाहरण के लिए, अगर आपका कोई खास प्लगइन सर्च इंजन अनुकूलन में मदद करता है और उसके लिए जरूरी है कि उसे क्रॉल किया जाए, तो आप उस खास प्लगइन फाइल या फोल्डर को Allow कर सकते हैं.
Robots.txt फाइल को कैसे बनाएं और इस्तेमाल करें?
आप अपनी वर्डप्रेस वेबसाइट के लिए robots.txt फाइल को दो तरीकों से बना सकते हैं:
- मैन्युअल रूप से बनाना: आप एक नोटपैड फाइल बनाकर उसमें robots.txt फाइल के लिए जरूरी कमांड्स लिख सकते हैं. फिर इस फाइल को अपनी वेबसाइट की जड़ (root) डायरेक्टरी में अपलोड करें. (यह तरीका थोड़ा तकनीकी है और गलती होने का खतरा रहता है)
- Yoast SEO प्लगइन का इस्तेमाल करना: Yoast SEO एक लोकप्रिय वर्डप्रेस प्लगइन है जो SEO में मदद करता है. इस प्लगइन में एक आसान टूल होता है जिसकी मदद से आप अपनी robots.txt फाइल को बना और मैनेज कर सकते हैं.
Example of Robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /comments/feed/
Disallow: /cgi-bin/
Disallow: /wp-json/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.com/sitemap_index.xmlनिष्कर्ष
Robots.txt फाइल आपकी वर्डप्रेस वेबसाइट के SEO के लिए एक उपयोगी टूल है. इसका सही इस्तेमाल करके आप सर्च इंजन बॉट्स को बता सकते हैं कि आपकी वेबसाइट के किन पेजों को क्रॉल करना है और किनको नहीं. इससे आपकी वेबसाइट की स्पीड बेहतर हो सकती है, SEO स्कोर बढ़ सकता है, और आपकी वेबसाइट की निजी जानकारी सुरक्षित रह सकती है.
हालांकि, याद रखें कि robots.txt फाइल सर्च इंजन रैंकिंग का एक छोटा सा हिस्सा है. SEO के लिए कंटेंट की गुणवत्ता और बैकलिंक्स जैसे अन्य कारक भी महत्वपूर्ण हैं.
