Robots.txt क्या है? | Robots.txt File कैसे बनायें?

दोस्तों अगर आप एक Blogger हैं या फिर Blogging सिख रहे होंगे तो आपको Robots.txt का नाम जरूर सुनाने को मिला होगा तो क्या आप जानते हैं की Robots.txt क्या है अगर नहीं जानते हैं और जानना चाहते हैं तो आप बिलकुल सही जगह आयें हैं 

इस पोस्ट में आपको Robots.txt क्या होता है और यह कैसे काम करता है ,Robots.txt File कैसे बनायें ,Website में Robots.txt File कैसे चेक करें ,Website के लिए Robots.txt File क्यों जरूरी होता है आदि इन सभी के बारे में बहुत आसान भाषा में बताया हूँ 

तो चलिए बिना देर किये Robots.txt kya hai इसके बारे में जानते हैं। 

Robots.txt क्या है?

Robots.txt एक File होती जिसके माध्यम से हम किसी भी Search Engien के Crawler को ये बताते हैं की कौन से कौन से Page को Index करना है और कौन से Page को नहीं Index करना है क्योंकि हमारी Website में कुछ ऐसे भी Page होते हैं 

जिन्हे हमको Private रखने की जरूरत होती है किसी भी Search Engien का Crawler जब हमारी वेबसाइट को Crawl करने आता है तो एक निश्चित समय के लिए आता है और कुछ ऐसे भी Pages होते हैं जो यूजर के लिए कुछ भी Value प्रदान नहीं करते हैं 

तो Crawler उन Pages को क्रॉल करने में टाइम खराब न करे इसके लिए हम robots.txt फाइल अपनी वेबसाइट पर अपलोड करते हैं जिससे केवल वही पेज Index होते हैं जिसे हम Crawl करने की अनुमति देते हैं। 

Robots.txt के फायदे 

robots.txt kya hai ये जानने के चलिए अब इसके फायदे के बारे में बताते हैं जो इस प्रकार हैं 

केवल जरूरी Page Index करा सकते हैं

Robots.txt फाइल का इस्तेमाल करके आप अपने Website के सभी जरूरी Page के बहुत कम समय में Index करा सकते हैं जिससे आपकी सभी जरूरी Page को Crawler क्रॉल करता है और उसे Index करता है। 

Crawling समय का सही इस्तेमाल कर सकते हैं 

मैंने आपको उपर बताया है की किसी भी Search Engien के Crawler हमारी वेबसाइट पर निश्चित समय के लिए आते हैं और Robots.txt की सहायता से आप उस समय का सही से इस्तेमाल करके अपने Important पेज और पोस्ट को फास्ट इंडेक्स करा सकते हैं। 

Private Pages को Index होने से रोक सकते हैं 

सभी वेबसाइट में कुछ ऐसे Pages होते जिन्हे केवल Private रखने की जरूरत होती है तो robots.txt फाइल की मदद से उन पेज को Index  होने से रोक सकते हैं। 

Low Value वाले Page को Crawl करने से रोक सकते हैं 

जो पेज यूजर को किसी भी प्रकर Value प्रदान न करें ऐसे pages को Crawl करने से रोक सकते है और Crawling Time में आप उन Pages को क्रॉल करके Index करा सकते हैं जो यूजर के लिए वैल्यू प्रदान करते हैं। 

Robots.txt कैसे काम करता है?

Robots.txt क्या होता है ये जानने के बाद आप सोच रहे होंगे आखिर Robots.txt File कैसे काम करता है तो चलिए इसके बारे में आपको बताते हैं जब किसी Search Engien का Crawler हमारे Blogs और Websites को Crawl करने के लिए आते हैं 

तो सबसे पहले वो Website की Robots.txt फाइल को चेक करते है इस file में जिन Pages को allow किये रहते हैं Crawler केवल उसी पेज को क्रॉल करता है और उसे Index करता है इस हम अपने सभी Important Page बहुत तेजी से इंडेक्स करा सकते हैं।  

Robots.txt File कैसे बनायें? 

इस पोस्ट को यहाँ तक पढ़ने के बाद आपको पता चल गया होगा की robots.txt kya hai अब ये जरूर सोच रहे होंगे की आखिर Robots.txt File कैसे बनायें तो चलिए अब इसके बारे में चर्चा करते हैं और robots.txt फाइल कैसे बनाते हैं इसके बारे में जानते हैं। 

Robots.txt का Structure कैसा होता है?

Robots.txt File बनाने के लिए सबसे पहले आपको ये जानना होगा की इसका Structure कैसा होता है चलिए देखते हैं 

User Agent =*

Disallow=

Allow = 

Robots.txt का tructure इस प्रकार होता हैं चलिए इसके बारे में Details जानते हैं 

• User Agent इसका मतलब ये है की आप किस Search Engien के लिए लागू कर रहें अगरआप केवल Google के लिए लागू कर रहें User Agent = Google Bots और अगर Bing के लिए लागू कर रहे हैं तो google bots की जगह bingbots लिखें लेकिन अगर आप सभी Search Search के bots के लिए लागू करते हैं तो User Agent = (*) लगायें। 
• Disallow इसका मतलब ये है की आप किस पेज को नहीं Crawl करवाना चाहते हैं आप उस Page को Mention कर सकते हैं। 
• Allow इसका मतलब ये है की कौन से Page को Crawl करवाना चाहते हैं उस Page को आप Mention कर सकते हैं। 

Robots.txt का Structure देकने के बाद चलिए आप Robots.txt बनाना सिखाते हैं 

WordPress पर robots.txt फाइल कैसे बनाये?

अगर आपकी वेबसाइट wordpress है तो आप robots.txt फाइल बनाने के लिए इन Steps को Follow करें 

• Step1. सबसे पहले आप Youst SEO Plugin को install करें इनस्टॉल करने के बाद आप उसे Activate करें 
• Step2. अब अपने WordPress Dashboard में SEO वाले Option पर क्लिक करें 
• Step3. SEO पर क्लिक करने के बाद आप Tools वाले Option पर क्लिक करें 
• Step4. अब आपको File Editor का Option दिखाई देगा File Editor वाले Option पर क्लिक करें 
• Step5. अब Save Change बटन पर क्लिक करें 

Blogger पर robots.txt फाइल कैसे बनाये?

Blogger पर robots.txt फाइल बनाने के लिए आप इन Steps को Follow करें 

• Step1. सबसे पहले आप Blogger के Dashboard में जायें और Setting वाले Option पर क्लिक करें 
• Step2. इसके बाद आप थोड़ा सा निचे स्क्रोल करके Crawlers And Indexing वाले Option पर क्लिक करें 
• Step3 अब आप Custom robots.txt पर क्लिक करें और उसे Enable करें 
• Step4. इसके बाद आप अपने Custom Robots.txt फाइल को Paste करके Add बटन पर क्लिक करें 

इस प्रकार आप WordPress और Blogger दोनों पर Robots.txt फाइल बना कर उसे Add कर सकते हैं 

Website की Robots.txt File कैसे Check करें?

इस पोस्ट को यहाँ तक पढ़ने बाद अपने Robots.txt file क्या होती है और इसे कैसे बनाते हैं इसके बारे में जान लिया है अब बारी आती है आखिर अपनी या किसी भी Website की robots.txt फाइल कैसे चेक करें इसके लिए आप अपने Browser में उस वेबसाइट का नाम और उसके बाद robots.txt लिखकर सर्च करें

सर्च करने के बाद आपको उस वेबसाइट की Robots.txt फाइल दिख जाएगी 

चलिए अब आपको Example के माध्यम से बताते हैं 

मान आपको मेरी वेबसाइट की robots.txt फाइल चेक करना है आप अपने ब्राउज़र में https://bkbloginfo.com/robots.txt इस प्रकार लिख कर Saerch करें इसके बाद आपको मेरी वेबसाइट की robots.txt फाइल दिख जाएगीऔर अगर आपको किसी और वेबसाइट का चेक करना है तो आप मेरी website के नाम के जगह उस वेबसाइट का नाम लिखकर सर्च करें 

तो इस प्रकार आप किसी भी वेबसाइट की robots.txt File को चेक कर सकते हैं।

• Schema Markup क्या होता है? | और Schema Markup कितने प्रकार के होते हैं?
• Canonical Tag क्या होता है?| अपनी Website में Canonical Tag कैसे लगायें?

किसी भी Website के लिए Robots.txt क्यों जरूरी होता है?

Robots.txt Kya Hai या Robots.txt in hindi ये जानने के बाद आप जरूर सोच रहे होंगे की किसी भी Website के लिए Robots.txt क्यों जरूरी होता है मैंने आपको ऊपर बताया है की Robots.txt के माध्यम से ये बताते हैं की कौन से Page को Index करना है और कौन से Page को नहीं Index करना है 

और Robots.txt के माध्यम से आप Crawling Time का सही से इस्तेमाल कर सकते हैं Robots.txt का इस्तेमाल करने से हमारी वेबसाइट का Technical SEO बेहतर होता है तो इस प्रकार हम ये भी कह सकते हैं Website की Crawling Indexing और Technical SEO बेहतर बनाने के लिए Robots.txt हमारी वेबसाइट के लिए जरूरी होता है। 

अगर हम Robots.txt File न बनायें तो क्या होगा?

अब robots.txt file kya hoti hai ये जानने के बाद सवाल ये है अगर Robots.txt File न बनाये तो क्या होगा तो चलिए इसके बारे में जानते है अगरआप अपनी वेबसाइट में robots.txt न बनाये तो किसी भी Search Engien का Crawler आपकी Website के सभी Page को Crawl करेगा 

मैं आपको ऊपर बताया हूँ की Crawler किसी भी वेबसाइट पर एक निश्चित समय के लिए आता है हो सकता हैं उतने समय में वो केवल उन्ही Page को क्रॉल करे जो जरूरी न हो और जरूरी पेज हो उन्हें Crawl न कर पाये जिससे जरूरी Page Index भी नहीं होंगे और आपकी वेबसाइट की रैंकिंग डाउन हो जाएगी। 

FAQ (Robots.txt Kya Hota hai)

निष्कर्ष:(Robots.txt क्या है?)

दोस्तों मैं आशा करता हूँ की आपको मेरा यह Post जरूर पसंद आया होगा इस में मैंने आपको Robots.txt क्या है और यह कैसे काम करता है ,Robots.txt File कैसे बनायें ,Website में Robots.txt File कैसे चेक करें ,Website के लिए Robots.txt File क्यों जरूरी होता है इन सभी के बारे में बहुत आसान भाषा में बताने की कोशिस किया हूँ 

और अगर आपको लगता है की robots.txt kya hai इस पोस्ट में कुछ छूट गया है या इसमें कुछ सुधर करने की जरूरत है तो आप कमेंट में जरूर लिखें