Robots.txt File Kya Hoti Hai? कैसे बनाए और कैसे उपयोग करे Best Guide 2024

Robots.txt File Kya Hoti Hai: – आज हम Robots.txt File कैसे काम करती है?,Robots.txt File Ke Fayde Kya Hai?, Robots.txt File Kaise Check Kare?, Robots.txt File क्यों बनाई जाती है?, Robots.txt File का उपयोग न करने पर क्या होता है?

Robots.txt File का Format क्या होता है?,Robots.txt File Kaise Banaye?, Blogger Me Robot.txt File Kaise Upload Kare?, WordPress Me Robot.txt File Kaise Upload Kare? आदि के बारे में बात करेंगे –

आ गए सारे ब्लॉगर? Robots.txt का नाम हर ब्लॉगर ने सुना होगा यह वेबसाइट के लिए एक महत्त्वपूर्ण फाइल होती है इसीलिए आज Robots.txt की सम्पूर्ण जानकारी आपको इस आर्टिकल के माध्यम से दी जाएगी

जब आप अपनी वेबसाइट को इंटरनेट पर लाइव करते है तब आपकी वेबसाइट में कुछ ऐसे वेब पेज या इनफार्मेशन होती है जिनको आप यूजर को नहीं दिखाना चाहते है ऐसे में आप अपनी उस इनफार्मेशन या वेब पेज को Robots.txt फाइल के माध्यम से यूजर तक पहुंचने से रोक सकते है

• Blogging में करियर बनाने का सही रोडमैप 
• Blogger Vs WordPress in Hindi ? 
• Blogging Niche Kya Hai?
• Blog Niche Kaise Chune?
• Hindi Me Blogging Fail Hone Ke Karan ?
• Single Niche vs Multi Niche Blog?

जब सर्च इंजन के कार्य करने की बात आती है तब सर्च इंजन किसी भी वेबसाइट को सबसे पहले क्रॉल करता है ऐसे में Robots.txt वेबसाइट की किन किन files, folders और वेब पेज को दिखाना है या नहीं दिखाना है यहाँ Robots.txt के मेटा टैग का उपयोग किया जाता है

इसकी सही जानकारी ब्लॉग्गिंग की शुरुआत करने वाले नए ब्लोग्गेर्स को नहीं होती है जिसके कारण उनकी वेबसाइट का Technical SEO ख़राब हो जाता है इसलिए चलिए अब हम Robots.txt File Kya Hai को डेफिनेशन के रूप में जान लेते है

Robots.txt File Kya Hoti Hai | What is Robots.txt File in Hindi?

“Robots.txt File” के माध्यम से किसी वेबसाइट के वेब पेज को वेबमास्टर या सर्च इंजन बोट्स/क्रॉलर द्वारा क्रॉल किया जाना है या नहीं की परमिशन दी जाती है सभी वेबमास्टर या सर्च इंजन बोट्स/क्रॉलर वेबसाइट की Robots.txt File में कही बात का पालन करते है

अगर आपने किसी वेबसाइट की Robots.txt फाइल में किसी वेब पेज या इनफार्मेशन को क्रॉल करने से मना किया गया होता है तब वह उस वेबसाइट की इनफार्मेशन को क्रॉल नहीं करते है

अगर आप एक ब्लॉगर है तब आप जानते होंगे कि सर्च इंजन किसी वेबसाइट की सबसे पहले Web Crawling करता है जिसके बाद वह उस वेबसाइट की Web Indexing करता है इतना काम करने के बाद सर्च इंजन उस वेबसाइट को अपने रिजल्ट पेज में Ranking देता है

लेकिन अगर आप अपनी वेबसाइट के किसी फोल्डर, फाइल या वेब पेज को सर्च इंजन के माध्यम से यूजर को नहीं दिखाना चाहते है ऐसे में आप उस फोल्डर, फाइल या वेब पेज को अपनी वेबसाइट की Robot.txt फाइल में मेंशन कर सकते है

Note – अगर आपने अपनी Robots.txt File में किसी फोल्डर, फाइल या वेब पेज को Index करने के लिए मेंशन नहीं किया है इसके बाद सर्च इंजन बोट्स आपकी वेबसाइट की हर फोल्डर, फाइल या वेब पेज को क्रॉल करके Index करते है 

यह एक बहुत महत्त्वपूर्ण काम है लेकिन अगर आपको इसकी ज्यादा जानकारी नहीं है तब आप यह आर्टिकल पूरा पढ़ना है और अपनी Robots.txt फाइल को ध्यान से Edit करना है नहीं तो आपकी वेबसाइट की रैंकिंग यह डाउन कर सकती है

Robots.txt File कैसे काम करती है?

सभी सर्च इंजन हर वेबसाइट या उसके वेब पेज को Robots जिनको हम बोट्स या क्रॉलर कहते है उनके माध्यम से पढ़ते है ऐसे में जब सर्च इंजन किसी वेबसाइट के वेब पेज को अपने सर्च इंजन में दिखना चाहता है

तब वह उस वेब पेज में दी गई इनफार्मेशन को अपने बोट्स या क्रॉलर द्वारा क्रॉल कराता है जिस प्रक्रिया को हम Web Crawling कहते है यह हर सर्च इंजन का सबसे पहला कदम रहता है

किसी वेब पेज या वेबसाइट को यह बोट्स या क्रॉलर या Web Spiders किसी दूसरे वेब पेज पर दिए गए बैकलिंक, किसी वेबसाइट के Google Search Console में सबमिट किये गए Sitemap या वेबसाइट की इस Robots.txt फाइल के माध्यम से क्रॉल करते है

जिसके बाद उस वेबसाइट या वेब पेज की Indexing की जाती है लेकिन जब हम अपनी Robots.txt फाइल में वेबसाइट की किसी फाइल या इनफार्मेशन को क्रॉल करने से मना कर देते है तब यह बोट्स आपकी उस कमांड को मानते है

• SEO Kya Hai ?
• Content is King?
• Link Juice Kya Hai?
• SEO Me Backlinks Kyo Jaruri Hai?
• ON Page SEO Kya Hai?
• Backlink Kya Hai?
• Backlink Kaise Check Kare?

जिसके बाद आपकी वेबसाइट का वह वेब पेज या इनफार्मेशन indexed pages search engine results में सर्च इंजन के द्वारा नहीं दिखाया जाता है

Robots.txt File Ke Fayde Kya Hai?

Robots.txt फाइल के फायदे निम्नलिखित होते है जैसे – 

• Robots.txt File के माध्यम से आप अपनी वेबसाइट के Sitemap की जानकारी दे सकते है जिसके बाद आपका हर वेब पेज उस Sitemap के माध्यम से जल्दी इंडेक्स होता है
• इसके माध्यम से वेबसाइट की फाइल्स जैसे images, PDFs, Videos आदि को Index होने से रोका जा सकता है
• इसमें दिए गए आपकी वेबसाइट के डुबलीकेट वेब पेज के यूआरएल को सर्च इंजन बोट्स क्रॉल नहीं करते है
• इसके जरिये आप अपनी वेबसाइट के Low Value Page को ब्लॉक कर सकते है
• इसके माध्यम से आपकी वेबसाइट के प्राइवेट पेज या इनफार्मेशन को क्रॉल होने से रोका जा सकता है
• आप अपने Crawl Budget का सही प्रकार से उपयोग कर सकते है
• इसके माध्यम से आप “canonicalization” problems मतलब canonical” URLs की प्रॉब्लम भी Solve कर सकते है

Robots.txt File Kaise Check Kare?

किसी भी वेबसाइट की Robots.txt File को Check करने के लिए आपको अपने ब्राउज़र में उस वेबसाइट का Domain Name लिखना है उसके बाद ( / ) लगाकर Robots.txt लिखना है और सर्च करना है

जैसे अगर आपकी वेबसाइट का डोमेन नाम Example.com है तब आपको अपने ब्राउज़र में https://example.com/robots.txt लिखना होगा इसके बाद आप उस वेबसाइट की Robots.txt फाइल को Check कर सकते है

Robots.txt File क्यों बनाई जाती है?

आज हर ब्लॉगर अपनी वेबसाइट को गूगल में रैंक कराकर पैसे कामना चाहता है ऐसे में Robots.txt फाइल को क्यों बनाए देखिए सर्च इंजन के क्रॉलर सीमित समय और संसाधनों के साथ हमारी वेबसाइट को जल्दी इंडेक्स कर देते है

जिसका सीधा असर आपकी वेबसाइट की रैंकिंग के ऊपर पड़ता है आप अपनी वेबसाइट में Robots.txt फाइल अपडेट करके अपनी वेबसाइट के वेब पेज को जल्दी इंडेक्स करा सकते है जिससे आपकी वेबसाइट को रैंकिंग बूस्ट मिलता है

इसमें आप उन वेब पेज को क्रॉल करने से मना कर सकते है जो महत्वपूर्ण नहीं है इसके साथ ही अपनी वेबसाइट के Category, Tags , Author, Admin etc की इंडेक्सिंग भी ब्लॉक कर सकते है

Robots.txt File का उपयोग न करने पर क्या होता है?

अपनी वेबसाइट में इस फाइल का उपयोग नहीं करने पर आपकी वेबसाइट को सर्च इंजन के बोट्स या क्रॉलर पूरी तरह से क्रॉल करके अपने सर्च इंजन में दिखाते है लेकिन अगर आप इसका  उपयोग करते है तब आप अपनी वेबसाइट के वेब पेज को जल्दी इंडेक्स करा सकते है

इसके बाद आपको अलग से हर वेब पेज को Google Search Console में जाकर इंडेक्स करने की जरुरत नहीं होती है

Robots.txt File का Format क्या होता है?

Robots.txt फाइल में कुछ syntax का उपयोग किया जाता है जो एक फॉर्मेट के रूप में होते है जैसे –

User Agent – *
Allow : /
Disallow : /

User-Agent – इसके द्वारा हम अलग अलग बोट्स को टारगेट करके अपने निर्देश देते है उदाहरण के लिए जैसे हम सर्च इंजन के बोट्स को निर्देश देना चाहते है इसके लिए हम यहां User Agents में Googlebot का उपयोग करते है

अगर हम सर्च इंजन Bing को निर्देश देना चाहते है तब हम यहाँ User Agents में Bingbot का उपयोग करते है * चिन्ह उपयोग किसी सर्च इंजन बोट्स को निर्देश देने के लिए किया जाता है

Allow – इसके बाद में हम वेबसाइट के उन यूआरएल को लिखते है जिनको User-Agent में मेंशन किये गए सर्च इंजन के बोट्स क्रॉल कर सकते है और अपने सर्च इंजन में इंडेक्स कर सकते है

Disallow – इसके बाद में हम वेबसाइट के उन यूआरएल को लिखते है जिनको User-Agent में मेंशन किये गए सर्च इंजन के बोट्स क्रॉल नहीं कर सकते है ( Note यहाँ हर फाइल, फोल्डर, वेब पेज के आगे Disallow लिखा होना अनिवार्य है )

Note – Robots.txt फाइल का बेसिक फॉर्मेट केवल इतना ही होता है लेकिन इसमें कुछ एक्स्ट्रा syntax का उपयोग भी किया जाता है जिनके बारे में नीचे बताया गया है 

Noindex – इसमे आप वेबसाइट के उन यूआरएल को लिखते है जिनको आप सेर्च इंजन के बोट्स द्वारा इंडेक्स नहीं कराना चाहते है

Hash symbol(#) – अगर आप कोडिंग जानते है तब आप इसके बारे में जरूर जानते होंगे अगर आप किसी लाइन के आगे # लगा देते है तब वह लाइन Comment Out हो जाती है सर्च इंजन की भाषा में इसका मतलब इस लाइन को Ignore करना होता है

User-Agent/Disallow group – यह Disallow का ग्रुप होता है जिसको separate करने के लिए blank line का उपयोग किया जाता है लेकिन अगर दो ग्रुप है तब उनके बीच में blank line का उपयोग नहीं किया जाता है

इसके साथ ही User-agent line और the last Disallow के बीच में Space या गैप नहीं होना चाहिए

आपकी जानकारी के लिए बता दू कि Directories व filenames case-sensitive हैं मतलब “private”, “Private”, and “PRIVATE” के सभी सर्च इंजन के लिए अलग अलग होते है

Example में अगर हम नीचे दिए गए Googlebot में Disallow को एकदम खाली रखा है जिसके बाद सर्च इंजन गूगल के बोट्स आपकी वेबसाइट को पूरी तरह से क्रॉल करने के लिए फ्री होते है

/logs or logs.php.
User-agent: Googlebot
Disallow:

अगर User-agent में “msnbot”का उपयोग किया जाता है और उसके बाद Disallow को एकदम खाली रखा गया है जिसका मतलब यहाँ site को बंद कर दिया गया है

User-agent: msnbot
Disallow: /
# Block all robots from tmp and logs directories

अगर User-agent: के बाद में  * लगा है तब यह बात सभी सर्च इंजन पर लागु होती है /tmp/ directory or directories or files called /logs जहाँ होता है वहां की फाइल को देखने की परमिशन नहीं होती है

User-agent: *
Disallow: /tmp/
Disallow: /logs # for directories and files called logs

Robots.txt File Kaise Banaye? | Robots.txt File कैसे बनाए?

robots.txt फाइल बनाना हर वेबसाइट के लिए बहुत महत्वपूर्ण होता है यह आपकी वेबसाइट के Technical SEO को Improve करके आपकी वेबसाइट के ट्रैफिक और रैंकिंग को बढ़ाता है इसके लिए आप नीचे दिए स्टेप को फॉलो कर सकते है

• सबसे पहले आपको अपने लैपटॉप के Notepad में एक फाइल बनानी है जिसको आपको Robots.txt के नाम से सेव करना है
• इस फाइल में आप ऊपर बताए गए स्टेप के माध्यम से अपनी वेबसाइट के यूआरएल को Robots.txt के फॉमट के अनुसार बनाते है
• इसके बाद आपको यह फाइल अपनी वेबसाइट की रुट डायरेक्टरी में अपलोड करनी है जिसको हम htdocs भी कहते है यह आपकी वेबसाइट के Domain Name के बाद appear होता है

Note – अगर आप अपनी वेबसाइट में SubDomains का उपयोग करते है तब आपको अपने सभी Subdomains के लिए अलग अलग txt file बनानी होती है 

जब ब्लॉग्गिंग शुरू करने की बात आती है तब आप Blogger जोकि एक फ्री ब्लॉग्गिंग प्लेटफार्म है या आप WordPress जोकि Paid प्लेटफार्म होता है पर अपनी वेबसाइट को एक्सेस करते है इन दोनों में Robots.txt फाइल को अपलोड करने का अलग अलग मेथड होता है

लेकिन Robots.txt फाइल को आप ऊपर बताए स्टेप्स के माध्यम से अपने नोटपैड में बना लेते है अब हम Blogger Me Robot.txt File Kaise Upload Kare और WordPress Me Robot.txt File Kaise Upload Kare के बारे में जानकारी ले लेते है

Blogger Me Robot.txt File Kaise Upload Kare?

Blogger में Robots.txt फाइल को अपलोड करने के लिए आप नीचे बताए स्टेप को फॉलो कर सकते है –

• सबसे पहले आपको अपने Blogger डैशबोर्ड को लॉग इन करके ओपन कर लेना है
• इसके बाद आपको Setting के ऑप्शन में जाना है
• अब आपको यहाँ नीचे Crawlers and Indexing का ऑप्शन दिखाई देता है आपको उसमे जाना है
• इसके बाद आप Custom Robots.txt को यहाँ Enable कर दे
• अब आपको यहाँ Robots.txt फाइल को कॉपी करके पेस्ट कर देना है इसके बाद Save के बटन पर क्लिक कर देना है

WordPress Me Robot.txt File Kaise Upload Kare?

WordPress में Robots.txt फाइल को अपलोड करने के लिए आप नीचे बताए स्टेप को फॉलो कर सकते है –

• इसके लिए सबसे पहले आपको अपने वर्डप्रेस डैशबोर्ड को ओपन करना है
• इसके बाद आपको SEO Plugin Rank Math को ओपन करना है
• इसमें आपको General Setting पर क्लिक करना है
• इसके बाद आपको यहाँ Edit robots.txt का ऑप्शन दिखता है आपको उस पर क्लिक करना है
• अब यहाँ आप अपनी Robots.txt फाइल को अपलोड कर सकते है
• इसके बाद आपको Save Changes पर क्लिक कर देना है

Read This Articles:- 

• Blog Niche Kaise Chune ? Best Complete Guide in Hindi
• Blog Or Blogging Kya Hai? प्रकार, फायदे, प्रोफेशनल ब्लॉग्गिंग Best Guide
• Blog Par Comment Kaise Kare? Comment Backlink Kaise Banaye Best Guide
• Blog Post Kitne Word Ka Hona Chahiye ? Best Complete Guide
• Blog Post Ko Google Search Me Kaise Laye? 12 Tips सम्पूर्ण जानकारी Best Guide
• Blog Post Publish Karne Se Phele Or Baad Me Kya Kare? 20 Tips Best Guide
• Blog Post vs Page in Hindi ? वर्डप्रेस पोस्ट और पेज क्या है Best Guide
• Blog Vs Website in Hindi? ब्लॉग, वेबसाइट क्या है, पहेचान कैसे करे Best Guide

FAQ