خانه / آموزش وردپرس / آموزش فایل robots.txt وردپرس و بهینه سازی آن برای بهبود سئو سایت

آموزش فایل robots.txt وردپرس و بهینه سازی آن برای بهبود سئو سایت

آموزش فایل robots.txt

در این مقاله به آموزش فایل robots.txt و نحوه بهینه سازی آن برای بهبود سئوی سایت وردپرس می پردازیم. بیشتر وب سایت ها دارای فایل robots.txt هستند اما بسیاری از مدیران سایت ها نمی دانند این فایل چیست و چه کاربردی دارد. در این مقاله سعی داریم آموزش جامع و کاملی در مورد این فایل و نحوه استفاده از آن برای بهبود سئو سایت ارائه دهیم.

آموزش فایل robots.txt | فایل robots.txt چیست؟

فایل robots.txt یک فایل متنی در سایت شما است که به شما اجازه می دهد دسترسی موتورهای جستجو به برخی از فایل ها و فولدرهای سایت خود را متوقف کنید. شما با استفاده از این فایل می توانید مانع از خزیدن ربات های گوگل (و دیگر موتورهای جستجو) در صفحات خاصی از سایت خود شوید. فرمت اولیه فایل robots.txt به صورت زیر است.

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
 
Sitemap: [URL of your XML Sitemap]

این فایل در دایرکتوری root که فولدر اصلی وب سایت شما است، ذخیره می شود. شما می توانید چندین خط دستورالعمل برای اجازه یا عدم اجازه خزیدن ربات های جستجو در URL های خاصی از سایت خود را بدهید و چند نقشه سایت اضافه کنید. اگر URL خاصی را در این فایل به صورت Disallow مشخص نکنید، ربات های جستجو فرض را بر این می گذارند که اجازه خزیدن در این URL ها را دارند.

در این قسمت از آموزش مثالی از یک فایل robots.txt در زیر نشان داده شده است.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

دو دستور اصلی در فایل robots.txt مسئولیت تمام کارها را بر عهده دارند.

  • User-agent: این دستور ربات های موتورهای جستجو را هدف قرار می دهد. با استفاده از این دستور می توانید ربات های موتور جستجو خاصی را مشخص کنید. به عنوان مثال Googlebots یا Bingbots و دستورات را برای آن ربات اعمال کنید.
  • Disallow: این دستور اجازه می دهد به ربات های جستجو بگویید که در چه مناطقی از سایت نخزند.

البته دستور Allow نیز وجود دارد که می توانید در موقعیت های خاصی از آن استفاده کنید. تمام اجزای سایت شما به صورت پیش فرض Allow هستند بنابراین در 99% مواقع نیازی به استفاده از دستور Allow وجود ندارد. این دستور تنها در موقعیت هایی استفاده می شود که اجازه دسترسی به یک فولدر و فولدرهای فرزند آن را نداده اید اما می خواهید تنها به یکی از فولدرهای فرزند اجازه دسترسی دهید.

دستورهای دیگری شامل Crawl-delay و Sitemap نیز وجود دارند اما بیشتر ربات های خزنده بزرگ از آنها صرف نظر می کنند یا مثلاً در مورد Crawl-delay به روش های بسیار متفاوتی آن را تفسیر می کنند.

در مثال بالا ما به موتورهای جستجو اجازه داده ایم که فایل های موجود در فولدر آپلودهای وردپرس را ایندکس کرده و در آنها بخزند. اما در عین حال به ربات ها اجازه خزیدن و ایندکس کردن افزونه ها و فولدر ادمین وردپرس را نداده ایم. در خط آخر URL نقشه XML سایت را اضافه کرده ایم.

آیا همه سایت ها به فایل robots.txt نیاز دارند؟

با توجه به تعریف فوق این سوال پیش می آید که چگونه عدم اجازه دسترسی موتورهای جستجو به صفحات خاصی می تواند باعث بهبود سئو سایت شود و آیا شما در سایت خود نیاز به فایل robots.txt دارید یا خیر. در ادامه آموزش به این سوال ها پاسخ می دهیم.

همانطور که می دانید داشتن صفحات بیشتر در سایت به معنی این است که ربات های گوگل باید در صفحات بیشتری بخزند. ربات های جستجو برای هر وب سایت یک سهمیه خزیدن دارند. به این معنی که آنها تعداد صفحات مشخصی را در یک جلسه ایندکس کرده و در آنها می خزند. اگر نتوانند تمام صفحات وب سایت را در یک جلسه ایندکس کنند در یک جلسه دیگر مجدداً بازگشته و باقی صفحات را ایندکس می کنند. این کار می تواند سرعت ایندکس کردن سایت شما را پایین بیاورد.

 استفاده بهینه از سهمیه خزیدن اهمیت زیادی دارد زیرا برای گوگل مشخص می کند که تغییرات سایت شما را با چه کیفیتی دنبال می کند و در نتیجه با چه کیفیتی به شما رتبه می دهد. این موضوع بخصوص در سئو ای کامرس یا تجارت الکترونیک بسیار مهم است.

به همین علت بهتر است به موتورهای جستجو اجازه خزیدن در صفحات غیر ضروری وب سایت خود را ندهید. به عنوان مثال صفحات ادمین وردپرس، فایل های افزونه ها و فولدر قالب از جمله صفحات غیر ضروری برای ایندکس کردن هستند. خزیدن ربات های گوگل در این صفحات باعث می شود سهمیه خزیدن شما مصرف شود.

اجازه ندادن به موتورهای جستجو برای خزیدن در صفحات غیر ضروری سایت باعث می شود صفحات باکیفیت بیشتری در سایت ایندکس شده و ایندکس کردن با سرعت بالاتری انجام شود.

اگر در سایت خود فایل robots.txt نداشته باشید هیچ راهی برای اینکه به موتورهای جستجو بفهمانید در صفحات خاصی از سایت شما نخزند، ندارید و در نتیجه موتورهای جستجو تمام صفحات سایت شما را ایندکس می کنند.

دلیل دیگری که از فایل robots.txt استفاده می شود متوقف کردن موتورهای جستجو برای ایندکس کردن نوشته یا برگه ای در سایت است. این کار مطمئن ترین راه برای پنهان کردن محتوا از دید عموم نیست اما به شما کمک می کند محتوای مورد نظر را در نتایج جستجو نشان ندهید.

آموزش بهینه سازی فایل robots.txt وردپرس برای سئوی بهتر سایت

در یک سایت وردپرسی می توان قوانین زیر را در فایل robots.txt اعمال کرد.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

فرمت فایل robots.txt بسیار ساده است. اولین خط آن معمولاً نام user agent است. همانطور که قبلاً ذکر شد، user agent نام ربات جستجویی است که می خواهید با آن ارتباط برقرار کنید. به عنوان مثال Googlebot یا Bingbot. آیکون * به معنای ارتباط برقرار کردن با تمام user agent ها است.

خط بعدی شامل دستورالعمل های Allow مجاز بودن و Disallow غیر مجاز بودن برای موتورهای جستجو است. به این صورت ربات ها می فهمند شما از آنها می خواهید کدام قسمت را ایندکس کرده و کدام قسمت را ایندکس نکنند. محتوای فایل robots.txt بسته به نیازهای سایت شما متغیر است.

در این آموزش دستورالعمل مثال بالا در فایل robots.txt به ربات های جستجو اجازه ایندکس کردن تمام فایل ها و تصاویر وردپرس را می دهد. اما اجازه خزیدن در فایل افزونه های وردپرس، بخش مدیریت وردپرس، فایل readme وردپرس و لینک های افیلیت را نمی دهد.

در دستورالعمل های وبمستر گوگل به وبمستران توصیه شده است که از فایل robots.txt برای پنهان کردن محتوای کم کیفیت سایت خود استفاده نکنند. استفاده از فایل robots.txt برای جلوگیری از ایندکس کردن دسته ها، برچسب ها، تاریخ و دیگر صفحات آرشیو انتخاب هوشمندانه ای به نظر نمی رسد. شما با استفاده از افزونه Yoast SEO می توانید متا تگ های noindex و nofollow را به محتوایی که نمی خواهید ایندکس شود، اضافه کنید.

همچنین استفاده از فایل robots.txt برای متوقف کردن ربات های جستجو از ایندکس محتوای دوپلیکیت توصیه نمی شود و برای این کار بهتر است از روش دیگری استفاده کنید.

پس برای بهینه سازی فایل robots.txt و کمک به سئوی بهتر سایت چه کاری باید انجام دهید؟

توصیه می شود ایندکس کردن فایل readme.html را در فایل robots.txt غیرفعال کنید. فایل readme می تواند توسط هکرها برای پیدا کردن نسخه وردپرس مورد استفاده در سایت شما، استفاده شود. اگر هکر یک شخص باشد می تواند با مرور کردن فایل به راحتی به آن دسترسی پیدا کند. همچنین قرار دادن تگ Disallow در فایل readme.html می تواند جلوی حملات مخرب را بگیرد.

همچنین می توانید دایرکتوری افزونه وردپرس را Disallow کنید و به این ترتیب باعث افزایش امنیت وردپرس خود در برابر هکرهایی شوید که به دنبال آسیب پذیری در افزونه ها و رخنه کردن در سایت شما هستند.

اما اگر خزیدن در صفحه لاگین وردپرس، دایرکتوری ادمین یا صفحه ثبت نام را در فایل robots.txt غیر فعال نکردید، چندان مهم نیست زیرا وردپرس به صورت خودکار به صفحات لاگین و ثبت نام برچسب noindex می زند.

با اضافه کردن نقشه سایت به فایل robots.txt به موتورهای جستجو کمک می کنید که صفحات سایت شما را راحت تر پیدا کنند. توجه داشته باشید که اگر از یک افزونه مانند Yoast SEO یا All in One SEO در سایت خود استفاده می کنید نیازی به اضافه کردن نقشه سایت در فایل robots.txt نیست و این افزونه ها به صورت خودکار این کار را انجام می دهند.

در بخش بعدی آموزش به بررسی این موضوع که چگونه می توانید یک فایل robots.txt در وردپرس بسازید، می پردازیم.

آموزش ساخت فایل robots.txt در وردپرس

وردپرس به صورت پیش فرض یک فایل robots.txt مجازی را به صورت خودکار برای سایت شما می سازد. می توانید با اضافه کردن “robots.txt/” به انتهای نام دامنه خود این موضوع را بررسی کنید.

آموزش فایل robots.txt

اما از آنجا که این فایل مجازی است نمی توانید آن را ویرایش کنید. اگر می خواهید فایل robots.txt خود را ویرایش کنید باید یک فایل در سرور ایجاد کنید.

سه روش برای ساخت فایل robots.txt در وردپرس وجود دارد. شما می توانید هر کدام از روش ها را که در سایت شما بهتر کار می کند، انتخاب کنید.

روش 1: ویرایش فایل robots.txt با استفاده از افزونه Yoast SEO

اگر از افزونه Yoast SEO در سایت وردپرسی خود استفاده می کنید، این افزونه یک تولید کننده فایل robots.txt دارد که می توانید از آن برای تولید و ویرایش فایل robots.txt مستقیماً از پیشخوان وردپرس استفاده کنید.

برای این کار کافی است در پیشخوان وردپرس به مسیر سئو » ابزارها رفته و روی لینک “ویرایشگر فایل” کلیک کنید.

آموزش فایل robots.txt

در صفحه بعد فایل robots.txt موجود در سایت شما نشان داده می شود. اگر فایل robots.txt در سایت شما وجود نداشته باشد با کلیک روی دکمه “ایجاد پرونده robots.txt” افزونه Yoast یکی برای شما درست خواهد کرد.

آموزش فایل robots.txt

تولید کننده فایل robots.txt افزونه Yoast به صورت پیش فرض قوانین زیر را در فایل robots.txt اضافه خواهد کرد.

آموزش فایل robots.txt

این اسنیپت دسترسی به فولدر /wp-admin/ را به جز فایل /wp-admin/admin-ajax.php متوقف می کند.

شما می توانید طبق دستورالعملی که در بخش قبلی آموزش داده شد، فایل robots.txt خود را ویرایش و بهینه سازی کنید. بعد از اینکه کار شما به پایان رسید روی دکمه “ذخیره تنظیمات به robots.txt” کلیک کنید تا تغییرات شما ذخیره شود.

روش 2: ویرایش فایل robots.txt با استفاده از افزونه All In One SEO

اگر از افزونه All In One SEO استفاده می کنید می توانید فایل robots.txt را در رابط افزونه ایجاد و ویرایش کنید. تنها کاری که باید انجام دهید این است که در پیشخوان وردپرس به مسیر سئوی کامل » مدیریت قابلیت ها بروید و ویژگی Robots.txt را فعال کنید.

آموزش فایل robots.txt

پس از آن می توانید فایل Robots.txt خود را با رفتن به مسیر سئوی کامل » Robots.txt مدیریت کنید.

آموزش فایل robots.txt

روش 3: ویرایش فایل robots.txt به صورت دستی از طریق FTP

برای ویرایش فایل robots.txt برای استفاده از این روش نیاز به یک FTP client دارید. FTP client یک app است که به شما کمک می کند به وب سایت خود متصل شده و فایل ها را با استفاده از پروتکل FTP ارسال کنید. مشهورترین FTP client ها Filezilla، WinSCP و Cyberduck هستند.  

هنگامی که وارد شدید می توانید فایل robots.txt را در فولدر root سایت خود مشاهده کنید.

آموزش فایل robots.txt

اگر فایل robots.txt را مشاهده نکردید می توانید خودتان یک فایل robots.txt ایجاد کنید. robots.txt یک فایل متنی ساده است و به این معنی است که شما می توانید آن را در کامپیوتر خود دانلود کرده و توسط یک ویرایشگر متنی مانند Notepad یا TextEdit آن را ویرایش کنید.

بعد از اعمال تغییرات و ذخیره آنها می توانید فایل robots.txt را مجدداً در فولدر root سایت خود آپلود کنید.

آموزش تست فایل robots.txt

پس از ایجاد فایل robots.txt و اعمال تغییرات موردنظر خود بهترین کار این است که با استفاده از یک ابزار تست کننده robots.txt آن را آزمایش کنید تا از نصب صحیح آن مطمئن شوید. بهترین ابزار برای انجام این کار سرچ کنسول گوگل است.

برای انجام این کار کافی است وارد اکانت سرچ کنسول خود شده و با کلیک بر روی Go to the old version به نسخه قدیمی سرچ کنسول گوگل سوئیچ کنید.

آموزش فایل robots.txt

با کلیک بر روی این لینک وارد رابط کاربری سرچ کنسول قدیمی گوگل می شوید

سپس در قسمت Crawl روی robots.txt Tester کلیک کنید.

آموزش فایل robots.txt

ابزار سرچ کنسول به صورت خودکار فایل robots.txt سایت شما را فچ کرده و اگر خطا یا هشداری پیدا کند آنها را هایلایت می نماید.

نتیجه گیری

هدف از بهینه سازی فایل robots.txt جلوگیری از خزیدن موتورهای جستجو در صفحاتی است که به صورت عمومی در دسترس نیستند. به عنوان مثال صفحاتی که در فولدر wp-plugins قرار دارند یا صفحاتی که در فولدر ادمین وردپرس قرار گرفته اند جزء صفحاتی هستند که ایندکس کردن آنها ضروری به نظر نمی رسد.

توجه داشته باشید که برای اعمال تغییرات در فایل robots.txt مراقب باشید. همانطور که این فایل می تواند ترافیک جستجوی شما را بهبود ببخشد، اگر مراقب نباشید می تواند به سایت شما به شدت صدمه بزند و بیشتر از سود رساندن به سایت شما زیان برساند.

امیدواریم این آموزش در سایت مدیر وردپرس مورد توجه و استفاده شما قرار گرفته باشد و توانسته باشید فایل robots.txt سایت وردپرسی خود را به بهترین نحو بهینه سازی و ویرایش کنید.

امتیاز دادن به این نوشته:
  • میزان رضایت کاربران
  • تصاویر مرتبط
  • میزان خوانایی متن

درباره ی مینا قدسی

مطلب پیشنهادی

افزونه های انتقال سایت وردپرس

بهترین افزونه های انتقال سایت وردپرس به هاست جدید یا لوکال هاست

در این مقاله افزونه هایی را به شما معرفی می کنیم که کار انتقال سایت …

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *