آموزش فایل robots.txt در وردپرس و بهینه سازی برای سئو
Robots.txt یک فایل ساده و در عین حال مهم است که می تواند سرنوشت وب سایت وردپرس شما را در صفحات نتایج موتور جستجو (SERP) تعیین کند. خطاهای Robots.txt از جمله رایج ترین خطاهای سئو هستند. در حقیقت، حتی با تجربه ترین متخصصان سئو هم در معرض خطاهای robots.txt هستند. بیشتر وب سایت ها دارای فایل robots.txt هستند اما بسیاری از مدیران سایت ها نمی دانند این فایل چیست و چه کاربردی دارد. در این مقاله سعی داریم آموزش جامع و کاملی در مورد فایل robots.txt، محتویات، کاربرد و نحوه استفاده از آن برای بهبود SEO سایت ارائه دهیم.
فایل robots.txt فایلی است که با استفاده از آن می توانید با ربات های موتور جستجو صحبت کرده و دستورالعمل های خاصی را به آنها بدهید. بنابراین مشخص است که می تواند تعیین کننده استراتژی سئو سایت وردپرس شما باشد و تنظیم درست آن در بهبود سئو مؤثر است.
ابزارهای بسیاری وجود دارند که با استفاده ازآنها می توانید سئو سایت وردپرس خود را بهبود دهید. بعضی از این ابزارها توسط گوگل ارائه شده است. در مقاله بهترین ابزارهای سئو می توانید اطلاعات کاملی در مورد آنها کسب کنید.
درمخزن وردپرس هم افزونه های قدرتمند و کاربردی زیادی وجود دارند که با استفاده از آنها می توانید سئو سایت وردپرس خود را تقویت کرده و آنها را مدیریت کنید. در مقاله بهترین افزونه های سئو وردپرس می توانید آنها را مشاهده کنید.
محتوای فایل robots.txt چیست؟
فایل robots.txt یک فایل متنی در سایت شما است که به شما اجازه می دهد دسترسی موتورهای جستجو به برخی از فایل ها و فولدرهای سایت خود را متوقف کنید. شما با استفاده از این فایل می توانید مانع از خزیدن ربات های گوگل (و دیگر موتورهای جستجو) در صفحات خاصی از سایت خود شوید. فرمت اولیه فایل robots.txt به صورت زیر است.
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]این فایل در دایرکتوری root که فولدر اصلی وب سایت شما است، ذخیره می شود. شما می توانید چندین خط دستورالعمل برای اجازه یا عدم اجازه خزیدن ربات های جستجو در URL های خاصی از سایت خود را بدهید و همچنین نقشه سایت اضافه کنید. اگر URL خاصی را در این فایل به صورت Disallow مشخص نکنید، ربات های جستجو فرض را بر این می گذارند که اجازه خزیدن در این URL ها را دارند.
مثالی از یک فایل robots.txt در زیر نشان داده شده است.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xmlدو دستور اصلی در فایل robots.txt مسئولیت تمام کارها را بر عهده دارند.
- User-agent: این دستور ربات های موتورهای جستجو را هدف قرار می دهد. با استفاده از این دستور می توانید ربات های موتور جستجو خاصی را مشخص کنید. به عنوان مثال Googlebots یا Bingbots و دستورات را برای آن ربات اعمال کنید.
- Disallow: این دستور اجازه می دهد به ربات های جستجو بگویید که در چه مناطقی از سایت نخزند.
البته دستور Allow نیز وجود دارد که می توانید در موقعیت های خاصی از آن استفاده کنید. تمام اجزای سایت شما به صورت پیش فرض Allow هستند بنابراین در 99% مواقع نیازی به استفاده از دستور Allow وجود ندارد. این دستور تنها در موقعیت هایی استفاده می شود که اجازه دسترسی به یک فولدر و فولدرهای فرزند آن را نداده اید اما می خواهید تنها به یکی از فولدرهای فرزند اجازه دسترسی دهید.
دستورهای دیگری شامل Crawl-delay و Sitemap نیز وجود دارند اما بیشتر ربات های خزنده بزرگ از آنها صرف نظر می کنند یا مثلاً در مورد Crawl-delay به روش های بسیار متفاوتی آن را تفسیر می کنند.
در مثال بالا ما به موتورهای جستجو اجازه داده ایم که فایل های موجود در فولدر آپلودهای وردپرس را ایندکس کرده و در آنها بخزند. اما به ربات ها اجازه خزیدن و ایندکس کردن افزونه ها و فولدر ادمین وردپرس را نداده ایم. در خط آخر URL نقشه XML سایت را اضافه کرده ایم.
کاربرد فایل robots.txt چیست؟
با توجه به تعریف فوق این سوال پیش می آید که چگونه عدم اجازه دسترسی موتورهای جستجو به صفحات خاصی می تواند باعث بهبود سئو سایت شود و آیا شما در سایت خود نیاز به فایل robots.txt دارید یا خیر. در ادامه آموزش به این سوال ها پاسخ می دهیم.
همانطور که می دانید داشتن صفحات بیشتر در سایت به معنی این است که ربات های گوگل باید در صفحات بیشتری بخزند. ربات های جستجو برای هر وب سایت یک سهمیه خزیدن دارند. به این معنی که آنها تعداد صفحات مشخصی را در یک جلسه ایندکس کرده و در آنها می خزند. اگر نتوانند تمام صفحات وب سایت را در یک جلسه ایندکس کنند در یک جلسه دیگر مجدداً بازگشته و باقی صفحات را ایندکس می کنند. این کار می تواند سرعت ایندکس کردن سایت شما را پایین بیاورد.
استفاده بهینه از سهمیه خزیدن اهمیت زیادی دارد زیرا برای گوگل مشخص می کند که تغییرات سایت شما را با چه کیفیتی دنبال می کند و در نتیجه با چه کیفیتی به شما رتبه می دهد. این موضوع بخصوص در سئو ای کامرس یا تجارت الکترونیک بسیار مهم است.
به همین علت بهتر است به موتورهای جستجو اجازه خزیدن در صفحات غیر ضروری وب سایت خود را ندهید. به عنوان مثال صفحات ادمین وردپرس، فایل های افزونه ها و فولدر قالب از جمله صفحات غیر ضروری برای ایندکس کردن هستند. خزیدن ربات های گوگل در این صفحات باعث می شود سهمیه خزیدن شما مصرف شود.
اجازه ندادن به موتورهای جستجو برای خزیدن در صفحات غیر ضروری سایت باعث می شود صفحات باکیفیت بیشتری در سایت ایندکس شده و ایندکس کردن با سرعت بالاتری انجام شود.
اگر در سایت خود فایل robots.txt نداشته باشید هیچ راهی برای اینکه به موتورهای جستجو بفهمانید در صفحات خاصی از سایت شما نخزند، ندارید و در نتیجه موتورهای جستجو تمام صفحات سایت شما را ایندکس می کنند.
دلیل دیگری که از فایل robots.txt استفاده می شود متوقف کردن موتورهای جستجو برای ایندکس کردن نوشته یا برگه ای در سایت است. این کار مطمئن ترین راه برای پنهان کردن محتوا از دید عموم نیست اما به شما کمک می کند محتوای مورد نظر را در نتایج جستجو نشان ندهید.
آموزش بهینه سازی فایل robots.txt برای بهبود سئو
در یک سایت وردپرس می توان قوانین زیر را در فایل robots.txt اعمال کرد.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xmlفرمت فایل robots.txt بسیار ساده است. اولین خط آن معمولاً نام user agent است. همانطور که قبلاً ذکر شد، user agent نام ربات جستجویی است که می خواهید با آن ارتباط برقرار کنید. به عنوان مثال Googlebot یا Bingbot. آیکون * به معنای ارتباط برقرار کردن با تمام user agent ها است.
خط بعدی شامل دستورالعمل های Allow مجاز بودن و Disallow غیر مجاز بودن برای موتورهای جستجو است. به این صورت ربات ها می فهمند شما از آنها می خواهید کدام قسمت را ایندکس کرده و کدام قسمت را ایندکس نکنند. محتوای فایل robots.txt بسته به نیازهای سایت شما متغیر است.
در این آموزش دستورالعمل مثال بالا در فایل robots.txt به ربات های جستجو اجازه ایندکس کردن تمام فایل ها و تصاویر وردپرس را می دهد. اما اجازه خزیدن در فایل افزونه های وردپرس، بخش مدیریت وردپرس، فایل readme وردپرس و لینک های افیلیت را نمی دهد.
در دستورالعمل های وبمستر گوگل به وبمستران توصیه شده است که از فایل robots.txt برای پنهان کردن محتوای کم کیفیت سایت خود استفاده نکنند. استفاده از فایل robots.txt برای جلوگیری از ایندکس کردن دسته ها، برچسب ها، تاریخ و دیگر صفحات آرشیو انتخاب هوشمندانه ای به نظر نمی رسد. شما با استفاده از افزونه Yoast SEO می توانید متا تگ های noindex و nofollow را به محتوایی که نمی خواهید ایندکس شود، اضافه کنید.
همچنین استفاده از فایل robots.txt برای متوقف کردن ربات های جستجو از ایندکس محتوای دوپلیکیت توصیه نمی شود و برای این کار بهتر است از روش دیگری استفاده کنید.
برای آشنایی با نحوه انجام این کار، مقاله استفاده از تگ کانونیکال در وردپرس را مطالعه کنید.
پس برای بهینه سازی فایل robots.txt و کمک به سئوی بهتر سایت چه کاری باید انجام دهید؟
توصیه می شود ایندکس کردن فایل readme.html را در فایل robots.txt غیرفعال کنید. فایل readme می تواند توسط هکرها برای پیدا کردن نسخه وردپرس مورد استفاده در سایت شما، استفاده شود. اگر هکر یک شخص باشد می تواند با مرور کردن فایل به راحتی به آن دسترسی پیدا کند. همچنین قرار دادن تگ Disallow در فایل readme.html می تواند جلوی حملات مخرب را بگیرد.
همچنین می توانید دایرکتوری افزونه وردپرس را Disallow کنید و به این ترتیب باعث افزایش امنیت وردپرس خود در برابر هکرهایی شوید که به دنبال آسیب پذیری در افزونه ها و رخنه کردن در سایت شما هستند.
برای آَشنایی با روش ها امن کردن سایت وردپرس جلوگیری از حملات مخرب، مقاله افزایش امنیت وردپرس را مطالعه کنید.
اما اگر خزیدن در صفحه لاگین وردپرس، دایرکتوری ادمین یا صفحه ثبت نام را در فایل robots.txt غیر فعال نکردید، چندان مهم نیست زیرا وردپرس به صورت خودکار به صفحات لاگین و ثبت نام برچسب noindex می زند.
با اضافه کردن نقشه سایت به فایل robots.txt به موتورهای جستجو کمک می کنید که صفحات سایت شما را راحت تر پیدا کنند. توجه داشته باشید که اگر از یک افزونه مانند Yoast SEO یا All in One SEO در سایت خود استفاده می کنید نیازی به اضافه کردن نقشه سایت در فایل robots.txt نیست و این افزونه ها به صورت خودکار این کار را انجام می دهند.
در بخش بعدی آموزش به بررسی این موضوع که چگونه می توانید یک فایل robots.txt در وردپرس بسازید، می پردازیم.
آموزش ساخت فایل robots.txt در وردپرس
وردپرس به صورت پیش فرض یک فایل robots.txt مجازی را به صورت خودکار برای سایت شما می سازد. می توانید با اضافه کردن “robots.txt/” به انتهای نام دامنه خود این موضوع را بررسی کنید.
اما از آنجا که این فایل مجازی است نمی توانید آن را ویرایش کنید. اگر می خواهید فایل robots.txt خود را ویرایش کنید باید یک فایل در سرور ایجاد کنید.
سه روش برای ساخت فایل robots.txt در وردپرس وجود دارد. شما می توانید هر کدام از روش ها را که در سایت شما بهتر کار می کند، انتخاب کنید.
روش 1: ویرایش فایل robots.txt با استفاده از افزونه Yoast SEO
اگر از افزونه Yoast SEO در سایت وردپرسی خود استفاده می کنید، این افزونه یک تولید کننده فایل robots.txt دارد که می توانید از آن برای تولید و ویرایش فایل robots.txt مستقیماً از پیشخوان وردپرس استفاده کنید.
برای این کار کافی است در پیشخوان وردپرس به مسیر سئو » ابزارها رفته و روی لینک “ویرایشگر فایل” کلیک کنید.
در صفحه بعد فایل robots.txt موجود در سایت شما نشان داده می شود. اگر فایل robots.txt در سایت شما وجود نداشته باشد با کلیک روی دکمه “ایجاد پرونده robots.txt” افزونه Yoast یکی برای شما درست خواهد کرد.
تولید کننده فایل robots.txt افزونه Yoast به صورت پیش فرض قوانین زیر را در فایل robots.txt اضافه خواهد کرد.
این اسنیپت دسترسی به فولدر /wp-admin/ را به جز فایل /wp-admin/admin-ajax.php متوقف می کند.
شما می توانید طبق دستورالعملی که در بخش قبلی آموزش داده شد، فایل robots.txt خود را ویرایش و بهینه سازی کنید. بعد از اینکه کار شما به پایان رسید روی دکمه “ذخیره تنظیمات به robots.txt” کلیک کنید تا تغییرات شما ذخیره شود.
روش 2: آموزش ویرایش فایل robots.txt با استفاده از افزونه All In One SEO
اگر از افزونه All In One SEO استفاده می کنید می توانید فایل robots.txt را در رابط افزونه ایجاد و ویرایش کنید. تنها کاری که باید انجام دهید این است که در پیشخوان وردپرس به مسیر سئوی کامل » مدیریت قابلیت ها بروید و ویژگی Robots.txt را فعال کنید.
پس از آن می توانید فایل Robots.txt خود را با رفتن به مسیر سئوی کامل » Robots.txt مدیریت کنید.
روش 3: ویرایش فایل robots.txt به صورت دستی از طریق FTP
برای ویرایش فایل robots.txt برای استفاده از این روش نیاز به یک FTP client دارید. FTP client یک app است که به شما کمک می کند به وب سایت خود متصل شده و فایل ها را با استفاده از پروتکل FTP ارسال کنید. مشهورترین FTP client ها Filezilla ،WinSCP و Cyberduck هستند.
در مقاله استفاده از FTP در وردپرس می توانید اطلاعات کاملی در این باره به دست آورید.
هنگامی که وارد شدید می توانید فایل robots.txt را در فولدر root سایت خود مشاهده کنید.
اگر فایل robots.txt را مشاهده نکردید می توانید خودتان یک فایل robots.txt ایجاد کنید. robots.txt یک فایل متنی ساده است و به این معنی است که شما می توانید آن را در کامپیوتر خود دانلود کرده و توسط یک ویرایشگر متنی مانند Notepad یا TextEdit آن را ویرایش کنید.
بعد از اعمال تغییرات و ذخیره آنها می توانید فایل robots.txt را مجدداً در فولدر root سایت خود آپلود کنید.
آموزش تست فایل robots.txt
پس از ایجاد فایل robots.txt و اعمال تغییرات موردنظر خود بهترین کار این است که با استفاده از یک ابزار تست کننده robots.txt آن را آزمایش کنید تا از نصب صحیح آن مطمئن شوید. بهترین ابزار برای انجام این کار سرچ کنسول گوگل است.
برای انجام این کار کافی است وارد اکانت سرچ کنسول خود شده و با کلیک بر روی Go to the old version به نسخه قدیمی سرچ کنسول گوگل سوئیچ کنید.
با کلیک بر روی این لینک وارد رابط کاربری سرچ کنسول قدیمی گوگل می شوید
سپس در قسمت Crawl روی robots.txt Tester کلیک کنید.
ابزار سرچ کنسول به صورت خودکار فایل robots.txt سایت شما را فچ کرده و اگر خطا یا هشداری پیدا کند آنها را هایلایت می نماید.
جمع بندی
هدف از بهینه سازی فایل robots.txt جلوگیری از خزیدن موتورهای جستجو در صفحاتی است که به صورت عمومی در دسترس نیستند. به عنوان مثال صفحاتی که در فولدر wp-plugins قرار دارند یا صفحاتی که در فولدر ادمین وردپرس قرار گرفته اند جزء صفحاتی هستند که ایندکس کردن آنها ضروری به نظر نمی رسد.
توجه داشته باشید که برای اعمال تغییرات در فایل robots.txt مراقب باشید. همانطور که این فایل می تواند ترافیک جستجوی شما را بهبود ببخشد، اگر مراقب نباشید می تواند به سایت شما به شدت صدمه بزند و بیشتر از سود رساندن به سایت شما زیان برساند.
امیدواریم این آموزش مورد توجه و استفاده شما قرار گرفته باشد.
دیدگاه ها