شما این محصولات را انتخاب کرده اید

سبد خرید

آموزش ساخت و آپتیمایز کردن فایل Robots.txt برای بهبود عملکرد سئو
شناسه پست: 17047
بازدید: 324
برای مطالعه این مقاله به 7 دقیقه زمان نیاز دارید.

مقدمه

امروزه سئو و بهینه سازی یکی مهم ترین و کاربردی ترین کارهایی است که یک وبمستر باید آن را به خوبی انجام دهد زیرا این کار تاثیرات بسیاری در افزایش بازدید و فروش سایت شما خواهد داشت تا در نتایج گوگل جایگاه بهتری را کسب کنید. همواره در امر سئو رقابت بین وبمستران بسیار شدید و سخت است و هرکس از روش‌های مختلف بر اساس نیاز وبسیات خود استفاده می‌کند، یکی از این روش‌های ساده آپتیمایز یا بهینه کردن فایل robots.txt است. در این مقاله از سایت امکادو قصد داریم تا به شما آموزش دهیم چطور فایل robots.txt را برای سایت خود بسازید و آن را بهینه کنید، به کمک آن می‌توانید به خزنده‌های موتور‌های جستجو دستور دهید تا کدام صفحات سایت شما را ایندکس یا بررسی کنند و کدام را نه.

آپتیمایز کردن فایل robots.txt

به کمک فایل robots.txt شما به آسانی می‌توانید سئوی  سایت خود را بهبود ببخشید، به این صورت که می‌توانید با استفاده از فایل robots.txt به خزنده‌های موتورهای جستجو که در حال خزیدن در سایت شما هستند دستور دهید کدام صفحات را ایندکس یا بررسی کنند و کدام را نه. بهتر است بگوییم می‌توانیم به آسانی از ایندکس شدن صفحات غیر ضرروی جلوگیری کنیم و صفحات مهم و ضروری را ایندکس کنیم، با انجام این کار سرعت پیمایش سایت شما در برابر خزنده‌ها بسیار افزایش قابل توجهی خواهد داشت و از این جهت رتبه الکسای بهتری خواهید داشت و رتبه شما هر روز بالاتر خواهد رفت.

فایل robots.txt چیست و چطور می‌شود آن را ساخت؟

این یک فایل متنی ساده است که حتما باید با پسوند فایل متنی ساخته شود، وبمسترها از این فایل در ریشه‌هاست خود استفاده می‌کنند تا به آسانی با استفاده از این فایل به خزنده‌ها دستور ایندکس یا عدم ایندکس صفحات را ارسال کنند.

متن پیشفرض فایل robots.txt به صورت زیر است:

  1. User-agent: [user-agent name]
  2. Disallow: [URL string not to be crawled]
  3. User-agent: [user-agent name]
  4. Allow: [URL string to be crawled]
  5. Sitemap: [URL of your XML Sitemap]

شما می‌توانید با استفاده از متن پیشفرض به آسانی فایل robots.txt دلخواه خود را بسازید، تنها کافی است لینک‌هایی که می‌خواهید مسدود شوند را با استفاده از Disallow و لینک‌هایی که نمی‌خواهید مسدود شوند را با استفاده از Allow مشخص کنید سپس فایل خود را ذخیره کنید. لطفا به مثال زیر توجه کنید:

  1. User-Agent: *
  2. Allow: /wp-content/uploads/
  3. Disallow: /wp-content/plugins/
  4. Disallow: /wp-admin/
  5. Sitemap: https://example.com/sitemap_index.xml

نکات مهم

  • حتما به قرار دادن لینک‌ها دقت کنید.
  • حتما نام فایل را robots.txt قرار دهید.
  • حتما فایل را در ریشه‌هاست خود قرار دهید.
  • حتما نقشه سایت خود را در خط آخر وارد کنید.

آیا داشتن فایل robots.txt الزامی است؟

تمام سایت‌ها به فایل robots.txt نیاز دارند زیرا می‌توانند به آسانی دستورات را برای خزنده‌های موتور‌های جستجو ارسال کنند و در صورتی که سایتی دارای فایل robots.txt نباشد قطعا خزنده‌ها در تمام صفحات آن سایت شروع به خزیدن می‌کنند و مدیر سایت نمی‌تواند هیچ دستوری برای خزنده‌ها ارسال کند. این مورد در شر.ع کار سایت شما اهمیت بالایی ندارد و شما متوجه تاثیرات منفی آن نخواهید شد اما پس از شروع به تولید محتوا و رشد سایت شما با مشکلات بسیاری روبرو می‌شوید.

وجود فایل robots.txt برای یک سایت بسیار اهمیت بالایی دارد زیرا هر سایت یک سهمیه برای خزیدن دارد و در صورتی که تمام صفحات سایت شما در دسترس خزنده‌ها باشد قطعا سهمیه شما سریع تر از آنچه فکر می‌کنید تمام خواهد شد و در سایت‌های بزرگ حتی ممکن است نتوانند سایت شما را به صورت کامل در یکبار خزیدن ایندکس کنند. در صورتی که خزنده نتواند سایت شما را ایندکس کند ایندکس شدن سایت شما متوقف شده و در همان حالت خواهد ماند تا در یک جلسه دیگر خزنده به سایت شما مراجعه کند و کار خزیدن را تمام کند. ممکن است در صورت نداشتن فایل robots.txt این امر بسته به حجم محتوای سایت شما در چندین جلسه به اتمام برسد.

چطور بهترین فایل robots.txt را تهیه کنیم؟

بسیاری از وبمستران میپرسند بهترین فایل robots.txt کدام است؟ اما نمی‌توان به این سوال جواب کاملا قطعی داد زیرا هر کس بسته به نیاز سایت خود باید یک فایل robots.txt بسازد دقیقا مثل خرید‌هاست و سرور که هرکس برحسب فضا و منابع مورد نیاز خود‌هاست یا سرور دلخواه خود را تهیه می‌کند.

از این جهت که شاید تمامی کاربران در اولین عملکرد خود نتوانند بهترین فایل robots.txt را تهیه کنند سایت امکادو یک فایل robots.txt مناسب که در بیشتر سایت‌های بزرگ استفاده شده است را برای شما تهیه کرده که می‌توانید به آسانی با تغییر آدرس نقشه سایت از آن در سایت خود استفاده کنید.

  1. User-Agent: *
  2. Allow: /wp-content/uploads/
  3. Disallow: /wp-content/plugins/
  4. Disallow: /wp-admin/
  5. Disallow: /readme.html
  6. Disallow: /refer/
  7. Sitemap: http://www.example.com/post-sitemap.xml
  8. Sitemap: http://www.example.com/page-sitemap.xml

چطور فایل robots.txt را در سایت خود قرار دهیم؟

پس از آماده شدن محتوای فایل robots.txt باید آن را در سایت خود قرار دهید و پس از آن نیز تست کنید که فایل robots.txt شما به درستی کار میکند یا خیر. برای انجام این کار از 2 روش می‌توانید استفاده کنید که به شرح زیر است:

  1. روش اول: استفاده از افزونه All in one seo
  2. روش دوم: نوشتن دستی (پیشنهادی)

در ادامه هر دو این روش‌ها به صورت تصویری آموزش داده خواهد شد.

آموزش ساخت فایل robots.txt با افزونه All in one seo

افزونه All in one seo یا به اختصار AIOSEO یکی از پرکاربرد ترین و محبوب ترین افزونه‌های سئو در جهان است که در دو نسخه رایگان و پرمیوم (پولی) منتشر شده و تا به امروز نسخه رایگان آن بیش از 2 میلیون نصب فعال را به خود اختصاص داده است. این افزونه به دلیل کاربری آسان به تمامی افراد مبتدی پیشنهاد می‌شود. یکی از قابلیت‌های کاربردی این افزونه ساخت و ویرایش فایل robots.txt است که به شما این امکان را می‌دهد فایل robots.txt خود را بسازید و یا ویرایش کنید.

در مرحله اول نسخه رایگان این افزونه را از مخزن وردپرس دانلود و نصب کنید، پس از نصب باید افزونه را فعال سازی کنید. پس از فعال سازی خواهید دید که یک گزینه با نام All in one seo به منوی ادمین وردپرس شما اضافه می‌شود حالا کافیست به زیر منوی tools در منوی All in one seo بروید.

آموزش ساخت و آپتیمایز کردن فایل Robot.txt برای بهبود عملکرد سئو

همینطور پیش بروید و فایل robots.txt دلخواه خود را ایجاد کنید

مطابق تصویر روی گزینه Robots.txt Editor کلیک کنید و در مرحله بعد لازم است گزینه Enable Custom Robots.txt را فعال کنید تا بتوانید robots.txt پیشفرض را به دلخواه ویرایش کنید.

افزونه All in One SEO فایل robots.txt اصلی موجود در سایت شما را در بخش Robots.txt Preview در پایین همین صفحه نمایش می‌دهد. شما می‌توانید در این قسمت قوانین پیش‌فرض که توسط وردپرس اضافه شده است را مشاهده میکنید.

این قوانین به موتورهای جستجو دستور می‌دهد که از فایل‌های اصلی وردپرس شما استفاده نکنند، اجازه فهرست‌بندی و ایندکس کلیه مطالب را داشته باشند و همچنین دسترسی به نقشه‌های XML سایت را برای آن‌ها فراهم می‌آورد.

در این صفحه می‌توانید با انتخاب دکمه Add Rule قوانین سفارشی خود را برای بهبود سایت به فایل robots.txt اضافه کنید.

برای افزودن یک قانون جدید، لازم است یک عامل کاربری در قسمت “User Agent” وارد کنید. استفاده از علامت * قانون را برای همه کاربران اعمال می‌کند، در قسمت Rule اجازه دسترسی یا عدم دسترسی خزیدن را برای موتورهای فراهم آورید. سپس، نام فایل یا مسیر دایرکتوری را در قسمت Directory Path وارد کنید.

پس از وارد کردن قوانین برای ذخیره تنظیمات می‌بایست بر روی دکمه Save Changes کلیک کنید.

آموزش ساخت فایل robots.txt به صورت دستی

یکی دیگر از روش‌ها روش دستی است که می‌توانید با استفاده از‌هاست خود یا اتصال FTP به‌هاست خود فایل را در ریشه سایت خود یعنی public_html بسازید و یا ویرایش کنید. در این مرحله باید به ریشه‌هاست خود بروید و با کلیک روی ساختن فایل جدید یک فایل به نام robots.txt بسازید و مطابق دستورات گفته شده شروع به مسدود کردن و یا باز کردن آدرس‌ها کنید و در آخر نیز آدرس نقشه‌های سایت خود را بنویسید.

تست و بررسی نهایی فایل robots.txt

در مرحله آخر شما باید بررسی کنید که فایل شما فعال شده یا نه و آیا دستورات به درستی به خزنده‌ها ارسال می‌شود یا خیر؟

قطعا شما که در حال خواندن این مقاله هستید یک وبمستر حرفه ای هستید و وبسایت خود را در موتور‌های جستجو ثبت کرده اید، در این مرحله باید به پنل وبمستران گوگل یا به عبارتی گوگل سرچ کنسول (Google Search Console) بروید و از منوی Legacy tools and reports به زیر منوی Web tools بروید و شروع به تست و بررسی کنید.

آموزش ساخت و آپتیمایز کردن فایل Robots.txt برای بهبود عملکرد سئو

همچنین پس از بررسی کامل فایل می‌توانید خطا‌ها و هشدار‌ها را بررسی کنید.

آموزش ساخت و آپتیمایز کردن فایل Robots.txt برای بهبود عملکرد سئوهمچنین می‌توانید برای مشاهده مقاله آموزش انتشار مقاله سئو شده اینجا کلیک کنید.
همچنین می‌توانید برای مشاهده مقاله آموزش ساخت نقشه سایت XML و ثبت در ابزار وبمستر موتور‌های جستجو اینجا کلیک کنید.

آیا این مقاله به شما کمک کرد؟
کاملااصلا

نویسنده

حسین چوپانی
کارشناسی ارشد کامپیوتر گرایش نرم افزار و علاقه مند به وردپرس، آماده برای همکاری در انجام هرگونه پروژه برنامه نویسی، طراحی و گرافیک، تولید محتوا، تایپ، ترجمه، تبلیغات و... :)