چگونه بهینه سازی وردپرس Robots.txt برای جستجوگرها

جمعه
7:33
علی موسوی

Using WordPress robots.txt file to improve SEO

اخیرا یکی از خوانندگان ما از راهنمایی های ما در مورد چگونگی بهینه سازی فایل robots.txt برای بهبود SEO پرسید. فایل robots.txt به موتورهای جستجو می گوید چگونه وب سایت شما را خزنده کند و آن را یک ابزار قدرتمند جستجوگر قدرتمند است. در این مقاله ما به شما نحوه ایجاد یک فایل robots.txt کامل برای SEO را نشان خواهیم داد.

با استفاده از فایل robots.txt وردپرس برای بهبود SEO
فایل robots.txt چیست؟

Robots.txt یک فایل متنی است که صاحبان وب سایت می توانند بگویند که موتورهای جستجوگر چگونه به خزیدن و فهرست صفحات در سایت خود بپردازند.

معمولا در دایرکتوری ریشه ذخیره می شود که به عنوان پوشه اصلی وب سایت شما شناخته می شود. فرمت اصلی فایل یک فایل robots.txt به صورت زیر است:

کاربر-عامل: [نام کاربر-عامل]
Disallow: [URL string not crawled]

کاربر-عامل: [نام کاربر-عامل]
اجازه دهید: [URL string crawled]


نقشه سایت: [URL از XML Sitemap شما]

شما می توانید خطوط مختلفی از دستورالعمل ها برای اجازه دادن یا رد URL های خاص و اضافه کردن چند نقشه سایت اضافه کنید. اگر نشانی اینترنتی را رد نکنید، موتورهای جستجوگر موتور جستجو فرض می کنند که مجاز به ردیابی آن هستند.

در اینجا چیزی است که فایل نمونه مثال robots.txt می تواند شبیه باشد:

عامل کاربر: *
اجازه دهید: / wp-content / uploads /
نادیده گرفتن: / wp-content / plugins /
نادیده گرفتن: / wp-admin /

نقشه سایت: https://example.com/sitemap_index.xml

در مثال بالا robots.txt ما موتورهای جستجو را مجبور کرده ایم تا فایل ها را در پوشه آپلود وردپرس خود رها کنیم.

پس از آن، ما رباتهای جستجو را از پوسته پوسته شدن و نمایه سازی و پوشه های مدیر WordPress منع کرده ایم.

در نهایت، ما URL نقشه سایت XML ما را ارائه دادیم.
آیا شما نیاز به یک فایل Robots.txt برای سایت وردپرس خود دارید؟

اگر فایل robots.txt ندارید، موتورهای جستجو همچنان وب سایت خود را خزیدن و فهرست بندی می کنند. با این حال، شما قادر نخواهید بود به موتورهای جستجو بگویید که کدام صفحات یا پوشه ها نباید خزنده شوند.

این زمانی که شما برای اولین بار یک وبلاگ ایجاد می کنید تاثیر زیادی نخواهید گذاشت و محتوایی زیادی ندارید.

با این حال به عنوان وب سایت شما رشد می کند و شما مقدار زیادی از مطالب را دارید، احتمالا می خواهید کنترل بیشتری بر روی چگونگی خیزش و نمایه سازی وب سایت خود داشته باشید.

در اینجا دلیل است.

رباتهای جستجو دارای سهمیه خالی برای هر وب سایت هستند.
این به این معنی است که آنها یک تعداد مشخصی از صفحات را در طول یک جلسه خزیدن رد می کنند. اگر آنها تمام صفحات در سایت شما را خالی نکنند، در جلسه بعدی مجددا باز می گردند و از خزیدن باز می گردند.

این می تواند سرعت ثبت نام وب سایت شما را کاهش دهد.

شما می توانید این را با اجازه دادن به ربات های جستجو از تلاش برای رها کردن صفحات غیر ضروری مانند صفحات مدیریت وردپرس خود، فایل های افزونه و پوشه تم ها را رفع کنید.

با غیر فعال کردن صفحات غیر ضروری، سهمیه خزعلی خود را ذخیره کنید. این به موتورهای جستجو کمک می کند صفحات حتی بیشتر در سایت خود را خزنده و فهرست آنها را با بیشترین سرعت ممکن.

دلیل دیگری برای استفاده از فایل robots.txt زمانی است که شما می خواهید موتورهای جستجو را از نمایه سازی یک پست یا صفحه در وب سایت خود متوقف کنید.

این امن ترین راه برای مخفی کردن مطالب از عموم نیست، اما به شما کمک می کند تا از نتایج آنها در نمایش نتایج جستجو جلوگیری کنید.
چه کاری باید یک فایل Robots.txt ایده آل داشته باشد؟

بسیاری از وبلاگ های محبوب از یک فایل robots.txt بسیار ساده استفاده می کنند. محتوای آنها ممکن است بسته به نیازهای سایت خاص متفاوت باشد.
1
2
3
4
5

عامل کاربر: *
نادیده گرفتن:

نقشه سایت: http://www.example.com/post-sitemap.xml
نقشه سایت: http://www.example.com/page-sitemap.xml

این فایل robots.txt اجازه می دهد تمام رباتها به فهرست همه محتوا و لینک آنها را به نقشه های XML وب سایت ارائه دهد.

برای سایت های وردپرس، قوانین زیر را در فایل robots.txt توصیه می کنیم:

عامل کاربر: *
اجازه دهید: / wp-content / uploads /
نادیده گرفتن: / wp-content / plugins /
نادیده گرفتن: / wp-admin /
نادیده گرفتن: /readme.html
نادیده گرفتن: / ارجاع /

نقشه سایت: http://www.example.com/post-sitemap.xml
نقشه سایت: http://www.example.com/page-sitemap.xml

این بوت های جستجو را برای نشان دادن همه تصاویر و فایل های وردپرس پیشنهاد می کند. این اجازه می دهد که ربات های جستجو از نمایه سازی فایل های پلاگین وردپرس، منطقه مدیریت وردپرس، فایل readme وردپرس و لینک های وابسته است.
با اضافه کردن نقشه های سایت به فایل robots.txt، شما را برای ربات های Google برای پیدا کردن همه صفحات در سایت خود آسان می کند.

حالا شما می دانید که یک فایل robots.txt ایده آل به نظر می رسد، اجازه دهید نگاهی به چگونگی ایجاد یک فایل robots.txt در WordPress.
نحوه ایجاد فایل robots.txt در وردپرس؟

دو راه برای ایجاد یک فایل robots.txt در WordPress وجود دارد. شما می توانید روش هایی را که برای شما مناسب است، انتخاب کنید.

روش 1: ویرایش فایل Robots.txt با استفاده از Yoast SEO

اگر از پلاگین Yoast SEO استفاده می کنید، آن را با یک ژنراتور فایل robots.txt می آید.

شما می توانید از آن برای ایجاد و ویرایش فایل robots.txt به طور مستقیم از منطقه مدیریت وردپرس خود استفاده کنید.

به سادگی به جستجوگرها »صفحه ابزار در مدیریت وردپرس خود بروید و روی لینک ویرایشگر فایل کلیک کنید.

ابزار ویرایشگر فایل در Yoast SEO

در صفحه بعد، صفحه جستجو Yoast SEO فایل فعلی robots.txt خود را نشان می دهد.

اگر شما یک فایل robots.txt ندارید، Yoast SEO یک فایل robots.txt برای شما ایجاد می کند.

ایجاد فایل robots.txt با استفاده از Yoast SEO

به طور پیش فرض، ژنراتور فایل robots.txt Yoast SEO، قوانین زیر را در فایل robots.txt خود اضافه می کند:
1
2

عامل کاربر: *
نادیده گرفتن: /

مهم این است که این متن را حذف کنید زیرا تمام موتورهای جستجو را از خزیدن وب سایت شما متوقف می کند.

پس از حذف متن پیش فرض، می توانید پیش بروید و قوانین robots.txt خود را اضافه کنید. توصیه می کنیم از قالب ایده آل robots.txt استفاده کنید که در بالا به اشتراک گذاشته شده است.

پس از اتمام کار، فراموش نکنید که دکمه ذخیره فایل robots.txt را فشار دهید تا تغییرات خود را ذخیره کند.

روش 2. ویرایش فایل Robots.txt دستی با استفاده از FTP

برای این روش، شما نیاز به استفاده از یک سرویس گیرنده FTP برای ویرایش فایل robots.txt دارید.

به راحتی به حساب کاربری میزبانی وردپرس خود با استفاده از یک سرویس گیرنده FTP متصل شوید.

در داخل، شما قادر خواهید بود فایل robots.txt را در پوشه ریشه ی وب سایت خود ببینید.

ویرایش فایل وردپرس robots.txt با استفاده از FTP

اگر شما آن را نمی بینید، احتمالا فایل robots.txt ندارید. در این مورد، شما فقط می توانید پیش بروید و یکی را ایجاد کنید.
Robots.txt یک فایل متنی ساده است که بدین معنی است که شما می توانید آن را به رایانه خود بارگیری کنید و آن را با استفاده از هر ویرایشگر ساده متن مانند Notepad یا TextEdit ویرایش کنید.

پس از ذخیره تغییرات، می توانید آن را به پوشه ریشه ی وب سایت خود آپلود کنید.
چگونه تست Robots.txt فایل شما؟

هنگامی که فایل robots.txt خود را ایجاد کرده اید، همیشه یک ایده خوب است که آن را با استفاده از یک ابزار تستر robots.txt تست کنید.

ابزارهای تستر robots.txt زیادی وجود دارد، اما ما توصیه می کنیم با استفاده از یک در داخل کنسول جستجوی گوگل.

به سادگی به حساب Google Search Console خود وارد شوید و سپس به وبسایت کنسول جستجوی گوگل قدیمی بروید.

رفتن به کنسول جستجوی گوگل قدیمی

این شما را به رابط کنسول جستجوی گوگل قدیمی می برد. از اینجا شما باید ابزار تستر robots.txt را که زیر منوی خالی است قرار دهید.

ابزار تستر Robots.txt

این ابزار به طور خودکار فایل robots.txt وبسایت شما را برداشته و خطاها و هشدارها را در صورت بروز هر گونه خطا نشان می دهد.
افکار نهایی

هدف بهینه سازی فایل robots.txt شما این است که موتورهای جستجو را از صفحات خالی که در دسترس عموم قرار ندارند جلوگیری کنید. برای مثال، صفحات در پوشه wp-plugins یا صفحات شما در پوشه مدیریت وردپرس شما.

یک افسانه رایج در میان کارشناسان جستجوگرها این است که مسدود کردن دسته بندی وردپرس، تگ ها و صفحات بایگانی، میزان خزیدن را بهبود می بخشد و منجر به نمایه سازی سریع تر و رتبه بندی بالاتر خواهد شد.

این درست نیست. همچنین بر خلاف دستورالعمل های وب سایت گوگل است.

توصیه می کنیم از فرمت robots.txt بالا برای ایجاد یک فایل robots.txt برای وب سایت خود استفاده کنید.

ما امیدواریم که این مقاله به شما کمک کند تا نحوه بهینه سازی فایل وردپرس robots.txt خود را برای جستجوگرها به دست آورید.

موضوعات: وردپرس,
[ بازدید : 194 ] [ امتیاز : 3 ] [ نظر شما :
]

مطالب مرتبط

نام :
ایمیل :
آدرس وب سایت :
متن :
:) :( ;) :D ;)) :X :? :P :* =(( :O @};- :B /:) =D> :S
کد امنیتی : ریست تصویر
مجله اینترنتی6n6

وبلاگ مجله اینترنتی6n6باتازه ترین مطالب ازموضوعات گوناگون ازجمله:پزشکی وسلامت-تکنولوژی وفناوری-سرگرمی-اشپزی-وردپرس-اندروید-اسلام-علمی-فرهنگ وهنرو...درخدمت تودوست عزیزمی باشیم.

علی موسوی
تمامی حقوق این وب سایت متعلق به 6n6مجله اینترنتی است. || طراح قالب avazak.ir
ساخت وبلاگ تالار ایجاد وبلاگ عکس عاشقانه فال حافظ فال حافظ خرید بک لینک خرید آنتی ویروس دانلود تک آهنگ انجام پروژه متلب نظافت منزل در تهران پیش بینی نتایج فوتبال خرید ملک در ترکیه انجام پروژه متلب میهن ام پی تری بازی حکم نقاشی ساختمان آپلود عکس نمایندگی پنل پیامک بانک مشاغل شیراز پزشکان متخصص شیراز بازی انفجار
بستن تبلیغات [X]