Optimalkan Robots.txt untuk WordPress

Terbatasnya file robots. txt :
Walau robots. txt yaitu komponen kepercayaan-layak saat datang untuk mengarahkan crawler, masih tetap mempunyai sebagian terbatasnya atau kekurangan saat diakukan praktis.
1. crawler tak dapat dipaksa, mereka cuma bisa diarahkan : Saat kita memakai file robots. txt untuk melarang jalur spesifik atau URL, kita cuma meminta situs crawler tak indeks URL spesifik atau direktori namun tak memaksa bot untuk mengalihkan. Serta seluruhnya situs crawler mungkin saja tak mematuhi panduan yang didapatkan dalam file ini. Jadi untuk memblokir URL spesifik, cara lain seperti proteksi password atau pemakaian meta tag bisa diimplementasikan yang lebih efisien serta efektif.
2. interpretasi Sintaks mungkin saja tidak sama untuk tiap-tiap crawler : Sintaks yang dijelaskan diatas berlaku baik untuk persentase maksimum situs crawler. Namun sebagian crawler mungkin saja baik tak tahu sintaks atau menafsirkannya lewat cara yang sekalipun tidak sama, yang mungkin saja menarik Anda ke kesusahan.
3. Rekomendasi dari website lain URL Anda tidak bisa dihindari dengan robots. txt : ini praktis satu diantara kekurangan paling utama dari file robots. txt. File bakal melarang Google crawler terhubung URL spesifik, saat mereka datang dengan cara segera ke website. Namun bertentangan dengan ini, saat itu URL spesifik yang Anda mau memblokir tengah dirujuk dari sebagian situs lain, jadi crawler akan tidak berhenti diri dari masuk ke link, hingga daftar URL diblokir.

Beberapa langkah untuk Ikuti :
Buka dashboard blogger Anda.
Tujukan ke Settings Preferences Mencari Crawlers serta pengindeksan Kustom robots. txt Ubah Ya.
Paste kode robots. txt Anda di dalamnya.
Klik tombol Save Changes.
Cara Maksimalkan Robots. txt untuk WordPress :
Untuk WordPress kita mempunyai banyak plugin untuk lakukan hal yang sama. Saya bakal mereferensikan Anda untuk selalu maju dengan Yoast Plugin untuk mengelola preferensi pencarian. Apakah mengecek artikel kami pada Yoast SEO Settings untuk penyusunan komplit.
Dibawah ini yaitu misal dari file robots. txt yang bisa Anda pakai untuk tiap-tiap domain yang di-host di wordpress :

optimal kan robot txt

Sesudah Anda sudah memaksimalkan file robots. txt Anda saya bakal sangatlah merekomendasikan Anda untuk menguji file Anda pertama memakai tester robots. txt di Google Webmaster Tools.

Iklan

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s