Semalt: Bagaimana Google Tahu Kapan (Dan Mengapa) Untuk Berhenti Merayapi Situs Web Anda?

Google spiders sama pentingnya dengan kampanye SEO itu sendiri ketika memasarkan situs web. Mereka merayapi situs web dan mengindeks konten dari semua halaman yang dapat ditemukannya. Itu juga melakukan pengindeksan ulang pada halaman yang diperbarui di situs. Itu dilakukan secara teratur, berdasarkan beberapa faktor. Itu termasuk, tetapi tidak terbatas pada, PageRank, batasan perayapan, dan tautan yang ditemukan pada halaman. Frekuensi laba-laba Google merayapi suatu situs akan tergantung pada satu atau lebih faktor-faktor ini.

Situs web harus mudah dinavigasi oleh pengunjung dan juga spider Google crawl. Ini adalah alasan mengapa memiliki situs web yang ramah merangkak adalah keuntungan tambahan untuk kampanye SEO seseorang. Jika tidak, Google tidak akan dapat memperoleh akses ke konten, akibatnya mengurangi peringkat situs pada halaman peringkat mesin pencari .

Ross Barber, Manajer Sukses Pelanggan Semalt , menetapkan bahwa dua faktor pengindeksan terpenting yang diandalkan Google untuk mempengaruhi keputusannya untuk memperlambat atau menghentikan perayapan situs Anda adalah waktu koneksi dan kode status HTTP. Lainnya termasuk perintah penolakan, tag "jangan ikuti", dan robots.txt.

Hubungkan Waktu dan Kode Status HTTP

Faktor waktu sambung berkaitan dengan jumlah waktu yang dibutuhkan bot Google crawl untuk mencapai server situs dan halaman web. Kecepatan sangat dihargai oleh Google karena sangat menunjukkan pengalaman pengguna yang baik. Jika halaman web tidak dioptimalkan dengan kecepatan, situs kemudian akan mendapat peringkat yang buruk. Google spiders akan berupaya menjangkau situs web, dan jika waktu yang dibutuhkan untuk membuat koneksi lebih lama, mereka mundur dan menjelajahinya lebih jarang. Selain itu, jika Google mendorong untuk mengindeks situs web dengan kecepatan saat ini, maka itu mungkin mengganggu pengalaman pengguna karena mungkin secara signifikan memperlambat servernya.

Faktor pengindeksan kedua adalah kode status HTTP yang merujuk pada seberapa baik server merespons permintaan merangkak situs. Jika kode status berada dalam kisaran 5xx, maka Google mengambil sendiri untuk menghentikan atau menunda tingkat di mana mereka merangkak situs saat ini. Apa pun dalam kisaran 5xx adalah indikator kemungkinan masalah dengan server dan bahwa menanggapi permintaan mungkin bermasalah. Karena risiko menyebabkan masalah tambahan, bot Google akan minggir dan melakukan pengindeksan ketika server lebih terjangkau.

Kapan Google Melanjutkan Merangkak Situs?

Google percaya dalam memberikan pengalaman terbaik kepada pengguna dan akan memberi peringkat situs yang mengoptimalkan elemen SEO mereka ke arah tujuan-tujuan ini tinggi. Namun, jika situs web saat ini menunjukkan masalah yang disebutkan di atas, ia akan memerintahkan Googlebot-nya untuk mencoba merayapinya di lain waktu. Jika masalah tetap ada, pemilik akan kehilangan kesempatan besar untuk meminta Google membaca isinya dan memberikan peringkat yang layak untuk hasil pencarian. Selain masalah ini, setiap tanda spam akan membuat situs diblokir agar tidak pernah muncul di hasil pencarian.

Seperti semua algoritma lain yang digunakan Google, spider-nya juga otomatis. Mereka dikembangkan untuk menemukan, merayapi, dan mengindeks konten berdasarkan parameter tertentu. Jika situs tidak sesuai dengan praktik terbaik tertentu, pengindeksan tidak akan terjadi. Ada banyak faktor lain yang terlibat, tetapi selalu ingat untuk memperhatikan waktu koneksi dan kode status HTTP situs Anda.