Proses Kerja Google Search Engine

Segala sesuatu memiliki dasar, termasuk dalam usaha search engine optimization (SEO); dan memahami dasar atau prinsip kerja search engine adalah awal yang sangat baik untuk menguasai SEO lebih jauh. Artikel ini akan berbicara mengenai bagaimana search engine bekerja. Karena Google dianggap sebagai search engine yang paling berpengaruh, maka Google akan menjadi inti dari topik ini; meskipun sistem kerja search engine lain bisa dibilang hampir sama.

Ketika seseorang melakukan pencarian di Google search engine, hasilnya dapat begitu cepat dihadirkan. Hanya dalam sepersekian detik saja, puluhan hingga ratusan halaman pencarian dihadirkan sesuai dengan kueri yang diinginkan. Bagaimana Google dapat menemukan halaman-halaman web yang sesuai dengan kueri tersebut? Bagaimana pula cara Google menentukan urutan-urutan list dalam hasil pencarian?

Dalam perumpamaan sederhana, Google bisa disamakan dengan sebuah buku besar yang memiliki indeks lengkap, mudah digunakan, dan mudah dicari. Ketika user melakukan pencarian, program-program Google melakukan cek terhadap indeks yang dimilikinya untuk menemukan dan menyusun hasil pencarian yang paling relevan sesuai dengan apa yang dicari. Ada 3 konsep atau proses kunci yang memungkinkan Google dapat melakukan hal tersebut: crawling, indexing, dan serving/delivering.

1. Crawling (Perayapan)

Crawling atau perayapan adalah proses Googlebot (atau lazim disebut juga sebagai robot, bot, spider, spiderbot, dll) mencari halaman-halaman baru atau yang diupdate untuk ditambahkan ke dalam indeks Google. Google menggunakan beberapa set komputer raksasa untuk mengambil (merayapi) miliaran halaman web. Program Googlebot inilah yang bertugas melakukan pekerjaan itu. Googlebot menggunakan proses algoritma untuk menentukan situs atau halaman web mana saja yang akan dirayapi, seberapa sering perayapan (crawl) dilakukan, dan berapa banyak halaman yang akan diambil dari sebuah web.

Proses perayapan Google diawali dari list URL halaman web, yang didapat dari proses crawling sebelumnya ditambah dengan referensi sitemap yang didaftarkan oleh para webmaster. Ketika Googlebot mengunjungi masing-masing halaman website, dia akan menemukan link-link baru sebagai rujukan untuk ditambahkan ke dalam indeks guna proses perayapan selanjutnya. Situs-situs baru, perubahan pada website atau halaman website, dan link-link mati (dead links) atau rusak (broken links) menjadi referensi untuk mengupdate indeks dengan hasil terbaru.

Umumnya, Googlebot mengunjungi sebuah website tidak lebih dari satu kali dalam beberapa detik. Namun demikian, apabila anda menemukan informasi log bahwa Googlebot berkunjung beberapa kali dalam jarak waktu yang sangat dekat, ini berarti proses sebelumnya belum selesai, dikarenakan delay dari jaringan karena banyaknya proses, sehingga Googlebot harus memulai dari awal lagi.

Googlebot dijalankan dari beberapa mesin sekaligus untuk meningkatkan performa dan proses. Tentu ini karena dunia web terus berkembang dan halaman web yang harus di-crawl semakin bertambah. Mesin-mesin yang mendistribusikan Googlebot tersebut letaknya tersebar di beberapa titik server. Tujuannya adalah agar proses crawling suatu website dapat cepat dilakukan melalui server terdekat dengan website tersebut. Inilah mengapa kita sering melihat informasi log yang menunjukkan Googlebot datang dari beberapa IP berbeda, yang semuanya merujuk ke Google.

Note: Sebagai klaim Google, Google tidak memungut bayaran sepeserpun untuk proses ini, berbeda dengan program Adwords yang menampilkan hasil pencarian berbayar di bagian sponsored ads (iklan yang terkait dengan …..[sesuai keyword]).

2. Indexing (Proses Pengindeks-an)

Googlebot kemudian memproses masing-masing halaman yang dirayapinya untuk mengumpulkan seluruh kata yang dibaca dan lokasi yang ditemukan ke dalam sebuah indeks besar. Selain teks atau kata, Google juga memproses segala informasi atau tipe konten yang terdapat di dalam halaman web, baik dalam bentuk tag-tag kunci/penting seperti misalnya: p (paragraf), a (link), head, body, meta, title, dan lain-lain; dan juga atribut-atribut seperti alt, rel, href, dll. Namun demikian, Googlebot tidak dapat membaca dan memproses tipe file rich content/media seperti flash atau frame dan halaman-halaman dinamis.

3 Serving/Delivering (Menampilkan Hasil Pencarian)

Ketika seorang user Google mengetikkan keyword tertentu di kotak pencarian (menuliskan kueri), mesin pencari Google mencari konten ke dalam indeks dan kemudian menampilkannya sebagai list hasil pencarian. Hasil pencarian tersebut dipercaya Google sebagai hasil yang paling relevan bagi user. Semakin besar nomor urutan listing (semakin ke bawah) semakin kecil nilai relevansinya. Tentu relevansi ini tidak hanya didasarkan pada keyword, tapi juga pada 200-an faktor (atau mungkin ribuan, mengingat hadirnya Panda dan Penguin), salah satunya adalah PageRank. Ingat, pagerank di sini tidak diartikan sebagai nilai PageRank toolbar, predikat ranking yang diberikan oleh Google dengan parameter 0-10 (yang saat ini semakin tidak penting). PageRank yang ini berkaitan dengan SERPs (Search Engine Ranking Pages), yang selalu berubah setiap harinya, bahkan mungkin setiap jam. Inilah mengapa halaman berpagerank (toolbar) 6 belum tentu mendapatkan hasil listing pencarian yang lebih baik daripada halaman lain yang berpagerank (toolbar) 0. Selain pagerank, ada banyak faktor lain yang sangat berpengaruh, di antaranya struktur/navigasi web, isi web, kualitas konten, popularitas link/web, dll.

Apa yang dapat kita pelajari dari ketiga proses tersebut? Banyak. Di antaranya adalah, untuk mendapatkan ranking pencarian yang baik kita harus memperhatikan hal-hal yang berkaitan dengan website terlebih dahulu atau yang menjadi prinsip dasar SEO, yaitu memastikan bahwa Googlebot dapat merayapi seluruh konten halaman website dengan baik, yang semuanya berkaitan dengan onpage SEO, misalnya penggunaan sitemap xml, sitemap html, menyusun struktur web yang komprehensif, penggunaan meta description dan title tags, kualitas konten, dan masih banyak lagi. Tell me what you can learn on the comment below