jaringan komputer paling bagus: Cara membuat file robots.txt untuk SEO

Cara membuat file robots.txt untuk SEO - Robots.txt adalah file teks yang adalah layanan internet, de facto yang digunakan sebagai arah awal program milik crawler (search engine) atau mirip. Program pencari sering disebut sebagai robot web, web crawler atau spider web, akan memeriksa apakah situs memiliki file robots.txt, dan kemudian memeriksa petunjuk di dalamnya. Spider mesin pencari akan halaman web indeks berdasarkan isntruksi dalam file robots.txt.

Cara membuat file robots.txt Anda untuk SEO

Robot web
Membuat file robots.txt dan menempatkannya di website Anda, indeks bisa lebih efisien dan terkontrol. Sebagai contoh, jika Anda tidak ingin halaman tertentu diindeks dan kemudian ditampilkan dalam mesin pencari, Anda dapat menonaktifkannya melalui file robots.txt. Penggunaannya mungkin untuk mencegah indeks untuk menempatkan halaman yang telah dihapus, melarang tempat-tempat rawan dianggap duplikat konten di SEO (misalnya, tag atau kategori), dan sebagainya. Anda juga dapat memblokir robot dari situs tertentu yang tidak berfungsi jelas, tetapi menghabiskan bandwidth yang hosting Anda.

Ada dua perintah utama yang umum digunakan dalam robots.txt berkas, yaitu:
User-Agent: Sebuah robot untuk menentukan parameter yang tercantum dalam bagian ini. Jika pengaturan diterapkan untuk semua robot, dan kemudian menggunakan simbol bintang *.
Larang: untuk menentukan halaman mana tidak harus diindeks robot yang disebutkan dalam User-Agent. Tim Pan dimulai dengan garis miring /.
Berikut adalah beberapa contoh penulisan perintah dalam file robots.txt:

Untuk semua robot program untuk mengindeks situs web Anda dan kemudian hanya menulis baris berikut:
User-Agent: *
Larang:
Penjelasan: semua robot tidak dilarang oleh samaran tanpa indeksasi. Perintah ini biasanya digunakan oleh pemilik situs.

Cara membuat file robots.txt Anda untuk SEO

Sebaliknya, jika Anda ingin mencegah robot untuk mengindeks situs Anda, dan kemudian menulis baris berikut:
User-Agent: *
Larang: /
Penjelasan: mengindeks semua robot merokok (misalnya, digunakan di daerah bawah tanah)

Melarang akses robot halaman tertentu, masukkan baris berikut:
User-Agent: *
Larang: /login.html
Larang: / copy /
Larang: /member/info.php
Penjelasan: Robot tidak harus diindeks berkas login.html folder backup dan halaman info.php dalam elemen folder.

Deny program khusus robot, tetapi memungkinkan robot lainnya, tulis baris berikut:
User-Agent: NamaRobot
Larang: /
Penjelasan: robot bernama NamaRobot tidak diindeks, sementara yang lain mungkin (lihat catatan pada akhir untuk mengetahui nama robot).

Untuk memungkinkan robot tertentu dan melarang robot lainnya, untuk menulis baris berikut:
User-Agent: Google
Larang:

User-Agent: *
Larang: /
Penjelasan: Robot Google dapat mangeindeks, yang lain tidak bisa.

Dalam artikel ini Anda juga dapat menulis situs Anda file sitemap.xml lokasi pada baris terakhir:
User-Agent: *
Larang:

Peta situs: http://www.komputeran.com/feeds/posts/default?orderby=updated
Penjelasan: tambahkan URL-alamat lengkap file sitemap Anda. Jika Anda memiliki beberapa Sitemap, menulis baris berikutnya.

Beberapa robot mesin pencari terkemuka dapat dipahami untuk melarang penggunaan masker di beberapa tempat, satu atau dua dari baris perintah:
User-Agent: *
Larang: /*.pdf$
Larang: / arsip * /
Penjelasan: Baris kedua mencegah semua robot untuk mengindeks semua file dalam PDF. Baris ketiga mencegah pengindeksan folder yang dimulai dengan kata file (misalnya / Arsip 2010 / Arsip 2011, / arsiplama, dan sebagainya).

Catatan Penting:
Hati-hati ketika mempersiapkan perintah robots.txt perintah kesalahan dapat menyebabkan situs Anda diindeks oleh mesin pencari.
File robots.txt harus dinamai persis: robots.txt, dan tidak dengan nama lain (pastikan bahwa semua huruf kecil).
File robots.txt harus ditempatkan di direktori utama (root). Contoh: http://www.komputeran.com/robots.txt.
Anggota Blogger khusus, Anda dapat membuat file robots.txt untuk blog Anda melalui benda-benda yang sudah ada di bagian: Pengaturan> Cari> crawler dan pengindeksan.
Jika Anda ingin mencegah program tertentu robot, tetapi tidak tahu nama Anda User-Agent, dan kemudian memeriksa log atau analisis statistik situs Anda, atau untuk menemukan HTTP: //www.user-agents.org's secara online .
Jika Anda ingin memesan halaman atau folder tersembunyi di situs Anda tidak diindeks Program robot, Anda tidak harus menggunakan file robots.txt, untuk mencegahnya. Hal ini disebabkan file robots.txt dapat diakses dan dilihat oleh siapa saja, sehingga akan menjadi bumerang. Menggunakan file .htaccess atau metode lain keamanan, jika Anda benar-benar ingin menjaga lokasi tertentu. Cara membuat file robots.txt Anda untuk SEO

Unknown 12:55 AM Komentar

Cara membuat file robots.txt untuk SEO

4/ 5

Oleh Unknown