Kako ukloniti stranice ili njegove fragmente iz Google indeksa

Prema konceptu indeksiranje koji donosi Google, iznosio potpunost, objektivnost informacija i njegovu suglasnost na upit za pretraživanje u izdavanju rezultata. Ako je indeks pada web stranice sa ilegalnim sadržajem, ili resurs za spam, stranice ove stranice neće biti označen u zajedničkoj bazi podataka tražilice. Za nas je važno naučiti kako ukloniti stranice iz izdavanja rezultata poslužitelja za pretraživanje.

Varijante nula indeksiranje Google

Nakon pretraživanje robota - program za prikupljanje informacija o novim resursima - će skenirati stranicu web stranicu po stranicu, a zatim, kada se pod uvjetima Google pravila za parsiranje, to će biti indeksirana. Ali, mi također vam pokazati kako ukloniti stranicu ili fragmente za tražilice putem robots.txt - indeks i traži u isto vrijeme zaustaviti.

Za izuzimanje od izdavanja resursa kao cjeline, u korijensku mapu na poslužitelju na kojem se nalazi stranica, stvara određeni tekst područje - rekao robots.txt. Ova zona se tretira sa tražilicama i djelovati u skladu s uputama čitaju.

Imajte na umu da su indeksi Google tražilicu stranice, čak i ako korisnik ima pristup za pregled zabranjen. Kada je preglednik reagira s 401 ili 403 „Pristup nije valjan”, to se odnosi samo na posjetitelje, a ne programi koji okupljaju za ovu tražilicu.

Da biste razumjeli kako ukloniti stranicu s indeksiranje tražilice, tekst pokazivač mora unijeti sljedeće retke:

User-agent: Googlebot

Onemogući: /

To ukazuje na alat za indeksiranje indeks zabranu svih sadržaja na stranicama. Evo kako ukloniti stranicu Google, tako da one ne predmemorija resurs u popis otkriven.

Izvedbe skeniranja za različite protokole

Ako je potrebno navesti pojedine komunikacijske standarde za koje želite primijeniti posebna pravila za indeksiranje Google, na primjer, posebno za hipertekstualnih protokola HTTP / HTTPS, također je potrebno da se registriraju u robots.txt na sljedeći način (primjer).

(Http://yourserver.com/robots.txt) - naziv domene web-lokacije (bilo koji)

User-agent: * - bilo tražilica

Allow: / - omogućuju potpuno indeksaciju

Kako ukloniti stranice iz izdanja u potpunosti s protokolom https

(Https://yourserver.com/robots.txt):

User-agent: *

Onemogući: / potpunu zabranu indeksiranje

Ubrzani uklanjanje URL- resursa adrese s Google SERPs

Ako ne želite čekati za ponovno indeksaciju, a site želite sakriti kao, preporučujem da se uskoro koristiti uslugu http://services.google.com/urlconsole/controller moguće. Pre robots.txt mora biti postavljen u korijensku mapu na web poslužitelju. To bi trebao biti propisane odgovarajuće upute.

Ako se kazaljka nekog razloga ne mogu se uređivati u root direktorij, napravite ga dovoljno u mapu s ciljevima za koje želite sakriti od tražilica. Nakon što ste to učinili, a odnose se na uslugu automatski uklanjanje hipertekstne adrese, Google neće skenirati mape koje precizirao propust u robots.txt.

Razdoblje ove nevidljivosti je postavljen za 3 mjeseca. Nakon tog perioda, katalog povučen iz pitanju, opet će biti obrađene od strane Google poslužitelja.

H ow ukloniti stranice za skeniranje djelomično

Kada je potraga bot čita sadržaj robots.txt, da određene odluke se donose na temelju njegova sadržaja. Recimo da želite isključiti prikazivanje cijeli direktorij pod nazivom anatomskom. Dovoljno je da se propisati takve propise:

User-agent: Googlebot

Onemogući: / anatomskom

Ili, na primjer, želite ne Indeks sve vrste slika .gif. Da biste to učinili, dodajte sljedeći popis:

User-agent: Googlebot

Onemogući: /*.gif$

Evo još jedan primjer. Neka se briše iz gramatičku analizu informacija o dinamički generiranim stranicama, dok je dodao da je vrstu zapisa indeks:

User-agent: Googlebot

Onemogući: / *?

To je otprilike i navodi pravila za tražilice. Druga stvar je da je puno više prikladan za samo koristiti ovaj META oznaku. I webmasteri često koriste upravo takvu standarda kojim se regulira rad tražilicama. No, mi ćemo raspravljati o tome u budućnosti članak.