Razumijevanje načina na koji tražilice indeksiraju sadržaj

Važno je razumjeti kako tražilice indeksiraju novi sadržaj i kako tumače lokacije na kojima se on nalazi. Jedan od načina na koji tražilice otkrivaju sadržaj je i uz pomoć linkova. Baš kao i Vi i ja, tražilice prate linkove s jedne na drugu web stranicu i tako dolaze do novog sadržaja. Jedina razlika između nas i njih je to što tražilice klikaju na svaki link koji nađu. Stoga želite li biti sigurni da će tražilice naći vaš novi sadržaj za njega osigurajte nekoliko kvalitetnih linkova.

Jedan od načina na koji tražilice otkrivaju sadržaj je i uz pomoć XML site mapa. XML site mapa nije ništa drugo nego dokument napisan na poseban način kako bi ga tražilica što lakše razumjela. Vi ili vaš webmaster možete saznati više o korištenju site mapa u SEO optimizaciji ako kliknete na link sitemaps.org. Jednom kad stvorite svoju mapu stranica u XML formatu možete je poslati tražilicama. Za tražilicu Google možete koristiti GWT (Google Webmaster Tools-e). Kroz site mape dobivatrobots-txt1e još jedan način da tražilicama kažete što je novo na vašim stranicama. Tražilice će uvijek pratiti sve vaše linkove kako bi što prije došle do vašeg novog sadržaja.

Iako je ovo dobra stvar postoji dosta razloga zašto možda ipak ne želimo da tražilica odmah ili uopće indeksira naš sadržaj. Indeksiranje stranica koje testiramo ili stranica namijenjenih samo članovima neki su od takvih primjera. Kako bi kontrolirali dijelove našeg weba koji želimo dati tražilicama na uvid koristimo set pravila napisanih u dokumentu koji se nalazi na serveru našeg web-a a zove se robots.txt. Taj dokument možete kreirati vi ili vaš webmaster u korijenskom direktoriju vašeg web sjedišta, tražilice će ga pročitati i pratiti pravila koja ste postavili.

Možete postavljati posebna pravila za posebne internet preglednike ili tražilice. Možete određivati koje dijelove vašeg weba će tražilice vidjeti a koje ne. Ovo može postati dosta “pipkavo” a cijena greške u postavljanju robots.txt-a je gubitak posjeta s tražilica pa budite oprezni.

URL-e1338651763516Posjetite stranicu robotstxt.org i naučite jednostavna ali moćna pravila o pisanju uputa tražilicama kroz robots.txt datoteke. Jednom kada tražilica pronađe vaš sadržaj pokušati će ga indeksirati korištenjem jedinstvenog URL-a samo za taj sadržaj (URL je zapravo URI – Uniform Resource Identifier) URL je lokacija vašeg sadržaja na Internetu. Važno je da svaka stranica na vašem webu ima jedinstveni URL kojim će se razlikovati od ostalih stranica. Struktura URL-ova također pomaže tražilicama da razumiju strukturu vašeg cijelog weba.

Postoji puno načina na koji tražilice mogu otkriti vaš sadržaj. Tražilice ne možemo kontrolirati ali možemo kreirati linkove za naš novi sadržaj, možemo kreirati jedinstvene URL-ove koje mogu jednostavno indeksirati, možemo kreirati mape stranice u XML formatu i robots.txt upute. Napravimo li sve to možemo reći da smo učinili sve što smo mogli kako bi tražilice što lakše pronašle i indeksirale naš sadržaj.