Politiken nægter søgemaskinerne adgang
Det har tidligere været fremme, at Det Hvide Hus skjuler sig bag en Robots.txt-fil, der skal forhindre søgemaskiner i at indeksere udvalgt adresser på WhiteHouse.gov.
Og for nylig da jeg skulle søge efter artikler på Politiken.dk (via Google) om "Libanon", stødte jeg på noget, synes jeg selv, mærkeligt.
Søgningen gav nemlig kun 32 hits, mens en søgning på "Libanon" direkte på Politiken.dk giver mere end 200 hits. Det er dog en lille forskel.
Som en sidebemærkning kan det nævnes, at der kun slipper 6 hits igennem hos MSN Search.
Med WhiteHouse-robots.txt i baghovedet prøvede jeg derfor at se, om Politiken.dk også har en liggende, og der var gevinst:
User-agent: *
Disallow: /
Kort fortalt, alle søgerobotter bliver nægtet adgang til alt på Politiken.dk.
Hvorfor har Politiken overhovedet sat en Robots.txt op, der går SÅ hårdt til værks?
De dybe links?
Politiken har tidligere vist modvilje overfor dybe links. Som jeg ser det, kan Politiken vel kun være imod dybe links, hvis man VIL have folk forbi forsiden (annoncer spiller vel ind i dét valg) for at finde artiklerne derfra. Og der er altså også blokeret for søgerobotter, så man er nødt til at gå til Politiken.dk og søge derfra. Smart-smart, synes de sikkert.
Men hvorfor er der så 32 Libanon-artikler, der slipper igennem "filtret" og lander hos Google? Og kun seks hos MSN Search?
Og det store spørgsmål til jer læsere: Hvad mener du om, at Politiken forsøger at holde søgemaskiner ude?
Hvis du ligger inde med svar, eller bud på svar, på nogle af de spørgsmål, så læg en kommentar, jeg glæder mig til at læse med.
Bedste hilsner,
Lars
PS: Til en hurtig sammenligning, kan det nævnes, at Jyllands-Posten slet ikke har en robots.txt, og Berlingske.dk har en, der er mindre restriktiv.
