User Agent

User Agent är en sträng som skickas till en webbserver för att identifiera applikationen, operativsystemet, enheten och/eller webbläsaren som en besökare använder för att få tillgång till en webbsida.

Användning inom SEO

En sökmotors crawler (exempelvis Gogglebot) använder en speciell User Agent-sträng som kan identifieras och behandlas på olika sätt av webbservern. Webbsideadministratörer bör se till att deras sajter är optimerade för sökmotorernas crawlers, för att säkerställa att innehållet indexeras enligt deras önskemål.

Till exempel kan regler i filen robots.txt konfigureras för att tillåta eller neka tillgång till vissa User Agents. Ofta används robots.txt för att blockera delar av webbplatsen, som man inte vill indexera,från sökmotorernas crawlers.

Även anpassning av innehåll för olika enheter (som mobiltelefoner eller desktops) baserat på User Agent kan förbättra användarupplevelsen och därmed påverka webbplatsens SEO positivt.

Kontroll och Testning

Det är möjligt att simulera olika User Agents genom verktyg eller genom att ändra inställningar i en webbläsare, för att testa hur en webbplats svarar. Det är viktigt att säkerställa att serverns beteende är korrekt för såväl användares olika webbläsare som olika sökmotorers crawlers.