Een crawler is een geautomatiseerde software waarmee alle pagina’s op het internet worden doorzocht. Een crawler controleert iedere regel van de Inhalt op een website en volgt iedere dofollow hyperlink naar een andere pagina of website. Je kunt een crawler het best vergelijken met een bot die automatisch een lange lijst URL’s doorzoekt. Iedere Suchmaschine heeft een eigen crawler, zo heeft Google de Googlebot.
Via crawlers worden zowel nieuwe als bestaande pagina’s geïndexeerd, zodat deze pagina’s vindbaar zijn in de Suchergebnisse. Daarom is het hebben van een heldere interne linkstructuur und ein sitemap van groot belang bij Suchmaschinenoptimierung.
De termen crawler en spider worden vaak door elkaar gebruikt. Toch zit er wel degelijk een verschil in beide termen. Een crawler wordt namelijk gebruikt voor het doorzoeken van gehele zoekmachines, terwijl een spider wordt gebruikt voor het doorzoeken van een website.
Ein sorgfältig zusammengestellter Leitfaden mit den wesentlichen Aufmerksamkeitsbereichen und bewährten Schritten für maximale Wirkung.
