Anledningen till att din webbserver få förfrågningar från Archiwwwebot är att tjänsten Archiwwwe (wp.archiwwwe.com) arkiverar din webbplats. I logfilen ser du Archiwwwes avsändare och ”user-agent”:

"Mozilla/5.0 (compatible; Archiwwwebot/1.0; +https://wp.archiwwwe.com/bot)"

Archiwwwebot är Archiwwwes webbsökningsbot (ibland även kallad en ”spindel”). Genomsökningen är den process genom vilken Archiwwwebot upptäcker nytt och uppdaterat material för läggas till i arkivet.

Archiwwwebots genomsökning börjar med en lista över webbsidor webbadresser har genererats från tidigare genomsökningar. Archiwwwebot upptäcker länkar (SRC och HREF) på varje sida och adderar dessa till i listan med sidor som genomsöks. Nya sidor, ändringar på befintlig webbplats och döda länkar noteras och används för att uppdatera arkiven.

För de flesta webbplatser, bör Archiwwwebot inte genomsöka din webbplats med mer än en gång per sekund i intervall mellan förfrågningar i genomsnitt. Det kan förekomma fördröjningar i nätverket som innebär att genomsökningsfrekvensen kommer att vara något högre under korta perioder. I allmänhet bör Archiwwwebot hämta en kopia av varje sida i taget. Om du ser att Archiwwwebot hämtar en sida flera gånger, beror det förmodligen på att sökroboten stoppades och startas om.

Om du vill förhindra att Archiwwwebot genomsöker delar av innehållet på din webbplats, det vill säga information du inte ämnar att arkivera har du ett antal alternativ, kan du med fördel använda robots.txt för att blockera åtkomst till filer och kataloger på din server.

När du har skapat din robots.txt-fil, dröjer det till nästa gång Archiwwwebot spindlar webbplatsen och upptäcker dina ändringar. Om Archiwwwebot fortfarande gör förfrågningar på innehåll du har blockerat i robots.txt, kontrollera att robots.txt är rätt placerad. Det måste vara i den översta katalogen på servern (t.ex. www.domän.se/robots.txt), placerar du filen i en underkatalog kommer den inte att ha någon effekt.

IP-adresser som används av Archiwwwebot kan ändras från gång till gång. Det bästa sättet att identifiera förfrågningar från Archiwwwebot är att använda user-agent (Archiwwwebot). Du kan verifiera att en bot åt din server verkligen kommer från Archiwwwe genom att använda en omvänd DNS-sökning.

Archiwwwebot respekterar direktiven i robots.txt, men vissa spammare gör det inte. Rapportera spam till Archiwwwe.