NIACIN FLUSH !!!! Rush du til nødsituasjon for hjelp?

Mange eksempler på robots.txt ser ut til å inneholde Crawl-Delay for Yahoo Slurp i opptil 2 timer, er dette fordi Yahoo Slurp har en tendens til å hamre et nettsted og øke serverbelastningen?

"Hammer" er subjektivt, men det ser ut til å være en generell tro på at Slurp er la oss si ... kanskje litt mer aggressiv enn det egentlig trenger å være, og at det har pågått i årevis, dvs. 2007, 2009, 2011. Et grunnleggende søk etter noe lignende slurp robots delay vil dukke opp en gigantisk haug med klager.

I tilfelle du er fristet til å faktisk blokkere Slurp, som foreslått på en av disse lenkene, vil du kanskje også se dette nylige spørsmålet her for en annen titt.

  • En annen ting å vurdere er at forumklagene (i det minste 2011-tråden som jeg leste) er fra brukere som for det meste kommer av som litt clueless og også klager bare for å klage.
  • 2 Litt støvete, men dette spørsmålet på Meta Stack Overflow hjelper til med å forklare det.

Ja, fra personlig erfaring er Slurp aggressiv. Baidu enda mer.

Hvis nettstedet ditt tåler Google, Bing, Slurp og Baidu indeksering av nettstedet ditt innen samme uke mens de betjener dine kunder eller innholdsseere med minimal forsinkelse, har du valgt plattformspesifikasjoner og programvareoppsett ganske bra.

fungert for deg: Charles Robertson | Ønsker du å kontakte oss?