phpBB.de

Verfasst: **22.07.2005 20:46**

ich möchte sogenannte 'evil' spider ausschliessen und google, yahoo, msn den zugriff zum forum nicht gewähren, aber nur die ftopic seiten dürfen gespidert werden, möchte keinen DC.

irgendwas stimmt nicht, weil in meinen logs diese 3 suma's nicht mehr vorbei kommen, seit dem ich die robots.txt aktivierte

danke für euer feedback

Code: Alles auswählen

# robots.txt for http://www.brain4you.de/
# no evil crawler
User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /
...
hier stehen dann alle bösen crawler
...

User-agent: searchpreview
Disallow: /

# no goggle images
User-Agent: Googlebot-Image
Disallow: /

User-agent: Googlebot
Disallow: /forum/admin/ 
Disallow: /forum/album_mod/ 
Disallow: /forum/cache/ 
Disallow: /forum/db/ 
Disallow: /forum/docs/ 
Disallow: /forum/images/ 
Disallow: /forum/includes/ 
Disallow: /forum/language/ 
Disallow: /forum/mods/ 
Disallow: /forum/templates/ 
Disallow: /forum/xs_mod/ 
Disallow: /forum/album 
Disallow: /forum/common 
Disallow: /forum/extension 
Disallow: /forum/faq 
Disallow: /forum/groupcp 
Disallow: /forum/login 
Disallow: /forum/map 
Disallow: /forum/memberlist 
Disallow: /forum/modcp 
Disallow: /forum/posting 
Disallow: /forum/privmsg 
Disallow: /forum/profile 
Disallow: /forum/rating 
Disallow: /forum/report 
Disallow: /forum/search 
Disallow: /forum/fpost 
Disallow: /forum/ptopic 
Disallow: /forum/ntopic 
Disallow: /forum/post-

User-agent: msnbot
Disallow: /forum/admin/ 
Disallow: /forum/album_mod/ 
Disallow: /forum/cache/ 
Disallow: /forum/db/ 
Disallow: /forum/docs/ 
Disallow: /forum/images/ 
Disallow: /forum/includes/ 
Disallow: /forum/language/ 
Disallow: /forum/mods/ 
Disallow: /forum/templates/ 
Disallow: /forum/xs_mod/ 
Disallow: /forum/album 
Disallow: /forum/common 
Disallow: /forum/extension 
Disallow: /forum/faq 
Disallow: /forum/groupcp 
Disallow: /forum/login 
Disallow: /forum/map 
Disallow: /forum/memberlist 
Disallow: /forum/modcp 
Disallow: /forum/posting 
Disallow: /forum/privmsg 
Disallow: /forum/profile 
Disallow: /forum/rating 
Disallow: /forum/report 
Disallow: /forum/search 
Disallow: /forum/fpost 
Disallow: /forum/ptopic 
Disallow: /forum/ntopic 
Disallow: /forum/post-

User-agent: Slurp
Disallow: /forum/admin/ 
Disallow: /forum/album_mod/ 
Disallow: /forum/cache/ 
Disallow: /forum/db/ 
Disallow: /forum/docs/ 
Disallow: /forum/images/ 
Disallow: /forum/includes/ 
Disallow: /forum/language/ 
Disallow: /forum/mods/ 
Disallow: /forum/templates/ 
Disallow: /forum/xs_mod/ 
Disallow: /forum/album 
Disallow: /forum/common 
Disallow: /forum/extension 
Disallow: /forum/faq 
Disallow: /forum/groupcp 
Disallow: /forum/login 
Disallow: /forum/map 
Disallow: /forum/memberlist 
Disallow: /forum/modcp 
Disallow: /forum/posting 
Disallow: /forum/privmsg 
Disallow: /forum/profile 
Disallow: /forum/rating 
Disallow: /forum/report 
Disallow: /forum/search 
Disallow: /forum/fpost 
Disallow: /forum/ptopic 
Disallow: /forum/ntopic 
Disallow: /forum/post-

Verfasst: **23.07.2005 03:54**

Disallow: /forum/fpost
Disallow: /forum/ptopic
Disallow: /forum/ntopic
Disallow: /forum/post-

Was sollen die auch spiderm?

DC vermeidet man indem man keine URLs mit DC zuläst, die robots.txt halte ich für schwachsinn.

Verfasst: **23.07.2005 10:10**

...die sollen nur die ftopic seiten spidern, sonst wird doch nur DC erzeugt?
Oder sehe ich das falsch? Ich habe schon einmal eine dmain durch DC verbrannt, deshalb bin ich auch vorsichtig.

ftopic ist erlaubt? oder?

phpBB.de

ich mag nur google, yahoo und msn

ich mag nur google, yahoo und msn