Fragen zu allen Themen rund ums Programmieren außerhalb von phpBB können hier gestellt werden - auch zu anderen Programmiersprachen oder Software wie Webservern und Editoren.
Hat die von dir gespiderte Seite einen Clientfilter eingebaut?
Da das spidern durchaus illegal sein kann, Copyright-Verletzung etc. und du sogar in Login-Geschützte Bereiche eindringst wäre es besser das du
Vielleicht mal den Betreiber anschreibst an und fragst ihn ob du die Seite Spidern darfst, vielleicht stellt er dir sogar eine extra Schnittstelle bereit oder gibt dir die Erlaubnis nachts zu spidern, wo die Webseite keine hohen Auslastungen hat, und somit die Besucher der Webseite nicht beeinträchtigt werden und du sogar schneller Spidern kannst.