Sharks@pawb.socialtoDACH - Deutschsprachige Community für Deutschland, Österreich, Schweiz@feddit.org•Stirbt Mastodon an Europas neuem Jugendschutz?
1·
1 month agoIch wünschte es gäbe weniger Entschuldigungen für diese autoritäre Scheiße.
Ich wünschte es gäbe weniger Entschuldigungen für diese autoritäre Scheiße.
You can’t impersonate search engine crawlers, because the server can verify that it’s really a search engine crawler
See this from google: https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests
Here, duckduckgo: https://duckduckgo.com/duckduckgo-help-pages/results/duckduckbot