GoFestivalBot
本爬虫访问电影节官网首页,收集公开的举办日期、投稿条件和资讯。
- 遵守各网站的 robots.txt。
- 对同一网站的两次请求之间会等待数秒。
- 同一页面每周最多访问一次。
如不希望被访问,请在 robots.txt 中加入“User-agent: GoFestivalBot”和“Disallow: /”。
本爬虫访问电影节官网首页,收集公开的举办日期、投稿条件和资讯。
如不希望被访问,请在 robots.txt 中加入“User-agent: GoFestivalBot”和“Disallow: /”。