深圳地区电商竞品价格数据爬虫开发

一、 通用验收 1. 爬虫系统需覆盖京东、天猫、拼多多三个平台，能正确解析商品详情页，采集字段包括商品ID、名称、价格、销量、评价数、采集时间，数据完整率不低于98%。；2. 系统需集成代理IP池，支持自动切换IP，单日连续运行8小时无因IP封禁导致的中断，请求频率可配置，默认不超过每分钟30次。；3. 数据存储到MySQL数据库，表结构设计合理，包含去重机制，每日增量更新，历史数据可追溯。；4. 提供完整的部署文档，包括环境要求、依赖安装、配置说明、启动步骤，文档需通过另一名开发人员按照文档成功部署验证。；5. 源代码需包含清晰注释，主要模块（调度、解析、存储、代理管理）分离，代码风格统一，通过基本代码审查。；6. 提供一周的维护支持，期间出现的问题需在4小时内响应，24小时内解决。；7. 交付物包括全部源代码、数据库脚本、部署文档、维护支持记录。；8. 爬虫需遵守目标网站的robots协议，设置合理的请求头，模拟浏览器行为，避免对目标网站造成异常流量。 二、 爬虫开发与部署 2.1 1. 爬虫能成功采集三个平台各至少10个商品链接的数据，字段完整率≥98%。2. 代理IP池工作正常，模拟连续运行2小时无IP封禁中断。3. 数据正确存入MySQL，去重和增量更新逻辑验证通过。4. 部署文档经另一开发人员按照文档在全新环境部署成功。5. 源代码注释清晰，模块分离，通过基本代码审查。