深圳地区企业信用数据爬虫开发与清洗

一、 通用验收 1. 爬虫能稳定运行，采集不少于5万家深圳企业信息，每家至少包含企业名称、统一社会信用代码、法定代表人、注册资本、成立日期、经营状态、注册地址、经营范围、行政处罚记录、经营异常记录等10个字段。；2. 提供完整Python源码，结构清晰，含配置文件、日志模块和异常处理，改配置就能切换数据源、调整并发数。；3. 数据存入MySQL，提供建表SQL脚本。；表设计合理，用统一社会信用代码唯一索引去重，并附数据字典说明各字段含义和来源。；4. 反爬策略能应对IP封禁、请求频率限制、简单验证码等常见手段，采集过程中被封禁次数不超过总请求量的5%。；5. 部署文档写清环境依赖、运行步骤、参数配置和常见问题，确保全新环境按文档能跑通。；6. 交付示例数据集（不少于1000条记录）和采集日志样本，日志记录请求时间、URL、响应状态和错误信息。；7. 所有交付物打包为zip，含源码、SQL脚本、文档和示例数据，文件命名规范、目录结构清晰。；8. 修改范围限于本项目需求，不包含与采集无关的功能。；代码中不得硬编码数据库密码等敏感信息，应使用配置文件或环境变量。 二、 爬虫开发与数据交付 2.1 1. 采集不少于5万家深圳企业信息，每家至少包含企业名称、统一社会信用代码、法定代表人、注册资本、成立日期、经营状态、注册地址、经营范围、行政处罚记录、经营异常记录等10个字段，数据存入MySQL。2. 提供完整Python源码，含配置文件、日志模块和异常处理，能通过配置调整并发数和数据源。3. 提供建表SQL脚本和数据字典文档，数据表有基于统一社会信用代码的唯一索引实现去重。4. 反爬策略有效，采集过程中因封禁导致的失败请求不超过总请求量的5%。5. 部署文档详细，在全新环境按文档能成功运行。6. 提供不少于1000条记录的示例数据集和采集日志样本，日志包含请求时间、URL、响应状态和错误信息。7. 所有交付物打包为zip文件，目录结构清晰，无硬编码敏感信息。