多源数据采集与整合:北京二手房挂牌信息清洗与标准化
数据处理分析 / 多源数据采集与整合
任务详情
| 分类 | 数据处理分析 / 多源数据采集与整合 |
|---|---|
| 任务描述 | 背景:个人研究需要北京二手房市场数据,用来分析价格分布和房源特征。现在从多个房产平台手动复制,效率低,格式也乱。工作内容:采集至少3个主流平台的北京二手房挂牌信息(如链家、贝壳、安居客),每个平台不少于500条,字段包括小区、户型、面积、价格、楼层、朝向、挂牌时间等;清洗并标准化字段格式,去掉重复和无效记录;整合成统一表格。交付物:清洗后的CSV文件(含数据字典)和一份数据质量报告,记录采集来源、字段说明、异常值处理。注意:数据仅用于个人研究,不得商用;遵守平台robots协议,采集频率控制在合理范围;数据匿名化处理,不包含房东个人信息。时间安排:2周内完成。 |
| 截止日期 | 2026/12/05 |
| 发包方 | 一蓑烟雨 |
项目预算
| 结算方式 | 按里程碑结算 |
|---|---|
| 项目当前阶段 | 数据采集与整合交付 |
| 预计投入周期 | 2 周 |
| 现金预算 | ¥20,000 |
验收标准
1. 成果与范围 交付两个文件:清洗后的CSV数据文件,以及数据质量报告(PDF或Markdown)。 CSV字段包括:小区名称、户型、面积(平方米)、总价(万元)、单价(元/平方米)、楼层、朝向、挂牌时间、数据来源平台。 总记录不少于1500条,每个平台不少于500条。 数据需清洗:按小区、户型、面积、价格等关键字段去重。 缺失率超过30%的字段要说明。 2. 质量与文件 面积统一为数字、价格统一为万元、朝向统一为中文描述。 数据质量报告写清采集平台列表及采集时间、字段说明、异常值处理说明、各字段缺失率。 数据中不得出现房东姓名、电话等个人隐私。 报告清晰易读,无错别字。 修改范围:验收时数据记录数不足或关键字段缺失,3个工作日内补采并重新提交。 3. 节点与交付 格式问题1个工作日内修正。 交付清单:1. cleaned_data.csv。 2. data_quality_report.md(或.pdf)。
发包方情况
