Awesome

Housedb 1.2

房产信息网站大数据爬虫。部分数据来源于链家网站（http://www.lianjia.com )，请勿用于商业用途，仅供交流和个人娱乐。

特性

• 定期更新房源数据　
• 提供房源价格变动通知服务

数据预览

数据统计

• 各个区域的房源数量情况
• 各个区域的均价情况
• 不同楼龄的房源数量情况
• 关注数最高的房源情况

房源价格变更

安装说明

运行环境：JDK1.7+、Mysql、Elastic Stack(用于出报表，可选)

编译环境：JDK1.7+、Maven3

• 步骤一：新建库命名为housedb并导入基础表结构和数据，执行 db/housedb.sql文件即可

• 步骤二：配置 application.properties 文件

  1.Mysql数据源配置，redis配置请忽略

  2.设置每天定时任务执行的小时区间

  3.设置SMTP账号和接收通知的邮箱地址

  4.dev如果设置为true，则为"开发者模式"，忽略定制任务执行小时区间的限制

  5.如果没有代理服务器，则把 needproxy 设置为 false

• 步骤三：启动服务

java -jar housedb-20180410003739.jar

• 步骤四：定时任务启动爬虫

  默认启动服务后，5分钟爬虫启动。爬虫会先生成当天的执行任务，记录在process 表中，然后逐一执行抓取房源索引，并记录在houseindex表，接着抓取房源明细，记录在house表。 爬虫初次抓，数据量大约为1w ~ 2w之前，这些都是目前在线房源数，初次不会做邮件通知。通知会在第二天爬虫做房源信息检查的时候，发现有新房源或者是房源价格调整，则会发起通知。