首页 大数据分析

大数据分析

  • 爬取QQ空间3000万用户 玩玩大数据分析

    爬取QQ空间3000万用户 玩玩大数据分析

    这是我近期使用C#写的一个QQ空间蜘蛛网爬虫程序。程序断断续续的运行了两周,目前总共爬了3000万QQ数据,其中有300万包含用户(QQ号,昵称,空间名称,头像,***一条说说内容,***说说的发表时间,空间简介,性别,生日,所在省份,城市)的详细数据。 目前已经爬到我的第7圈好友(depth=7)共3000万数据。 爬虫主程序运行界面: 爬虫程序设计: 大致设计思路是模仿工厂的生产车间,使用三大独立循环线程组(GetWaitList,CrawlerQQInfos,SaveData)。 详细设计图:...

1