QQ数据

爬取QQ空间3000万用户 玩玩大数据分析

这是我近期使用C#写的一个QQ空间蜘蛛网爬虫程序。程序断断续续的运行了两周，目前总共爬了3000万QQ数据，其中有300万包含用户(QQ号，昵称，空间名称，头像，***一条说说内容，***说说的发表时间，空间简介，性别，生日，所在省份，城市)的详细数据。 目前已经爬到我的第7圈好友(depth=7)共3000万数据。 爬虫主程序运行界面： 爬虫程序设计： 大致设计思路是模仿工厂的生产车间，使用三大独立循环线程组(GetWaitList，CrawlerQQInfos，SaveData)。 详细设计图：...