爬虫
-
人人都会数据采集- Scrapy 爬虫框架入门
言必称“大数据”“人工智能”在这个时代，数据分析和挖掘逐渐成为互联网从业者必备的技能。本文介绍了使用轻量级爬虫框架 scrapy 数据采集的基本方法。一、scrapy简介scrapy 是一套 Python 基于 编写的异步爬虫框架Twisted 实现，在 运行Linux/Windows/MacOS 等环境具有速度快、扩展性强、使用方便等特点。即使是新手也能快速掌握和编写所需的爬虫程序。scrapy 可在本地运行或部署到云中(scrapyd)实现真正的生产级数据采集系统。我们通过一个例子学习如何使用 scr...
-
黑爬虫可查网贷客户信息？ 想法不错但犯法了
2017年10月28日，江苏淮安做小额贷款生意的老板朱某在玩微信时，突然接到一个陌生人加好友的申请。成为好友后，对方说自己公司开发了一个叫“黑爬虫”的网站，可以查询公民在各大贷款平台的信用情况。如有客户申请贷款，朱某可先登录“黑爬虫”网站，对该客户在其他贷款平台是否有逾期记录进行查询，以此降低风险，而每次查询只要付费3米。 朱某听了，觉得价格不贵，对自己放贷也很有用，便抱着试试看的心情，登录“黑爬虫”网站充值了100米。为了验证该网站的功能，朱某充值后，立即输入之前一个客户的姓名和身份证信息，两三秒钟后，网...
-
男子用“爬虫”复制作品502万部 非法获利700万余元
利用专门软件，采集复制他人文字作品502万余份至其个人运营的6个网站中，供免费阅读，吸引会员加入，依靠流量赚取广告费，6个月非法获利700万余米。今天，安徽省合肥高新技术产业开发区人民法院公开开庭审理被告人许某、王某侵犯著作权罪一案。据悉，这是近年来公安机关破获的安徽省首例特大网上侵犯著作权案。 公诉机关指控，自2014年5月开始，被告人许某租用服务器，采用“关关采集复制软件”“爬虫软件”，在未经著作权人授权的情况下，采集复制他人文字作品至其个人运营的网站，供读者免费阅读以此增加读者点击量，最终通过广告联盟投...
-
如何利用爬虫收集个人信息（利用“爬虫”采集数据的刑事风险全解析）
近期，魔蝎科技、新颜科技等数据服务商相继被公安机关立案侦查。据报道，其被调查的原因皆与爬虫、数据等相关业务相关。两家行业内颇有名气的数据服务商被立案后，业内纷纷下架、暂停相关数据服务。业内甚至出现了“爬虫玩的好，牢房进得早。数据玩的溜，牢饭吃的久”的段子。 “爬虫”（ Web Crawler），即按照一定的规则，自动抓取互联网信息的程序或者脚本。作为技术或者工具的爬虫，本身难言非法、合法。与爬虫相关的刑事风险高企的关键在于：爬虫为谁所用？用作何处？...
-
-
-
浅析入门SEO必备知识——网络爬虫
什么是网络爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。 这些处理被称为网络抓取或者蜘蛛爬行。很多站点，尤其是搜索引擎，都使用爬虫提供最新的数据，它主要用于提供它访问过页面的一个副本，然后，搜索引擎就可以对得到的页面进行索引，以提供快速的访问。蜘蛛也可以在web上用来自动执行一些任务，例如检查链接，确认html代码；也可以用来抓取网页上某...