不宜学习编程的人-Web指纹识别技术性科学研究与提升完成
文中根据剖析web指纹的检测目标、检测方式、检测原理及实用工具，设计方案了一个简单的指纹收集脚本 *** 来帮助发觉新指纹，并获取了好几个开源系统指纹识别专用工具的规则库并开展了规则资产重组，开发设计了一个简易便捷的指纹识别实用工具TideFinger，并完成了一套线上的指 *** 黑客 *** 纹鉴别服务平台“潮汛指纹”，期待能为大伙儿产生便捷。
序言
在web渗透全过程中，Web指纹识别是信息收集阶段中一个较为关键的流程，根据一些开源系统的专用工具、服务平台或是手工 *** 检测CMS系统软件是公布的CMS程序流程還是二次开发尤为重要，能精确的获得CMS种类、Web服务部件种类及版本信息能够协助注安师迅速合理的去认证已经知道系统漏洞。
在指纹识别的学习过程中，使用了许多 开源系统的专用工具和指纹库，如fofa、WhatWeb、w11scan、WebEye、幻剑这些，在这里谢谢各种各样大 *** 黑客 *** 佬的甘于奉献。文中并无技术性上的自主创新和提升，仅仅把一些指纹库再次开展了融合和整理并开展了开源系统。
tips：文尾发福利~大家将收集到的一些指纹专用工具、指纹库等材料装包供大伙儿免费下载~
普遍指纹检测的目标
1、CMS信息内容：例如壮汉CMS、织梦cms、帝国CMS、phpcms、ecshop等；
2、前端技术：例如HTML5、jquery、bootstrap、pure、ace等；
3、Web服务端：例如Apache、lighttpd, Nginx, *** 黑客 *** IIS等；
4、网站服务器：例如Tomcat、Jboss、weblogic、websphere等；
5、编程语言：例如PHP、Java、Ruby、Python、C#等；
6、电脑操作系统信息内容：例如linux、win2k8、win7、kali、centos等；
7、CDN信息内容：是不是应用CDN，如cloudflare、360cdn、365cyd、yunjiasu等；
8、WAF信息内容：是不是应用waf，如Topsec、Jiasule、Yundun等；
9、IP及网站备案信息：IP和注册域名信息内容、服务提供商信息内容等；
10、端口号信息内容：一些手机软件或服务平台还会继续检测 *** 服务器对外开放的普遍端口号。
普遍的指纹识别 ***
1、特殊文档的MD5
一些网址的特殊图片文件、js文件、CSS等静态数据文档，如favicon.ico、css、logo.ico、js等文档一般不容易改动，根据 *** 爬虫对这种文档开展爬取并核对md5值，假如和规则库文件的Md5一致则表明是同一CMS。这类 *** 速率较为快，漏报率相对性低一些，但都不清除一些二次开发的CMS会改动这种文档。
2、一切正常网页页面或不正确网页页面中包括的关键词
先浏览主页或特殊网页页面如robots.txt等，根据正则表达式的 *** 去搭配一些关键词，如Powered by Discuz、dedecms等。
或是能够结构不正确网页页面，依据出错信息内容来 *** 黑客 *** 分辨应用的CMS或是分布式数据库信息内容，较为普遍的如tomcat的出错网页页面。
3、请求头信息内容的关键词搭配
依据网址response回到头信息内容开展关键词搭配，whatweb和Wappalyzer便是根据banner信息内容来迅速鉴别指纹，以前fofa的web指 *** 黑客 *** 纹库许多 全是应用的这类方式，高效率十分高，基础要求一次就可以，但收集这种规则很有可能会用时较长。并且这种banner信息内容一些非常容易被改正。
依据response header一般有下列几类鉴别 *** ：
（1）查询http回应报头的X-Powered-By字段名来鉴别；
（2）依据Cookies来开展分辨，例如一些waf会在回到头中包括一些信息内容，如360wzws、Safedog、yunsuo等；
（3）依据header中的Server信息内容来分辨，如DVRDVS-Webs、yunjiasu-nginx、Mod_Security、nginx-wallarm等；
（4）依据WWW-Authenticate开展分辨，一些路由交换机器设备很有可能存有这一字段名，如NETCORE、huawei、h3c等机器设备。
4、一部分URL中包括的关键词，例如wp-includes、dede等URL重要特点
根据规则库去检测是不是有相对文件目录，或是依据 *** 爬虫結果对连接url开展剖析，或是对robots.txt文件中文件目录开展检测这些 *** ，根据url地址来辨别是不是应用了某CMS，例如wordpress默认设置存有wp-includes和wp-admin文件目录，织梦cms默认设置后台管理系统为dede文件目录，solr服务平台很有可能应用/solr文件目录，weblogic很有可能应用wls-wsat文件目录等。
5、编程语言的鉴别
web开发語言一般普遍的有PHP、jsp、aspx、asp等，普遍的鉴别 *** 有：
（1）根据 *** 爬虫获得动态链接开展断定是较为简单的方式。
asp辨别规则以下<a[^>]*?href=('|")[^http][^>]*?\\.asp(\\?|\\#|\\1)，别的語言可更换相对asp就可以。
（2）根据X-Powered-By开展鉴别
较为普遍的有X-Powered-By: *** 黑客 *** ASP.NET或是X-Powered-By: PHP/7.1.8
（3）根据Set-Cookie开展鉴别
这类方式较为普遍也很便捷，例如Set-Cookie中包括PHPSSIONID表明是php、包括 *** ESSIONID表明是java、包括ASP.NET_SessionId表明是aspx等。
*** 黑客 *** 指纹识别专用工具
在科学研究指纹识别技术性的情况下，难以避免的剖析了很多指纹识别专用工具，在这里将自身使用过的好多个觉得非常好的专用工具和服务平台介绍一下。
海外指纹识别专用工具
WhatWeb（强烈推荐指数值）
下载链接：https://github.com/urbanadventurer/WhatWeb
Whatweb *** 黑客 *** 是一个开源系统的网址指纹识别手机软件，有着超出1700 个软件，它能鉴别的指纹包含 cms 种类、博客平台、网站访问量分析系统、javascript 库、 *** 服务器，还能够鉴别版本信息、邮件地址、帐户 id、web 框架模块等。
Whatweb 是根据 ruby 語言开发设计，因而能够安裝在具有 ruby 自然环境的系统软件中，现阶段适用 Windows/Mac OSX/Linux。
在debian/ubuntu系统软件下可立即`apt-get install *** 黑客 *** whatweb`,kali已内置。
应用比较简单whatweb http://www.tidesec.net 就可以，还可以加主要参数-v显示信息更详尽的信息内容。
Wapplyzer（强烈推荐指数值）
下载链接：https://github.com/AliasIO/Wappalyzer
Wappalyzer 是一个好用的混合开发网站数据分析专用工具，用以协助开发人员、学者和设计师检测网页页面应用的是啥技术性，以能够更好地考量自身的新项目中该应用哪些技术性。Wappalyzer 的作用和 BuiltWith 相近，可检测內容管理专业 *** 黑客 *** 统（CMS）， *** 技术服务平台、Web服务端、JavaScript架构和已安裝的分析工具等。
Wappalyzer可立即在chrome或火狐浏览器的应用商店立即检索安裝。Wappalyzer现阶段可鉴别65个类别的1216个运用，查询可检测的应用软件目录：https://wappalyzer.com/applications
Whatruns（强烈推荐指数值）
Whatruns是为chrome开发设计的一款web指纹识别程序流程，还能够显示信息代管的CDN、wordpress软件、wordpress字体样式等，有着丰富多彩的软件适用。
跟Wappalyzer安裝相近，Whatruns可立即在chrome应用商店立即检索安裝。
安裝进行后，根据软件标志来获得服务项目的详尽运作信息内容，实际效果以下。有时信息内容会比Wapplyzer还详尽一些，但有时获得速率偏慢。
Plecost（强烈推荐指数值）
下载链接：https://github.com/iniqua/plecost
Plecost是Wordpres *** log模块的系统漏洞指纹识别和系统漏洞搜索器，能鉴别Wordpress版本号并能搜索到cve，但是浏览不上google得话很有可能一些作用就受到限制了。Plecost根据python构架，运用了Beautiful *** 黑客 *** Soup来分析html、xml文件鉴别网址应用的软件及版本号。
应用也较为便捷plecost -i /usr/share/plecost/wp_plugin_list.txt http://www.freebuf.com
BlindElephant（强烈推荐指数值）
下载链接：https://github.com/lokifer/BlindElephant
BlindElephant是一款Web应用软件指纹识别专用工具。该专用工具能够载入总体目标网址的特殊静态数据文档，测算其相匹配的hash值，随后和事先测算出的哈 *** 黑客 *** 希值做比照，进而分辨总体目标网站类型和版本信息。现阶段，该专用工具适用15种普遍的Web应用软件的几十个版本号。另外，它还出示WordPress和Joomla的各种各样软件。该专用工具还容许客户自身拓展，加上大量的版本号适用。
但是此软件最新上线的是在二零一三年，插件库应当算较为旧的了。
免费下载及安裝可参照https://github.com/lokifer/BlindElephant，kali中早已内嵌。
应用指令：BlindElephant.py http://www.freebuf.com wordpress
中国指纹识别专用工具
幻剑web指纹识别程序流程
下载链接：https://www.webshell.cc/4697.html
幻剑web指纹识别程序流程是幻剑高手开发设计的一款CMS指纹识别实用工具，该程序流程由.NET 2.0架构开发设计，配备灵便、适用自定关键词和正则匹配二种方式、应用起來简约、感受优良。在指纹击中层面主要表现非常好、鉴别速率迅速、但现阶段较为显著的缺点是指纹的配备库过少。
windows下用户界面，较为平价，扫描仪速率略慢，指纹库略少，可手工 *** 升级。
Test404轻巧WEB指纹识别
下载链接：https://www.test404.com/post-1618.html
Test404轻巧WEB指纹识别程序流程是一款CMS指纹识别实用工具，配备灵便、适用填加词典、应用起來简约、感受优良。在指纹击中层面主要表现非常好、鉴别速率迅速。可手动式升级指纹识别库，并且此软件在2019.04月不久升级了一版。{X }
w11scan分布式WEB指纹识别平台
w11scan是一款分布式的WEB指纹识别系统（包括CMS识别、js框架、组件容器、代码语言、WAF等等），管理员可以在WEB端新增/修改指纹，建立批量的扫描任务，并且支持多种搜索语法。安装和下载可参考：https:黑客 *** //github.com/w-digital-scanner/w11scan
手工安装稍微复杂，不过作者提供了docker部署，方便很多，使用了Mongodb，内置了1800多条常见的指纹，可以识别多达538种常见CMS，当然也可以手工添加指纹。
Dayu指纹识别工具
下载地址：https://github.com/Ms0x0/Dayu“大禹”为一款c/s结构jar文件工具，只需本地安装java环境，加参数-u即可，具体设置参数可参考github介绍。
WebEye
下载地址：https://github.com/zerokeeper/WebEye/WebEye可快速简单地识别WEB服务器类型、CMS类型、WAF类型、WHOIS信息、以及语言框架，使用异步实现指纹的快速识别。
识别速度比较快，不过指纹库不是很多，指纹库不是基于md5之类的，而是类似于fofa通过http头信息、关键字等进行快速识别。
作者对指纹进行了分类，如摄像头、waf、cdn、 *** 设备等，很多指纹都是精心搜集的。
WTF_Scan
下载地址：https://github.com/dyboy2017/WTF_ScanWTF团队出品的指纹识别平台，包括的功能也相对比较黑客 *** 多，除了指纹识别外，还有DNS解析、子域名、CDN、端口扫描、敏感目录等。
不过就单独说指纹规则来说，不算很多，可以自己添加完善，在WTF_Scan/wtf/app/api/cms/cms.txt文件中进行指纹修改。
Webfinger
基于fofa的规则库进行快速检索，大约2000+条指纹数据，位于lib/web.db可自行添加修改。下载地址：https://github.com/se55i0n/Webfinger
类似的还有个CMSCANhttps://github.com/cuijianxiong/cmscan/
FingerPrint
好像是百度的一个MM用perl写的一款工具，调用Wappalyzer模块进行指纹识别。下载地址：https://github.com/tanjiti/FingerPrint
在线指纹识别
云悉指纹识别
http://www.yunsee.cn/指纹库很强大，速度也很快，我们前端还仿了下云悉的界面，免费服务，好像还能提供api接口，学习的榜样！
如果指纹能开源就好了，哈哈~~
bugscaner指纹识别
http://whatweb.bugscaner.com/look/目前好像指纹比较少，很多都识别黑客 *** 不出来了。
whatweb.net
https:黑客 *** //whatweb.net/之前功能还不错，现在好像只能查看到header信息了。
TideFinger
上面介绍了那么多超级工具，都不好意思写自己做的小破烂东西了…大佬们可以关掉本页面了…
通过对各种识别对象、识别 *** 、识别工具的分析，发现大家的指纹库各式各样，识别方式也是各有千秋，传统的md5、url路径的方式居多，识别header信息的也是不少，但没有一个能集众家之长的小工具。 于是我们就做了一个小工具TideFinger
https://github.com/TideSec/TideFinger
指纹库整理
我们搜集了上面所有的指纹软件，从中提取了指纹库，进行了统一的格式化处理并进行去重，最终得到了一个大约2078条的传统指纹黑客 *** 库。本来想把fofa的库也合并进来，发现格式差异有些大，便保持了fofa指纹库，并把WebEye的部分指纹和fofa指纹进行了合并。这样就保留了两个指纹库，其中cms指纹库为传统的md5、url库，大约2078条指纹，可通过关键字、md5、正则进行匹配，fofa库为2119指纹，主要对Header、url信息进行匹配。
指纹库优化
在对指纹库整理去重后，对每个指纹进行了命中率的标识，当匹配到某个指纹时该指纹命中率会加1，而在使用指纹时会从优先使用命中率高的指纹。
然后我们从互联网中爬取了10W个域名进行了命中率测试，然后对一些误报率比较高的指纹进行了重新优化，得到了一份相对更高效的指纹库。
未知指纹发现
目前新指纹的识别基本还是靠人工发现然后分析规则再进行添加，所以各平台都有提交指纹的功能，但是我们没有这种资源，只能另想办法。
于是想到了一个比较笨的 *** ：从网站中爬取一些静态文件，如png、ico、jpg、css、js等，提取url地址、文件名、计算md5写入数据库，这样再爬下一个网站，一旦发现有相同的md5，就把新的url也加入到那条记录中，并把hint值加黑客 *** 1，这样爬取10W个站点后，就能得到一个比较客观的不同网站使用相同md5文件的数据了。
获取链接代码部分
excludeext = ['.png', '.ico', '.gif','.svg', '.jpeg','js','css','xml','txt']
def getPageLinks(url):
try:
headers = requests_headers()
黑客 *** content = requests.get(url, timeout=5, headers=headers, verify=False).text.encode('utf-8')
links = []
tags = ['a', 'A', 'link', 'script', 'area', 'iframe', 'form'] # img
tos = ['href', 'src', 'action']
黑客 *** if url[-1:] == '/':
url = url[:-1]
try:
for tag in tags:
for to in tos:
link1 = re.findall(r'<%s.*?%s="(.*?)"' % (tag, to), 黑客 *** str(content))
link2 = re.findall(r'<%s.*?%s=\'(.*?)\'' % (tag, to), str(content))
for i in link1:
links.append(i)
for i in link2:
黑客 *** if i not in links:
links.append(i)
except Exception, e:
print e
print '[!] Get link error'
pass
return links
黑客 *** except:
return []
有兴趣的可以查看具体代码https://github.com/TideSec/TideFinger/blob/master/count_file_md5.py文件。
爬取的结果如下：
当然了，里面肯定很多都属于误报，比如上图中之一个其实是个500错误页面，所以出现的比较多，第二个是 *** 网站最下边那个常见的“纠错”的js，所以用的也比较多…
经过一些分析整理也发现了一些小众的CMS和建站系统的指纹，比如三一 *** 建站系统的newsxx.php，比如大汉JCM的jhelper_tool_style.css等等，后续会持续把这些新的指纹丰富到指纹库中去。
指纹识别脚本
有了指纹库之后，识别脚本就相黑客 *** 对比较简单了，已有的一些也都比较成熟了，直接使用了webfinger和whatcms的部分代码并进行了整合优化，于是就有了TideFinger。
1、功能逻辑都比较简单，先用fofa库去匹配，然后获取一定banner，如果banner中识别除了cms，则返回结果，如果未识别到cms，则会调用cms规则库进行匹配各规则。
2、脚本支持 *** 模式，当设置了-p参数，且proxys_ips.txt文件包含 *** 地址时，脚本会随机调用 *** 地址进行扫描，以避免被封ip，不过这样的话效率可能会黑客 *** 低一些。毕竟搜集的免费 *** 质量还是差一些，速度会慢很多。有钱人可以找收费 *** 池，然后每个规则都用不同 *** 去请求，这样肯定不会被封！
*** 地址的搜集可以使用我修改的另一个 *** 池https://github.com/TideSec/Proxy_Pool，提供了自动化的 *** ip抓取+评估+存储+展示+接口调用。
3、经测试，一般网站把所有指纹跑一遍大约需要30秒时间，个别的网站响应比较慢的可能耗时更长一些，可以通过设置网站超时时间进行控制。
安装python2依赖库
pip install lxml
pip install requests
pip install bs4
说明：sqlite3库在Python 2.5.x 以上版本默认自带了该模块，如提示sqlite3出错请自行排查。
执行脚本
$ python TideFinger.py
Usage: python TideFinger.py -u http://www.123.com [-p 1] [-m 5黑客 *** 0] [-t 5]
-u: 待检测目标URL地址
-p: 指定该选项为1后，说明启用 *** 检测，请确保 *** 文件名为proxys_ips.txt,每行一条 *** ，格式如: 124.225.223.101:80
-m: 指纹匹配的线程数，不指定时默认为50
-t: 网站响应超时时间，默认为5秒
指纹识别界面如下：
指纹识别平台
在有了指纹库和识别脚本之后，我们想继续完善下这个功能，于是又加入了其他一些功能，有了这个在线指纹查询平台http://finger.tidesec.net。
开始想加的很多，但后来在速度和时间方面不得不进行了一定的取舍，于是就有了目前如下的功能。
1、网站信息：网站标题、状态码、302跳转信息等；
2、IP地址信息：IP归属地、IP服务商信息、GPS信息；
3、CDN识别：对目标是否使用CDN进行检测，但目前CDN识别指黑客 *** 纹还不多，对部分识别出使用CDN的目标还会列出来CNAME；
4、中间件识别：主要通过http头信息中的XPB、server等字段获取中间件信息，如nginx、iis、tomcat等；
5、更多banner：主要是调用了whatweb和Wapplyzer进行更多banner信息的获取，如jquery、bootstrap等；
6、操作系统识别：识别比较简单，通过ttl值和文件大小写是否敏感…用nmap去识别的话速度太慢…
7黑客 *** 、本来还加入了子域名发现、端口扫描和waf探测等等，但发现耗时相对较长，而且比较容易被封IP，所以又去掉了。
团队没有专门做前端的，看云悉界面比较美观，所以就参考了云悉和WTF_Scan的界面布局，大佬不要打我们…使用了TP5框架，因为平台的功能都比较low，以防被喷就不放源码了。
大家可以试用下，给我们提提意见http://finger.tidesec.net
注册需要验证码，关注下我们公众号回复“潮汐指纹”即可被逼拉流量O(∩_∩)O哈哈
待解决的问题
1、指纹库的继续完善：这是个旷日持久的工作，希望能坚持下去，我们也会持续的开源最新指纹库，希望大家手头有好的资源也可以贡献出来。
2、 *** 问题：虽然集成了 *** 功能，但经实际使用来看，搜黑客 *** 集的免费 *** 质量还是差一些，速度会慢很多。
3、IP会被封：有的网站防护对目录枚举或一些路径非常敏感，会封IP地址；
4、下一步尝试对http头进行语义分析，从海量网站中提取分析header的共性，更高效的发现未知指纹；
5、因为穷，所以目前还是单节点进行指纹的识别，如果是第三步进入常规目录检测的方式的话可能速度会比较慢。
参考资料
在指纹库搜集和脚本开发过程中，查阅了大量资料，下面列举的可能不全，在此一并感谢这些无私奉献的安全研究者。黑客 ***
https://www.freebuf.com/articles/2555.html
https://blog.51cto.com/simeon/2115190
https://www.freebuf.com/news/137497.html
https://www.freebuf.com/articles/web/129939.html
https://www.freebuf.com/sectool/135216.html
黑客 ***
https://www.test404.com/post-1299.html?wafcloud=1https://github.com/se55i0n/Webfinger
https://github.com/tanjiti/FingerPrint
https://github.com/dyboy2017/WTF_Scan
https://github.com/zerokeeper/WebEye/
https://github.com/Ms0x0/Dayu
https://github.com/w-digital-scanner/w11scan
https://www.webshell.cc/4697.html
https://github.com/lokifer/BlindElephant
https://github.com/iniqua/plecost
https://github.com/AliasIO/Wappalyzer
https://github.com/urbanadventurer/WhatWeb
小福利
1、指纹检测工具下载
我们把上面的13款
指纹识别工具和搜集到的一些论文资料进行了汇总打包，大家可以直接下载。
下载地址：https://pan.baidu.com/s/190K34cwjAWDUMLtR8EWvNA 提取码：5y4o 解压密码www.tidesec.net后续如有更新，会在我们公众号TideSec安全团队上提供下载，回复“指纹工具”即可获取最新指纹识别工具下载地址。
2、指纹库下载
我黑客 *** 们在GitHub上提供的是2019年4月的指纹库（还未进行大量的命中率测试），后续我们还会优化调整命中策略、未知指纹识别 *** ，持续更新优化指纹库。
*本文原创作者：Tide重剑无锋，本文属FreeBuf原创奖励计划，未经许可禁止转载
1、HUAWEIMateBookXPro2019款新款华为MateBookXPro主要升级了CPU和显卡两大核心硬件,从英特尔酷睿i7-8550U/i。不适合学编程的人一键盗qq密码软件免费版小黑是黑客,小白是菜鸟了,或者是 *** 安黑客 *** 全工程师!这个看在什么位置了,你可以去看看雷公黑客教程里面有很多技术的!不适合学编程的人靠别人几乎不大可能要得回来(除非他是TX内部的),楼主也别找那些会帮你盗回号的“黑客”了,那群半桶水的渣(估计还没半桶水)除了骗钱还会什么,真有。你没加好友,微信好友和损友圈好友是分开的,需要加好友才能显示 ,加过好友之后才能更好的确定土豪是谁。你应该上医院看看心理医生不一定,有可能是你曾经接触过这个邮箱,比如说收发过陌生邮件,别想黑客那些,哪有那么多黑客跑着陪你玩,除非你是什么。有用你用的 *** 越多ip地址隐藏的越深黑客要找到你所花的时间越多你可以开个 *** 直接连接国外的然后再转到别的国家再转会国内基本上要找你花。不适合学编程的人 额,什么意思呢?你是不知道怎么用,还是想用修改器?特殊技能每次进关的时候都只能选一样,催眠的用法是你拿枪指着怪物,不要开枪,然后就会在怪物的头顶。 不适合学编程的人努力认真的话10年就差不多了“互联网精神”即:开放、平等、协作、快速、分享。它是互联网生命力之所在,也是新经济能否发展的命脉,是其发展的关。
标签：
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。
