空间测绘

免责声明

本文档仅供学习和研究使用,请勿使用文中的技术源码用于非法用途,任何人造成的任何负面影响,与本人无关.

大纲

  • 语料收集

  • Github

  • Google

  • Shodan

  • BinaryEdge

  • Censys

  • Zoomeye

  • FoFa

  • Dnsdb

  • 知风

  • ONYPHE

  • GreyNoise

  • Thingful

  • LeakIX

  • spyse

  • quake

  • netlas

相关文章

相关工具

  • ffffffff0x/ones - 可用于多个网络资产测绘引擎 API 的命令行查询工具

  • projectdiscovery/uncover - Quickly discover exposed hosts on the internet using multiple search engines.

常用搜索接口

语料收集

杂项

人名

  • wainshine/Chinese-Names-Corpus - 中文人名语料库。中文姓名,姓氏,名字,称呼,日本人名,翻译人名,英文人名。可用于中文分词、人名实体识别。

地名

黑产 seo 关键词

Github

相关文章

语法

限定词
案例

in:name

in:name python 查出仓库名中有 python 的项目（python in:name 也是一样的）

in:description

in:name,description python 查出仓库名或者项目描述中有 python 的项目

in:readme

in:readme python 查出 readme.md 文件里有 python 的项目

repo:owner/name

repo:octocat/hello-world 查出 octocat 的 hello-world 项目（指定了某个人的某个项目）

user:USERNAME

user:1335951413 stars:<10 查出用户 1335951413 名下 stars 少于 10 的项目

org:ORGNAME

org:github 查出 github 名下的项目

stars:n

stars:>=5 查出 star数大于等于 5 个 的项目（支持大于小于区间等）

pushed:YYYY-MM-DD

css pushed:>2013-02-01 查出仓库中包含 css 关键字，并且在 2013年1月 之后更新过的项目

language:LANGUAGE

rails language:javascript 查出仓库包含 rails 关键字，并且使用 javscript 语言的项目

created:YYYY-MM-DD

webos created:<2011-01-01 查出仓库中包含 webos 关键字并且是在 2011 年之前创建的项目（也支持时分秒，支持大于小于区间等）

followers:n

followers:1000 查出有 1000 个拥护者（followers） 的项目（支持大于小于区间等）

forks:n

forks:5 查出有 5 个 forks 的项目（支持大于小于区间等）

filename:n

filename:xxx.txt 查找xxx.txt文件

topic:TOPIC

topic:jekyll 查出含有 jekyll 这个 topic 的项目（项目描述下面的东西，相当于标签、分类）

topics:n

topics:>5 查出有 5 个以上 topic 的项目（支持大于小于区间等）

archived:true/false

archived:true GNOME 查出已经封存了并且含有 GNOME 关键字的项目（已经不再维护了的项目）

license:LICENSE_KEYWORD

license:apache-2.0 查出仓库的开源协议是 apache-2.0 的

size:n

size:1000 查出仓库大小等于 1MB 的项目

size:n

size:>=30000 查出仓库大小至少大于 30MB 的项目

size:n

size:50..120 查出仓库大小在 50KB 至 120KB 之间的项目

is:public/private

is:public org:github 查出仓库所有组织是 github 并且公开的项目

is:public/private

is:private github 查出含有 github 关键字并且是私有的项目（私有的别人看不到，所以这个是用来搜索自己的私有项目的）

项目名字(name)里有 python 的

名字(name)里有 python 的并且 stars 大于 3000 的

名字(name)里有 python 的并且 stars 大于 3000 、forks 大于 200 的

详情(readme)里面有 python 的并且 stars 大于 3000 的

描述(description)里面有 python 的并且 stars 大于 3000 的

描述(description)里面有 python 的并且是 python 语言的

描述(description)里面有 python 的并且 2019-12-20 号之后有更新过的

例子

  • 敏感信息

  • 交流

监控工具

同类代码托管网站

代码搜索网站

新版github 代码搜索引擎

Google

案例

搜索引擎语法

  • 包含关键字: intitle:关键字

  • 包含多个关键字: allintitle:关键字 关键字2

  • 搜索特定类型的文件: 关键字 filetype:扩展名 ,例如 人类简史 filetype:pdf

  • 搜索特定网站的内容: 关键字 site:网址

  • 排除不想要的结果: 关键字 -排查条件 ,例如搜索 "运动相机",但只想看 GoPro 品牌以外的产品 运动相机 -GoPro

  • 双引号的用处:例如: "how to write a code" 如果没有引号,搜索的大部分结果是以 write code 为关键字.包含引号后,会确保将完整的字符串做为期望的检索结果提交给搜索引擎.

  • 搜索缓存: cache: +后缀 ，如：cache: regontool.org

搜索语法合集

dork工具

例子

  • 常见语法

  • 漏洞

    搜参数/接口

    找文章

    工控

CSE

Google Custom Search(自定义搜索)是基于谷歌的核心搜索技术，对你的搜索引擎进行很多定制

  • TikTok : https://cse.google.com/cse?cx=011444696387487602669:aqf7d9w73om

  • IFTT : https://cse.google.com/cse?cx=000501358716561852263:xzfiqchwcj8

  • Google Album archives : https://cse.google.com/cse?cx=006205189065513216365:vp0ly0owiou

  • Social media : https://cse.google.com/cse?cx=016621447308871563343:0p9cd3f8p-k

  • LinkedIn : https://cse.google.com/cse?cx=000470283453218169915:hcrzdwsiwrc

  • Online bookmark sites : https://cse.google.com/cse?cx=005797772976587943970:3tu7im1-rdg

  • Forums : https://cse.google.com/cse?cx=002396771074467716933:gkp6fzl_dv0

Shodan

Shodan 是目前最为知名的黑客搜索引擎，它是由计算机程序员约翰·马瑟利（John Matherly）于2009年推出的，他在2003年就提出了搜索与 Internet 链接的设备的想法。发展至今已经变成搜索资源最全，搜索性能最强的网络资产搜索引擎。简述下 shodan 的工作原理：通过其强大的爬虫能力每隔一定时间扫描全互联网设备并抓取相应的 banner 信息建立索引，通过这些巨大的数据，你基本可以找到任何你想象得到的连接到互联网的东西。

官网

  • https://www.shodan.io

  • https://beta.shodan.io/ - 和正式版数据量差别较大

搜索结果略不满意,会员实际较为鸡肋

无论付费用户还是免费用户，都可以使用shodan的搜索功能，只不过付费用户可以获得更多的搜索结果和导出、监控等更多高级功能。

手册

相关文章

搜索语法合集

语法

  • https://www.shodan.io/search/filters

例子

外部工具/脚本

其他功能

  • ICS Radar - ICS Radar 是 Shodan 的工业控制系统（ICS）设备的 3D 地图。

  • Honeypot score - 这个服务叫 Honeypot or not?，这个服务会把 Honeyscore 归属到一个 IP 地址上，也就是成为蜜罐的可能性。

  • Shodan 2000 - Sodan 2000 是一个类似 Tron 的界面，可以随机显示一个主机。

icon 图标搜索

BinaryEdge

BinaryEdge 是一家来自瑞士的公司提供的资产搜索引擎，其为企业提供网络安全，工程和数据科学解决方案的评估。它利用机器学习技术收集有关基础设施的信息，并将收集的数据与从提要中获得的数据相关联。功能包括通过将发现结果与安全工具结合后从联网设备和运行于它们的服务中提取数据来提供通知，警报和报告功能。

官网

  • https://www.binaryedge.io/

语法

  • https://docs.binaryedge.io/search/

例子

Censys

Censys 搜索引擎能够扫描整个互联网，Censys 每天都会扫描 IPv4 地址空间，以搜索所有联网设备并收集相关的信息，并返回一份有关资源（如设备、网站和证书）配置和部署信息的总体报告。

官网

  • https://www.censys.io

例子

同类搜索引擎

Zoomeye

ZoomEye 是北京知道创宇公司发布的网络空间侦测引擎，积累了丰富的网络扫描与组件识别经验。在此网络空间侦测引擎的基础上，结合“知道创宇”漏洞发现检测技术和大数据情报分析能力，研制出网络空间雷达系统，为政府、企事业及军工单位客户建设全球网络空间测绘提供技术支持及产品支撑。

官网

  • https://www.zoomeye.org/

相关工具

语法

例子

ZoomEye工控专题

  • https://www.zoomeye.org/topic?id=ics_project

FoFa

FOFA 是白帽汇推出的一款网络空间搜索引擎，它通过进行网络空间测绘，能够帮助研究人员或者企业迅速进行网络资产匹配，例如进行漏洞影响范围分析、应用分布统计、应用流行度排名统计等。

官网

  • https://fofa.so

相关文章

相关工具

语法

例子

Dnsdb

这是一个搜索全网络所有 DNS 服务器的搜索引擎。

官网

  • https://www.dnsdb.io/

语法

例子

查询 google.com 的所有 A 记录: google.com type:a

知风

“知风”提出了一种互联网联网工控资产自动化分析方式，基于分析结果将可真正帮助用户了解目前接入互联网的工控资产是何企业所属，接入时间，系统名称等。利用“知风”积累的企业和系统数据，您使用“知风”时只需输入企业简称或系统简称，即可了解目标系统企业和系统是否有工控资产联网情况，借助“知风”您也可以了解您的企业、系统是否存在遭受互联网攻击的可能。

官网

  • https://zhifeng.io/monitor

ONYPHE

很像Shodan，但除了扫描之外，它还可以从被动DNS查询、威胁列表查询和粘贴网站查询中抓取数据。不过免费版比起Shodan来说，它的局限性更大。

官网

  • https://www.onyphe.io/

GreyNoise

类似 shodan

官网

  • https://viz.greynoise.io/

Thingful

仅针对物联网的搜索引擎

官网

  • https://www.thingful.net/

LeakIX

针对信息泄露的搜索引擎

官网

  • https://leakix.net/

spyse

  • https://spyse.com/

quake

  • https://quake.360.cn/quake/#/index

相关文章

netlas

  • https://app.netlas.io/

HUNTER

  • https://hunter.qianxin.com/

零零信安

  • https://0.zone/

Previous端口安全Next信息收集