最近公司要求检查公司网站首页是否被挂了暗链，网上查了下对应脚本较少且，于是就写了一个关于获取网站的链接的脚本，随着要求的不断增加，再加上一些天马行空的想象，最后写了一款URL采集器

URL采集是一项重要的工作，它能帮我们快速的采集到符合需求的相关URL，但市面上大部分的URL采集软件的原理都是利用多个搜索引擎的接口，输入关键字，如：采集招聘网址URL，一般是输入求职/招聘等关键字，然后对每个接口进行最大化的采集网址，自定义黑名单URL，最后去重。
这意味着需要尽可能多的接口包括但不限于谷歌、百度等，然后传参对返回的页面提取网址基于黑名单过滤部分网址，最后迭代页数。
看上去没错，输入关键词获取相关的网址。但却隐藏着几个缺点：
1、采集网址都是被搜索引擎收录的，导致许多符合需求的URL无法采集到
2、过滤不细致，只靠去重+黑名单过滤，采集到的站点不能保证是需要的
3、采集URL每个人都可以用，关键词也差不多，导致最后采集的结果也差不多，这对于网安人员来说并不友好，因为这就意味着你好不容易找到一个漏洞站点可能已被许多人利用过

为了解决上诉缺点，我打算写一个URL深度采集脚本，前期构想的功能点：
1、提供两个入口，一个搜索引擎接口或导入采集好的网址
2、传入关键字爬取到符合需求网址再次自动进行友链爬行
3、导入的文本能先筛选掉不符合的站点，而后自定义是否进行友链爬取
4、用户可自定义URL黑白名单、URL网站标题黑白名单，URL网页内容黑白名单
简略流程图如下：
 

banner

方式一：正则过滤

方式二：bs4过滤

调用百度搜索接口对用户输入的关键字进行搜索并提取出前7页的url

脚本核心：用户通过自定义配置文件的内容筛选出想要的url

通过配置文件所写的函数

方式一：参数为url列表

方式二：接收参数改为单个url

第一版的整体逻辑虽然实现了，但效率太慢了，这一版改了整体逻辑
把接收参数改为单个url，用true/false判断传入url是否满足条件，而后实现并发

脚本测试了1w+站点，目前运行正常

• None不检测该关键词，只支持或逻辑，即符号|

• 不检测可用None，字段不可放空，否则脚本无法正常运行

• state只支持0/1，0关闭导入文本的友链爬行，1开启导入文本的友链爬行

• 关键字优先级：网址黑 > 网址白 > 标题黑 > 标题白 > 网页内容黑 > 网页内容白

演示：
注：爬取结束后结果以txt格式保存在当前目录下

1、通过搜索引擎进行爬取教育类站点

2、通过导入的文本先筛选出教育类站点，不进行友链爬取

3、通过导入的文本先筛选出教育类站点，再进行友链爬取

初入计算机行业的人或者大学计算机相关专业毕业生，很多因缺少实战经验，就业处处碰壁。下面我们来看两组数据：

• 2023届全国高校毕业生预计达到1158万人，就业形势严峻；
• 国家网络安全宣传周公布的数据显示，到2027年我国网络安全人员缺口将达327万。

一方面是每年应届毕业生就业形势严峻，一方面是网络安全人才百万缺口。

6月9日，麦可思研究2023年版就业蓝皮书（包括《2023年中国本科生就业报告》《2023年中国高职生就业报告》）正式发布。

2022届大学毕业生月收入较高的前10个专业

本科计算机类、高职自动化类专业月收入较高。2022届本科计算机类、高职自动化类专业月收入分别为6863元、5339元。其中，本科计算机类专业起薪与2021届基本持平，高职自动化类月收入增长明显，2022届反超铁道运输类专业（5295元）排在第一位。

具体看专业，2022届本科月收入较高的专业是信息安全（7579元）。对比2018届，电子科学与技术、自动化等与人工智能相关的本科专业表现不俗，较五年前起薪涨幅均达到了19%。数据科学与大数据技术虽是近年新增专业但表现亮眼，已跻身2022届本科毕业生毕业半年后月收入较高专业前三。五年前唯一进入本科高薪榜前10的人文社科类专业——法语已退出前10之列。

 “没有网络安全就没有国家安全”。当前，网络安全已被提升到国家战略的高度，成为影响国家安全、社会稳定至关重要的因素之一。 

1、就业薪资非常高，涨薪快 2021年猎聘网发布网络安全行业就业薪资行业最高人均33.77万！

 2、人才缺口大，就业机会多

2019年9月18日《中华人民共和国中央人民政府》官方网站发表：我国网络空间安全人才 需求140万人，而全国各大学校每年培养的人员不到1.5W人。猎聘网《2021年上半年网络安全报告》预测2027年网安人才需求300W，现在从事网络安全行业的从业人员只有10W人。

 行业发展空间大，岗位非常多

网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…

职业增值潜力大

网络安全专业具有很强的技术特性，尤其是掌握工作中的核心网络架构、安全技术，在职业发展上具有不可替代的竞争优势。

随着个人能力的不断提升，所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟，升值空间一路看涨，这也是为什么受大家欢迎的主要原因。

从某种程度来讲，在网络安全领域，跟医生职业一样，越老越吃香，因为技术愈加成熟，自然工作会受到重视，升职加薪则是水到渠成之事。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等，都是网络安全入门必知必会的学习内容。

 （都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要保存下方图片，微信扫码即可前往获取

3.技术文档和电子书

技术文档也是我自己整理的，包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点，电子书也有200多本，由于内容的敏感性，我就不一一展示了。 

4.工具包、面试题和源码

“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等，感兴趣的同学不容错过。 

 还有我视频里讲的案例源码和对应的工具包，需要的话也可以拿走。

因篇幅有限，仅展示部分资料，需要保存下方图片，微信扫码即可前往获取

 最后就是我这几年整理的网安方面的面试题，如果你是要找网安方面的工作，它们绝对能帮你大忙。

这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的，如果大家有好的题目或者好的见解欢迎分享。

参考解析：深信服官网、奇安信官网、Freebuf、csdn等

内容特点：条理清晰，含图像化表示更加易懂。

内容概要：包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…

 因篇幅有限，仅展示部分资料，需要保存下方图片，微信扫码即可前往获取