urlscan.io网站被发现泄露大量用户的敏感网址

urlscan.io的网站被发现泄露了大量用户的敏感网址。通过自动化工具，可以挖掘文档共享、密码重置、团队邀请等敏感环节。使用这种错误配置的安全协调、自动化和响应(SOAR)工具的用户有很高的风险，他们的帐户将通过手动触发的密码重置被劫持。

Github数据泄露

今年2月，GitHub向受影响的客户发送了一封电子邮件，告知他们数据泄露的情况。具体来说，通过Github页面启用私有存储库托管的用户的存储库名称及其用户名被泄露。

好像开发者还没有公开承认这个漏洞，我只是通过《黑客新闻》上的一则新闻了解到的。

GitHub从一名GitHuc员工的内部发现中得知，GitHubPages网站是从GitHub上的一个私有存储库发布的，并作为自动化过程的一部分发送到urlscan.io进行元数据分析。

GitHub回应称“修复了自动发送GitHub Pages网站进行元数据分析的过程，从而只发送公共GitHub Pages网站进行分析”，并要求第三方删除数据。

urlscan.io是什么？

Urlscan.io是一项免费的网站扫描和分析服务。当一个URL被提交到urlscan.io时，一个自动化的进程会像普通用户一样浏览到这个URL并记录这个页面导航所创建的活动。这包括联系的域和IP，从这些域请求的资源(JavaScript，CSS等。)，以及关于页面本身的其他信息。

Urlscan.io将自己描述为“网络沙箱”。您可以提交URL，然后以各种方式对其进行分析和扫描。主要用于检测钓鱼网站等恶意网站。urlscan.io除了分析通过网站提交的URL，还扫描公共数据源的URL，并提供API将check集成到其他产品中，导致GitHub对私有库URL的系统性数据泄露。

大量的数据扫描

在撰写本文时，登录页面列出了过去24小时内执行的120，000次公共扫描、70，000次私人扫描和430，000次私人扫描。它还包括一个“最近扫描”视图，这是一个典型的安全扫描网站。然而，更令人惊讶的是使用广泛的ElasticSearch查询字符串语法搜索所有历史数据(作为未经验证的用户)的选项。GitHub的通知邮件中也提到了这一点：

Urlscan.io在大约30秒内执行分析，或者使用将在搜索结果中返回分析的查询进行特殊搜索。

对于每个扫描结果，该服务将提供大量信息：

提交的URL(包括所有GET参数)；

有效的URL重定向时；

爬网/扫描URL时执行的任何HTTP请求；

它与之通信的IP和域的信息；

扫描过程中捕获的页面截图；

完成网站的HTML响应；

在urlscan和其他加载的资源上捕获的OAuth2重定向流。提交的URL还包含一个UUID，web应用程序可能不想公开它。

大量的集成

urlscan.io的文档页面列出了26种商业安全解决方案，由Palo Alto、Splunk、Rapid7、FireEye和ArcSight等供应商通过其API进行集成。GitHub在内部直接使用这个API作为其SaaS产品的一部分，但它没有出现在这个列表中，可能会有更多的企业客户。

Urlscan被集成到各种商业安全工具中。

如果这些工具/API用户不小心扫描了公共URL，这可能会导致系统数据的泄露。由于这些高级安全工具大多安装在大公司和政府机构中，因此泄露的信息可能特别敏感。

除了商业产品，集成页面还列出了22个开源项目，其中一些是信息收集工具，另一些是简单的库实现，以便于查询API。

哪些敏感数据会被泄露？

由于该API的集成类型(例如，通过一个安全工具扫描每一封收到的电子邮件并对所有链接执行urlscan)，以及数据库中的数据量，匿名用户可以搜索和检索各种敏感数据。

urlscan.io dorks

请在下面找到一组可点击的“urlscan.io dorks”和经过编辑的样本结果。请注意，在向urlscan.io报告我们的发现后，他们为下面的许多呆子添加了删除规则。

密码重置链接

Instagram密码重置确认页面，要求用户输入两次新密码

帐户创建链接

Zendesk上NBC新闻账号的初始密码设置页面

API密钥

包含有效的VirusTotal API密钥的链接。

Telegram Bot

电报API URL包含一个长的秘密标识符，可用于调用机器人上不同的API方法。

DocuSign签名请求

DocuSign签署请求通常包含带有敏感信息的合同文档。

共享的Google Drive文档

Dropbox文件传输

Sharepoint invite

由于SharePoint workspace与组织相关联，子域已经给出了邀请的目的。

Discord invite

该查询返回了来自7，000多个不同社区的Discord邀请码。

Government Zoom invite

比不和谐邀请更敏感的可能是变焦邀请，尤其是庭审。

WebEx会议记录

PayPal invoice

PayPal托管的发票显然包含有效发票所需的所有(个人)信息，任何知道其id的人都可以检索到这些信息。

Paypal money claim request

Paypal金钱索赔请求“仅”预先填写目标的电子邮件地址(连同金额和收件人)，泄露的信息比发票少一点。

包裹跟踪链接

您还可以找到各种邮政服务的包裹追踪链接。有意思的是，DHL似乎也意识到了跟踪码泄露的风险，会先询问收件人的邮政编码，然后再显示收件人的地址。注意：由于德国只有8000个邮政编码，并且可以通过包裹追踪了解整体区域，因此代码可能是可猜测的。

亚马逊礼品配送链接

亚马逊的礼物递送链接会透露送礼者的姓名和礼物。

退订链接

HIBP取消订阅链接，允许取消域的违规通知，该通知本身不会显示在页面上。

在PayPal退订页面上，用户的电子邮件地址被完整显示。一些其他服务至少部分编辑了退订页面上的电子邮件地址。

有趣的是，当我在2月份进行第一次搜索时，我可以找到许多有趣的苹果域名的URL:

允许您设定新密码的Apple Developer ID激活页面

一个Apple ID最终页面，允许设置密码，看起来像一个Gamestop帐户。

共享家庭邀请，允许您使用其他人购买的订阅，甚至访问家庭照片和设备位置。

仅邀请企业参加在线活动

当然，iCloud也可以创建公共共享链接，通过urlscan.io泄露

对于iCloud日历邀请，苹果似乎也创建了一个包含所有信息的链接。

与此同时，这些信息似乎已被隐藏或从数据库中删除：

搜索apple.com及其子域现在只返回两个结果。

但在持续监测上述结果页面时，有时会发现一些新的附加条目，10分钟左右这些条目又消失了。

后来我们发现苹果也要求将他们的域名排除在扫描结果之外，这是通过定期删除所有符合一定规则的扫描结果来实现的。

一般来说，urlscan.io服务包含各种类型的敏感信息，黑客、垃圾邮件发送者或攻击者可以利用这些信息来接管帐户、窃取身份或从事可信的网络钓鱼活动。

数据来自哪里？

我们可以从扫描结果的细节中看到扫描是否是通过API提交的，但是找不到是哪个应用或者集成提交了扫描请求。

为此，我们有两个选择：

联系受影响的用户。向泄露了电子邮件地址的用户发送电子邮件，告知他们泄露的信息，并询问可能是罪魁祸首的任何安全工具。

联系urlscan.io发送可疑自动提交的列表，并要求urlscan调查是否有任何集成意外地将扫描选项设置为public。

我们决定双管齐下，开始联系用户，同时收集扫描结果列表并发送到urlscan.io

联系用户

我们向电子邮件地址在API启动扫描中泄露的个人发送了23封电子邮件(15封来自退订链接，5封来自Pay Pal发票，2封来自密码重置链接，1封来自PayPal索赔)。

由发送的示例电子邮件在底部有一个指向相应urlscan结果页面的链接和一个测试链接。

在通知的末尾是一个具有唯一UUID的“诱饵链接”,它用于测试是否有任何URL将被自动提交给urlscan。如果是这样，唯一令牌将允许我们将扫描请求关联回邮件收件人。

在我们发送的23个测试链接中，有9个(约40%)是通过API提交给urlscan.io的(大部分是在相应邮件发出后立即发送的):

通知中包含的“私有”测试链接的公开结果(请注意，有些URL会被扫描多次)

如果不计算PayPal发票(它们实际上可能是欺诈活动的一部分)，成功率为50%。第二天，我们又向泄露的hubspot退订链接的邮箱发送了24封邮件，其中12封(另外50%)触发了公众扫描。

这些“pingback”向我们展示了一些东西：

假设存在配置错误的安全工具，那么将mail收到的任何链接提交给urlscan.io作为公共扫描似乎是正确的。

使用这些错误配置的安全工具的用户很可能会失去他们所有的在线帐户。

urlscan.io的发现，似乎不太严重(如退订链接的邮箱地址)，可能会产生关键影响。

对于我们发现多个电子邮件地址或系统泄漏的组织，我们也尝试直接联系IT/安全部门。

当没有答案或正确的举报联系方式时，我们也尝试通过Twitter联系。

遗憾的是，我们尚未收到对发送给受影响个人的数据泄露通知电子邮件的任何回复，也没有收到似乎存在系统问题的组织的任何反馈。

除了一个例外，在发送了一个人的工作合同的DocuSign链接后，他们的雇主联系了我们，开始了调查，并授予了漏洞奖金。他们发现泄漏的源头是“他们的安全协调、自动化和响应操作手册与urlscan.io集成的错误配置，该手册正在积极开发中”。

联系urlscan.io

由于受影响的用户没有太多反馈，我们也向urlscan.io解释了这种情况

如果集成开发人员遵循urlscan.io的文档，应该很容易识别扫描请求的源软件，即使用库/集成的自定义HTTP用户代理字符串，包括适用的软件版本。

因此，我们问他们是否有可能生成一个用户代理列表，这些用户代理触发了与我们联系的人相关的扫描，以及对我们自己的诱饵链接的扫描，以及他们是否愿意与我们共享该列表。

总的来说，urlscan.io团队非常积极，愿意调查并与我们合作，以改善目前的情况。

查看用户代理列表，发现很多API集成都没有遵循上述建议，一半以上的扫描都是由通用的“python requests/2”启动的。X.Y "用户代理。

用户代理可以轻松识别的两种解决方案是：

帕洛阿尔托的X Soar

泳道；

对用于启动“python-requests”用户代理扫描的API项的进一步研究表明，它们中的许多也是为PaloAlto中的XSOAR生成的。生成的其他目的是：

IBM Resilient(现“IBM Security Q Radar Soar”)；

Splunk Phantom(现为“Splunk-Soar”)；

翱翔；维度数据的；

那么，这些数据究竟是怎么出现在那里的呢？

SOAR平台允许组织使用安全工具和服务自定义编写和连接不同的数据源。为了简化开发，这些平台提供了与多个第三方服务的集成。例如，在通过这个XSOAR urlscan.io包安装这个包之后，playbook可以从传入的电子邮件中提取URL，并使用可选的参数命令，例如timeout和scanning visibility！URL URL=https://example . com using=' urlscan . io ' .

该扫描的可见性取决于：

1.作为命令的一部分提交的参数，

2.整合范围的配置；

3.关联urlscan.io的可见性设置账户/团队

因此，扫描可能会被错误地提交到公共域名：

1.urlscan.io出现编程错误或配置错误时的集成或帐户可见性设置，比如泄露员工工作合同的公司发生了什么；

2.如果集成本身有一个不尊重用户选择的可见性的漏洞，就像在PaloAlto XSOAR urlscan.iopack中发生的那样

参数[…]已被配置为public的默认值，该值将覆盖与可见性相关的所有其他设置。因此，对于没有为这个新引入的参数显式提供值的所有命令调用，所有扫描都在可见性public下执行。

响应

根据我们的发现，urlscan.io联系了他们认为提交了大量公共扫描的客户，并开始审查流行的第三方集成，如用于SOAR工具的集成，以确保他们在可见性方面尊重用户的意图。

此外，他们实施了以下变更：

添加了此处显示的愚蠢删除规则，以定期删除匹配搜索模式的扫描结果；

突出显示用户界面中的默认可见性设置；

增加了一个选项来设置团队中的最大可见性；

Urlscan.io还发表了一篇题为“扫描可见性的最佳实践”的博文，解释了扫描可见性设置，鼓励用户经常检查他们的提交内容，并详细介绍了Urlscan为防止此类泄露所做的努力。

如果敏感数据仍然被泄露，他们提供以下选项：

受影响的用户可以通过“报告”设置报告带有敏感数据的扫描结果，该设置会立即禁用；

希望将其域名或特定URL模式排除在扫描范围之外(或删除相应的现有结果)的公司可以联系urlscan.io；

发现系统泄露的安全研究人员也被要求联系urlscan.io；

账户接管

历史urlscan.io数据被动搜索发现了大量敏感信息，结合“主动检测”可以大大增加泄露风险。

正如我们之前看到的，大约50%的用户在urlscan中泄露了退订链接。io任何收到的电子邮件中的任何链接都将作为公共扫描立即提交给urlscan。

我们可以通过抓取urlscan.io来获取它们的电子邮件地址(例如，在退订页面中，甚至只是在URL本身中)，通过邮件向它们发送“诱饵链接”，然后检查urlscan.io链接，从而找到那些配置错误的客户端。

通过在各种网络服务(如社交媒体网站、其他邮件提供商或银行)中主动触发受影响邮件地址的密码重置，然后在urlscan数据库中检查相应域的最新扫描结果，我们可以通过这种行为接管这些用户的帐户。搜索其他数据泄露，例如使用HaveIBeenPropown查找这些电子邮件地址，也可能为用户注册的服务提供提示。

对于公司电子邮件地址、自定义登录门户和流行的企业SaaS，在上查找现有帐户并触发密码重置可能特别有趣。

而且，即使某个特定的服务还没有账号，只要用该公司的邮箱地址新建一个账号，就可以访问存储在那个服务上的公司内部数据。

下图说明了执行帐户接管攻击的所有必要步骤：

将被动搜索与错误配置的客户端的主动检测相结合并触发密码重置会大大增加任何单个urlscan.io的泄漏影响

安全建议

作为web服务的所有者，您可以确保您的密码重置和类似链接尽快过期，并且您不会通过可能是公共的链接向未经身份验证的用户透露不必要的信息。在取消订阅页面上，编辑用户的电子邮件地址，并在显示PII之前要求额外的身份验证/信息(就像许多包裹跟踪网站在显示完整地址之前要求邮政编码一样)。实现API认证时，不要通过GET参数接受API key，而需要单独的HTTP头。

此外，您还可以搜索urlscan.io以及其他服务的任何数据泄漏，关于您自己的web服务或组织，请求删除/排除的用户，例如禁用和逆转任何泄漏的API键。

urscan.io集成服务的用户/安全团队应检查他们的命令、集成和帐户可见性设置，使他们的集成保持最新，定期检查他们提交的扫描并查看urlscan.io博客帖子以了解更多信息。

总结

Urlscan.io通常有助于保护用户，但它也存储了用户的敏感信息，其中一些信息是公开的，可以被攻击者搜索到。

垃圾邮件发送者可以利用这些信息来收集电子邮件地址和其他个人信息。攻击者可能会利用它来接管帐户并进行可信的网络钓鱼活动。安全研究人员还可以使用它来发现隐藏的管理门户，获得立足点或发现潜在的攻击目标。

urlscan.io的网站被发现泄露了大量用户的敏感网址。通过自动化工具，可以挖掘文档共享、密码重置、团队邀请等敏感环节。

类似于谷歌工作或通过公共S3桶搜索，urlscan.io挖掘揭示了许多不公开的信息。不同的是，可以通过谷歌找到的信息或公共S3桶中的信息实际上已经公开，而URL提交给urlscan。用于公共扫描的Io可能包含身份验证令牌，并来自安全解决方案提交给个人的私人电子邮件。在这种情况下，引入额外的安全工具实际上会降低系统的安全性。

这些文档确实对提交的URL中的个人身份信息提出了警告，但仅建议将这些扫描标记为未列出：

1.请小心地从URL中删除PII或以“未列出”的形式提交这些扫描，例如，当URL中有电子邮件时

扫描至少“urlscan Pro平台上已审核的安全研究人员和安全公司”

邮件地址。

2.这些没有列出

血浆无机碘

你仍然可以看到它”。此外，此警告并没有解决返回页面而不是URL本身的风险。

3.定价和API配额也支持使用公开扫描，不能有效防止PII泄露。例如，简单搜索page.url:@gmail.com可以返回多达10，000个结果。