五角大楼泄漏的互联网监视档案

栏目:财经 关注度:14 时间:2017-11-20 14:43:45

在过去的8年中,三大桶之一的数据包含至少18亿次网络内容被窃取的内​​容,其中包括从新闻网站,评论栏目,网络论坛和Facebook等社交媒体网站获取的内容,语言和源自世界各地的国家。其中有许多显然是良性的公共互联网和社交媒体的美国人的职位,收集在明显的五角大楼情报收集行动,引发严重的隐私和公民自由问题。

 UpGuard网络风险小组现在可以透露三个可公开下载的基于云的存储服务器暴露了明显的国防部情报收集操作中收集的大量数据。这些资料库似乎包含数十亿公共网络帖子和新闻评论,这些资料是由美国中央司令部和太平洋司令部这两个来自美国等许多国家的许多人撰写的,两个五角大楼统一的作战司令部负责美国在中东的军事行动东亚,南太平洋。

 
据估计,在过去的8年中,三大桶之一的数据包含至少18亿次网络内容被窃取的内​​容,其中包括从新闻网站,评论栏目,网络论坛和Facebook等社交媒体网站获取的内容,语言和源自世界各地的国家。其中有许多显然是良性的公共互联网和社交媒体的美国人的职位,收集在明显的五角大楼情报收集行动,引发严重的隐私和公民自由问题。
 
对这些数据进行粗略的检查发现,一些被盗取的数据与美国的地区安全问题(如伊拉克和巴基斯坦的政治立场)之间存在松散的相关性,广大被占领的全球职位显然是良性的,以及起源其中许多来自美国国内,对五角大楼对美国公民的监视范围和合法性提出严重关切。另外,还不清楚数据为什么和为什么是积累的原因,表明大多数捕获的职位来自世界各地的守法平民的压倒性的可能性。
 
有证据表明,用于创建这些数据存储的软件是由一家名为VendorX的明显停止运营的私营部门政府承包商建立和运营的,这一漏洞是第三方供应商风险有多大破坏性,五角大楼的最高层。中央司令部和太平洋司令部的CSTAR网络风险评分较差 - 分别为542和409,最高为950,这进一步表明,即使是最敏感的情报机构也无法抵御可观的网络风险。最后,在几个不安全的数据仓库中收集数十亿的互联网帖子,进一步提出了关于在线隐私的问题,以及关于在线自由表达信仰的权利。
 
发现
2017年9月6日,UpGuard网络风险研究总监Chris Vickery发现了三个亚马逊网络服务S3云存储桶,允许任何AWS全球认证用户浏览和下载内容; 这类AWS账户可以免费注册。AWS的子域名 - “centcom-backup”,“centcom-archive”和“pacom-archive” - 可以即时显示数据存储库的重要性。中央司令部是指位于佛罗里达州坦帕的美国中央司令部,负责美国从东非到中亚的军事行动,包括伊拉克和阿富汗战争。太平洋司令部是美国太平洋司令部总部位于美国夏威夷的艾埃亚,覆盖东亚,南亚,东南亚以及澳大利亚和太平洋地区。
 
 
这些数据存储的出处还有更多的线索。“centcom-backup”存储区中的“设置”表表示该软件是由VendorX公司的员工操作的,其中列出了许多有权访问的开发人员的详细信息。尽管关于这家公司的公开信息很少,但互联网搜索揭示了多名为VendorX工作的人员描述了为中央司令部和国防部工作的前哨岗位:
 
VendorX在Outpost上的工作描述,通过员工LinkedIn页面。
 
VendorX建立的五角大楼社会工程努力的“Outpost”外部引用似乎被“centcom-backup”的内容所证实,除此之外,“Settings”表中对VendorX的引用还包含一个名为“前哨“。在这个文件夹中是Outpost的开发配置和API,虽然这个内容与在前雇员档案中描述的”前哨“计划的确切关系仍然不清楚,但其目的的某些指示可以由一些非常大的压缩文件也在桶内。解压缩后,这些文件被显示为包含Lucene索引,这是一种搜索引擎,用于在大量数据(包括关键字,部分字词和单词组合)中以多种不同的语言轻松查找搜索字词。这些Lucene索引,
 
总而言之,这种不同的数据收集似乎构成了大量收集互联网帖子的摄取引擎 - 将大量数据组织成可搜索的形式。前雇员提到“世界不稳定地区的高风险青年”,进一步通过检查“centcom备份”中的另一个文件夹来证实。
 
 
 
这个名为“scraped”的文件夹包含了大量的XML文件,这些文件包括从2009年到2015年从公共互联网“刮”的互联网内容; 另一个中央司令部的“档案”将包含更多这样的数据,从2009年到今天收集。通过描述帖子的来源,性质,内容和网址的许多信息字段,以明文形式列出了成千上万个这样的内容的例子,这是另外两个桶中所包含的大量存储这种数据的较小例子。
 
 
也包含在“被刮”的文件夹中,标题为“珊瑚”,可能是指美国陆军的“珊瑚礁”情报软件。这个文件夹包含一个名为“INGEST”的目录,其中包含所有在“centcom-backup”桶中被抓取的帖子。作为分布式通用地面系统(DCGS-A)智能套件的组成部分,珊瑚礁计划“允许智能用户更好地理解感兴趣的人之间的关系”,“陆军主要的数据发布系统,信息处理系统,以及向威胁,天气和地形情报,监视和侦察信息的所有组成部分和梯队传播”的计划。从“centcom-archive”开始,在其他两个桶中收集关于“感兴趣的人”的情报的重点将更为明确。
 
 
桶“centcom-archive”包含了更多的以“centcom-backup”存储的相同的XML文本文件格式存储的互联网帖子,只是规模更大:保守地说,至少有18亿个这样的帖子存储在这里。这个庞大的存储库从各种网页中获取内容; 虽然Facebook是一个流行的,反复的主机,从足球讨论组到视频游戏论坛的所有东西都是垃圾网站的来源。这些职位本身有许多不同的语言,但重点是阿拉伯语,波斯语(在伊朗和阿富汗使用)以及在阿富汗和巴基斯坦使用的一些中亚和南亚方言。最近索引的文件是在2017年8月创建的,就在UpGuard发现之前,由2017年2月收集的帖子组成。不存在的是在​​“centcom-backup”中看到的任何Lucene索引文件 - 这个桶的内容纯粹是网络冲刷机器的输入(或者也可能是输出)。关于这些职位的重要程度几乎没有迹象。
 
考虑到CENTCOM的数据中心把重点放在收集和组织数以百万计的互联网帖子上,主要是来自中东和南亚 - 当然这也是像珊瑚礁这样的程序所关注的焦点 - 也许不足为奇的是,为什么有些这些职位将是重要的。阿拉伯人的帖子批评或嘲讽伊斯兰国,在Facebook页面张贴伊拉克反对圣战组织,或在巴基斯坦政治家伊姆兰汗的官方Facebook页面上提出的普什图语言评论,谁已经从塔利班和美国政府审查,给予一些迹象可能是中央司令部在起诉地区性战争和反对伊斯兰极端主义分子时可能感兴趣的内容。
样本帖子的屏幕快照,信息字段可见。
 
“pacom-archive”这个桶与“centcom-archive”的内容和结构非常相似,但是东南亚和东亚的帖子以及澳大利亚人的帖子都是倾斜的。总之,桶“中央司令部存档”和“太平洋司令部归档”似乎原料摄入(甚至可能是原始存储排遗)互联网内容大规模,也许是通过文本提取程序运行。这个数据与在“centcom-backup”中发现的可搜索的Lucene索引的关系仍不清楚。但是,这些数据表明,“珊瑚”社交媒体和评论挖掘项目,一个被称为“雷神”的摄取引擎,以及一个被称为“前哨”的公共影响倡议之间有着良好的相互作用。
 
意义
尽管大众收集的目的似乎很明确,但是用于建立这些数据存储库的收集方法仍然有些模糊,这反映了美国已知的防范互联网暴力激进主义行为的努力。比如,为什么收集这些帖子?是什么触发了他们纳入这些知识库?
 
规模庞大,难以确切地说明在过去十年中如何或为何收集这些特定职位。鉴于这些数据存储的规模巨大,粗略的搜索揭示了一些外国来源的帖子,或者看起来完全是温和的,与美国情报机构关注的领域或者源自美国公民的领域,包括广阔的Facebook和Twitter帖子的数量,一些陈述的政治观点。所收集的详细信息包括目标职位的网址,以及作者的其他背景资料,这些详细资料可以进一步确认其来自美国公民的来源。
 
 
目前还不清楚收集这些数据的依据。
 
更加清楚的是这些数据库的内容的重要性。国防部不明原因在大型数据库中收集公众网络帖子是一回事,为保护他们而缺乏谨慎是另一回事。CENTCOM和PACOM CSTAR网络风险评分分别为542和409,这表明两个主要军事组织的数字防御系统存在差距。这个数据可能被滥用或利用,或许是因为受到国内暴力打击的外国互联网用户的影响,这是一个令人不安的可能性,美国公民的互联网内容与美国军事情报行动有关。“Posse Comitatus法案”将军队从“被用作执法的工具,除非在国会明确授权的情况下,出现明显的国家紧急情况,“但近年来,这种分离已经被侵蚀。
 
尽管如此,网络风险驱动整个景观的不安全也出现在这里。一个简单的权限设置更改将意味着这些数据存储库之间的差异被显示给更广泛的互联网,或保持安全。如果政府或委托信息的第三方供应商无法保证高度敏感的重要信息,其后果不仅会影响负责任的政府组织和承包商,而且会影响任何信息或互联网职位的人通过这个程序,可能会导致不公平的偏见或对该创建者的无理行为。
相关文章
头条推荐
最新资讯