知远战略与防务研究所/三十年后 译
自：兰德公司
[知远导读]美国情报机构使用开源情报已经超过50年，但是对开源情报的定义仍存在争论。本报告全面考察了开源情报作为一门情报学科，在信息获取、处理、利用和分析上的方法，并给出了开源情报的定义，对开源情报的发展阶段进行了划分。此文关注针对开源情报的分析方法，尤其是如何利用社交媒体领域的数据，并讨论了开源情报面临的一些新兴挑战和机遇，旨在帮助相关从业人员更加充分地利用开源情报的价值。
本文节选自兰德公司新近发布的报告Defining second generation open source intelligence (OSINT) for the defense enterprise，报告完整译文约3万字，如需参阅全文请登录http://www.knowfar.org.cn/了解。
尽管美国情报机构使用开源情报已经超过50年，但对开源情报的定义以及被分类为哪种情报学科仍有待讨论。在2011年美国国家情报总监办公室发布的一份文件中，开源情报被称为“从公开的信息中获取的情报，被收集、利用并及时传播给合适的受众，以满足特定的情报需求”。互联网和社交媒体的兴起使得开源情报的来源和获取方法变得更加复杂。开源情报的这种转变是如此的有意义，以至于本报告认为当前的开源情报应被称为第二代开源情报。本报告为第二代开源情报提供了一个定义，并讨论了它与第一代有何不同。报告将开源情报作为一个情报学科，并提供了第二代开源情报的子类型，然后将开源情报研究方法和运行周期专门分解到每个子类型中，在不同的情况下给出一些常见的差异，并通过新技术的改进提供相应的信息。报告接下来讨论了用于开源情报分析的工具和方法，特别是在社交媒体上的情报信息；定义了与词汇、社交网络和地理空间分析相关的术语。它还讨论了在美国情报机构中使用商用现成技术（commercial off-the-shelf，COTS）进行开源情报分析面临的一些挑战。最后给出了总体的结论，并讨论了与开源情报相关的新开发领域，以及它们可能给开源情报分析带来的机遇与挑战。
开源情报与其他情报学科（如间谍获取和被拦截通信而产生的情报）之间相互重叠的性质并不是唯一的，也不会削弱开源情报作为独立情报学科的地位。将开源情报细分出子类型是有益的，这主要取决于它是基于制度还是由个人驱动。这些子类型能够更好地描述开源情报的研究方法和运行周期，因为这一过程的需求和差异在子类型中相差很大。开源情报的运行周期包括收集、处理、开发和产品四个阶段。收集是获取开源信息，处理是采取手段验证信息，开发是确认信息的情报价值，而产品则把这个价值传达给情报机构的客户。
对开源情报的许多分析利用了商用现成技术，尤其是在分析社交媒体数据时。然而，商用现成技术通常是为了满足商业需求，而不是为情报机构设计的。媒体分析社会化仍然是一个新兴的快速发展的行业，技术本身和掌握它们的公司都在迅速变化。尽管当前商用现成技术的信息分析有助于情报机构了解它们的精确功能，但是这些信息很快就会过时。相反，专注于社交媒体分析中使用的方法则提供了一个框架来衡量新兴的技术工具。商用现成技术通常提供词汇分析、网络分析、地理空间分析或这些功能的组合。
由于理解动态开源情报的来源和分析方法（尤其是在社交媒体平台上）比较困难，开源情报的价值经常被低估。它还面临着新的挑战，包括如何保护人权，管理大量数据，并尽可能充分利用非政府机构的工具或实体。本报告进行关于收集技巧和获得、利用、分析开源情报方法的研究，旨在帮助情报从业者将整个情报界中各种开源信息收集的工作系统化，并更充分地利用开源情报的情报价值。研究开源情报和相关分析技术能力的发展趋势也将使情报机构能够运用这些资源和方法，更好地适应情报需求。
研究的目的
长期以来，开源信息的价值一直被认可。但随着互联网的普及和社交媒体、大数据分析的兴起，在过去的20年中，开源情报已经发生了革命性的变化。新的收集工作和开发活动为情报界和国防机构带来了宝贵的原始数据。对于一些曾经只能通过更危险和昂贵的传统情报收集平台获得情报的手段，开源的方法也有能力进行替换和补充。
尽管情报机构已经在开源情报领域涉足了超过50年，但是对开源情报的定义和它作为一个情报学科的特征仍然有待讨论。互联网和社交媒体的兴起使开源情报在来源和分析方法上更加复杂。个体正在以前所未有的方式提供信息，包括个人情感的在线表达，某个地方和事件的照片，以及公开的社会和专业网络。计算机协作能力和数据科学技术的提升允许保留和处理大量公开可用的数据。机器学习、计算机算法和自动推理进一步扩大了处理这些信息的能力，并对情报价值产生了影响。
这些新方法和系统也需要高水平的技术知识，以便收集和分析人员处理公开的信息。开源情报的历史业务主要是翻译，让所有的情报分析员都能接触到外国新闻。一旦一份原始的开源报告被翻译出来，分析人员通常可以把它整合到一款完美的情报产品中。开源情报的现代业务通常需要更广泛的收购、处理和开发信息，以生原始产出开源情报，然后将其集成到一个完整的情报产品中。此外，信息往往来自个人，这为情报机构保护人权隐私带来了新的复杂性。所有这些变化都使得开源情报变得更加强大，因为开源数据能够以多种形式出现。
鉴于公开资料的性质发生了变化，我们建议将当前时期称为第二代开源情报时期。研究人员认识到，在90年代个人电脑的兴起——也是开源情报产生的时期——产生了巨大的影响。如何利用新形式的社交媒体在被拒止的环境中提供实时情报？2009年的伊朗绿色革命等事件就是生动的例证。我们还建议将第二代开源情报的起点追溯到2005年，当年开源中心（Open Source Center）成立。在此期间，互联网也在发生变化，大量的在线内容转移到动态网页、用户生成内容和社交媒体上。这种过渡常常被描述为Web 2.0的出现，这一术语在2004年末的Web 2.0会议上流行起来。Facebook.com和YouTube.com于2005年推出，而Twitter成立于2006年初。
本报告提出了第二代开源情报的定义和进程。这些信息应该有助于情报工作者更好地理解开源情报的收集和分析方法，帮助开源情报组织的工作，并将开源从业者所使用的工作词典编纂成册。此报告还描述了一些快速变化的工具，用于分析在线资料，特别是社交媒体内容。
在进行这项研究时，我们回顾了关于开源情报实践的有关文献，分析了在现代开源信息资料来源的其他领域中情报机构所使用的定义。这一研究成果依据的是中央情报局网站上的解密材料，一份为情报专业人士出版的刊物——《情报研究》（Studies in Intelligence）中不涉密的文章，以及情报机构员工和学员使用的情报教材。考虑到保密问题，我们将自己的研究限制在公开可用的文献中，这只是情报机构提供的可用信息的一小部分，但有益于开源情报实践者和专家开展广泛的数据收集工作，对于这个主题进行更全面的研究更是大大有益。
改进的开源情报收集、处理、开发和分析方法，可以帮助情报人员通过情报机构评估开源信息，将开源情报集成到全源情报产品中，使各种开源收集工作系统化。人们对新兴的情报来源和分析方法，特别是在社交媒体平台上的信息有着不同的理解，所以常常被情报机构所利用。因为不确定应该如何评估信息的可信性和可靠性，以及出于保护个人身份信息和民众个人数据的目的，全源信息分析人员有时无法充分利用这些数据。由于情报专业人士经常被建议保持低调的社交媒体形象，因此分析人员可能还会因不熟悉社交媒体平台而感到更加犹豫。最后，将来源材料传输到情报机构的系统，使得利用一些开源材料仅仅是一个附加的步骤，这可能会减缓获取和分析的速度。相反，当一份全源材料可以提供一个更全面的情报图片时，一些高价值的社交媒体分析可能会使它成为一份独立的情报交付给客户。
之前关于开源情报定义的一些尝试已经集中在如何定义开源信息和公开可用信息，即来源材料上。因此，在不考虑使用分类方法和技术手段的情况下，应对收集到的原始信息进行定性分析。在第二章中，我们将开源情报作为一门情报学科进行了全面考察，包括获取、处理、利用和分析信息的方法。在第三章中，我们关注的是开源分析的方法，尤其是在社交媒体数据领域。最后，第四章简要讨论了开源情报面临的一些新兴挑战和机遇。
对于沉浸在开源情报世界的情报机构人员来说，这里展示的材料可能不是最新的。然而，我们的目标是提供信息和定义，使其他情报机构成员能够更好地理解他们专注于开源情报的同行的工作，以及它能为决策者提供情报支持的价值。我们希望这样的基础研究能有助于他们尝试将开源情报资料融入到情报产品中，并更加重视开源情报实践者所拥有的技术、技能。此外，还可以提高他们对开源信息潜在情报价值的认知。该报告也适用于那些希望对开源情报加深了解的人，包括如何使用它来提高情报产品质量，以及这一领域的专业人员所遇到的挑战和差距。
开源情报的历史及其与国防机构的关系
最早的开源情报研究始于一家以防御为导向的机构。1941年2月26日，美国建立了联邦广播监控处（Foreign Broadcast Monitoring Service，FBMS），以监测和分析轴心国的宣传计划。最初隶属于联邦通信委员会（唯一具有执行作战任务能力的组织），使用特别的国防拨款。
1942年7月26日，联邦广播监控处更名为联邦广播信息处（Federal Broadcast Information Service，FBIS），部分原因是它听起来更像是一个战争机构。联邦广播信息处在第二次世界大战结束时几乎被关闭，于1946年1月1日被战争部门接管。一年后，根据1947年的《国家安全法》，被移交给了中央情报局，当时它已经是一个“几乎成熟、训练有素、纪律严明的”组织。二十年后，中央情报局关于联邦广播信息处的官方历史描述称“它的基础组织和责任……基本操作和方法”没有大的改变。
从创建联邦广播信息处到20世纪90年代，情报组织内部的开源分析权限主要是监视和翻译来自于国外媒体的消息。第一代开源情报和今天第二代开源情报的历史特征有一些重要的区别。收集材料是第一代开源情报努力的重要方向。联邦广播信息处管理着20个分布在世界各地的机构，使其能够收集到用于研究的材料。大使馆还提供了一个收集材料的平台。除了外交官员外，国防部长还是公开的收集者。1964-1965年，在国防情报局的领导下巩固了这一体系。此时重点放在高优先级的材料上，减少了一些任务功能，但处理这种材料的要求主要是翻译；尽管如此，应该指出的是，联邦广播信息处自成立以来，一直具备一些分析功能——主要是趋势分析。
联邦广播信息处的工作为冷战期间的军队提供了关键的决策参考和建议，包括苏联从古巴撤走导弹的迹象，苏联从阿富汗撤军的预警，以及匈牙利和捷克斯洛伐克危机的背景。用于监测苏联解体的信息80%都是开源的。冷战的结束导致了大多数情报机构的预算削减，它给联邦广播信息处和开源任务带来了一场特殊的危机。与此同时，开源情报的数量急剧增加，联邦广播信息处正在迅速失去资源。1997年，作为中央情报局削减预算的一部分，联邦广播信息处面临解散的风险，但却被美国科学家联合会领导的一场公开运动所拯救。联邦广播信息处被当时的学者们描述为“美国情报界最大的一笔交易”。
情报机构的领导者们认识到21世纪的挑战和动态性将会带来更多的对开源情报的需求，而不是减少。联邦广播信息处副主任小奈尔斯·瑞德尔在1992年第一届开源情报国际研讨会上承认，由于个人计算、大容量数字存储、强大的搜索引擎和宽带通信网络的兴起，开源情报正出现变化。他相信所有这些因素都会导致信息商品化的指数级增长。在同一研讨会上，时任中央情报局副局长的威廉·斯图德曼将军呼吁“情报部门对开源管理、收集、处理和传播的方式进行革命性的改变”。
情报机构的领导人认为开源正在成为一个不灵便的情报学科。斯图德曼上将称其他的收集学科是“高度结构化的”，同时表示“开源并不是一个紧密集成的学科”，“开源的信息收集者、处理器和用户都是分散的群体，分布在广度和深度上”。情报机构不知道自己拥有和处理公开资源的能力，也没有办法分享开源信息。
这些问题在国防机构中尤为突出。2004年，国防部情报副部长办公室的一个工作组发布了开源政策以及原则、培训和管理方面的定义。此外，美国国防部的开源需求在情报机构中得到了充分的代表和资助。这些行为促使建立了国防开源委员会（Defense Open Source Council，DOSC）。经第3115.12号国防部指令明确，该委员会被任命为国防部主要开源情报机构。考虑到本报告所述的一些趋势和挑战，国防部的这一指示正在进行更新。
2005年11月1日，美国国家情报总监创建了开源中心（Open Source Center，OSC），并指定中央情报局为其执行代理，随后将其重新命名为“功能管理员”（functional manager）。在中央情报局的基础上，开源中心取代联邦广播信息处，给予了开源情报人员更大的许可——扩展到新闻监控和翻译之外。开源中心的成立，提出了对《情报改革与恐怖主义预防法案（2004年版）》修改的要求，特别呼吁建立一个专门致力于“收集、分析、生产和传播开源情报”的情报中心。国家情报总监负责确保开源情报和分析的有效性，并应用于情报机构。除了开源情报生产之外，开源中心的目标还包括对开源情报的开发与分析进行培训，研发新的研究工具和测试新技术等。
2015年10月，开源中心更名为开源机构（Open Source Enterprise，OSE），并入中央情报局新成立的数字创新局（Directorate for Digital Innovation，DDI）。将开源机构纳入一个专注于网络威胁和数字技术的单位，可以增强该机构对技术和分析工具的应用。然而,有人担心在支持整个情报机构时，它也可能妨碍组织的外在收集和分析行动。国家情报总监办公室进一步承认“开源收集任务通过情报机构广泛分布”,认为开源中心是一个主要的,但不是唯一的开源情报收集机构。
（平台编辑：黄潇潇）
联系客服
