【情报心路】数据源的搜索渠道和搜索技巧

2023-11-06 13:20

本文主要是介绍【情报心路】数据源的搜索渠道和搜索技巧,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

图片

图源:摄图网可商用图片

我们在往期分享了很多类型的数据源,但是很多小伙伴都会问,这些数据源是从哪些渠道搜集到的,该如何去搜索和积累数据源?特别是一些正在为写论文发愁的毕业党们,不知道论文数据从何找起。接下来,小福妹就掏出一生所学的家底儿(夸张了哈,小福妹的干货还多着呢,以后慢慢跟你们分享)。

图片

有些小伙伴在查找某种类型的数据源的时候,只会在搜索引擎的搜索框中输入某个关键词甚至是一段很长的句子,但是这种方式搜索出来的结果还是很局限的,那么,我们情报分析师在平时的调查中是如何既迅速又精准地找到我们想要的数据源呢?看小福妹来教你几招:

图片

数据源从哪找?

首先,数据源主要分为两大类即官方数据源和非官方数据源(在调查中我们一般倾向于使用官方数据源),官方数据源主要来自各国家政府部门官网,如国内的诉讼司法数据就来自裁判文书网,国内的数据源我们都分享了很多,今天我们主要讲数据源的搜集方法。非官方数据源则主要来自一些第三方机构,此外还有非营利组织的数据,或者是由一些记者或者新闻机构建立的“民间数据库”等。

其次,数据源还可以根据其适用范围分类,比如经济类数据、环境类数据、某公司相关的数据等。我们就需要通过在搜索引擎设置关键词进行搜索。此外,还有一些学术期刊的网站也能找到某些领域的大量数据。后面,小福妹会陆续为大家放送各种不同类型的数据库资源,一定要持续关注我们的公众号哦!

数据源的积累和保存方法可以点下方链接,看小福妹给大家介绍的OSINT数据库的创建方法。

【情报心路】创建自己的 OSINT 数据库

2021-11-16

图片

图片

如何准确搜索?

我们在搜索引擎进行搜索的时候,都知道把关键词加上引号以精确搜索,但是这种搜索方法看似是更加精确,其实会出现结果范围缩小。我们可以在我们要调查的两个关键词对象之间加上“AROUND”,然后添加模糊词数,即可扩大搜索范围,从而避免出现漏网之鱼。

开源调查专家范埃斯(Henk van Ess)曾提出一种“可视化思维”的搜索技巧,即灵活运用谷歌内置的一些搜索术语,结合反图像搜索以及可视化思维,便可以加快调查进展,提高工作效率。他认为虽然大部分都精通于概念思维,但是当我们试图讲一次搜索分解到最基本要素时,可视化思维往往能取得更好的效果。

其实,范埃斯提出的分解基本要素与我们情报分析师工作流程中分解任务这一环节不谋而合。当我们面对一个庞大的调查主题时,我们可以尝试将它分解成若干个小的对象,这个时候就会更容易开始调查。

除了选对关键词来找到你想要的东西以外,范埃斯表示,可视化思维方法包括确定你想要的东西,排除你已经知道的东西,并使用最合理的方法找到你需要的数据

其实,范埃斯提到的“可视化思维”应用到我们的调查当中就是要大胆猜测,小心验证,即在调查开始之前根据现拥有的数据去大胆猜测可能存在的证据,然后进行小心验证环节,最后得出合理的结果;如果猜测出现错误,即不断循环调查流程,不断循环往复,考验的是分析师的耐心和细心程度。

关于如何可视化搜索,他还给出以下建议:

 1 将“对象+动作”作为关键词进行搜索

一般来说,如果我们在搜索引擎中直接输入关键词“采访”,可能出现很多采访相关的内容,但是过于庞杂的信息会掩盖我们真正想要的东西。比如,我们想要找一个名为 Anna Kog 的受访人采访,想象一下在采访中可能会出现的词语,一定会有人名还有“说”这个动作。此时,我们通过“人物对象+动作”作为关键词进行搜索,在采访中我们就可以用 ”Kog says “作为关键词搜索。

 2 将关键词“细节化”以缩小搜索范围

例如,在搜索某张特定的地图之前,我们需要先思考一下一般地图上通常会用到的常用术语。你会发现“地图(map)”这个词过于笼统,但是如果我们搜索跟地图相关的一些元素,比如“比例尺(scale)”,再加上一些其他细节关键词来进一步缩小搜索范围,就可以快速准确地达到我们想要的搜索结果。

 3 用“关键词*”“-排除内容”搜索

范埃斯在一次交流会上向在场的人提出一个问题,让他们当场利用网络检索找出除了众所周知的美国学者 Francis Boyle 外,另外 4 位声称新冠病毒是生物武器的科学家的名字。

大约有一半的与会者在谷歌上进行搜索时,使用的关键词都类似于“声称新冠病毒是生物武器的科学家”,但没有人能够基于这样的搜索词成功找到另外4名科学家。

范埃斯解释说,提出这种说法的科学家不太可能在他们的原帖中使用“科学家”或“说法”等字眼。相反,他建议用 Dr. * *来搜索科学家——其中的星号*为通配符,允许 Google 呈现该位置上为任意名字的结果——并用减号过滤掉那些关于 Francis Boyle 的结果:-boyle。

 4 使用搜索运算符来寻找两者间的联系

操作符(Operators)是指某些可以对在线文本搜索进行精确与优化的特殊的字符和指令。我们可以试试使用运算符,大写的 AROUND,然后在后面添加一个括号,括号中填写你试图联系的两个目标在文本之间的大致字符数。

我们可以根据其他语言中的平均句子和标题的长度进行调整,但一定要确保 AROUND 和括号之间不留空格。范埃斯用以下搜索指令找到了另外四位科学家:“Dr. * *” AROUND(7) “coronavirus is a bioweapon” -boyle。

 5 利用“图片+site国家标识符”寻找目标人物

选取你要调查的对象的资料照片,点击 Google 搜索框的相机图标后,上传到 Google Images 中。在 JPEG 图片 旁边的搜索框中用国家标识符代替人名。

例如,如果是伊朗,则使用 site:ir 的指令代码。范埃斯表示,你甚至不需要知道如何用外语(例如波斯语)拼写他们的名字,就可以在网络上找到伊朗媒体发布的关于他的文稿。

但你用来进行搜索的照片必须要非常简单——选择此人最常用的资料照片,例如其 Twitter 等社交媒体账号的头像,或是 Google 图片搜索出来的第一张照片。

图片

即使记者不知道一个人的名字在外语中是如何拼写的,范埃斯表示也可以在 Google 图片中搜索此人的照片,再结合其国家的标识符,便能帮你找到在以该种外语发表的文稿中此人名字的拼写方式。


 

 6 利用 Who Posted What? 

对于那些使用传统的反向图像搜索很难找到的图片,可以在 Instagram 中输入一个地名,以此抓取一个地理位置链接,并将其与目标日期一起粘贴到 Who Posted What? 中。你也可以据此确定发布照片的人,再通过 Google 搜索找到他们的 Twitter 账号,然后联系他们,再进一步询问图片的相关情况。

图片

当使用反向图片搜索难以找到想要的图时,可以试试在 Who Posted What? 中输入地理位置代码链接以及具体日期。这种方法不仅可以帮助你找到要找的照片,还可以找到图片来源的线索。

 7 以“-site:平台”为关键词寻找视频在其他平台发布情况

如果你只知道一则被疯狂转发的视频被发布在 YouTube 上,试着在 Google 中粘贴链接,并用减号指令将该平台从搜索结果中排除,如: -site:youtube.com。你也可以试着用同样的排除法来寻找被删除的 Instagram 账号图片:将已被删除的 Instagram 链接粘贴到 Google 中,但要加上指令:-site:Instagram.com你也许就会发现该链接已经被第三方网站复制并存档了。

 8 思考其他可视化线索

商标是可视化思维的一个很好的例子。如果你的调查目标是一家公司,而其官方网站提供的信息很少,但包含了公司的商标,你便可以据此在网上搜索该标志可能出现的其他地方。

例如企业网站上常设的客户商标列表,如此一来便可找到与其有业务往来的其他公司。你可以在 Google Images 中使用目标公司的商标进行正常的反向图像搜索,并将该公司的网站过滤在外,方法是在搜索框内使用 -site: 指令,再在后面输入该公司官网网址。

 9 当以上这些高级工具都不起作用时,可以尝试单纯的文字搜索

当我们试图寻找一个疑似恐怖分子在机场拍摄的图像时,无论 TinEye 还是 Yandex 这样强大的反向图像工具都无法找到。但一篇现场的文字报道提到了一条不同寻常的可视化线索——嫌疑人身后有一只黄色的大泰迪熊。

于是,其实我们只需在谷歌图片中输入“机场黄熊(airport yellow bear)”,就能找到这张图片。范埃斯提醒大家,如果想使用图片主体颜色作为关键词在 Google Image 中进行搜索,只有用英语拼出这些颜色术语时才有效,如“green’’或“blue’’等。

本篇文章为福韵原创内容,未经授权禁止转载

封面来源:摄图网可商用图片

END

这篇关于【情报心路】数据源的搜索渠道和搜索技巧的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/356868

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

hdu1240、hdu1253(三维搜索题)

1、从后往前输入,(x,y,z); 2、从下往上输入,(y , z, x); 3、从左往右输入,(z,x,y); hdu1240代码如下: #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#inc

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时,您应该注意以下几个关键点: 平衡精度 平衡精度是衡量平衡机性能的核心指标,直接影响到不平衡量的检测与校准的准确性,从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声,提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮,适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监

滚雪球学Java(87):Java事务处理:JDBC的ACID属性与实战技巧!真有两下子!

咦咦咦,各位小可爱,我是你们的好伙伴——bug菌,今天又来给大家普及Java SE啦,别躲起来啊,听我讲干货还不快点赞,赞多了我就有动力讲得更嗨啦!所以呀,养成先点赞后阅读的好习惯,别被干货淹没了哦~ 🏆本文收录于「滚雪球学Java」专栏,专业攻坚指数级提升,助你一臂之力,带你早日登顶🚀,欢迎大家关注&&收藏!持续更新中,up!up!up!! 环境说明:Windows 10

hdu 4517 floyd+记忆化搜索

题意: 有n(100)个景点,m(1000)条路,时间限制为t(300),起点s,终点e。 访问每个景点需要时间cost_i,每个景点的访问价值为value_i。 点与点之间行走需要花费的时间为g[ i ] [ j ] 。注意点间可能有多条边。 走到一个点时可以选择访问或者不访问,并且当前点的访问价值应该严格大于前一个访问的点。 现在求,从起点出发,到达终点,在时间限制内,能得到的最大

AI基础 L9 Local Search II 局部搜索

Local Beam search 对于当前的所有k个状态,生成它们的所有可能后继状态。 检查生成的后继状态中是否有任何状态是解决方案。 如果所有后继状态都不是解决方案,则从所有后继状态中选择k个最佳状态。 当达到预设的迭代次数或满足某个终止条件时,算法停止。 — Choose k successors randomly, biased towards good ones — Close

hdu4277搜索

给你n个有长度的线段,问如果用上所有的线段来拼1个三角形,最多能拼出多少种不同的? import java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;

小技巧绕过Sina Visitor System(新浪访客系统)

0x00 前言 一直以来,爬虫与反爬虫技术都时刻进行着博弈,而新浪微博作为一个数据大户更是在反爬虫上不遗余力。常规手段如验证码、封IP等等相信很多人都见识过…… 当然确实有需要的话可以通过新浪开放平台提供的API进行数据采集,但是普通开发者的权限比较低,限制也比较多。所以如果只是做一些简单的功能还是爬虫比较方便~ 应该是今年的早些时候,新浪引入了一个Sina Visitor Syst

浙大数据结构:04-树7 二叉搜索树的操作集

这道题答案都在PPT上,所以先学会再写的话并不难。 1、BinTree Insert( BinTree BST, ElementType X ) 递归实现,小就进左子树,大就进右子树。 为空就新建结点插入。 BinTree Insert( BinTree BST, ElementType X ){if(!BST){BST=(BinTree)malloc(sizeof(struct TNo