新技术对传统学科的颠覆:系谱网使用大数据寻亲问祖

2024-02-11 17:40

本文主要是介绍新技术对传统学科的颠覆:系谱网使用大数据寻亲问祖,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

摘要:追本溯源似乎是人类的天性,由于互联网和大数据等技术的发展,系谱学取得了很多进展,寻找并图表描绘家族史已变成一种潮流。Ancestry是系谱学领域有名的企业,近日添加了将孤立的事件整合成完整档案的功能模块。

家谱网爱好者可能认为在Ancestry网上通过人口普查记录、出生证明和其他文件来寻找亲属的信息这件事很有趣。当向朋友和亲属来炫耀自己的个人记录时,就显得不那么有说服力了,而且讲述一个祖先的社会档案并不简单。

Ancestry.com服务幕后的人已经意识到了这一点。现在,他们正在最大限度的利用其4PB的数据库(包括官方的个人记录,用户提交的信息和其它有新特征的数据),为用户提供由计算机生成但是可编辑的祖先信息摘要。

Ancestry网推出的这项服务名为Story View,本季度早些时候只针对一小部分客户,现在10%的客户都可以享受这一服务了。该公司的产品执行副总裁Eric Shoup在最近一次采访中表示,他们计划在正式发布Story View功能前,将对比Stroy View功能使用前后的情况,以进一步完善Story View。通过允许用户围绕一个单页的文档图像以及编辑文件中的文本部分,Ancestry已经增强了这项功能的互动性。

它是如何工作的

Story View功能基于一个比较成熟的工具,该工具可以对亲属数据包括一些手写的记录进行数据挖掘。但是有时只有关键字段,如姓名和居住地。客户可以访问手写记录,定位到一个亲属被描述的位置,查看未被处理的数据,比如那个人的职业。

通过逐步指导"keyers"解析手写记录,并将记录转换为可搜索的文本,Ancestry正在试图通过手写记录获取更多信息。街道地址已经通过这种方式添加进去,其它的字段以后也会添加。同时,由于Ancestry在不断扩充其资料库,社会档案也会有更多的来源。

 

为了从多个文档中提取信息生成一个段落总结,Ancestry求助于Narrative Science,该公司成立于2010年,专注于使用机器生成可读的拷贝(传说中会让我们小编都失业的技术)。早期应用于体育赛事的报道和上市公司的收益报告,现在Narrative Science技术被更多的用于个人信息处理。

Ancestry叙事(narrative)和内容(context)服务团队的首席开发人员Reed McGrew说,当Ancestry第一次采用Narrative Science技术时,只能分批地产生数据。它们会生成大量的财务报告,这并不是我们试图提供的,因为这种批处理确实很慢。

几个月内,Narrative Science开发了一个新的API,这个API可以在更精细的水平上工作。McGrew说:“它们基于单个用户生成社会档案”。

Ancestry精于处理家谱信息,该公司的编辑提供编辑的标准,或“规则”,规定了narratives收发数据的格式。McGrew解释了Ancestry标准:“比如遇到孩子只比母亲小10岁的记录,这更像是输入错误,虽然现实情况中也会发生,但多数情况下不会,所以我们会把这条记录当成错误的来处理”。

包含Shoup某个亲属信息的记录

在Story View中,一个祖先的图片和生活摘要下面是一个缩放的文档图片,而不是结构化文本的离散字段。图片的旁边,Ancestry会提供从文档信息中生成的导语。一旦Ancestry发现所有的记录都和一个人有关,就会根据Ancestry的编辑规则选择出特定的事实组装成完整的句子。一旦基于文档的导语显示在浏览器中,用户就可以在共享前编辑和保存它们。

很难共享

Ancestry的CIO Scott Sorenson说,我们面临的挑战并不在于创建和存储用户的新数据和网页。存储会变得越来越便宜,精确的手写记录处理也不是问题。通常keyers都在中国找,中国的字符集比我们的字母表要大很多,他们很擅长键入这些记录。

真正困难的部分是确保服务的高可用性,数以百万的用户提供正确的文档和文本,并确保网站流量高峰时不致崩溃,但是Story View的目标之一是让更多的人浏览网站内容并最终注册。

www.itbole.net

转载于:https://www.cnblogs.com/itbole/archive/2013/05/29/3105742.html

这篇关于新技术对传统学科的颠覆:系谱网使用大数据寻亲问祖的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/700418

相关文章

Java中注解与元数据示例详解

《Java中注解与元数据示例详解》Java注解和元数据是编程中重要的概念,用于描述程序元素的属性和用途,:本文主要介绍Java中注解与元数据的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参... 目录一、引言二、元数据的概念2.1 定义2.2 作用三、Java 注解的基础3.1 注解的定义3.2 内

将sqlserver数据迁移到mysql的详细步骤记录

《将sqlserver数据迁移到mysql的详细步骤记录》:本文主要介绍将SQLServer数据迁移到MySQL的步骤,包括导出数据、转换数据格式和导入数据,通过示例和工具说明,帮助大家顺利完成... 目录前言一、导出SQL Server 数据二、转换数据格式为mysql兼容格式三、导入数据到MySQL数据

Java中使用Java Mail实现邮件服务功能示例

《Java中使用JavaMail实现邮件服务功能示例》:本文主要介绍Java中使用JavaMail实现邮件服务功能的相关资料,文章还提供了一个发送邮件的示例代码,包括创建参数类、邮件类和执行结... 目录前言一、历史背景二编程、pom依赖三、API说明(一)Session (会话)(二)Message编程客

C++中使用vector存储并遍历数据的基本步骤

《C++中使用vector存储并遍历数据的基本步骤》C++标准模板库(STL)提供了多种容器类型,包括顺序容器、关联容器、无序关联容器和容器适配器,每种容器都有其特定的用途和特性,:本文主要介绍C... 目录(1)容器及简要描述‌php顺序容器‌‌关联容器‌‌无序关联容器‌(基于哈希表):‌容器适配器‌:(

C#提取PDF表单数据的实现流程

《C#提取PDF表单数据的实现流程》PDF表单是一种常见的数据收集工具,广泛应用于调查问卷、业务合同等场景,凭借出色的跨平台兼容性和标准化特点,PDF表单在各行各业中得到了广泛应用,本文将探讨如何使用... 目录引言使用工具C# 提取多个PDF表单域的数据C# 提取特定PDF表单域的数据引言PDF表单是一

使用Python实现高效的端口扫描器

《使用Python实现高效的端口扫描器》在网络安全领域,端口扫描是一项基本而重要的技能,通过端口扫描,可以发现目标主机上开放的服务和端口,这对于安全评估、渗透测试等有着不可忽视的作用,本文将介绍如何使... 目录1. 端口扫描的基本原理2. 使用python实现端口扫描2.1 安装必要的库2.2 编写端口扫

使用Python实现操作mongodb详解

《使用Python实现操作mongodb详解》这篇文章主要为大家详细介绍了使用Python实现操作mongodb的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、示例二、常用指令三、遇到的问题一、示例from pymongo import MongoClientf

SQL Server使用SELECT INTO实现表备份的代码示例

《SQLServer使用SELECTINTO实现表备份的代码示例》在数据库管理过程中,有时我们需要对表进行备份,以防数据丢失或修改错误,在SQLServer中,可以使用SELECTINT... 在数据库管理过程中,有时我们需要对表进行备份,以防数据丢失或修改错误。在 SQL Server 中,可以使用 SE

使用Python合并 Excel单元格指定行列或单元格范围

《使用Python合并Excel单元格指定行列或单元格范围》合并Excel单元格是Excel数据处理和表格设计中的一项常用操作,本文将介绍如何通过Python合并Excel中的指定行列或单... 目录python Excel库安装Python合并Excel 中的指定行Python合并Excel 中的指定列P

浅析Rust多线程中如何安全的使用变量

《浅析Rust多线程中如何安全的使用变量》这篇文章主要为大家详细介绍了Rust如何在线程的闭包中安全的使用变量,包括共享变量和修改变量,文中的示例代码讲解详细,有需要的小伙伴可以参考下... 目录1. 向线程传递变量2. 多线程共享变量引用3. 多线程中修改变量4. 总结在Rust语言中,一个既引人入胜又可