使用Go默写古诗词

2024-02-08 11:40
文章标签 go 使用 古诗词 默写

本文主要是介绍使用Go默写古诗词，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

“白日依山尽，___”。下句自然填黄河入海流，那么“日月忽其不淹兮，___，___，恐美人之迟暮”，中间两句怎么填呢？

最近工作中有个需求，就是1500道语文诗词填空题没有答案，现在需要给这些题目大爷们匹配它们对应的答案，好在题目信息都很完整，指出了诗词出处、作者信息。自然想到到网上爬取对应文章信息然后字符串匹配答案。目前做完，效果还可以，基本上所有题目的答案都有了，现把操作流程记录下，做个总结。

1. 文章信息获取

网上找了很久，目前发现百度汉语对古诗词收录的比较好，格式也比较规范，整个爬取过程还是比较简单，浏览器分析网站，找到它们的搜索接口：http://hanyu.baidu.com/hanyu/ajax/sugs只需要传一个参数：mainkey，是一个urlencode格式的字符串。接口会返回一个匹配列表，再用作者名称对这个列表做筛选，详细代码如下:

    baseUrl := "http://hanyu.baidu.com/hanyu/ajax/sugs?"client := &http.Client{}u, _ := url.Parse(baseUrl)q := u.Query()q.Set("mainkey", name)u.RawQuery = q.Encode()//添加Headerreq, _ := http.NewRequest("GET", u.String(), nil)req.Header.Add("User-Agent", `Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36`)req.Header.Add("DNT", "1")req.Header.Add("Host", "hanyu.baidu.com")req.Header.Add("Accept-Language", "zh-CN,zh;q=0.8")req.Header.Add("Referer", "http://hanyu.baidu.com/shici/detail?pid=be520db056da43238035dc18bb1e1798&tn=sug_click")resp, errDo := client.Do(req)

拿到返回值以后，筛选出对应的作者信息。

//如果有多个搜索结果，比对author是否正确respJson.ForEach(func(key, value gjson.Result) bool {//先看看有没有display_namedisplayName := value.Get("display_name.0").String()sid := value.Get("sid.0").String()if len(displayName) == 0 {//不是这条记录return true}//看看typetypeStr := value.Get("type.0").String()if typeStr == "poemline"{//取SourcedisplayName = value.Get("source_poem.0").String()sid = value.Get("source_poem_sid.0").String()}literatureAuthor := value.Get("literature_author.0").String()//author是否一致if literatureAuthor == author {searchResult.Sid = sidsearchResult.DisplayName = displayNamesearchResult.Author = literatureAuthorreturn false}return true // keep iterating})

SearchResult保存了搜索到的结果，根据sid拿到文章页面，解析出其中的文章。

func GetContent(sid string) (content string, err error) {baseUrl := "http://hanyu.baidu.com/shici/detail"result := make([]string, 0, 0)client := &http.Client{}u, _ := url.Parse(baseUrl)q := u.Query()q.Set("pid", sid)u.RawQuery = q.Encode()req, _ := http.NewRequest("GET", u.String(), nil)req.Header.Add("User-Agent", `Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36`)req.Header.Add("DNT", "1")req.Header.Add("Host", "hanyu.baidu.com")req.Header.Add("Accept-Language", "zh-CN,zh;q=0.8")req.Header.Add("Referer", "http://hanyu.baidu.com/shici/detail?pid=be520db056da43238035dc18bb1e1798&tn=sug_click")resp, errDo := client.Do(req)if errDo != nil || resp.StatusCode != 200 {err = errors.New("无法连接百度汉语 " + errDo.Error())return}docm, errDoc := goquery.NewDocumentFromResponse(resp)if errDoc != nil {err = errors.New("解析Doc错误 " + errDoc.Error())return}//诗词信息都保存在 body_p 的div中，可以通过PuerkitoBio/goquery库获取pSelect := docm.Find("#body_p")pSelect.Each(func(pos int, selection *goquery.Selection) {content := strings.TrimSpace(selection.Text())result = append(result, content)})content = strings.Join(result, "")return
}

目前会爬取百度汉语、古诗词两个网站的数据，如果有更好的数据源，只需要实现Spider接口，在MapSpiderManifest()方法中注册即可。

type Spider interface {GetContent(SearchResult) (string, error)FindContent(string, string) (SearchResult, error)
}func MapSpiderManifest() map[string]Spider {//初始化并且注册所有的SpiderspiderMap := make(map[string]Spider)//百度baiduSpider := new(BaiduSpider)spiderMap["baiduSpider"] = baiduSpider//古诗文网gushiwenSpider := new(GushiwenSpider)spiderMap["gushiwenSpider"] = gushiwenSpiderreturn spiderMap
}

2.诗词句子查找

古诗文默写，以前上学的时候做的多了，把一句话抠出来，随机选其中几段话让学生默写。一般可以归类为一下几种模式:

  1. 开头留空 :_，[_，…],何人不起故园情。
  2. 末尾留空：俱往矣，_，[_，…]。
  3. 中间留空：月出于东山之上,_,白露横江,

不管是什么样的模式，就每个填空处来看，只有它前面或者后面有提示句，我们才能知道这个空的答案是什么。也就是说，这样的填空可以自主的找到答案，姑且称之为自主空。而前后都没有提示句的空，只能等待附近有自主空找到了答案，才能找到它本身的答案，用一个图说明更加清晰：

image

图中灰色的块因为有提示句，所以可以通过步骤一种爬取下来的文章内容找到对应的答案，填入Blank中，具体的查找算法如下代码所示：

//已知newFind的PreString，求BlankString和PostString
func makeWithPreContent(contentsSplit []string, newFind *Find) {for l := range contentsSplit {if isEqual(contentsSplit[l], newFind.PreString) && l < len(contentsSplit)-1 {newFind.BlankString = contentsSplit[l+1]if l < len(contentsSplit)-2 {newFind.PostString = contentsSplit[l+2]}newFind.BlankFinish = true}}
}//已知newFind的PostString，求BlankString和PreString
func makeWithPostContent(contentsSplit []string, newFind *Find) {for l := range contentsSplit {if isEqual(contentsSplit[l], newFind.PostString) && l > 0 {newFind.BlankString = contentsSplit[l-1]if l-1 > 0 {newFind.PreString = contentsSplit[l-2]}newFind.BlankFinish = true}}
}// 按标点符号分隔内容
func SplitByPunctuation(s string) ([]string, []string) {regPunctuation, _ := regexp.Compile(`[,，。.?？！!;；：:]`)//匹配标点符号，保存下来。 然后分割字符串toPun := regPunctuation.FindAllString(s, -1)result := regPunctuation.Split(s, -1)if len(result[len(result)-1]) == 0 {result = result[:len(result)-1]}//去掉前后空格，去掉引号for i := range result {result[i] = strings.TrimSpace(result[i])regQuoting := regexp.MustCompile("[“”‘’']")result[i] = regQuoting.ReplaceAllString(result[i], "")}return result, toPun
}

所有的自主块都找到答案后，可以把每个自主块看作一个双向链表的表头，我们所要做的就是遍历每个双向链表，把其中每个节点的答案都通过查找算法找出来。当下一个节点是NULL，或者下个节点是一个自主块时，就停止遍历，处理下一个双向链表。这样，无论给出的需要填空的内容多么复杂，都可以顺利的完整自动填写工作。

3.效果

一些常用的文言文或诗词：

1、 前赤壁赋

github

2、 离骚

github

项目地址：
AncientPoetryFillBlank

这篇关于使用Go默写古诗词的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/690911。

相关文章

中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
pdfmake生成pdf的使用

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据，将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
git使用的说明总结

git使用的说明总结

Git使用说明 下载安装(下载地址) macOS: Git - Downloading macOS Windows: Git - Downloading Windows Linux/Unix: Git (git-scm.com) 创建新仓库 本地创建新仓库：创建新文件夹，进入文件夹目录，执行指令 git init ，用以创建新的git 克隆仓库 执行指令用以创建一个本地仓库的
阅读更多...
【北交大信息所AI-Max2】使用方法

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡，拥有登录权限的账号密码，一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 （如果是1集群把75改成66） 交互式开发 执行器选Terminal 密码随便设一个（需记住） 工作空间：私有数据、全部文件 加速器选GeForce_RTX_2080_Ti
阅读更多...
【Linux 从基础到进阶】Ansible自动化运维工具使用

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具，采用无代理架构（agentless），基于 SSH 连接进行管理，具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用，旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2