虚拟现实环境下的远程教育和智能评估系统(十一)

2024-06-21 04:04

本文主要是介绍虚拟现实环境下的远程教育和智能评估系统(十一),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

视频帧画面知识点区域划分

知识点区域精确分割技术:

在深度学习检测模型结果基础上使用基于交并比(IoU)阈值的目标合并算法,合并过度重合目标区域面积,实现知识点区域精确分割

多模态知识点内容匹配策略:

图像:利用GPT-4模型的多模态处理能力,将视频帧中的图像与预设的知识点语义注解进行匹配 文本:使用Sentence Transformer模型对视频帧中提取的文本内容进行深度语义编码,将其嵌入向量与知识点数据库中的语义向量进行比较。通过计算语义相似度,精确匹配相关知识点,实现高效的文本内容到知识点的映射;

自此,可以使视频帧画面的各部分都有对应的知识点;

import os
import re
from sentence_transformers import SentenceTransformer, util
from test_gpt import detection_gpt# 初始化Sentence Transformer模型
model = SentenceTransformer('all-MiniLM-L6-v2')def get_embedding(text):return model.encode(text, convert_to_tensor=True)def semantic_similarity(text1, text2):embedding1 = get_embedding(text1)embedding2 = get_embedding(text2)return util.pytorch_cos_sim(embedding1, embedding2).item()def parse_knowledge_content(content):knowledge_points = []kp_blocks = content.strip().split("\n\n")for block in kp_blocks:lines = block.split("\n")kp_dict = {}for line in lines:key, value = line.split(":", 1)kp_dict[key.strip()] = value.strip()knowledge_points.append(kp_dict)return knowledge_pointsdef read_knowledge_file(timestamp, json_folder_path):knowledge_file_path = os.path.join(json_folder_path, f"{timestamp}.txt")try:with open(knowledge_file_path, 'r') as file:content = file.read()return parse_knowledge_content(content)except FileNotFoundError:return "Knowledge file not found"except Exception as e:return str(e)def parse_merge_text(file_path):with open(file_path, 'r') as file:content = file.read()timestamps = re.split(r'Timestamp: (\d+)', content)[1:]timestamp_data = {timestamps[i]: timestamps[i+1] for i in range(0, len(timestamps), 2)}return timestamp_datadef kp_match_data(merge_text_path, json_folder_path, object_frames_folder, output_path):data = parse_merge_text(merge_text_path)output_data = []for timestamp, contents in data.items():knowledge_content = read_knowledge_file(timestamp, json_folder_path)knowledge_txt_path = os.path.join("json_files", f"{timestamp}.txt")if isinstance(knowledge_content, str):output_data.append(f"Timestamp: {timestamp}\n{contents}\n{knowledge_content}\n")continuetry:with open(knowledge_txt_path, 'r', encoding='utf-8') as file:knowledge_txt = file.read()except FileNotFoundError:print(f"Knowledge file not found for timestamp {timestamp}")continue    contents_processed = contentsdetection_matches = re.findall(r'(Detection \d+): \((\d+, \d+, \d+, \d+)\)', contents)for match in detection_matches:detection_label, detection_data = matchdetection_number = detection_label.split(' ')[1].lower()  # e.g., 'detection1'detection_image_path = os.path.join(object_frames_folder, f"{timestamp}_detection{detection_number}.jpg")kp_id = detection_gpt(detection_image_path, knowledge_txt)contents_processed = contents_processed.replace(detection_label, f"{detection_label} (Knowledge_pdoint_id: {kp_id})")ocr_texts = re.findall(r'OCR \d+: \(\d+, \d+, \d+, \d+\) (.+)', contents)for ocr_text in ocr_texts:best_match = Nonebest_score = -float('inf')for kp in knowledge_content:score = semantic_similarity(ocr_text, kp['Original_text'])if score > best_score:best_match = kpbest_score = scoreif best_match:contents_processed = contents_processed.replace(ocr_text, f"(Knowledge_point_id: {best_match['Knowledge_point_id']}) {ocr_text}")output_data.append(f"Timestamp: {timestamp}\n{contents_processed}\n")with open(output_path, 'w', encoding='utf-8') as file:file.write("\n".join(output_data))

OCR得到的音频文本以及YOLO得到的detection区域对应知识点匹配:

下一步即是匹配三方数据:语音文本知识点、帧知识点区域、实时注视点位置

这篇关于虚拟现实环境下的远程教育和智能评估系统(十一)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1080154

相关文章

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处

Windows环境下解决Matplotlib中文字体显示问题的详细教程

《Windows环境下解决Matplotlib中文字体显示问题的详细教程》本文详细介绍了在Windows下解决Matplotlib中文显示问题的方法,包括安装字体、更新缓存、配置文件设置及编码調整,并... 目录引言问题分析解决方案详解1. 检查系统已安装字体2. 手动添加中文字体(以SimHei为例)步骤

Java JDK1.8 安装和环境配置教程详解

《JavaJDK1.8安装和环境配置教程详解》文章简要介绍了JDK1.8的安装流程,包括官网下载对应系统版本、安装时选择非系统盘路径、配置JAVA_HOME、CLASSPATH和Path环境变量,... 目录1.下载JDK2.安装JDK3.配置环境变量4.检验JDK官网下载地址:Java Downloads

golang程序打包成脚本部署到Linux系统方式

《golang程序打包成脚本部署到Linux系统方式》Golang程序通过本地编译(设置GOOS为linux生成无后缀二进制文件),上传至Linux服务器后赋权执行,使用nohup命令实现后台运行,完... 目录本地编译golang程序上传Golang二进制文件到linux服务器总结本地编译Golang程序

Linux系统性能检测命令详解

《Linux系统性能检测命令详解》本文介绍了Linux系统常用的监控命令(如top、vmstat、iostat、htop等)及其参数功能,涵盖进程状态、内存使用、磁盘I/O、系统负载等多维度资源监控,... 目录toppsuptimevmstatIOStatiotopslabtophtopdstatnmon

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

SQLite3 在嵌入式C环境中存储音频/视频文件的最优方案

《SQLite3在嵌入式C环境中存储音频/视频文件的最优方案》本文探讨了SQLite3在嵌入式C环境中存储音视频文件的优化方案,推荐采用文件路径存储结合元数据管理,兼顾效率与资源限制,小文件可使用B... 目录SQLite3 在嵌入式C环境中存储音频/视频文件的专业方案一、存储策略选择1. 直接存储 vs

linux重启命令有哪些? 7个实用的Linux系统重启命令汇总

《linux重启命令有哪些?7个实用的Linux系统重启命令汇总》Linux系统提供了多种重启命令,常用的包括shutdown-r、reboot、init6等,不同命令适用于不同场景,本文将详细... 在管理和维护 linux 服务器时,完成系统更新、故障排查或日常维护后,重启系统往往是必不可少的步骤。本文

Mac系统下卸载JAVA和JDK的步骤

《Mac系统下卸载JAVA和JDK的步骤》JDK是Java语言的软件开发工具包,它提供了开发和运行Java应用程序所需的工具、库和资源,:本文主要介绍Mac系统下卸载JAVA和JDK的相关资料,需... 目录1. 卸载系统自带的 Java 版本检查当前 Java 版本通过命令卸载系统 Java2. 卸载自定

python常见环境管理工具超全解析

《python常见环境管理工具超全解析》在Python开发中,管理多个项目及其依赖项通常是一个挑战,下面:本文主要介绍python常见环境管理工具的相关资料,文中通过代码介绍的非常详细,需要的朋友... 目录1. conda2. pip3. uvuv 工具自动创建和管理环境的特点4. setup.py5.