教育LLM—大型教育语言模型: 调查,原文阅读:Large Language Models for Education: A Survey

本文主要是介绍教育LLM—大型教育语言模型: 调查,原文阅读:Large Language Models for Education: A Survey,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Large Language Models for Education: A Survey

大型教育语言模型: 调查

paper: https://arxiv.org/abs/2405.13001

文章目录~

  • 原文阅读
    • Abstract
    • 1 Introduction
    • 2 Characteristics of LLM in Education
      • 2.1.Characteristics of LLMs
      • 2.2.Characteristics of education
        • 2.2.1.Educational development process
        • 2.2.2 Impact on teachers
        • 2.2.3 Educational challenges
      • 2.3.Characteristics of LLMEdu
        • 2.3.1 Specific embodiment of "LLMs + education"
        • 2.3.2 Impact of "LLMs + education"
    • 3 How to Gradually Integrate LLMs into Education
      • 3.1.Reasons why LLMs for education
      • 3.2.Fusion strategies
    • 4 Key Technologies for LLMEdu
    • 5 Implementation of LLMEdu
      • 5.1.LLMs-empowered education
      • 5.2.LLMs in Mathematics
    • 6 Issues and Challenges
      • 6.1.Main issues
      • 6.2.Main challenges
    • **7. Conclusion**

原文阅读

Abstract

人工智能(AI)对传统教育有着深远的影响。近年来,大型语言模型(LLM)越来越多地应用于自然语言处理、计算机视觉、语音识别和自动驾驶等各种领域。LLM 还被应用于推荐、金融、政府、教育、法律事务和财务等多个领域。作为强大的辅助工具,LLM 融合了深度学习、预训练、微调和强化学习等多种技术。将 LLMs 用于智能教育(LLMEdu)已成为世界各国的重要战略方向。尽管 LLMs 在提高教学质量、改变教育模式、修正教师角色等方面已显示出巨大的前景,但该技术仍面临着一些挑战。在本文中,我们对 LLMEdu 进行了系统回顾,重点关注当前技术、挑战和未来发展。我们首先总结了 LLMEdu 的现状,然后介绍了 LLM 与教育的特点,以及将 LLM 纳入教育的好处。我们还回顾了将LLM融入教育行业的过程,以及相关技术的引入。最后,我们讨论了LLMedu的挑战和问题,以及对LLMedu未来优化的展望。

1 Introduction

得益于 Web 3.0、行为互联网(IoB)、数据挖掘、深度学习和语言处理技术的不断改进,人工智能(AI)近年来发展迅速。随着预训练模型的优化和相关技术的不断调整,LLM 在各行各业都表现出了卓越的性能。LLM 主要基于许多人工智能技术,如自然语言处理(NLP),并被用于理解和生成海量文本。它们在大规模语料库上进行自我监督学习,以获得语言的统计规律,然后将其转换为逻辑自然语言文本。其基本框架如图 1 所示。LLM 具有很强的通用性和逻辑推理能力,因此在金融、教育、法律、机器人技术和政府事务等各行各业中广泛应用模型即服务(MaaS)。创造基于场景的用户体验是大多数数字公司的关键优势,也恰好是 LLM 的发展需求。

教育的概念已经存在了几个世纪,可以追溯到生物起源理论。在原始社会,教育仅限于使用初级生产工具,而古代社会则依靠口耳相传和实践将知识传承给后代。随着现代社会科学技术的发展,教育与人工智能已密不可分,包括智能教师助手、语音助手、人工智能写作创作平台等。以智能革命为代表的第四次工业革命[15],可以借助人工乐虎国际手机版下载将教育产业推向一个新的高度。教育的本质是知识传递、即时反馈和情感互动。LLM 主要加强了教育中的 "即时反馈 "过程。通过为学生提供个性化、自适应的学习体验,LLM 有可能彻底改变教育行业。通过将知识注入模型,LLM 可以逐步建立对世界的深刻理解,在某些方面超越人类的学习。它们可以生成高质量的文本内容、理解自然语言、提取信息并回答各个领域的问题。LLMs 还能进行复杂的数学推理,这有助于教育部门证明它们擅长自我监督、智能自适应教学和多模式交互。凭借适应学生个人需求和学习风格的能力,LLM 可以提供更有效、更吸引人的学习体验。

Research gaps:已经有很多教育工作者和研究人员对教育领域的人工智能进行了大量思考。举例如下:一些研究涉及人工智能在教育领域的范式转变以及人工智能在管理、教学和学习方面的影响。一些研究解释了人工智能在教育中的应用,并展示了它们的工作原理。由于人工智能的快速迭代和更新,催生了许多新的教育人工智能技术,但缺乏对新兴技术手段的总结和分析。LLM 作为这些技术中的一种,极大地推动了人工智能发展到一个新阶段。LLM 是支持智能教育的最新技术手段。教育与 LLMs 的融合尤其凸显了 LLMs 的发展和应用特点。目前已有一篇关于 LLMs 用于教育的简短综述[36],但对 LLMEdu 的许多特点和关键技术未作详细论述。

Contributions:为了研究 LLMEdu 的潜力并促进其发展,本文对 LLMEdu 的发展过程和技术结构进行了深入分析,并形成了全面总结。本综述旨在帮助读者更深入地了解 LLMEdu,并鼓励我们发明和思考 LLMEdu 的应用。具体贡献如下:

  • 我们深入探讨了LLM与教育之间的联系,旨在实现智能教育。
  • 通过将 LLM 应用于教育的过程和 LLM 的关键技术,展示 LLMEdu 的发展过程。
  • 从LLM赋能教育的角度回顾LLMEdu的实施情况,重点探讨LLMEdu的发展潜力。
  • 我们详细强调了LLMEdu存在的问题和挑战,旨在引发一些洞察、批判性思考和探索。

Roadmap:第二部分,我们简要介绍了LLMEdu的特点,以及LLMEdu的特点。第 3 节,我们将深入分析将LLM应用于教育的过程。第 4 节,我们解释了与 LLM 相关的关键技术。第 5 节,我们从增强教育能力的角度出发,介绍了 LLMEdu 的实施情况。在第 6 节中,我们强调了 LLMEdu 的一些主要问题和挑战。最后,在第7节中,我们对LLMEdu进行了总结,并对未来LLM的发展提出了期望。表 1 描述了本文中的一些基本符号。
在这里插入图片描述

2 Characteristics of LLM in Education

教育领域中LLM的特点:

在本节中,我们将LLM的主要特点、教育的主要特点、传统教育的局限性以及LLM与教育的结合,如图 2 所示。

2.1.Characteristics of LLMs

LLM的特点:

Large-scale:LLMs 中的 "大 "有两种解释。首先,LLM 拥有数量庞大的参数,参数数量在短短几年内从数十亿到数万亿呈指数级增长。例如,谷歌的 BERT 在 2018 年拥有 3 亿个参数,GPT-2 在 2019 年拥有 15 亿个参数,GPT-3 在 2021 年拥有 1750 亿个参数。2022 年,Switch Transformer 达到了令人印象深刻的 1.6 万亿个参数。此外,LLM 是在来自网络、学术文献和对话等不同来源的海量数据上进行训练的。这种大规模的数据语料库使模型能够学习和表示语言中的复杂模式和关系,从而提高各种 NLP 任务的性能。

General-purpose:LLM 应用广泛。除了在特定领域表现出色外,它们还擅长处理各种类型的任务,包括 NLP、CV、语音识别,甚至是跨模态任务。换句话说,LLMs 拥有强大的泛化能力,而实现这种能力需要对海量数据进行训练。

Pre-training and fine-tuning:模型训练过程的核心在于预训练和微调。首先,预训练是在大规模无标记文本语料库上进行的,以获取模型的基本语言知识。随后,在特定领域的特定任务上进行微调,以更好地理解和生成该领域的特定语言,如法律、教育或医疗文本。

Emergent ability: unpredictability:LLM 的涌现能力指的是它们从训练过程中学习,在没有明确的人工干预的情况下生成连贯且逻辑一致的文本的能力。当数据量达到足够大的规模时,模型的学习和反馈能力会大幅提升,从而提高性能。

Fragmentation:当前人工智能领域的特点是各行各业的业务场景各不相同,导致人工智能需求碎片化和多样化。人工智能模型的开发过程涉及多个阶段,包括开发、超参数调整、优化和最终应用的迭代部署。每个阶段都需要大量投资,在高成本的情况下,满足定制化市场需求可能具有挑战性。

打破精度限制的潜力:深度学习的发展经历了漫长的岁月。随着神经网络设计技术的成熟和收敛,通过改变架构来提高准确性似乎已达到瓶颈。然而,LLM 的发展表明,扩大模型和数据的规模有助于突破精度限制。研究实验不断证明,扩大模型和数据的规模可以提高模型的准确性。

高复杂性和投资成本:LLM 越来越复杂,单步计算时间增长了 10 倍以上。对于高流量业务,过去只需几个小时的训练实验现在需要几天时间,而测试的基本要求是在一天内完成。此外,训练一个通用大型模型的成本很高,如果再加上后续的优化、更新和部署,成本会更高。例如,ChatGPT 的核心基础设施 Azure 人工智能就需要投资近 10 亿美元。此外,ChatGPT 对用于数据处理的 GPU 芯片数量要求很高。

2.2.Characteristics of education

根据其定义,教育是一种有意识的社会实践,旨在培养个人。其基本特征是以过程为导向,表明教育是通过一系列步骤而存在和发展的。教育以个人为中心,最终目的是促进个人全面而持久的成长。教育包括知识传授、即时反馈和情感互动。纠错、知识强化和快速巩固训练是教育行为的组成部分。此外,教育系统错综复杂,其特点是主体鲜明、要求多样、互动错综。

2.2.1.Educational development process

Low entry barriers:一方面,开办教育机构相对容易,教师和教育机构的运营和投资成本较低。然而,这也导致了师资力量的参差不齐,造成了教育培训行业秩序混乱、广告误导、教师职称夸大、线下一对一教学效果不佳等问题。这些都导致了投诉的增加。另一方面,学习者受教育的障碍减少了,不同地区的教育机会更加平等,受教育的权利得到了更多的重视。

Large capacity: 教育行业包含大量学生和教师,因此考虑大量人口的影响至关重要。此外,教育环境多种多样,包括公立学校和众多私立教育机构。现有的教育材料非常丰富,互联网的出现使教育资源的获取变得更加容易。这一发展超越了传统的以课本为基础的教学局限,打破了信息壁垒,扩大了教育的视野。

Well-developed system:经济发展推动了教育的发展,导致对教育部门的投资激增。这种增长涵盖了不同层次的各种教育机构。此外,教育系统还包括多种形式的教育,如社会生活教育、家庭教育和学校教育。它还包括各种学科,如数学、语言和体育。

Rise of online education:自 20 世纪 90 年代末以来,新兴技术在教育行业取得了重大进展[18]。这种变革推动教育经历了传统教育、数字教育、互联网教育、移动教育和智能教育等不同阶段。信息技术的进步克服了时间和空间的限制,使知识获取更加方便快捷,在促进教育发展方面发挥了举足轻重的作用。

Education at a younger age:互联网的发展拆除了教育的壁垒,导致家长更加关注早期教育。在全球化的影响下,人们认识到早期教育的重要性,尤其是在语言和逻辑发展方面。随着在线教育的兴起,儿童早期教育也变得更加容易获得。各种各样的辅导班和早教课程已变得司空见惯。

Intelligent, precise, and personalized education:随着人工智能的飞速发展,科技极大地改进了生产方式,提高了人们的生活水平。因此,社会对教育的需求不断升级,导致人才培养更具针对性。目前,教育领域正在进行智慧教育中 "人工智能+教育 "的融合创新转型。

虽然教育已在很大程度上融入了人工智能,但人类教育和机器教育的性质在本质上存在两级差异。这两种形式的教育在顺序上有所不同:人类教育主要侧重于塑造价值观,然后是系统的知识学习,最后是参与真实世界的体验以促进学习。相比之下,机器教育从处理海量数据开始,随后辨别是非(学习价值观),结合人类反馈,最终实现实用性。在学习方面,人类与机器最显著的区别在于,人类在固定时间内获取知识的能量有限,而机器的学习能力相对无限。拥抱人工智能,制定符合当下时代的教育战略,实现教育的全面数字化转型,是当代教育发展的核心要点。

2.2.2 Impact on teachers

Instructional method’s development:数字化教育提供了更广泛的教学方法和工具。这就要求教师适应并熟练运用这些创新方法和技术。这包括利用在线学习平台、教育应用程序和虚拟教室,有效地传授知识并与学生互动。为了满足学生多样化的学习需求,教师必须熟悉并擅长使用这些技术。

Personalized and self-directed learning support:数字化教育有可能更好地支持个性化和自主学习。教师可以利用技术深入了解学生的学习风格、兴趣和需求。他们还能提供量身定制的教学内容和学习计划。在教育的这一转变中,教师将更多地扮演引导者和指导者的角色。他们鼓励学生在学习和自我发展中发挥积极作用。

Data-driven instructional decision-making:数字化教育产生了大量的学习数据,包括学生的成绩、兴趣和进步[138]。教师可以利用这些数据做出明智的教学决策,并提供个性化指导。通过分析学生的数据,教师可以找出学生的困难和薄弱环节,并提供有针对性的支持和反馈,帮助学生克服困难,提高学习成绩。

Collaboration and cross-border teaching:数字教育具有打破地域壁垒的力量,使教师能够与来自世界各地的学生开展跨境教学与合作。这样,教育工作者之间就可以共享教学资源、经验和最佳做法,促进教学界的专业发展与合作。

Cultivating 21st-century skills:在数字时代,培养学生的创造性思维、数字素养、协作和解决问题等技能至关重要。教师在引导学生培养这些技能以及提供相关的教育支持和指导方面发挥着至关重要的作用。通过与学生一起探索和应用新技术,教师可以培养学生的创新能力和适应能力,为他们在瞬息万变的数字环境中取得成功做好准备。

在教育的数字化转型中,教师是不可或缺的,因为他们在塑造学生的学业、情感和社会发展方面发挥着多方面的作用。虽然技术可以提供大量的知识和资源,但它无法取代教师提供的个性化指导、情感支持和以价值观为基础的教育。教师的专业知识、人际关系和教育智慧仍然是教育数字化转型中不可或缺的要素,确保学生接受全面的教育,为他们在 21 世纪取得成功做好准备。

2.2.3 Educational challenges

Personalized learning needs:在当代教育中,学生的学习需求、风格、兴趣和愿望各不相同。传统的 "一刀切 "教学方法可能无法满足每个学生的独特要求,而个性化学习对有效解决这些差异至关重要。因此,实施个性化学习是教育工作者和管理者必须应对的重大挑战,以确保每个学生都能接受适合其个人需求和能力的教育。

Insufficient educational resources: 尽管技术在不断进步,但仍有一些地区的学校缺乏现代化的技术基础设施,造成了数字鸿沟,阻碍了学生获得在线学习和数字教育资源。此外,全球学生人数持续增长,给教育行业带来巨大压力。一些地区面临教师、教室和学习材料等教育资源不足的挑战,导致教育机会不均等。

Education quality and standards: 教育质量的不一致构成了重大挑战。在一些地区,以考试为导向的教育方法可能会导致狭隘地关注标准化考试,从而导致课程简化,对学生的个人兴趣和发展缺乏支持。确保高质量的标准化教育对于提高学生的学业成绩和整体素质至关重要。这可以通过实施全面的课程来实现,既能培养学生的批判性思维、创造力和解决问题的能力,又能为学生的独特需求和兴趣提供个性化支持。

Diverse educational technology: 大数据、人工智能、虚拟现实和其他教育技术的整合有可能彻底改变教育领域。然而,它也带来了新的挑战,如管理、安全和隐私方面的考虑。有效整合和利用这些技术对于提升学习体验和实现最佳教育成果至关重要。这就需要有一个深思熟虑的战略,考虑到教育部门的独特需求和限制因素。

Challenges in implementing new educational con- cepts:科技和经济的飞速发展,加上生活水平和质量的提高,导致了新教育理念的出现。其中一个概念就是 "科学 技术 工程师 艺术 数学(STEAM)"教育,它强调跨学科方法和动手实践。然而,如何落实这些前沿教育理念,培养具有社会意识的下一代人才,是教育部门面临的一项重大挑战。我们需要有效的战略和创新的方法来应对这些挑战,并确保学生能够在不断变化的世界中茁壮成长。

2.3.Characteristics of LLMEdu

人工智能与教育行业的融合迅速加速,改变了教学方法,提高了学习效果。从计算机辅助教学到个性化自适应学习和内容生成,人工智能已彻底改变了教育行业,满足了不同年龄段和不同学习领域的需求。在智能时代,教育的首要目标是将知识转化为智能,培养智能型人才。以自然语言技术为核心的 LLM 与教育行业的发展无缝对接,适应智能教育的巨大变革。这些模式有可能支持和增强学习体验的各个方面,使教育更容易获得、更吸引人、更有效。

2.3.1 Specific embodiment of “LLMs + education”

Interdisciplinary teaching:通过海量数据对LLM进行预训练,使他们在知识整合方面具有显著优势。他们可以根据不同学科提供多样化的学习支持,并拥有出色的跨学科能力。例如,"Ziyue "大模型 以 "scenario-first"的方法为重点,而 iFLYTEK “Spark Desk” 则可以在数学、英语口语练习、作文批改等多个领域进行类似人类的互动学习。这些模型有可能彻底改变我们的学习和教学方式。

Precise identification of personalized needs:语言学习机拥有先进的语言理解和生成能力,能够根据用户的年龄、学习阶段和学习环境提供自适应的学习指导。例如,基于 LLM 的 iFIytek 学习机可以为传统学科提供定制化教学,如口语教学、中英文作文批改、数学互动补充等,为学生提供一对一的个性化辅导体验。此外,学习机还可以通过一对一对话帮助家长答疑解惑,提供建议,在亲子沟通、亲子互动、行为习惯等方面提供帮助。

Guided learning: 远程学习管理器正在转向更像人的方式,在各种场景中提供真实的对话式教学体验,而不是简单地给出答案。这在物理和数学等学科中尤为明显,在这些学科中,LLM 模拟教师的角色,提出问题,鼓励批判性思维和独立探索。通过营造自学环境,LLM 可以帮助学生发展解决问题的能力,成为更有效的学习者。例如,OpenAI 与教育组织可汗学院(Khan Academy)合作开发了基于 LLM 的教育工具 Khanmigo。在学生完成练习的过程中,Khanmigo 可以引导他们通过提出大量问题来自行获取答案。

Integration of three modes: 基于工具的模式、基于同伴的模式和基于信息的模式 [30, 52, 118]。基于工具的模式主要是利用数据构建知识库,使其成为大规模的查询库。基于同伴的模式以虚拟教师和助理为例,通过类人对话提供虚拟教学和在线帮助。信息化模式主要是指教育信息化,加快发展 "互联网+教育 "平台。

2.3.2 Impact of “LLMs + education”

"LLM+教育 "将产生深远的影响。以下是可以观察到这些影响的 10 个领域,并附有详细说明

Personalized learning support:语文教师可根据学生的个性化需求,提供个性化学习支持。通过深入了解学生的学习特点、兴趣和学习风格,语文教师可以为每个学生量身定制教学内容和学习计划。例如

在数学学习中,语文教师可以通过与学生对话互动,针对学生的数学薄弱环节进行有针对性的指导,帮助他们克服困难,提高数学能力。LLM可以设计自适应测试,根据学生的回答调整试题难度,准确评估学生的知识水平,确保学生接受相应水平的教育。

Personalized assessment and feedback:学习管理器可根据学生的学习表现提供个性化评估和反馈。通过分析学生在学习过程中的答案、理解程度和错误模式,学习管理器可以提供有针对性的评估结果和改进建议。例如,当学生在写作中遇到困难时,LLM 可以分析学生写作文章的结构、语法和表达,并提供详细的指导和建议,帮助学生提高写作能力。一些基于OpenAI的LLM技术的商业辅助工具,如MagicSchool和Eduaide,可以参与对学生作业的评估并给出反馈[89]。

Wide coverage of subject knowledge:LLM的知识覆盖面广,可以涵盖多个学科领域的知识内容。学生可以与LLM对话,获取不同学科领域的知识和信息。例如,当学生在历史学习中遇到问题时,LLM可以对历史事件、历史人物和历史背景进行详细讲解和深入探讨,帮助学生更好地理解历史知识。据统计,最新模型拥有 13 万亿个精心挑选的预训练知识数据,相当于四大类 500 万个集合。此外,在训练过程中还提取了 1.8 万亿个 “知识片段”。

跨学科学习:LLM具有卓越的跨学科能力,能够让学生进行综合学习,培养跨学科思维能力。通过与LLM的互动,学生可以整合和应用不同学科领域的知识。例如,在进行科学实验时,学生可以与LLM对话,讨论实验原理、数据分析和科学推理,促进科学与数学、逻辑思维和其他学科之间的综合学习[3]。

实时问题解决和辅导:LLM可为学生提供实时问题解决和辅导支持。当学生在学习过程中遇到困惑或问题时,可以随时向LLM提问,并立即得到解答和解决。今年上半年的一份调查报告指出,89% 的受访美国学生使用 ChatGPT 完成家庭作业[134]。此外,当学生在阅读文学作品时遇到理解上的困难时,可以与 LLM 进行对话,探讨文学作品的主题、情节和人物形象,帮助学生更好地理解和分析文学作品[115]。

跨越时空的学习机会 :语言学习材料的存在使学生能够随时随地学习。学生可以通过移动设备或电脑与法律硕士互动,不受传统课堂时间和地点的限制。例如,学生可以利用晚上或周末时间与LLM进行在线学习,提高自己的学术能力和知识水平。利用通识LLM的在线学习平台,学生可以通过互联网学习各种课程和学科。法律硕士支持虚拟课堂和远程教育的实施,学生可以与LLM实时对话,解决问题。

提供学习资源和工具 :语文教材可以作为丰富的学习资源和工具,针对学生的学习需要提供各种教材和工具。例如,语文课程管理系统可提供教科书、教学视频、互动练习和其他学习材料,以支持学生的各科学习[7]。此外,还有一些针对特定学科的工具,如 MathGPT。MathGPT 在基准测试 AGIEval 中的准确率为 60.34%,可以帮助学生高效地解决数学问题[142]。

促进批判性思维: LLM可引导学生发展批判性思维和解决问题的能力[50]。通过对话和提出发人深省的问题,LLM可以营造思考氛围,鼓励学生探索答案,提高他们的自学能力和批判性思维能力。例如,语文教员可以模拟物理课上教师的角色,向学生提出有关概念、原理和解决问题策略的问题,鼓励他们进行批判性思考,培养解决问题的能力。

教育工作者的专业发展: LLM可以支持教育工作者的专业发展,为他们提供获取大量教育资源、最佳实践和创新教学方法的途径。教育工作者可以与LLM互动,改进教学方法,探索吸引学生的新方法。例如,教师可以与LLM对话,讨论教学策略、课堂管理技巧和满足学生个人需求的方法,从而提高教学效果,促进专业成长。

教育的可及性和包容性: LLM可以为提高教育的可及性和包容性做出贡献。他们可以为不同学习风格、能力和背景的学生提供学习支持,确保所有学生都能公平地接受优质教育。例如,LLM可以提供替代性解释、视觉辅助工具和互动学习体验,以适应不同学习者的需要,包括有学习障碍或语言障碍的学生,从而使教育更具全纳性和支持性。此外,通过多元文化培训,LLM可以更好地理解和尊重来自不同文化背景的学生,创造一个包容和尊重多样性的学习环境。

总之,通过提供个性化支持、扩大知识覆盖面、促进批判性思维以及增强教育的可及性和包容性,LLM与教育的结合将彻底改变学习体验。它将增强学生和教育工作者的能力,改变数字时代获取、共享和应用知识的方式。

3 How to Gradually Integrate LLMs into Education

从机器学习(实现存储和计算能力)到深度学习(实现视觉和听觉能力),再到现在的 LLM(能够理解和创造),人工智能与教育行业的融合在一步步推进。在当今时代,大力发展全民素质教育,在全国范围内积极部署教育智能硬件,代表着教育培训企业的积极转型。在教师与人工智能模型长期共存合作,以及硬件高度同质化的背景下,LLM 已成为人类智能领域最重要的技术之一。

3.1.Reasons why LLMs for education

LLM 的出色特性使其在教育行业的应用非常合理。NLP、数据分析和文本生成能力与教育中的学习、提问和反馈等基本过程非常吻合。开发-部署 "的迭代优化过程适合教育行业的应用过程。用户测试和反馈数据为进一步优化奠定了基础。以 LLM 在中国的发展为例,iFLYTEK 的 Spark Desk、百度的 ERNIE Bot4 和 TAL 的 "MathGPT "都积累了多年的教育行业经验数据。在使用过程中,这些 LLM 可以从教育行业收集更多数据,从而进一步优化技术。

"人工智能+教育 "模式已经形成,人工智能技术的逐渐成熟为人工乐虎国际手机版下载进入教育行业铺平了道路。智慧课堂、语音辅助教学、智能解题等人工智能应用已成为教育行业的常规应用,导致人们对 LLM 的接受度很高。必须认识到,LLM 是汇聚人类集体智慧的最新科技成果,而不仅仅是科技成果。然而,LLM的发展潜力和影响力正在逐步增强。

教育公司实施自己的 LLMEdu 发展战略。LLM需要海量的数据和大量的投入作为支撑。在数据方面,纵观各家教育公司,长期的经验数据积累、技术积累,客观结合自身的发展条件,在LLM的教育应用上形成了差异化。他们专注于 LLM 的研究,力求利益最大化,迎合当前发展趋势,降低开发成本。在资金方面,教育行业的消费者具有强烈的消费意愿。随着人们生活水平和教育水平的提高,世界各国都在加强教育产业的发展,并投入大量资金,为LLM的研究、开发和应用提供坚实的基础。

ChatGPT 为技术与教育的融合带来了切实的变革。学习是一个探索的过程,而 LLM 在教育中扮演着探索者的角色。因为有了互动问答,人们的角色正在从知识的被动接受者转变为主动探索者。由于机器幻觉的存在,学者们需要对生成的知识持怀疑和评判的态度,用辩证的眼光对待 LLM。智能技术激发人类的创造力,让人们不断拓展学习的广度,从而推动科技进步。

LLM支持教育的可持续发展。创新是技术发展的核心,也是长期应用的前提。充分利用 ChatGPT 等人工智能技术,可以使教育应用过程从搜索模式过渡到针对个人的个性化内容生成模式。从而开发出多样化、可扩展、有形化的应用场景,以及一系列差异化、体验性强的教育产品和服务。它为教育者和受教育者提供了良好的环境和资源,支持教育的可持续发展。

如今,通用语言模型(LM)利用广泛的数据存储器,从专用模型转向通用应用模型。它们依靠文本生成能力,将应用过程从分发过渡到生成。这使它们能够实现多模态,并将应用场景从单一转变为多元[43]。多模态 LLM 结合了前期训练和下游任务,能在数据量相对较小的情况下高效完成下游任务的适应,可用于小样本学习和自然语言问题解答。在教育领域,实现了三种典型应用:教学资源自动生成、人机协作过程支持[141]和教师智能辅助教学。多模式 LLM 结合了强化学习、CV 和 NLP 三个领域。它们试图扩展 LM 的概念。

此外,我们还展示了 GPT 模型的开发过程,如表 2 所示。

3.2.Fusion strategies

与教育和培训界合作:LLM技术与学校、在线教育平台和教育技术公司合作,共同探索和开发LLM在教育中的应用。通过合作提供实际的教育场景和资源,可以帮助定制符合教育需求的模式,加快 LLMEdu 的实施。例如,百度推出了 “ERNIE Bot”,阿里巴巴集团控股有限公司推出了 "通易千文 ",清华大学等高校推出了 "ChatGLM "等。

形成定制化内容生成,提升竞争力: LLM 需要高质量的大型数据集,因此教育和培训界可以利用 LLM 生成高质量的教育内容,如教材、课件、练习和测试等。例如,百度的 "ERNIE 机器人 "在回答知识问题时具有一定的准确性,因为它使用了百度百科全书作为训练材料。ChatGPT 还可以生成一些教学框架教案。

提供热门教育功能:一些教育技术公司开发了智能辅导系统,利用 LLM 回答学生的问题,提供答案和反馈,对开放式问题提供逻辑回答,对计算问题提供指导性回答。例如,TAL 开发的 MathGPT 提供了高质量的数学解题辅导。有些人利用 LLM 开发语音识别和对话系统,使语音教育和交互更容易实现,实现语言教学和情景对话。

将LLM纳入在线教育平台:基于与互联网结合的学习模式和大数据的快速发展,将LLM纳入在线教育平台,可以为学生提供更丰富的学习资源、工具和更全面的应用。例如,Coursera 在线教育平台利用 LLMs 实现了数据收集和课程推荐等功能。Duolingo使用 LLMs 升级语言功能。Chegg使用 LLMs 优化作业辅导流程。

参与优化教育工作培训流程:首先,为教育工作者提供培训和支持,使他们能够有效地使用 LLM 和相关工具。例如,我们学习如何将模型融入教学,以及如何解释和使用模型生成的数据和建议。二是利用 LLM 分析学生数据,让教育工作者了解学生的进步和需求,从而优化教学方法,如及时反馈功能。

不断改进和研究: LLM逐步融入教育行业需要时间和资源。在这个过程中,不断监测和改进LLM的性能、应用和潜在风险,遵守数据隐私和安全法规,考虑不同地区和文化的教育需求,可以最大限度地发挥LLM在教育行业中的作用。

4 Key Technologies for LLMEdu

在这里插入图片描述

如图 4 所示,LLM 背后的技术为其快速发展提供了支持。这些技术的结合使 LLM 能够在文本生成、机器翻译、情感分析和文本分类等各种 NLP 任务中实现出色的性能。它们已经在虚拟助手、智能搜索、自动摘要生成和自然语言理解等各种应用中发挥了重要作用,促进了 LLMEdu 的发展。

语言模型:它从语料库中学习,并根据概率分布预测单词序列。训练语言模型的两种主要技术是下一个标记预测和掩码语言建模。下一个标记预测根据上下文预测下一个单词,而掩码语言建模学习语言的统计结构,如词序和使用模式 [9, 25, 84]。然而,预测之间仍然存在显著差距,因此 LLM 的训练策略可能不一致,并且可能无法正确达到最终目标。预测能力反映了大模型的学习能力,这决定了 LLM 在回答问题时能否形成连贯且合乎逻辑的文本。所以语言模型是 LLMEdu 的基础。

Human feedback reinforcement learning (HFRL):它是用于训练 LLM 的一种方法。通过结合人类反馈,它减少了扭曲和无意义的输出,帮助 ChatGPT 克服了 GPT-3 中存在的一致性问题。它包括监督微调、模拟人类偏好和近端策略优化 。i)在监督微调中,对少量注释数据进行微调,首先执行下一个 token 预测以改进注入的数据,然后集成结果,最后进行解码操作。ii)开发模拟人类偏好的奖励模型对解码结果进行排名,并构建排名序列以获得评分模型。为了确保一致的注释结果,排名过程使用序数排序对数据注释,从而产生由比较数据组成的新数据集。iii)近端策略优化旨在学习一种策略,使训练期间获得的累积奖励最大化。该算法包括一个参与者,它输出下一个动作的概率分布,以及一个评论家,它估计给定状态下的预期累积奖励。通过迭代优化奖励信号输出,该模型从经验中学习,适应新情况,不断调整其策略,并改进 LLM。HFRL 提高了 LLMEdu 的准确性,使输出结果更简洁、准确,更符合人类的思维过程。

Deep neural networks (DNNs):在介绍深度神经网络之前,有必要先介绍一下深度学习。它是指对样本数据的底层模式和层次化表示进行学习,以达到与人类类似分析能力的机器学习目标。深度神经网络由多层相互连接的神经元组成,通常包括一个输入层、若干个隐藏层和一个输出层。神经元之间的连接类似于生物神经细胞之间的连接。深度神经网络在处理大规模教育数据方面具有优势,包括学生的学业成绩、学习行为、解决问题的能力等。通过分析这些数据,LLM 可以为教育决策提供见解,改进教学方法和个性化教育策略。

自监督学习:为了产生期望的结果,需要使用给定的材料训练模型或机器。机器学习可分为监督学习、无监督学习和强化学习 [80]。自监督学习属于无监督学习,其中模型学习特定任务的一般特征表示。与需要大量手动注释数据进行训练的监督学习不同,自监督学习通过使用未标记的数据集用数据本身的内在结构特征替换人工注释来完成自我训练 [31, 125]。它以渐进的方式从头开始逐渐训练参数,使用部分输入作为监督信号,其余部分作为输入。这种方法大大降低了手动注释在高成本、长周期和低准确率方面的成本,从而降低了开发成本。通过自监督学习,LLM 可以学习语言数据的高级表示和语言技能的深度认知,从而更好地理解和生成教育相关的内容,包括教科书、练习、解决方案和学习材料。

Transformer 模型:从结构上看,LM 已经从统计 LM 发展到神经网络 LM,现在又发展到 LLM。统计 LM 专注于将句子转换成概率分布,但计算能力的不足限制了其匹配海量数据的能力。神经网络 LM,如循环神经网络,使用递归和卷积神经网络来转换语言序列。循环神经网络需要考虑输入输出顺序进行计算,无法有效地分批处理示例,导致速度很慢。在 LLM 中广泛使用的 Transformer 模型克服了这些限制。Transformer 模型本质上是一个包含编码和解码组件的编码器-解码器架构。它利用注意力机制来捕捉输入和输出之间的全局依赖关系[27],而不考虑输入或输出序列内的距离[29]。这种方法将对相关信号进行操作所需数据的增长率从线性或对数变为常数,表现出高度的并行性,有利于模型的快速迭代。与之前的模型相比,Transformer模型结构更丰富,场景适应性更强,性能更佳。Transformer模型提高了LLM的兼容性和实用性,也提高了其应对多样化、丰富的教学内容和教育场景的能力。

LLM诊断与应用评估:现有的跨学科评估系统从两个角度评估LLM:LLM训练期间的诊断和LLM应用的有效性。“ChatbotArena”是一个LLM基准平台,可进行匿名和随机对抗性评估,系统随机选择两个不同的LLM与用户聊天,然后用户对互动进行评分。“SuperCLUE”是一个评估通用中文LLM的基准,从基本能力、专业能力和中文特定能力等方面考察多维能力。由上海交通大学、清华大学和爱丁堡大学联合开展的“C-Eval”项目 [51] 构建了一个多学科基准列表,以协助中国LLM研究。由多所大学建立的“FlagEval”[63] 采用三维方法评估LLM,包括事实性、安全性和包容性。这些评估框架旨在全面评估LLMEdu的表现、伦理影响和潜在偏见,促进LLMEdu能力的提升和技术优化。

提示工程:它指的是与LLM交互的能力。机器通过提示匹配相应的结果,从而提高生产率。好的提示可以增强LLM的智能,提高反馈结果的价值,增加LLMEdu的使用价值。而且,糟糕的提示可能会导致错误的结论。在教育领域,特别是严谨的科学,答案的正确性总是被放在首位,所以优化提示词也是在回答学术问题时处理LLM的胡言乱语的重要手段。不同的LM,如ChatGPT、ERNIE Bot和MathGPT,都有独立的底层训练机制,它们的提示也不同。这可以比作与不同性格的人交流。

学习的认知机制:学习认知机制是认知伦理学中发展起来的,是智能教学设计的基础,它研究学习者知识建构的过程,将新知识融入已有的知识结构,并调整更新整体结构。在ChatGPT之前,人工智能主要专注于计算和推理。随着人工智能的快速发展,其认知智能逐渐显现,甚至可以匹敌人类智能。认知方法主要有两种:一种是通过计算机模型模拟人类的学习过程,另一种是利用功能性磁共振成像等非侵入性脑成像技术。LLM主要模拟人类的学习过程,其中预训练可以比作获取新知识和构建知识。

通过添加插件,最新的 LLM GPT-4 可以解决实时问题,例如解决预训练数据的滞后问题。GPT-4 还可以更好地解决逻辑问题,因为它将数学问题数据集 MATH 和 GSM-8K 引入到训练数据集中,大大提高了其数学推理能力。此外,GPT-4 还可以完成创意文本创作,因为它连接到 API,用户可以自定义 AI 角色并完成模拟写作,减少偏差和过度纠正。

5 Implementation of LLMEdu

在这里插入图片描述

本文介绍了 LLMEdu 的众多产品,其概要如图 5 所示。此外,本部分还将从两个方面重点介绍 LLM 的实施过程:增强教育能力的 LLM,特别是增强数学领域能力的 LLM。最后,我们用一个统一的框架来组织和比较 LLM 在教育领域的应用。详情见表 4。

5.1.LLMs-empowered education

提高教师的教学效率: LLM 可以帮助教师获取丰富的教学资源,使他们能够更有效地开展课堂教学。课前,LLM 可以作为备课的得力助手。通过互动问答环节,LLM 可为教师备课提供思路,协助设计教学大纲和课程计划,帮助教师快速确定课程的重点和难点。在课堂上,LLM 可以充当人工智能助教,为教师和学生提供即时反馈平台,提高课堂参与度、兴趣和吸引力。课后,LLM 可以协助教师生成家庭作业和考试题,使教师能够更好地评估学生对学科知识的理解。在日常工作中,LLM 也是教师的得力助手,能够起草会议邀请函、撰写工作计划、总结和报告等。如果使用得当,LLM 可以减轻教师的工作量,促进教师的专业发展 [136]。例如,一项调查指出,在论文修改过程中,57.4% 的用户认为 LLM 生成的反馈意见很有帮助,可以帮助他们改进研究过程。

促进学生进步与成长:在学习辅助方面,LLM是一个强大的工具,可以理解复杂的概念,解决困难的问题,并提供相应的学习建议。在语言学习方面,LLM提供基于情景的对话训练,大大提升学生的口语和写作能力。在培养思维能力方面,LLM有时会表现出“严肃的胡言乱语”,老师和家长可以利用这一现象,培养学生的批判性思维,提高学生的信息素养。在学习能力培养方面,使用LLM的过程中需要学生提出问题,在这个过程中,学生要学会如何将自己的问题转化为有效的问题,如何获取有用的信息,培养学生的自学能力和总结能力。以大学生为例,数据显示,LLM最新产品之一的科大讯飞Spark模型的用户中有超过20%是大学生,它帮助他们在英语口语练习、模拟面试和课后作业方面有所提高。

推动研究进展:LLM能够编写学术实验代码、构建实验模型、快速准确地检索文献资料、提取和整合相关信息,减少了手工研究和积累的繁琐过程,节省了大量的时间,使得研究人员能够将更多的精力投入到后续研究中,从而提高研究效率[7]。此外,报告结果还显示,高校法学硕士作为人工智能领域的重要研究平台,取得了显著的成果。中国高校法学硕士研究主要集中在CV、NLP、语音识别等领域,这些领域的研究成果不仅为高校师生提供了良好的学术氛围,也为不同人工智能产业的发展提供了有力的支持。

促进教育意识的进化,形成新的学习范式:现有的教育体制以传承为主,学生往往以学习经历中传承下来的惯性思维去对待知识,缺乏创造意识。然而,随着ChatGPT等人工智能技术的进步,现有的学习范式已不足以应对未来。面对ChatGPT等技术带来的挑战,需要培养更高的意识,锻炼具有高水平意识的思维能力,形成新的学习范式,同时提高感知和认知能力,以更好地理解世界。例如,ChatGPT所体现的高意识生成学习范式涉及建立新旧知识之间的联系,融入反思和自省,以及创新新概念和理解。为了推进高意识生成学习范式,需要教育设计者和实施者之间的合作,以构建自适应学习环境并培养积极的学习氛围[7]。

创造高度情境化和智能化的学习体验:在学科学习中,LLM等生成式人工智能凭借海量数据,可以为学生提供丰富的信息和知识,简化查找学习资料的流程,帮助学生在各个学科中寻找答案和解决问题。在语言学习中,LLM可以提供实时对话训练,使学生沉浸在情景式学习中,提高会话和写作能力。在学习的时间和空间方面,作为在线工具,LLM可供学生随时随地使用,具有很大的灵活性。目前,LLM正在不断完善技术和能力,实现智能学习。例如,在语言理解任务中,超大规模中文预训练语言模型PLUG以80.179的成绩打破了中文GLUE分类榜单记录;在语言生成任务中,与多个数据集中的历史最好成绩相比平均提升了8%以上。

推动教育高质量发展,提升教育管理和决策能力:LLM是支撑智能教育的最新技术手段,其发展历程体现了人工智能与人类的同步进步,体现了创造智能、培育智慧、创造更高效智能的新时代教育方式。此外,LLM的数据透明化可以使教育发展决策更加精准、科学,将教育决策从经验型向循证型转变,从而提升教育治理能力。最后,教育从业者可以利用ChatGPT等人工智能技术对学生进行情景化测评,实现教育评价的数字化转型[45]。LLM可以帮助教师判断学生的学习进度,了解学生的学习状态。值得注意的是,LLM通过测评收集的多维数据有助于教育工作者研究学生的学习逻辑和发展规律,及时调整教学内容,为学生提供个性化的成长服务。

推动教育体系深入研究:教育研究范式从传统的科学实验经验的观察总结、理论模型的构建与推导、计算机模拟,发展到大规模数据采集、分析、处理的科学研究范式。教育研究范式在不断变化,但随着时间的推移,旧的研究范式已不适应要求。以法学硕士为代表的内容生成型人工智能的出现,催生了“科学人工智能”这一新范式——“第五范式”,使人类能够更深入地探索教育体系。这种范式转变涉及从对人类的简单模仿到认知理解与转化,开创了人工智能与教育的新世界。据Study.com的调查22,21%的海外教师已经开始使用ChatGPT来辅助教学工作。美国上市教育培训公司Chegg也表示,推出基于LLM的学习辅助平台后,影响了原有业务的用户增长,学生对ChatGPT的兴趣大增。

推动AI由碎片化向可扩展化发展,从而提升其在教育领域的泛化能力:LLM通过对LLM进行预训练,并针对下游任务进行微调的过程,从海量数据集中精准捕获知识[11],这些知识存储在大量参数中,然后针对特定任务进行微调,最后可以灵活应用于各种场景。也就是说,一套技术可以解决不同的任务,大大提高开发效率。例如,在教育领域,LLM共享数据解决常见问题,广泛应用于对话问答、语言翻译、文本生成等场景。目前一些开源的LLM,比如ChatGLM、百川、InternLM、Qwen-7B、Qwen-14B等都是LLM泛化的表现,其中Qwen-14B的准确率已经达到了70%以上,可见这个程度还在不断的提升。

5.2.LLMs in Mathematics

人工智能自诞生以来,一直追求数学研究和应用。数学是教育中一门具有挑战性的学科,精通数学是龙8国际pt娱乐官网生智能水平的一个重要里程碑。法律硕士成功处理数学问题将标志着人工智能进入一个新时代。

数学应用可以体现 LLM 的模仿能力:数学是一门抽象学科,需要逻辑推理和批判性思维 [102]。目前,LLM 无法真正理解数学的本质并表现出独立思考。因此,在解决数学问题时,这些 LLM 模型严重依赖于其训练数据中嵌入的数学概念和规则。例如,在解决代数问题时,LLM 通过模仿人类学习和应用代数的方式来应用代数规则 [71]。

提升LLM在数学中的计算性能:LLM的本质是基于数据相关性预测未来的输出,然而对于预训练阶段很少或从未遇到的符号,可能会出现错误。例如,由于数字的大小是无限的,而LLM的规模是有限的,大数的算术运算很容易出错。为了解决这个问题,可以在综合算术问题上对LLM进行微调,并使用特殊的训练和推理策略,进一步提高数值计算性能。

优化逻辑推理过程:一是通过LLM优化人类的逻辑推理过程。例如,一些学者将LLM应用于定理的证明[44],因为LLM可以提供大量相关材料来弥补信息的不足或遗漏,使推理更加完整。第二个目标是提高LLM的逻辑推理能力。 LLM 的逻辑推理能力是评价 LLM 的关键指标。由于 LLM 通常存在参数空间过大、数据稀疏严重等问题,导致 LLM 在鲁棒性和严格推理任务上表现不佳。相关研究提出了针对 LLM 逻辑推理问题的优化方法。例如,OpenAI23 研究了一种基于过程的监督模型来提高 GPT-4 的逻辑推理能力。此外,一些研究机构使用在大规模数学语料上进行持续预预测的方法,提高了模型在数学推理任务上的表现。

与外部工具交互,提升 LLM 的数学能力:1)LLM 与语言转换工具交互,如精益语言 [81],可以将数学语言转换为计算机语言,从而提高模型推理的严谨性。这是一种弥合人类推理与机器推理之间差距的创新方法。这可以使模型更好地理解和处理复杂的数学概念。 2)LLM 与信息检索系统交互,例如 Google 提出的大型对话模型 LaMDA,它连接到信息检索系统,使模型能够学习检索和使用计算器和翻译引擎。3)LLM 直接与计算引擎交互,例如 MathGPT,它通过与计算引擎交互来提高计算精度。这使得模型能够利用计算器强大的计算能力,以更高的精度执行复杂的数学计算。4)LLM 能够自行确定交互工具,例如 Meta 的工具形成器模型,它可以自行确定外部工具的使用 [98]。这使模型能够灵活地适应不同的情况并选择最合适的工具来解决问题,就像人类一样。

LLM 在数学中的未来发展:具体而言,一是以科学研究为核心的前沿探索,如研究和提升LLM在数学,包括计算领域的能力;二是提升面向大众的包容性教育和基础教育,研究如何通过模型提升学习体验和效果,加强不同年龄和背景学生的数学教育。利用LLM的力量,或许可以创造出符合学生个体需求和学习风格的个性化学习体验,让数学教育更容易被更多人接受、更有效。在发展潜力方面,LLM解决数学问题能力的拓展,将对其他技术和教育领域产生深远影响,比如可以用来提高科学模拟的精度和效率,增强机器学习算法的有效性,甚至助力量子计算等新技术的研发。最终,数学LLMs的发展可以推动更具包容性、更有效、更高效的新一代教育模式的发展。

6 Issues and Challenges

在实际应用中,用于教育的 LLM 仍然面临许多问题和挑战,包括但不限于图 6 所示。

6.1.Main issues

虚假知识泛滥的风险:作为一种不完善的智能技术,ChatGPT 等 LLM 仍然存在许多缺陷。最大的缺点是可能生成不正确的信息 [3]。正如许多人注意到的那样,LLM 有时会出现机器幻觉 [94]。例如,加州的一位计算机科学家尝试了不同的方法来检查 GPT 机器人的输出,发现 GPT-3.5 和 GPT-4 在测试从大学教科书和考试中选择的物理、化学和数学问题时充满了错误。此外,由于 LLM 的训练数据主要由英语语料库组成,因此它经常难以理解并提供个性化中文问题的正确答案。从短期来看,这些错误会导致学生知识学习的中断,而辨别能力较弱的学生很可能在不知不觉中获取错误的知识。从长远来看,如果不及时改进相应的技术,LLM 可能会进一步助长虚假知识的泛滥。积极应对机器幻觉的例子还有很多,比如检索增强生成方法(RAG)可以将LLM与经过严格验证的外部关键知识语料集成。

教育系统缺乏明确的操作规则:由于教育本身的复杂性,用特定的符号和算法来表示教育系统是一个极具挑战性的过程,目前的LLM无法实现。情感互动、有效沟通、以身作则等教育行为目前超出了LLM的能力范围。LLM从大量数据中学习并提供反馈,用数据表示主观教育信息,提供形态化的LLM是为了使Word2Vec等NLP模型能够将单词转换为向量,从而方便计算机处理文本数据[4]。基于自注意力机制[40]的GPT-1和BERT进一步提升了性能。GPT-3凭借其显著提升的参数规模[116],在零样本学习任务上实现了性能的又一次飞跃。 ChatGPT 的 HFRL、代码预训练和指令微调提高了模型的推理能力 [86]。超大规模多模态预训练模型 GPT-4 具有多模态理解和多类型内容生成能力 [62]。这些例子展示了解决 LLM 拟人化问题的思路,通过不断优化和发展逐渐接近类人能力,从而缓解教育规则抽象性和模糊性的局限性。

学生使用 LLM 时的一些弊端:LLM 答案中偶尔出现的不准确之处会误导缺乏批判性思维能力的学生。LLM 的极大便利性可能会降低学生独立学习和创新的欲望,导致智力懒惰。由于 LLM 涉及海量数据,缺乏数据安全意识的学生可能会在不知情的情况下泄露个人数据 [129]。 LLM虽然为AI与学生提供了互动对话场景和交流机会,但同时也减少了真实的人际对话,问题讨论方式可能从线上转向机器单方面的提问,影响学生社交能力的发展。针对这些问题,教育者需要积极引导学生适应LLM辅助教育的特点,加强隐私和安全意识的培养。

LLM与协作教学结合不足:虽然LLM已经实现了一定程度的一对一对话交流,但与现实生活中教育的结合仍然有限,解决高阶推理问题和复杂问题的能力仍需提高。例如,虽然GPT-4在某些考试中表现相当不错,但在逻辑推理问题上并没有表现出明显的优势[70]。大多数LLM在较少步骤的推理中具有较高的准确率(高达95%),但随着步骤数的增加,达到20步以上,准确率就大幅下降到36%,差距明显[90]。因此,有必要发展思路链技术,提高LLM的推理能力和解决复杂问题的能力[117],从而促进大模型的融合和协同教育。

LLM 的局限性:首先,在预训练中,同时满足合理模型大小、高级小样本学习能力和高级微调能力的模型尚未实现。例如,GPT-3 缺乏合理的模型大小,规模相对较大 [16]。此外,LLM 的高复杂度和强数据依赖性可能会被恶意数据利用,影响其训练过程和生成结果,以及输出不确定性等因素。LLM 技术缺乏可解释性,导致其内部机制不明。LM 的广泛应用需要可解释性来确保应用安全、克服性能限制和控制社会影响,这引发了对这些问题的相应考虑。未来,LLM 技术仍需优化和创新,研究人员需要根据用户的情况更多地考虑模型的可解释性。

6.2.Main challenges

技术挑战:LLMEdu 的应用依赖于基于 AI 的技术,这些技术复杂且具有挑战性。如果技术不完善,就很难提供高质量的教育服务。高质量数据源的可用性是影响 LLM 技术改进的重要因素之一。高质量数据转换涉及捕获和转换过程。需要考虑如何扩展教育领域的感知,以从教育学科的任何学习活动中捕获动态绩效数据,以及如何通过高效处理来提高数据质量。此外,LLMEdu 还面临着语音识别、NLP、AIGC [119]、多模态 LLM [120] 等方面的技术挑战。上述问题要求研究人员始终关注 AI 领域其他技术的发展,并积极将其融入 LLM,为教育行业带来更好的体验。

人工智能安全:LLM 的智能水平不断提高,安全问题也愈加严峻。首先是 LLM 的偏见认知。有研究指出,当使用性别偏见数据集对法学硕士进行测试时,其答案会反映出性别偏见[57]。因此,在训练法学硕士时,应该对数据进行过滤。二是缺乏正确的社会、道德和伦理价值观。对于一些违反社会伦理的问题,法学硕士无法判断,增加了犯罪的风险。因此,国家应该制定更完善的法律体系,规范法学硕士的使用。三是人工智能伦理问题中最常见的问题:“人工智能取代人类活动”。人工智能在教育方面有局限性。人工智能虽然在教育方面有很大的潜力,但它无法取代教师的作用,比如鼓励批判性思维、解决复杂问题、提供心理和社会支持等。但人类也应该灵活调整自己的角色,从伦理角度规范和引导人工智能的发展,保持自己的主导地位。

教育质量:LLMEdu的使用为智慧教育提供了许多机会,但也带来了质量方面的挑战。如果LLMEdu不能提供高质量的教育服务,就很难获得学生和教师的认可。此外,使用LLM的教育机构必须在教育质量和技术创新之间取得平衡。否则,可能会过度依赖技术,而忽视教育本身的质量。因此,要保证教育质量,首先要考虑的是保证教育内容,这就要求教育者调整合理的教学内容,明确LLM的辅助功能。然后,需要技术开发人员确保LLM的技术稳步进步。

技术依赖:请注意,未来的LLMEdu应该以人为本,而不是以技术为本[127]。过度依赖AI可能会降低学生的独立学习和创新思维能力,甚至导致作弊和学术不端行为,比如使用ChatGPT完成作业和论文。要防止法学硕士的被动应用,现实中的例子就是如此。在使用AI的同时,要鼓励学生独立思考,探索问题,寻找答案。此外,还要对学生进行时间管理教育,确保在使用AI的同时有足够的时间进行其他重要活动,避免对AI的过度依赖。

技术可及性和培训:AI技术的引入需要相应的硬件基础设施和网络支持。在资源有限的地区,这可能是一个挑战。再加上压力和根深蒂固的恐惧正在被取代的思想[126],在教育中出现了恐惧和拒绝使用AI的现象,换句话说,认知限制。在这种情况下,技术获取和培训变得困难。因此,应努力促进人工智能在教育行业的长期优势,引导师生接受适当的培训,更好地理解智能技术的应用思路和具体方法,增强使用意愿,更好地适应和利用这些工具。

公平问题。尽管人工智能有潜力提高教育质量和效率,但它的使用可能会导致学生之间的不公平。例如,一些家庭可能买不起人工智能学习工具,或者在某些地区,学生可能无法获得像ChatGPT这样的工具所需的技术设施。教育公平是社会发展的基石,需要采取干预措施来有效解决上述问题。例如,在设计和优化法学硕士时,应努力平衡种族、性别和年龄等特征,缩小数字鸿沟和性别差距。
数据隐私和安全[129]。数据隐私,包括隐私保护,是法学硕士应用中的一个重要问题。法学硕士涉及收集学生和教师的个人信息和学习数据。因此,隐私保护成为LLM应用中的重要问题。教育机构需要确保学生和教师隐私的有效保护,同时也要确保数据的安全可靠。家长和老师应注重培养孩子对数据隐私和安全的意识,并教育学生避免使用LLM带来的隐私风险。此外,在收集和处理学生的学习数据时,必须确保这些信息得到妥善保护,避免数据泄露或不当使用。

未来,顺应智能与教育融合时代的发展特征,在不断优化核心技术和技术创新的同时,ChatGPT、GPT-4、MathGPT等LLM将继续赋能教育领域。此外,在现有的LLM基础上,还要继续寻找更有效的训练方法,更高效地训练具有大规模参数的模型[11]。

7. Conclusion

本文尽可能全面地介绍了法学硕士在教育领域的发展和应用,还有一些技术没有涉及,还有一些问题没有深入讨论,希望本文介绍的技术和思考可以帮助学者和研究者更好地开发和优化教育法学硕士。本文总结了教育与法学硕士融合的过程。法学硕士具有优秀的语言生成和交互能力,这是传统书本教学无法提供的,它展示了人工智能在教育、教师、家长和学生角色转变中的创造性作用。对于智慧教育,我们呼吁更成熟的教育和人工智能发展标准、技术规范和数据安全指南,关注更多实际问题。如何保证数据安全?如何限制过度依赖人工智能技术的行为?如何培养学生的主动探索能力?法学硕士和教育相辅相成。 LLM在教育领域的应用,让教育更加智能高效,教育领域多年积累的数据可以帮助优化LLM培养,这些发展状况值得更多关注。如何才能创造出更多有价值的LLMEdu应用场景?期待LLMEdu的未来。

这篇关于教育LLM—大型教育语言模型: 调查,原文阅读:Large Language Models for Education: A Survey的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1136743

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

科研绘图系列:R语言扩展物种堆积图(Extended Stacked Barplot)

介绍 R语言的扩展物种堆积图是一种数据可视化工具,它不仅展示了物种的堆积结果,还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异,为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言