@苏祺 杨佳野：《语言智能的演进及其在新文科中的应用探析》

摘要

• 本文旨在探讨语言智能的演进历程，重点分析ChatGPT的作用与影响
• 语言智能的发展：
  • 从早期的响应式程序到使用复杂算法和模型实现自然语言理解与生成的智能系统
  • 现代聊天机器人能够完成高级语言处理任务，如语义理解、情感分析和知识推理
• ChatGPT的出现标志着语言AI发展达到新高度
• 文章内容：
  • 详细介绍ChatGPT的关键技术与挑战
  • 探讨ChatGPT在新文科领域的潜在应用
• 随着AI技术的发展，ChatGPT的应用将日益广泛，成为推动语言智能发展的重要力量

1. 语言智能的发展历程

• 早期响应式程序

  • ELIZA（1966年，Weizenbaum）
    • 通过模式匹配和关键词识别生成回复
    • 功能有限，依赖预设规则，无法个性化
  • ALICE（1995年，Wallace）
    • 使用AIML（人工智能标记语言）进行语言建模
    • 采用模板匹配策略，通过if-else条件生成回复
    • 仍需人工预设规则，难以实现流畅自然对话

• 现代聊天机器人

  • 随着深度学习技术发展，机器人利用神经网络学习自然语言语义，生成回复，被称为“生成式聊天”
  • 代表性系统：
    • 小冰（Xiaolce，2014年，微软）
      • 使用RNN（循环神经网络）语言模型
      • 能记住用户输入历史信息，根据上下文生成回复
      • 可识别用户情感和语言风格，生成个性化回复
    • Meena（2020年，谷歌）
      • 采用Seq2seq模型和Evolved Transformer神经网络
      • 在回答连贯性和具体性方面接近人类水平
      • 成功关键：约400亿词的对话数据和26亿个参数

• ChatGPT的出现

  • 标志着语言智能发展的新阶段

2. ChatGPT的关键技术

• Transformer架构大规模预训练
• 提示学习（Prompt Learning）
  • ChatGPT使用提示学习方法（promp tlearning）来实现这一目标。提示学习通过向输入中增加“提示信息”，将原始任务转换为语言模型问题。
  • 思维链提示（Chain of Thought, CoT）
• 基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）
  • 首先，收集人工标注的偏好数据，在基石模型上微调得到策略模型（有监督的微调模型，SFT）；
  • 其次，收集比较数据并训练出奖励模型（RM）；最后，采用PPO强化学习算法，针对奖励模型来优化策略模型，让模型生成更高质量的回答。

3. ChatGPT面临的挑战

• 生成内容的准确性
  • “幻觉”（hallucination）问题是生成式人工智能模型固有的问题。
  • 与搜索引擎结合是一个可行的解决方法
• 推理能力还有待提升
• 使用不同措辞询问的问题可能得到差异较大的答案，提示语的构建直接影响语言模型的表现能力
• 回答形式仅限于文本、低资源语言任务表现欠佳等

4. ChatGPT在新文科中的应用

• 新文科背景
  • 强调学科协同发展和多学科交叉
  • 新兴学科：社会计算、金融科技、计算语言学、数字人文等（陈穀，2019）
• 应用前景
  • 辅助研究
    • 文本分析：情感分析、主题建模等
    • 数据挖掘：从大量文本中提取有用信息
  • 教学
    • 智能辅导：根据学生需求提供个性化教学
    • 自动答疑：回答学生问题