深度学习

课程： 华东师范大学（2025-2026学年第二学期）
授课教师： 兰韵诗 （数据科学与工程学院）; 邮箱：yslan [at] dase.ecnu.edu.cn
理论课： 周五 3-4节 文史楼313
实验课： 周五 8-9节 中北三馆教学楼201
  • 《深度学习》是面向大数据专业开设的专业选修课。深度学习的概念源于人工神经网络的研究。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。本课程主要介绍深度学习的理论基础和实践。通过本课程的学习，计划使学生掌握深度学习的核心思想，以及主要技术，包括深度前馈网络，随机梯度下降，自适应学习算法，卷积神经网络，循环神经网络，递归神经网络，长短期记忆，注意力机制,和无监督特征学习方法等。与此同时，科普一些深度学习的扩展模型，包括序列生成模型，深度生成模型，大型预训练语言模型等。
  • 本课程采用的教学素材大部分来自于复旦大学邱锡鹏老师《神经网络与深度学习》。后期章节内容会根据课程的安排进行调整和修改，今年的课程我们添加了更多关于大语言模型的相关内容并结合实验室的项目实践整理成章节。
  • 本课程配套实验课程，能够结合理论让大家全方位掌握深度学习的知识。
    • 相关书籍推荐
  • 邱锡鹏，《神经网络与深度学习》。
  • Ian Goodfellow等，《深度学习》。
  • 阿斯顿·张等，《动手学深度学习》。
  • Bishop, C.M.，《Pattern recognition and Machine Learning》。
  • 张奇等，《大规模语言模型：从理论到实践》。
  • 赵鑫等，《大语言模型》。
    • 第一周
    深度学习课程简介; 深度学习概述 ｜ Python基础上手 （3月6日）
    [讲义] [warm_up]
    第二周
    线性模型 ｜ 回归模型实现-实践作业 （3月13日）

    第三周
    线性分类模型 ｜ 线性分类模型实现 （3月20日）

    第四周
    前馈神经网络 ｜ 前馈神经网络 （3月27日）

    第五周
    卷积神经网络 ｜ 卷积神经网络实现-实践作业 （4月3日）

    第六周
    卷积神经网络和循环神经网络 ｜（4月10日）

    第七周
    循环神经网络 ｜循环神经网络实现-实践作业 （4月17日）

    第八周
    网络优化与正则化 ｜ 优化的梯度更新实现（4月24日）

    第九周

    第十周
    记忆与注意力机制 ｜ 记忆与注意力机制-实践作业

    第十一周
    独立学习方式 ｜ BERT的简单实现-实践作业

    第十二周
    无监督学习 ｜ 期末考察题公布

    第十三周
    概率图模型 ｜

    第十四周
    深度生成模型 ｜

    第十五周
    预训练语言模型概要 ｜

    第十六周

    第十七周
    大语言模型工作原理、评测和提示学习 ｜

    第十八周
    大语言模型的微调和人类对齐 ｜ 期末考察题目分享汇报

    理论课随堂表现（10%）
    实践作业（50%）
    期末考察（40%）
    本课程感谢本组助教同学的支持！