深度学习

课程： 华东师范大学（2023-2024学年第二学期）
授课教师： 兰韵诗 （数据科学与工程学院）; 邮箱：yslan [at] dase.ecnu.edu.cn
理论课： 周一 3-4节 教书院222
实验课： 周五 3-4节 教书院222
  • 《深度学习》是面向大数据专业开设的专业选修课。深度学习的概念源于人工神经网络的研究。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。本课程主要介绍深度学习的理论基础和实践。通过本课程的学习，计划使学生掌握深度学习的核心思想，以及主要技术，包括深度前馈网络，随机梯度下降，自适应学习算法，卷积神经网络，循环神经网络，递归神经网络，长短期记忆，注意力机制,和无监督特征学习方法等。与此同时，科普一些深度学习的扩展模型，包括序列生成模型，深度生成模型，大型预训练语言模型等。
  • 本课程采用的教学素材大部分来自于复旦大学邱锡鹏老师《神经网络与深度学习》。后期章节内容会根据课程的安排进行调整和修改，今年的课程我们添加了更多关于大语言模型的相关内容并结合实验室的项目实践整理成章节。
  • 本课程配套实验课程，能够结合理论让大家全方位掌握深度学习的知识。普通程序题和期末考察题均通过水杉在线的天梯系统发布，请同学们关注。
    • 相关书籍推荐
  • 邱锡鹏，《神经网络与深度学习》。
  • Ian Goodfellow等，《深度学习》。
  • 阿斯顿·张等，《动手学深度学习》。
  • Bishop, C.M.，《Pattern recognition and Machine Learning》。
  • 张奇等，《大规模语言模型：从理论到实践》。
  • 赵鑫等，《大语言模型》。
    • 第一周
    深度学习课程简介; 深度学习概述 ｜ 熟悉水杉在线;Python基础上手 （2月26日）
    [讲义]; [天梯系统使用手册]; [实验讲义]; [实验答案]
    第二周
    线性模型 ｜ 回归模型实现 （3月4日）
    [讲义]; [实验讲义]
    第三周
    线性分类模型 ｜ 线性分类模型实现 （3月11日）
    [讲义]; [实验讲义]
    第四周
    前馈神经网络 ｜ 前馈神经网络 （3月18日）
    [讲义]; [实验讲义]
    第五周
    卷积神经网络 ｜ 卷积神经网络实现 （3月25日）
    [讲义]; [实验讲义]
    第六周
    卷积神经网络和循环神经网络 ｜ 卷积神经网络实现（4月1日）
    [讲义]; [实验讲义]
    第七周
    循环神经网络 ｜循环神经网络实现 （4月8日）
    [实验讲义]
    第八周
    网络优化与正则化 ｜ 优化的梯度更新实现（4月15日）
    [讲义]; [实验讲义]
    第九周
    记忆与注意力机制 ｜ 记忆与注意力机制（4月22日）
    [讲义]; [实验讲义]
    第十周
    独立学习方式 ｜ 记忆与注意力机制（4月29日）
    [讲义];
    第十一周
    无监督学习 ｜ 期末考察题公布（5月6日）
    [讲义]; [实验讲义]
    第十二周
    深度生成模型 ｜VAE/GAN实现 （5月13日）
    [讲义]; [实验代码]
    第十三周
    预训练语言模型概要 ｜（5月20日）
    [讲义见课程群]
    第十四周
    大语言模型工作原理、评测和提示学习 ｜（5月27日）
    [讲义];
    第十五周
    大语言模型的微调和人类对齐 ｜（6月3日）
    [讲义];
    第十六周
    理论课放假 ｜（6月10日）

    第十七周
    大语言模型在开源社区领域问答的应用实践 ｜ 期末考察题目汇报 （6月17日）
    [讲义];
    理论课随堂表现（10%）
    实践作业（50%）
    期末考察（40%）
    本课程感谢本组助教同学、陆雪松老师组天梯系统的开发及管理同学、阿里云PolarDB团队的支持！