Update contents about Data Analysis and Data Base

SUMMARY.md

@@ -24,13 +24,16 @@
   * [数学分析B1（数学通修）](pei-yang-fang-an-jie-xi/da-yi-qiu-ji-xue-qi/shu-xue-fen-xi-b1-shu-xue-tong-xiu.md)
 * [大一春季学期](pei-yang-fang-an-jie-xi/da-yi-chun-ji-xue-qi/README.md)
   * [数学分析B2（数学通修）](pei-yang-fang-an-jie-xi/da-yi-chun-ji-xue-qi/shu-xue-fen-xi-b2-shu-xue-tong-xiu.md)
+  * [大学物理-基础实验（物理通修）](pei-yang-fang-an-jie-xi/da-yi-chun-ji-xue-qi/da-xue-wu-li-ji-chu-shi-yan-wu-li-tong-xiu.md)
 * [大二秋季学期](pei-yang-fang-an-jie-xi/da-er-qiu-ji-xue-qi/README.md)
   * [概率论与数理统计（专业基础）](pei-yang-fang-an-jie-xi/da-er-qiu-ji-xue-qi/gai-shuai-lun-yu-shu-li-tong-ji-zhuan-ye-ji-chu.md)
   * [复变函数B （专业基础）](pei-yang-fang-an-jie-xi/da-er-qiu-ji-xue-qi/fu-bian-han-shub-zhuan-ye-ji-chu.md)
   * [计算系统概论（专业基础）](pei-yang-fang-an-jie-xi/da-er-qiu-ji-xue-qi/ji-suan-xi-tong-gai-lun-zhuan-ye-ji-chu.md)
+  * [电磁学C（物理通修）](pei-yang-fang-an-jie-xi/da-er-qiu-ji-xue-qi/dian-ci-xuecwu-li-tong-xiu.md)
+  * [大学物理-综合实验B（物理通修）](pei-yang-fang-an-jie-xi/da-er-qiu-ji-xue-qi/da-xue-wu-li-zong-he-shi-yanbwu-li-tong-xiu.md)
   * [数据结构（专业基础）](pei-yang-fang-an-jie-xi/da-er-qiu-ji-xue-qi/shu-ju-jie-gou-zhuan-ye-ji-chu.md)
   * [几何学基础（专业选修）](pei-yang-fang-an-jie-xi/da-er-qiu-ji-xue-qi/ji-he-xue-ji-chu-zhuan-ye-xuan-xiu.md)
-  * [人工智能与机器学习基础](pei-yang-fang-an-jie-xi/da-er-qiu-ji-xue-qi/ren-gong-zhi-neng-yu-ji-qi-xue-xi-ji-chu.md)
+  * [人工智能与机器学习基础（专业核心）](pei-yang-fang-an-jie-xi/da-er-qiu-ji-xue-qi/ren-gong-zhi-neng-yu-ji-qi-xue-xi-ji-chu.md)
 * [大二春季学期](pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/README.md)
   * [人工智能基础（专业选修）](pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/ren-gong-zhi-neng-ji-chu-zhuan-ye-xuan-xiu.md)
   * [人工智能原理与技术（专业选修）](pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/ren-gong-zhi-neng-ji-chu-zhuan-ye-xuan-xiu-1.md)
@@ -39,9 +42,10 @@
   * [数理方程B（专业选修）](pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/shu-li-fang-chengbzhuan-ye-xuan-xiu.md)
   * [电子线路（专业选修）](pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/dian-zi-xian-lu-zhuan-ye-xuan-xiu.md)
   * [信号与系统（专业选修）](pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/xin-hao-yu-xi-tong-zhuan-ye-xuan-xiu.md)
-  * [数据库系统概论（专业基础）](pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/shu-ju-ku-xi-tong-gai-lun-zhuan-ye-ji-chu.md)
-  * [数据分析与实践（专业核心）](pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/shu-ju-fen-xi-yu-shi-jian-zhuan-ye-he-xin.md)
+  * [数据库系统概论（专业核心）](pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/shu-ju-ku-xi-tong-gai-lun-zhuan-ye-ji-chu.md)
+  * [数据分析及实践（专业核心）](pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/shu-ju-fen-xi-yu-shi-jian-zhuan-ye-he-xin.md)
   * [离散数学（专业基础）](pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/li-san-shu-xue-zhuan-ye-ji-chu.md)
+  * [深度学习基础（专业核心）](pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/shen-du-xue-xi-ji-chu-zhuan-ye-he-xin.md)
 * [大三秋季学期](pei-yang-fang-an-jie-xi/da-san-qiu-ji-xue-qi/README.md)
   * [算法基础（专业基础）](pei-yang-fang-an-jie-xi/da-san-qiu-ji-xue-qi/suan-fa-ji-chu-zhuan-ye-ji-chu.md)
   * [机器学习概论（专业核心）](pei-yang-fang-an-jie-xi/da-san-qiu-ji-xue-qi/ji-qi-xue-xi-gai-lun-zhuan-ye-he-xin.md)

pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/shen-du-xue-xi-ji-chu-zhuan-ye-he-xin.md

@@ -0,0 +1,84 @@
+---
+description: Presented by Wanglulu：wanglulu114514@mail.ustc.edu.cn
+---
+
+# 深度学习基础（专业核心）
+
+<figure><img src="../../.gitbook/assets/深度学习.jpg" alt=""><figcaption></figcaption></figure>
+
+这门课不需要教材。深度学习的相关教材很多，如有需要可以自行选择。
+
+## 课程简介
+
+深度学习基础在AI和DS专业的培养方案中均为必修。课程深入讨论深度学习的内涵，围绕“深度”和“学习”两条主线，重点介绍网络结构和学习算法，及其在计算机视觉、自然语言处理、图分析挖掘、推荐系统等方向中的应用。具体内容包括：深度前向网络、深度学习中的最优化技术、深度学习中的正则化技术、深度卷积网络、循环神经网络、注意力机制、图神经网络、生成网络、无监督学习等。该课程将理论和实践紧密结合，在夯实学生的理论分析能力同时，锻炼学生的动手实践能力。
+
+课程的主要考核方式为实验，附有论文调研等作业，无考试（2026年春季）
+
+## 前置知识涉及的课程
+
+数分线代概统，人工智能与机器学习基础，以及其他机器学习相关的课程。
+
+本课程的实验全部基于深度学习框架进行，需要比较熟练地使用Python的各种包和torch等深度学习框架。当然，由于深度学习对算力有硬性要求，一台好的设备是必不可少的。如果设备不过关可以上107平台，使用学校提供的算力。使用远程算力需要学习ssh等远程连接技术。
+
+## 课堂概况
+
+2026春季开设两个平行课堂，分别由冯福利、王文杰老师，何向南讲授。冯福利班的PPT继承自计算机学院连德富、王皓老师开设的同内容课程并做了部分调整。然而根据某位同学的描述，这份PPT的内容似乎大量来自一本名叫 [_Probabilistic Machine Learning： An Introduction_](https://icourse.club/course/26300/#review-104655) 的教材，有条件的同学可以试试用教材自学。
+
+课程从深度学习的定义及其与机器学习之间的区别出发，以神经网络为原点，讲授FNN、CNN、RNN、Resnet、注意力机制、Transformer、图神经网络、自监督学习、知识增强、因果启发等深度学习所用的方法，并介绍了大量大语言模型、生成式模型等相关前沿内容。
+
+冯老师和王老师都比较注重课堂活跃度，但没有组织点名和小测。平时上课可能会挑同学回答问题并记录。
+
+本课程面向的群体比较多样，从AIDS到信院计科，再到一些其他专业选修的同学，背景非常丰富。
+
+## 实验概况
+
+2026春的实验共5次，在总评中的占比分别为10，10，10，15，20，最后一次为组队大作业。实验只有说明没有框架，需要同学们从0开始搭建。
+
+### 实验1
+
+非常简单的FNN实验，用糖尿病疾病进展数据集进行回归、调参并分析结果。
+
+### 实验2
+
+非常简单的CNN实验，用Fashion-MNIST 服装图像分类数据集进行训练、测试、调参和结果分析
+
+### 实验3
+
+开始上强度的RNN/Transformer实验，基于IMDB 电影评论数据集进行情感类型预测（分类），需要准备Tokenizer、参照《Attention Is All You Need》原文手动实现多头注意力、实现位置编码和调参分析。
+
+### 实验4
+
+算力需求巨大的自监督学习实验，使⽤CIFAKE数据集进行基于SimCLR的自监督学习，需要进行数据增强、训练和调参分析。CIFAKE是一个载有120000张图片的数据集，分为真实的和AI生成的。本实验算力需求巨大，助教特意强调可以不跑全量数据训练，但最低需要使用10%的数据。
+
+### 大作业
+
+使用本课程学习到的知识，在所给的历年股票数据集上进行模型训练，并使用训练好的模型进行预测和为期10天的模拟盘实操比赛。
+
+按照布置作业时给定的标准，大作业的最终效果占比换算到总评大概有4分。
+
+从最终的结果来看，大家炒股的结果和所选10天的A股大盘基本保持一致。最大收益约4%，最大亏损约20%，平均收益率大约为-4%左右。由于A股的骰子涨跌，本作业最终效果的运气成分较大。
+
+## 书面作业
+
+除了实验，本课程还有几次比较简单的书面作业：
+
+1. 设想一个可以利用深度学习解决问题校园实际场景，并说明深度学习相较于传统机器学习的优势。
+2. 根据上课讲述的生成式模型相关内容完成部分题目，重点为数学推导和原理解释
+3. 调研一篇大模型相关的论文并写调研报告，要有自己的感受和想法。
+
+折算为总评后，两次小作业共计10分，论文调研报告15分。
+
+## 关于Vibe Coding
+
+本课程第一节课就说明了不反对Vibe Coding，但要求同学们完全理解生成的代码。助教在实验验收和报告批改中也会着重关注有无自己的理解。
+
+课程实验的所有框架都需要从0搭建，这也意味着手写所有代码几乎是不可能的，我们需要AI来帮我们完成大量代码。相应地，同学们不需要过于纠结代码的细枝末节，而应当把注意力放在小部分的核心代码上，从而以最快的速度搞清楚AI写出来的代码究竟在做什么，又有什么可能的问题。
+
+不建议使用AI完成实验报告。你可以让AI帮你生成模板和分析数据，但核心的结论需要你自己的思考。
+
+如果对着大量的脚本文件无从下手，可以直接询问你的Coding Agent，让ta帮你解释所写的代码。
+
+## 其他
+
+细心的同学会发现上面所有的分数加起来只有90分。这是因为有10分是考勤分，但是冯福利王文杰老师的课堂没点过名。
+

pei-yang-fang-an-jie-xi/da-er-chun-ji-xue-qi/shu-ju-fen-xi-yu-shi-jian-zhuan-ye-he-xin.md

@@ -4,47 +4,108 @@ description: 学分：3.0
 
 # 数据分析与实践（专业核心）
 
-<figure><img src="../../.gitbook/assets/DM.png" alt=""><figcaption><p>课程教材以老师PPT为主</p></figcaption></figure>
+Presented by Wanglulu：wanglulu114514@mail.ustc.edu.cn
+
+<figure><img src="../../.gitbook/assets/O1CN010BiqYX1m9kJiiGyrB_!!2455124912.webp" alt=""><figcaption><p>课程教材</p></figcaption></figure>
 
 ## 课程简介
 
-本课程主要从数据科学基础，数据统计，数据挖掘，机器学习等方面入手，较全面地描述了数据分析的全过程。这是一门实践导向的课程，它的主要编程工具为Python，内容包括python的基础语法与应用（自学然后完成实验），如何获取数据（爬虫），如何在原始数据之上进行特征工程，统计分析，可视化实验，如何使用机器学习基础算法。课程的最后还会给出一项情景任务，之前三年给过的任务是根据某场LOL比赛的场上数据预测比赛胜率、根据某国家学生的各项能力得分预测其数学成绩和根据PISA提供的学生各项基本情况（比如：家庭收入、学校是否有音乐课等）数据来预测学生是否复读。本课程没有期末考试，平时的每项实验都很重要，课程中后期还会有一项调研报告任务，其会培养同学们查找资料、阅读论文、书写报告的能力。
+数据分析及实践是数据科学专业的专业核心课程，主要内容为数据从生成到处理，再到利用的各个环节以及所涉及到的算法等，内容主要包括数据采集、数据预处理、特征工程、数据统计、数据挖掘。其中数据统计包含各种统计量、参数估计方法、假设检验方法、抽样方法等；数据挖掘包含分类与预测、聚类、关联分析和异常检测等。课程知识量较大，并伴有多次实验。
 
 ## 前置知识涉及的课程
 
-数学分析、线性代数、概率论与数理统计
+概率论与数理统计、机器学习
 
-## 往年经验
+这门课的四个章节分别叫数据科学基础、数据入门、数据统计和数据挖掘，但是等上完这门课以后会发现这四个章节都有更好的名字：
 
-作为一项实践性的课程，同学们可以提前熟悉Python的使用（尤其是网络爬虫），jupyter的使用，调研报告的书写技能（可以使用Typora；老师明确表示希望看到更加美观的报告，可以提前学习latex来尝试美化自己的报告），课程中会涉及一系列机器学习基础算法，由于课程内容比较多，某些算法可能不会细讲，且作为导论课程课程深度不会过于深，有兴趣的同学可以去B站看看吴恩达的机器学习/深度学习网课作为补充。另外，基本上每节课都有当堂小测，就算一筹莫展也尽量写上姓名学号交上去。
+1. 数据科学科普
+2. 数据采集和处理
+3. 概统
+4. 机器学习
 
-## 与后续课程的联系
+如果你在上这门课前已经上了**人工智能与机器学习基础**，你会在这门课里见到很多熟悉的面孔，尤其是第二章和第四章。
 
-数据分析的技术是极其重要的能力，其内涵在于使用数据驱动的思想，数据分析的手段解决实际应用问题，在机器学习的领域之中也占据极其重要的位置。
+## 课堂概况
 
-## 课程资源
+刘淇老师执教这门课多年，已经形成了自己独特的上课风格，而2026年春季程明月老师的加入无疑为课堂注入了新鲜血液，让本课程呈现出一种勃勃生机万物竞发的境界。蒸蒸日上！
 
-{% embed url="https://rec.ustc.edu.cn/share/7ba6cc80-be48-11ed-baf8-29dee41a5f77" %}
+本课程的排课一般为下午的8、9、10节，但是基本不会提前下课。
+
+课堂讲解完全基于PPT，附带少量板书。这门课的内容100%包含在PPT内，备考完全可以仅依赖PPT。但是本课程的PPT从开课以来直至2026年春似乎都没有更新过，其中存在的情况包括但不限于：
+
+* 字被图片挡住
+* 中英混杂
+* 部分内容过时
+* 重点不突出
+
+课程讲授的的大多数知识点都是非常有用的，属于数据科学的学科常识和基础算法。不过课程的编排方式可能使内容显得难以理解。如有需要可以进行基于大模型的学习。
+
+课上有小测而且可能上到一半就测。
+
+## 实验概况
+
+本课程没有祖传实验，每年都会设计新的实验。2026年春季的实验有5个，内容如下：
+
+1. Python 基础，在bdaa的平台上写Python题
+2. 从ICLR2026的网页上爬取数据并清洗
+3. 使用给定的ICLR论文信息数据集进行统计分析
+4. 使用给定的ICLR论文信息数据集进行关联规则挖掘
+5. 使用给定的ICLR论文信息数据集进行机器学习，预测论文能否被Accept，并尝试编写能够自动执行数据分析脚本的Agent
 
-## 目录
+需要注意目前的大模型已经能够独立完成所有实验，但实验中仍然有不少细节问题是只靠大模型无法解决的，比如爬虫的访问参数、数据过脏、数据图表分析等。这里特别提一下数据过脏，课上专门强调了数据分析的80%时间都在清洗数据，可能还不止。实验涉及到的数据集大概率会存在大量的格式错误、数值缺失等问题，需要仔细处理。
 
-<details>
+除实验1以外所有实验都需要写报告，报告要求按照实验步骤写明每一步的结果和分析。同学们不要提交纯血的AI报告，可能会导致一个比较低的分数。另外，2026春的报告要求直接提交md文件，请注意如果md文件中附有图片的话需要连带图片一起打包提交。
 
-<summary>数据分析与实践教学大纲</summary>
+如果实验做得好可能会被选中上台分享。
 
-数据科学基础
+## 考试情况
 
-数据分析入门
+没有往年题，评课社区所有的往年题都是学长靠超强记忆力弄出来的。备考除了PPT就是评课社区。可以让AI帮你看着考点出点模拟题。
 
-数据统计
+2026春季的考试题型为10道定项选择，4道不定项选择，3道填空，4道简答和4道综合，整体题量较大，考察内容广泛但不超出PPT。
 
-数据挖掘基础
+每个章节的考察重点如下，其中带\*的为非常重要的重点：
 
+### 第一章
 
+没有。
 
+### 第二章
 
+* 爬虫：载入、解析和存储过程，数据请求方式，反爬虫和去重
+* 数据存储：结构化、半结构化、非结构化
+* \*数据预处理：数据清理、集成、变换、规约（这个部分是重中之重，会有大量可以计算的指标）
+* \*特征工程：特征构造、TF-IDF、特征子集评价
 
+### 第三章
 
+* 反映数据集中趋势的分布指标：各种平均值、分位数、众数、箱图（各种统计图表）
+* 反映数据离散趋势的分布指标：方差/标准差、极差/四分位差、异众比、变异系数
+* 反映数据分布形态的分布指标：偏度系数、峰度系数
+* \*参数估计：矩估计、最小二乘估计、MLE、MAP、Bayes估计、无偏有效相合
+* 假设检验：第一类/第二类错误
+* 抽样：各种抽样方法
 
-</details>
+### 第四章
 
+* 关联规则：项集、\*支持度、\*置信度、\*Apriori算法、FP-Growth算法、提升度、辛普森悖论
+* 分类：\*Acc/Pre/Recall/F1、ROC曲线、\*决策树（信息增益、基尼指数、过拟合分析、剪枝）、Bayes分类器、感知机、KNN
+* 数据集成：Bagging、Boosting、评价指标
+* 时序预测：各种概念和性质、\*ARIMA算法
+* 聚类：层次聚类、密度聚类（DBSCAN）、SSE/SSB
+
+## 评分细则
+
+实验30分，考试60分，平时10分。这门课刚开始是没有考试的，2024年开始考试占大头，上这门课的同学一定要好好准备考试。
+
+## 其他
+
+本课程被广大同学评价为上课、实验、考试正交，请做好大量自学的准备。
+
+课堂上涉及数据库的内容都可以不听，因为数据库系统概论会讲。
+
+出分非常慢，不建议急需学分的同学选修/重修。
+
+## 老学长留下的链接
+
+{% embed url="https://rec.ustc.edu.cn/share/7ba6cc80-be48-11ed-baf8-29dee41a5f77" %}