前面介绍了吴恩达斯坦福机器学习课程CS 229速查表,其内容为机器学习领域核心知识点,其实吴恩达教授还有另一门Deep Learning课:CS 230。
同样,这门课的助教Afshine Amidi也将课程内容整理成了速查表。
该课程主要包括卷积神经网络CNN、循环神经网络RNN、和深度学习中的一些小技巧组成。
卷积神经网络CNN
目前,除了用CNN作为图像特征提取骨干网络外,还可以用ViT(Vision Transformer),因为这门课是2019年开设的,当时虽然已经有Transformer了,但也仅限于NLP领域,ViT还没有应用于CV中,所以课程和速查表没有包含这部分内容。
但即便是现在,CNN仍是CV领域的主力军,尤其是在需要高效计算和资源受限的环境中,虽然ViT在某些任务上展示出与最先进的CNNs相媲美甚至更好的性能,但ViT存在计算效率问题,除此之外,如果想获得好的效果,还需要有大量的数据进行预训练。
循环神经网络RNN
RNN主要用于处理时序数据,目前处理时序数据效果最好的是Transformer,当下主流的大模型都是基于Transformer架构,同样,在开设这门课时虽然已经有Transformer了,但当时还没有像现在被大模型带的这么火,所以在速查表中也只是简单的提到了注意力机制。
深度学习中的一些小技巧
这里面包含了训练模型的魔法,能够让你花费最小代价取得最大的性能提升。