当前位置:首页|资讯|斯坦福|深度学习|机器学习

斯坦福CS 230,吴恩达深度学习速查表

作者:人工智能大讲堂发布时间:2024-07-22

前面介绍了吴恩达斯坦福机器学习课程CS 229速查表,其内容为机器学习领域核心知识点,其实吴恩达教授还有另一门Deep Learning课:CS 230。

同样,这门课的助教Afshine Amidi也将课程内容整理成了速查表。

该课程主要包括卷积神经网络CNN、循环神经网络RNN、和深度学习中的一些小技巧组成。

卷积神经网络CNN

目前,除了用CNN作为图像特征提取骨干网络外,还可以用ViT(Vision Transformer),因为这门课是2019年开设的,当时虽然已经有Transformer了,但也仅限于NLP领域,ViT还没有应用于CV中,所以课程和速查表没有包含这部分内容。

但即便是现在,CNN仍是CV领域的主力军,尤其是在需要高效计算和资源受限的环境中,虽然ViT在某些任务上展示出与最先进的CNNs相媲美甚至更好的性能,但ViT存在计算效率问题,除此之外,如果想获得好的效果,还需要有大量的数据进行预训练。

循环神经网络RNN

RNN主要用于处理时序数据,目前处理时序数据效果最好的是Transformer,当下主流的大模型都是基于Transformer架构,同样,在开设这门课时虽然已经有Transformer了,但当时还没有像现在被大模型带的这么火,所以在速查表中也只是简单的提到了注意力机制。

深度学习中的一些小技巧

这里面包含了训练模型的魔法,能够让你花费最小代价取得最大的性能提升。



Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1