Datasets 使用小贴士: 探索解决数据集无法下载的问题

Hugging Face Hub 是强大的机器学习的数据源。相信大家在国内用 Hugging Face Datasets 都遇到过下载的问题。譬如:

⌛ 结果下载到一半: 

😔 到昨天为止，我的方法还是重新启动下载脚本或者提前把数据放到本地……直到昨天要下载一个大的数据集，实在受不了 🤯。于是去看了一下文档: https://hf.co/docs/datasets/v2.13.1/en/package_reference/builder_classes#datasets.DownloadConfig

🚪 于是我打开了新世界的大门:

🤱 再也不用担心下载不了数据集啦！

🤔 PS: 目前还有不少上传下载的问题没有解决:

• 初始化数据集下载是容易 ConnectionError，这个可能需要调节 timeout 或者使用特殊上网方式

• push_to_hub 没有断点续存和 retry 的机制

如果大家有什么更好的解决方案，欢迎交流 :)