解放双手,提高效率,随着AI时代来临,越来越多的基础性操作都可以用AI辅助完成,视频字幕的生成也不例外,接下来将介绍两种比较便利的日语字幕生成辅助工具
提示:以下两种工具都只针对日语视频
其他语言推荐自行试用AI语音识别模型Whisper(https://github.com/openai/whisper)
乃木坂46(以及坂道系)字幕组们开发的基于 Google Colab 的应用
项目地址:https://github.com/Ayanaminn/N46Whisper/blob/main/README_CN.md
使用需要:能打开github和Google Colab、 Google Drive的网络环境、Google账号
需要在电脑的“修改"->"笔记本设置"->"硬件加速器"中选择GPU模式
应用形式:Google Colab网页
生成格式:含有时间戳和日语原文的ass字幕文件
如何使用:
在项目地址中找到<如何使用>章节
打开提供的Google Colab中应用网页
依次点击左边的“播放”按钮按照提示授权Google账号
选择提前在Google Drive里上传的文件或者本地文件
选择识别模型、上传类型(视频还是纯音频)、字幕分割模式和字幕格式
运行Whisper识别完成后ass字幕文件会自动下载到本地
备注:
如果选择的是Google Drive文件
识别完成后Google Drive内会自动添加该视频的纯音频文件、ass和srt字幕文件
推荐提前将要处理的文件上传到Google Drive以供直接选择
本地文件上传速度较慢,处理时间也会拖长
字幕分割模式下会将较短的无意义语气词单独列出,需要手动删除
识别语言只能是日语,本来就是针对日语字幕组开发的一款应用,所以打轴效果非常棒
拿我上一个实验视频为例,拿到的ass字幕只删除了语气词和修改了几个识别错误
其他的时间戳都没有问题,也不需要调整,直接翻译好压制即可
字幕组开发大佬们也在不断地更新优化,本介绍基于2023/03/28的版本
使用限制:
例如视频中出现明显背景音,长时间空白和多人对话,都可能影响识别准确度。
如果视频时间过长,对电脑配置的要求也越高,识别的时间也越久
其他功能:
基于ChatGPT的AI翻译功能,默认翻译成中文
翻译后的文本将于原文合并在一行,以 /N分割,生成双语对照字幕。
需要用自己Open AI的API key,免费版账号会有限制
截图步骤:
使用地址:https://www.feishu.cn/product/minutes
使用需要:正常的国内网络环境、飞书账号
应用形式:APP、PC客户端、网页版均可
生成格式:含有说话人、时间戳和日语原文的srt字幕文件(或者TXT、飞书文档)
如何使用:
上传本地文件选择需要识别的语言(目前仅支持中文普通话、日语、英语)
等待转码和识别,识别成功后点击进入,在右端显示说话人和日语,左端显示CC字幕样式的视频
使用限制:
同N46Whisper一样如果遇到杂音过多、说话重叠过多等干扰因素,识别效果会相对较差
因为飞书妙记没有分割功能所以有的句子会特别长需要在aegisub里手动分割
生成的srt字幕可能无法直接用aegisub打开,需要转换为ass格式
可用的在线转换网站:https://www.zimujiang.com/format/convert.html
说话人识别不准确,三个人只能识别成两个
其他功能:
可以用飞书会议录制外部声音,录下来的语音会自动在飞书妙记记录识别
截图步骤:
Buzz和WhisperDesktop
同样是基于Whisper的应用
优势是不用联网、完全免费,直接在本地处理、不用注册账号
字幕文件格式:带有时间戳和日语原文的srt字幕文件
如果需要转换为ass格式,可用的在线转换网站https://www.zimujiang.com/format/convert.html
详细介绍和相关下载:
个人觉得目前来说还不会,因为上述工具都只是生成最基础的轴,后续调整样式、删除分割和各种特效依然依赖轴man的手动处理
什么,你说翻译直接学了就行用不上特地找轴man了?啊,那没事了
以下是个人认为轴man可以升级/转型的几个方向:
1.学习特效字幕,基于代码操作的各种特效字幕、卡拉OK歌词特效字幕等
2.学习日语,自己做翻译,变身一体机
3.学习视频剪辑成为整活区、MAD区、AMV区UP主
4.研究开发更高级的AI打轴应用
5.跟着UP的另一篇教程:漫画汉化修图嵌字,加入漫画汉化组
1.辅助日语学习,自己练习听写后和AI生成的日语做对比,纠错和查漏补缺,甚至可以自己练习口语,录下来再丢进去识别看发音是否准确
2.辅助翻译,经常会有那么一两个句子或一两个词听不出来,AI生成可以帮忙识别出来是哪个句子/词
3.辅助总结,一些教程型视频等学术内容可以直接转写成对应的日语文本,方便做笔记/总结
大家可以根据需求、硬件配置、网络环境等条件来选择适合自己的工具,或者多个工具互相辅助
如果有其他与AI打轴相关的实用工具欢迎补充推荐