当前位置:首页|资讯|AI音频|OpenAI|谷歌|Whisper|GitHub

【AI打轴】日语字幕组和烤肉man的福音

作者:FJ布里塔尼亚发布时间:2023-03-28

解放双手,提高效率,随着AI时代来临,越来越多的基础性操作都可以用AI辅助完成,视频字幕的生成也不例外,接下来将介绍两种比较便利的日语字幕生成辅助工具

提示:以下两种工具都只针对日语视频

其他语言推荐自行试用AI语音识别模型Whisper(https://github.com/openai/whisper)

一、N46Whisper

乃木坂46(以及坂道系)字幕组们开发的基于 Google Colab 的应用

项目地址:https://github.com/Ayanaminn/N46Whisper/blob/main/README_CN.md

使用需要:能打开github和Google Colab、 Google Drive的网络环境、Google账号

需要在电脑的“修改"->"笔记本设置"->"硬件加速器"中选择GPU模式

应用形式:Google Colab网页

生成格式:含有时间戳和日语原文的ass字幕文件

如何使用:

在项目地址中找到<如何使用>章节

打开提供的Google Colab中应用网页

依次点击左边的“播放”按钮按照提示授权Google账号

选择提前在Google Drive里上传的文件或者本地文件

选择识别模型、上传类型(视频还是纯音频)、字幕分割模式和字幕格式

运行Whisper识别完成后ass字幕文件会自动下载到本地

备注:

如果选择的是Google Drive文件

识别完成后Google Drive内会自动添加该视频的纯音频文件、ass和srt字幕文件

推荐提前将要处理的文件上传到Google Drive以供直接选择

本地文件上传速度较慢,处理时间也会拖长

字幕分割模式下会将较短的无意义语气词单独列出,需要手动删除

识别语言只能是日语,本来就是针对日语字幕组开发的一款应用,所以打轴效果非常棒

拿我上一个实验视频为例,拿到的ass字幕只删除了语气词和修改了几个识别错误

其他的时间戳都没有问题,也不需要调整,直接翻译好压制即可

字幕组开发大佬们也在不断地更新优化,本介绍基于2023/03/28的版本

使用限制:

例如视频中出现明显背景音,长时间空白和多人对话,都可能影响识别准确度。

如果视频时间过长,对电脑配置的要求也越高,识别的时间也越久

其他功能:

基于ChatGPT的AI翻译功能,默认翻译成中文

翻译后的文本将于原文合并在一行,以 /N分割,生成双语对照字幕。

需要用自己Open AI的API key,免费版账号会有限制

截图步骤:


二、飞书妙记

使用地址:https://www.feishu.cn/product/minutes

使用需要:正常的国内网络环境、飞书账号

应用形式:APP、PC客户端、网页版均可

生成格式:含有说话人、时间戳和日语原文的srt字幕文件(或者TXT、飞书文档)

如何使用:

上传本地文件选择需要识别的语言(目前仅支持中文普通话、日语、英语)

等待转码和识别,识别成功后点击进入,在右端显示说话人和日语,左端显示CC字幕样式的视频

使用限制:

同N46Whisper一样如果遇到杂音过多、说话重叠过多等干扰因素,识别效果会相对较差

因为飞书妙记没有分割功能所以有的句子会特别长需要在aegisub里手动分割

生成的srt字幕可能无法直接用aegisub打开,需要转换为ass格式

可用的在线转换网站:https://www.zimujiang.com/format/convert.html

说话人识别不准确,三个人只能识别成两个

其他功能:

可以用飞书会议录制外部声音,录下来的语音会自动在飞书妙记记录识别

截图步骤:


三、补充推荐

Buzz和WhisperDesktop

同样是基于Whisper的应用

优势是不用联网、完全免费,直接在本地处理、不用注册账号

字幕文件格式:带有时间戳和日语原文的srt字幕文件

如果需要转换为ass格式,可用的在线转换网站https://www.zimujiang.com/format/convert.html

详细介绍和相关下载:


四、轴man会消失吗

个人觉得目前来说还不会,因为上述工具都只是生成最基础的轴,后续调整样式、删除分割和各种特效依然依赖轴man的手动处理

什么,你说翻译直接学了就行用不上特地找轴man了?啊,那没事了

以下是个人认为轴man可以升级/转型的几个方向:

1.学习特效字幕,基于代码操作的各种特效字幕、卡拉OK歌词特效字幕等

2.学习日语,自己做翻译,变身一体机

3.学习视频剪辑成为整活区、MAD区、AMV区UP主

4.研究开发更高级的AI打轴应用

5.跟着UP的另一篇教程:漫画汉化修图嵌字,加入漫画汉化组

五、日语语音转文字的几个拓展应用

1.辅助日语学习,自己练习听写后和AI生成的日语做对比,纠错和查漏补缺,甚至可以自己练习口语,录下来再丢进去识别看发音是否准确

2.辅助翻译,经常会有那么一两个句子或一两个词听不出来,AI生成可以帮忙识别出来是哪个句子/词

3.辅助总结,一些教程型视频等学术内容可以直接转写成对应的日语文本,方便做笔记/总结

六、最后

大家可以根据需求、硬件配置、网络环境等条件来选择适合自己的工具,或者多个工具互相辅助

如果有其他与AI打轴相关的实用工具欢迎补充推荐



Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1