本文主要是介绍基于Whisper语音识别的实时视频字幕生成 (一): 流式显示视频帧和音频帧,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Whishow
Whistream(微流)是基于Whisper语音识别的的在线字幕生成工具,支持rtsp/rtmp/mp4等视频流在线语音识别
1. whishow介绍
whishow(微秀)是在线音视频流播放python实现,支持rtsp/rtmp/mp4等输入,也是whistream的前端。python实现原理如下:
if __name__ == "__main__":stm = STREAM()spc = SPROCESS()ply = PLAY()# url = sys.argv[1]url = "test.mp4"# 线程1:esc退出播放def engine():global plyimport keyboardwhile 1:if keyboard.is_pressed('esc'):breaktime.sleep(0.01)stm.running = Falsespc.running = Falseply.running = False# 线程2:读取视频流和音频流 (保存一级cache)def process1():global stmstm.read(url = "test.mp4",video_dst_frame_size=[-1,-1],cache_size=10*60)# 线程2:处理帧(保存二级cache)def process2():global spcwhile not check_stream():time.sleep(1)spc.run(cache_size=2*60,asr=False,step=1)# 播放视频 (播放二级cache)def process3():global plywhile not check_stream():time.sleep(1)ply.init_state(start=0,step=1)ply.run()p0 = threading.Thread(target=engine,args=())p1 = threading.Thread(target=process1,args=())p2 = threading.Thread(target=process2,args=())p3 = threading.Thread(target=process3,args=())p0.start()p1.start()p2.start()p3.start()
exe下载地址:https://github.com/coolEphemeroptera/Whishow/releases
whistream将在whishow基础上引入whisper进行在线语音识别生成视频字幕
2. 使用
python:
python whishow.py <视频路径>
例1:python whishow.py ./test.mp4
例2:python whishow.py rtmp://mobliestream.c3tv.com:554/live/goodtv.sdp
命令行:
./whishow.exe <视频路径>
显示如下:
3. 联系我们
605686962@qq.com
coolEphemeroptera@gmail.com
这篇关于基于Whisper语音识别的实时视频字幕生成 (一): 流式显示视频帧和音频帧的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!