更新VSE v2.0.0

Author: YaoFANGUK

README.md

@@ -12,14 +12,15 @@ Video-subtitle-extractor (vse) 是一款将视频中的硬字幕提取为外挂
 - 提取视频中的关键帧
 - 检测视频帧中文本的所在位置
 - 识别视频帧中文本的内容
-- 过滤非字幕区域的文本，去除水印（台标）文本
+- 过滤非字幕区域的文本
+- [去除水印、台标文本、原视频硬字幕，可配合：video-subtitle-remover (vsr) ](https://github.com/YaoFANGUK/video-subtitle-remover/tree/main)
 - 去除重复字幕行，生成srt字幕文件
 - 支持视频字幕**批量提取**（打开文件的时候选择多个视频）
-- 多语言：支持**中文/英文**、**日语**、**韩语**、**阿拉伯语**、**繁体中文**、**法语**、**德语**、**俄语**、**西班牙语**、**葡萄牙语**、**意大利语**字幕的提取
+- 多语言：支持**简体中文（中英双语）**、**繁体中文**、**英文**、**日语**、**韩语**、**越南语**、**阿拉伯语**、**法语**、**德语**、**俄语**、**西班牙语**、**葡萄牙语**、**意大利语**等**87种**语言的字幕提取
 - 多模式：
-  - **快速** - 快速提取字幕但可能丢字幕（推荐）
-  - **精准** - 不丢字幕但速度较慢
-
+  - **快速**：使用轻量模型，快速提取字幕，但可能丢字幕（推荐）
+  - **自动**：自动判断模型，CPU下使用轻量模型；GPU下使用精准模型，提取字幕速度较慢，几乎不丢字幕
+  - **精准**：使用精准模型，GPU下逐帧检测，不丢字幕，但速度**非常慢**（非常不推荐）
 
 **使用说明**：
 
@@ -37,15 +38,19 @@ Video-subtitle-extractor (vse) 是一款将视频中的硬字幕提取为外挂
 
 **下载地址**：
 
-- Windows 单文件版本： <a href=https://www.aliyundrive.com/s/7mdRDJHVRiu target=_blank>vse.exe</a> 提取码：**17uj**
+- Windows 绿色版本v2.0.0（CPU）： <a href="https://pan.baidu.com/s/1aUtZqGix1J0aqwGX4VRCWA?pwd=vse2" target=_blank>vse_windows_cpu_v2.0.0.zip</a> 提取码：**vse2** 
+
+> **推荐使用，启动速度较快**
 
-> (双击直接运行，每次打开时会有一点慢，**推荐小白使用**)
+- Windows 单文件版本v2.0.0（CPU）： <a href=https://www.aliyundrive.com/s/uD5ZfoAbDcf target=_blank>vse.exe</a> 提取码：**rl02** 
 
-- Windows GPU版本： <a href="https://pan.baidu.com/s/1L-cdVHnBGva2bGrsStYnnQ">vse_windows_GPU.7z</a> 提取码：**r911**
+> 双击直接运行，每次打开时会有一点慢，**若出现误报毒，使用绿色版**
 
-- Windows CPU版本： <a href="https://pan.baidu.com/s/1oPyJowF0XgHtgg2g9EA-nw">vse_windows_CPU.zip</a> 提取码：**1vi6** 
+- Windows GPU版本v2.0.0（GPU）： <a href="https://pan.baidu.com/s/1w8vJnqF91RlJB39LMbZmDg?pwd=vse2">vse_windows_gpu_v2.0.0.7z</a> 提取码：**vse2**
 
-- MacOS CPU版本： <a href="https://pan.baidu.com/s/1WgZpr_8I3Dv7A8ThwcIPng">vse_macOS_CPU.dmg</a> 提取码：**7gbo** 
+> **仅供具有Nvidia显卡的用户使用(AMD的显卡不行)，提取速度非常快**
+
+- MacOS 版本v0.1.0（CPU）： <a href="https://pan.baidu.com/s/1WgZpr_8I3Dv7A8ThwcIPng">vse_macOS_CPU.dmg</a> 提取码：**7gbo** 
 
 > PS: 若无法下载，请前往<a href="https://github.com/YaoFANGUK/video-subtitle-extractor/releases"> Release </a>下载
 
@@ -57,7 +62,8 @@ Video-subtitle-extractor (vse) 是一款将视频中的硬字幕提取为外挂
 - (CLI版本) 无需用户手动设置字幕区域，项目通过文本检测模型自动检测字幕区域
 - (GUI版本) 图形化界面
 
-<img src="https://z3.ax1x.com/2021/04/09/cNrA1A.png" alt="demo">
+<p style="text-align:center;"><img src="https://github.com/YaoFANGUK/video-subtitle-extractor/raw/main/design/demo.png" alt="demo.png"/></p>
+
 
 点击【打开】后选择视频文件，调整字幕区域，点击【运行】
 
@@ -225,7 +231,7 @@ python ./backend/main.py
 
 将项目中的.condarc放在用户目录下(C:\Users\\<你的用户名>)，如果用户目录已经存在该文件则覆盖
 
-解决方案：<a href="https://zhuanlan.zhihu.com/p/260034241">https://zhuanlan.zhihu.com/p/260034241</a>
+解决方案：<a href="https://zhuanlan.zhihu.com/p/260034241">https://zhuanlan.zhihu.com/p/260034241 </a>
 
 #### 3. Windows下出现geos_c.dll错误
 
@@ -238,20 +244,23 @@ OSError: [WinError 126] 找不到指定的模块。
 
 解决方案：
 
-1) 卸载Shapely
+(1) 卸载Shapely
 
 ```shell
 pip uninstall Shapely -y
 ```
 
-2) 使用conda重新安装Shapely
+(2) 使用conda重新安装Shapely
 
 ```shell
 conda install Shapely             
 ```
 
+#### 4. 7z文件解压错误
 
-#### 4. Nuitka打包代码闪退
+解决方案：升级7-zip解压程序到最新版本
+
+#### 5. Nuitka打包代码闪退
 
 使用Nuitka版本```0.6.19```，将conda虚拟环境Lib文件夹下site-packages的所有文件复制到dependencies文件夹中，把paddle库dataset下image.py的有关subprocess代码全部注释了，使用以下打包命令：
 
@@ -261,11 +270,9 @@ conda install Shapely
 
 编译成单个文件（pip安装zstandard可以减小体积）
 ```shell
- python -m nuitka --standalone --windows-disable-console --mingw64 --lto no --include-data-dir=D:\vse\backend=backend --include-data-dir=D:\vse\dependencies=dependencies  --nofollow-imports --windows-icon-from-ico=D:\vse\design\vse.ico --plugin-enable=tk-inter,multiprocessing --output-dir=out --onefile .\gui.py
+python -m nuitka --standalone --windows-disable-console --mingw64 --lto no --include-data-dir=C:\Users\Yao\Downloads\vse\backend=backend --include-data-dir=C:\Users\Yao\Downloads\vse\design=design --include-data-dir=C:\Users\Yao\Downloads\vse\dependencies=dependencies  --nofollow-imports --windows-icon-from-ico=C:\Users\Yao\Downloads\vse\design\vse.ico --plugin-enable=tk-inter,multiprocessing --output-dir=C:\Users\Yao\Downloads\out --onefile .\gui.py
 ```
 
-
-
 ## 社区支持
 
 #### Jetbrains 全家桶支持
@@ -274,3 +281,12 @@ conda install Shapely
   <a href="https://jb.gg/OpenSourceSupport"><img src="https://resources.jetbrains.com/storage/products/company/brand/logos/jb_beam.png" alt="JetBrains Logo (Main) logo." width="80"></a>
 </div>
 
+## 赞助
+<img src="https://i.imgur.com/THE81jM.jpg" width="300">
+
+| 捐赠者 | 累计捐赠金额 | 赞助席位 |
+| --- | --- | --- |
+| 爱东| 100.00 RMB | 金牌赞助席位 |
+| [neoyxm](https://github.com/neoyxm) | 50.00 RMB | 银牌赞助席位 |
+| [AcelXiao](https://github.com/acelxiao) | 20.00 RMB | 银牌赞助席位 |
+| sky | 5.00 RMB | 铜牌赞助席位 |

README_en.md

@@ -12,22 +12,24 @@
 - Detect subtitle areas (i.e., coordinates) (as well as scene text if you want) (using deep learning algorithms)
 - Converting graphic text into plain-text (using deep learning algorithms)
 - Filter non-subtitle text (e.g., Logo and watermark etc.)
+- Remove watermark, logo text and original video hard subtitles, see: [video-subtitle-remover (VSR)](https://github.com/YaoFANGUK/video-subtitle-remover/tree/main).
 - Remove duplicated subtitle line and **generate srt file** (by calculating text similarity)
 - Batch extraction. You can select multiple video files at one time and this tool can generate subtitles for each video.
-- Multiple language support, you can extract the following subtitle languages: **Simplified Chinese**, **English**, 
+- Multiple language support. You can extract subtitles in 87 languages such as: **Simplified Chinese**, **English**, 
   **Japanese**, **Korean**, **Arabic**, **Traditional Chinese**, **French**, **German**, **Russian**, **Spanish**, 
   **Portuguese**, **Italian**
 - Multiple mode:
-  - **fast**: high extraction speed while few subtitle missing (**Recommended**)
-  - **accurate**: no subtitle missing while low extraction speed
+  - **fast**: use a lightweight model to extract subtitles quickly, but you may lose subtitles (**Recommended**).
+  - **auto**: automatically judge the model, and use the lightweight model under CPU; Using accurate model under GPU, the speed of subtitle extraction is slow and almost no subtitles are lost.
+  - **accurate**: use accurate model, detect subtitles frame by frame under GPU, and do not lose subtitles, but the speed is very slow (not recommended).
 
 **Download**：
 
-- Windows executable (might be slow when initial start): <a href="https://github.com/YaoFANGUK/video-subtitle-extractor/releases/download/1.0.0/vse.exe">vse.exe</a> 
+- Windows executable (might be slow when initial start): <a href="https://github.com/YaoFANGUK/video-subtitle-extractor/releases/download/2.0.0/vse.exe">vse.exe</a> 
 
-- Windows GPU version：<a href="https://github.com/YaoFANGUK/video-subtitle-extractor/releases/download/1.0.0/vse_windows_GPU.7z">vse_windows_GPU.7z</a>
+- Windows GPU version：<a href="https://github.com/YaoFANGUK/video-subtitle-extractor/releases/download/2.0.0/vse_windows_gpu_v2.0.0.7z">vse_windows_gpu_v2.0.0.7z</a>
 
-- Windows CPU version：<a href="https://github.com/YaoFANGUK/video-subtitle-extractor/releases/download/1.0.0/vse_windows_CPU.zip">vse_windows_CPU.zip</a>
+- Windows CPU version：<a href="https://github.com/YaoFANGUK/video-subtitle-extractor/releases/download/2.0.0/vse_windows_cpu_v2.0.0.zip">vse_windows_cpu_v2.0.0.zip</a>
 
 - MacOS：<a href="https://github.com/YaoFANGUK/video-subtitle-extractor/releases/download/0.1.0/vse_macOS_CPU.dmg">vse_macOS_CPU.dmg</a>
 
@@ -38,7 +40,7 @@
 - For Command Line Interface(CLI) version, you can escape the subtitle area setting. This program will automatically detect the subtitle area for you.
 - GPU support is available. You can install CUDA and cuDNN to speed up the detection and recognition process and even get more accurate results.
 
-<img src="https://z3.ax1x.com/2021/04/09/cNrA1A.png" alt="demo">
+<p style="text-align:center;"><img src="https://github.com/YaoFANGUK/video-subtitle-extractor/raw/main/design/demo.png" alt="demo.png"/></p>
 
 > **Provide your suggestions to improve this project in ISSUES**
 

backend/config.py

@@ -76,7 +76,6 @@
 # ×××××××××××××××××××× [不要改]判断是否使用GPU start ××××××××××××××××××××
 
 
-
 # ×××××××××××××××××××× [不要改]读取语言、模型路径、字典路径 start ××××××××××××××××××××
 # 设置识别语言
 REC_CHAR_TYPE = settings_config['DEFAULT']['Language']
@@ -88,16 +87,21 @@
     ACCURATE_MODE_ON = True
 if MODE_TYPE == 'fast':
     ACCURATE_MODE_ON = False
+if MODE_TYPE == 'auto':
+    if USE_GPU:
+        ACCURATE_MODE_ON = True
+    else:
+        ACCURATE_MODE_ON = False
 # 模型文件目录
-# 默认模型版本 V3
-MODEL_VERSION = 'V3'
+# 默认模型版本 V4
+MODEL_VERSION = 'V4'
 # 文本检测模型
 DET_MODEL_BASE = os.path.join(BASE_DIR, 'models')
 # 设置文本识别模型 + 字典
 REC_MODEL_BASE = os.path.join(BASE_DIR, 'models')
 # 默认字典路径为中文
 DICT_BASE = os.path.join(BASE_DIR, 'ppocr', 'utils', 'dict')
-# V3模型默认图形识别的shape为3, 48, 320
+# V3, V4模型默认图形识别的shape为3, 48, 320
 REC_IMAGE_SHAPE = '3,48,320'
 REC_MODEL_PATH = os.path.join(REC_MODEL_BASE, MODEL_VERSION, f'{REC_CHAR_TYPE}_rec')
 DET_MODEL_PATH = os.path.join(DET_MODEL_BASE, MODEL_VERSION, f'{REC_CHAR_TYPE}_det')
@@ -126,58 +130,49 @@
 
 # 定义字典路径
 DICT_PATH = os.path.join(DICT_BASE, f'{REC_CHAR_TYPE}_dict.txt')
-
+DET_MODEL_FAST_PATH = os.path.join(DET_MODEL_BASE, 'V4', 'ch_det_fast')
 # 如果设置了识别文本语言类型，则设置为对应的语言
-if REC_CHAR_TYPE in MULTI_LANG :
-    # 不管有无GPU和是否开启精准模式，默认使用大模型
+if REC_CHAR_TYPE in MULTI_LANG:
     # 定义文本识别模型
+    # 不管有无GPU和是否开启精准模式，默认使用V4版本的大模型
     REC_MODEL_PATH = os.path.join(REC_MODEL_BASE, MODEL_VERSION, f'{REC_CHAR_TYPE}_rec')
-    # 如果当前模型版本没有大模型，则切换为V2版本
+    # 如果默认版本(V4)没有大模型，则切换为默认版本(V4)的fast模型
     if not os.path.exists(REC_MODEL_PATH):
-        MODEL_VERSION = 'V2'
-        REC_MODEL_PATH = os.path.join(REC_MODEL_BASE, MODEL_VERSION, f'{REC_CHAR_TYPE}_rec')
-    # 如果V2版本也没有大模型版本，则切换V3的fast版本
+        REC_MODEL_PATH = os.path.join(REC_MODEL_BASE, MODEL_VERSION, f'{REC_CHAR_TYPE}_rec_fast')
+    # 如果默认版本(V4)既没有大模型，又没有fast模型，则使用V3版本的大模型
     if not os.path.exists(REC_MODEL_PATH):
         MODEL_VERSION = 'V3'
-        REC_MODEL_PATH = os.path.join(REC_MODEL_BASE, MODEL_VERSION, f'{REC_CHAR_TYPE}_rec_fast')
-    # 如果没有V3的fast版本，则切换V2的fast版本
+        REC_MODEL_PATH = os.path.join(REC_MODEL_BASE, MODEL_VERSION, f'{REC_CHAR_TYPE}_rec')
+    # 如果V3版本没有大模型，则使用V3版本的fast模型
     if not os.path.exists(REC_MODEL_PATH):
-        MODEL_VERSION = 'V2'
+        MODEL_VERSION = 'V3'
         REC_MODEL_PATH = os.path.join(REC_MODEL_BASE, MODEL_VERSION, f'{REC_CHAR_TYPE}_rec_fast')
 
     if REC_CHAR_TYPE in LATIN_LANG:
-        MODEL_VERSION = 'V3'
         REC_MODEL_PATH = os.path.join(REC_MODEL_BASE, MODEL_VERSION, f'latin_rec_fast')
         DICT_PATH = os.path.join(DICT_BASE, f'latin_dict.txt')
     elif REC_CHAR_TYPE in ARABIC_LANG:
-        MODEL_VERSION = 'V3'
         REC_MODEL_PATH = os.path.join(REC_MODEL_BASE, MODEL_VERSION, f'arabic_rec_fast')
         DICT_PATH = os.path.join(DICT_BASE, f'arabic_dict.txt')
     elif REC_CHAR_TYPE in CYRILLIC_LANG:
-        MODEL_VERSION = 'V3'
         REC_MODEL_PATH = os.path.join(REC_MODEL_BASE, MODEL_VERSION, f'cyrillic_rec_fast')
         DICT_PATH = os.path.join(DICT_BASE, f'cyrillic_dict.txt')
     elif REC_CHAR_TYPE in DEVANAGARI_LANG:
-        MODEL_VERSION = 'V3'
         REC_MODEL_PATH = os.path.join(REC_MODEL_BASE, MODEL_VERSION, f'devanagari_rec_fast')
         DICT_PATH = os.path.join(DICT_BASE, f'devanagari_dict.txt')
 
     # 定义文本检测模型
-    tmp_dir = REC_MODEL_PATH.replace(os.path.dirname(REC_MODEL_PATH), '').split('_')
-    if len(tmp_dir) > 3:
-        tmp_dir = tmp_dir[-3:]
-    tmp_dir[1] = 'det'
-    DET_MODEL_PATH = os.path.join(os.path.dirname(REC_MODEL_PATH), "_".join(tmp_dir))
-    if not os.path.exists(DET_MODEL_PATH):
-        if REC_CHAR_TYPE in ['ch', 'japan', 'korean', 'chinese_cht']:
-            tmp_dir[0] = 'ch'
-        elif REC_CHAR_TYPE == 'en':
-            tmp_dir[0] = 'en'
+    if MODE_TYPE == 'auto':
+        # 如果使用GPU，则快速模型使用大模型
+        if USE_GPU:
+            DET_MODEL_PATH = os.path.join(DET_MODEL_BASE, 'V4', 'ch_det')
         else:
-            tmp_dir[0] = 'ml'
-        DET_MODEL_PATH = os.path.join(os.path.dirname(REC_MODEL_PATH), "_".join(tmp_dir))
-    if MODEL_VERSION == 'V2':
-        DET_MODEL_PATH = os.path.join(DET_MODEL_BASE, MODEL_VERSION, 'ch_det')
+            DET_MODEL_PATH = os.path.join(DET_MODEL_BASE, 'V4', 'ch_det_fast')    
+    elif MODE_TYPE == 'fast':
+        DET_MODEL_PATH = os.path.join(DET_MODEL_BASE, 'V4', 'ch_det_fast')
+    else:
+        DET_MODEL_PATH = os.path.join(DET_MODEL_BASE, 'V4', 'ch_det')
+
     # 定义图像识别shape
     if MODEL_VERSION == 'V2':
         REC_IMAGE_SHAPE = '3,32,320'
@@ -188,6 +183,10 @@
     if 'inference.pdiparams' not in (os.listdir(REC_MODEL_PATH)):
         fs = Filesplit()
         fs.merge(input_dir=REC_MODEL_PATH)
+    # 查看该路径下是否有文本模型识别完整文件，没有的话合并小文件生成完整文件
+    if 'inference.pdiparams' not in (os.listdir(DET_MODEL_PATH)):
+        fs = Filesplit()
+        fs.merge(input_dir=DET_MODEL_PATH)
 # ×××××××××××××××××××× [不要改]读取语言、模型路径、字典路径 end ××××××××××××××××××××
 
 
@@ -215,9 +214,6 @@
 # 每几帧抽取一帧进行OCR识别
 EXTRACT_INTERVAL = 8
 
-# 欧式距离相似值
-EUCLIDEAN_SIMILARITY_THRESHOLD = 0.9
-
 # 容忍的像素点偏差
 PIXEL_TOLERANCE_Y = 50  # 允许检测框纵向偏差50个像素点
 PIXEL_TOLERANCE_X = 100  # 允许检测框横向偏差100个像素点

backend/interface/ch.ini

@@ -3,6 +3,7 @@ Title = 字幕提取器
 InterfaceLanguage = 选择语言:
 SubtitleLanguage = 选择视频字幕的语言:
 Mode = 选择识别模式:
+ModeAuto = 自动
 ModeFast = 快速
 ModeAccurate = 精准
 InterfaceDefault = 简体中文
@@ -135,4 +136,4 @@ CheckSubArea = 请查看图片, 确定字幕区域是否正确:
 DeleteNoSubArea = 红色框区域外的字幕是否去除? 输入 "y" 或 "回车" 表示去除，输入"n"或其他表示不去除:
 FinishDeleteNoSubArea = 去除完毕
 SubLocation = 字幕文件生成位置：
-InputVideo = 请输入视频完整路径：
+InputVideo = 请输入视频完整路径：

backend/interface/chinese_cht.ini

@@ -3,6 +3,7 @@ Title = 字幕提取器
 InterfaceLanguage = 選擇語言:
 SubtitleLanguage = 選擇視頻字幕的語言:
 Mode = 選擇識別模式:
+ModeAuto = 自動
 ModeFast = 快速
 ModeAccurate = 精準
 InterfaceDefault = 繁體中文
@@ -135,4 +136,4 @@ CheckSubArea = 請查看圖片, 確定字幕區域是否正確:
 DeleteNoSubArea = 紅色框區域外的字幕是否去除? 輸入 "y" 或 "回車" 表示去除，輸入"n"或其他表示不去除:
 FinishDeleteNoSubArea = 去除完畢
 SubLocation = 字幕文件生成位置：
-InputVideo = 請輸入視頻完整路徑：
+InputVideo = 請輸入視頻完整路徑：

backend/interface/en.ini

@@ -3,6 +3,7 @@ Title = Subtitle Extractor
 InterfaceLanguage = Choose Language:
 SubtitleLanguage = Subtitle Language:
 Mode = Choose Mode:
+ModeAuto = auto
 ModeFast = fast
 ModeAccurate = accurate
 InterfaceDefault = English
@@ -135,4 +136,4 @@ CheckSubArea = Please check the picture to make sure the subtitle area is correc
 DeleteNoSubArea = Are the subtitles outside the red box area removed? Input "y" or "Enter" to remove, input "n" or other means not to remove:
 FinishDeleteNoSubArea = Removed
 SubLocation = Subtitle file generated at:
-InputVideo = Please enter the full path of the video：
+InputVideo = Please enter the full path of the video：

backend/interface/ko.ini

@@ -3,6 +3,7 @@ Title = Subtitle Extractor
 InterfaceLanguage = 언어 선택:
 SubtitleLanguage = 자막 언어:
 Mode = 모드 선택:
+ModeAuto = 자동적 인
 ModeFast = 빠름
 ModeAccurate = 정확함
 InterfaceDefault = 한국어
@@ -135,4 +136,4 @@ CheckSubArea = 자막 영역이 올바른지 이미지를 확인해주세요.
 DeleteNoSubArea = 빨간색 상자 영역 밖의 자막이 제거되었나요? 제거하려면 "y" 또는 "Enter"를 입력하고, 제거하지 않으려면 "n" 또는 아무거나 입력합니다:
 FinishDeleteNoSubArea = 제거 완료
 SubLocation = 자막 파일이 생성된 위치:
-InputVideo = 비디오의 전체 경로를 입력하세요:
+InputVideo = 비디오의 전체 경로를 입력하세요: