Skip to content

Latest commit

 

History

History
155 lines (103 loc) · 7.6 KB

README_zh.md

File metadata and controls

155 lines (103 loc) · 7.6 KB
KrillinAI

极简部署AI视频翻译配音工具

krillinai%2FKrillinAI | Trendshift

English｜简体中文｜日本語｜한국어｜Français｜Deutsch｜Español｜Português｜Русский

QQ 群 Bilibili

📢win&mac桌面端新发布 欢迎测试反馈[文档有点落后，持续更新中]

项目简介

Krillin AI 是一款全能型音视频本地化与增强解决方案。这款简约而强大的工具，集音视频翻译、配音、语音克隆于一身，支持横竖屏格式输出，确保在所有主流平台（哔哩哔哩，小红书，抖音，视频号，快手，YouTube，TikTok等）都能完美呈现。通过端到端的工作流程，Krillin AI 仅需点击几次，就能将原始素材转化为精美即用的跨平台内容。

主要特点与功能：

🎯 一键启动：无需复杂的环境配置，自动安装依赖，立即投入使用，新增桌面版本，使用更便捷！

📥 视频获取：支持yt-dlp下载或本地文件上传

📜 精准识别：基于Whisper的高准确度语音识别

🧠 智能分段：使用LLM进行字幕分段和对齐

🔄 术语替换：一键替换专业领域词汇

🌍 专业翻译：基于LLM，段落级翻译保持语义连贯性

🎙️ 配音克隆：提供CosyVoice精选音色或自定义音色克隆

🎬 视频合成：自动处理横竖版视频和字幕排版

效果展示

下图为46分钟的本地视频导入，一键执行后生成的字幕文件入轨后的效果，无任何手动调整。无缺失、重叠，断句自然，翻译质量也非常高。 对齐效果

字幕翻译

subtitle_translation.mp4

配音

tts.mp4

竖屏

agi.mp4

语言支持

输入语言支持：中文，英文，日语，德语，土耳其语（持续增加中）

翻译语言支持：英文，中文，俄语，西班牙语，法语等56种语言

界面预览

界面预览

🚀 快速开始

基本步骤

首先下载Release中与你设备系统匹配的可执行文件，按照下面的教程选择桌面版还是非桌面版，然后放入空文件夹，把软件下载到一个空文件夹，因为运行之后会生成一些目录，放到空文件夹会好管理一些。

【如果是桌面版，即release文件带desktop的看此处】
桌面版是新发布的，为了解决新手用户难以正确编辑配置文件的问题，还有不少bug，持续更新中

  1. 双击文件即可开始使用

【如果是非桌面版，即release文件不带desktop的看此处】
非桌面版是一开始的版本，配置比较复杂，但是功能稳定，同时适合服务器部署，因为会以web的方式提供ui

  1. 在文件夹内创建config文件夹，然后在config文件夹创建config.toml文件，复制源代码config目录下的config-example.toml文件的内容填入config.toml，并对照填写你的配置信息。（想用openai模型但不会获取key的可以加群免费试用）
  2. 双击，或在终端执行可执行文件，启动服务
  3. 打开浏览器，输入http://127.0.0.1:8888，开始使用 (8888替换成你在配置文件中填写的端口)

To: macOS用户

【如果是桌面版，即release文件带desktop的看此处】
桌面端目前打包方式由于签名等问题，还不能够做到双击直接运行或者dmg安装，需要手动信任应用，方法如下：

  1. 在终端打开可执行文件（假设文件名是KrillinAI_1.0.0_desktop_macOS_arm64）所在目录
  2. 依次执行以下命令：
sudo xattr -cr ./KrillinAI_1.0.0_desktop_macOS_arm64
sudo chmod +x ./KrillinAI_1.0.0_desktop_macOS_arm64 
./KrillinAI_1.0.0_desktop_macOS_arm64

【如果是非桌面版，即release文件不带desktop的看此处】
本软件没有做签名，因此在macOS上运行时，在完成“基本步骤”中的文件配置后，还需要手动信任应用，方法如下：

  1. 在终端打开可执行文件（假设文件名是KrillinAI_1.0.0_macOS_arm64）所在目录
  2. 依次执行以下命令： 
     sudo xattr -rd com.apple.quarantine ./KrillinAI_1.0.0_macOS_arm64
 sudo chmod +x ./KrillinAI_1.0.0_macOS_arm64
 ./KrillinAI_1.0.0_macOS_arm64
    即可启动服务

Docker部署

本项目支持Docker部署，请参考Docker部署说明

Cookie配置说明(非必选)

如果你遇到视频下载失败的情况

请参考 Cookie 配置说明 配置你的Cookie信息。

配置帮助（必看）

最快速便捷的配置方式：

  • transcription_provider和llm_provider都选择openai，这样在下方openai、local_model、aliyun三个配置项大类里只需要填写openai.apikey就可以进行字幕翻译。(app.proxy、model和openai.base_url按自己情况选填)

使用本地语言识别模型（暂不支持macOS）的配置方式（兼顾成本、速度与质量的选择）

  • transcription_provider填写fasterwhisper，llm_provider填写openai，这样在下方openai、local_model三个配置项大类里只需要填写openai.apikey和local_model.faster_whisper就可以进行字幕翻译，本地模型会自动下载。(app.proxy和openai.base_url同上)

以下几种使用情况，需要进行阿里云的配置：

  • 如果llm_provider填写了aliyun，需要使用阿里云的大模型服务，因此需要配置aliyun.bailian项的配置
  • 如果transcription_provider填写了aliyun，或者在启动任务时开启了“配音”功能，都需要使用阿里云的语音服务，因此需要填写aliyun.speech项的配置
  • 如果开启了“配音”功能，同时上传了本地的音频做音色克隆，则还需要使用阿里云的OSS云存储服务，因此需要填写aliyun.oss项的配置
    阿里云配置帮助：阿里云配置说明

常见问题

请移步常见问题

贡献规范

  1. 不要提交无用文件，如.vscode、.idea等，请善于使用.gitignore过滤
  2. 不要提交config.toml，而是使用config-example.toml提交

联系我们

  1. 加入我们的QQ群，解答问题：754069680
  2. 关注我们的社交媒体账号，哔哩哔哩，每天分享AI科技领域优质内容

Star History

Star History Chart