Home

Awesome

SakuraLLMServer

要求

步骤

显存大小模型规模下载链接
8G/10G7BGalTransl-7B-v2.6-IQ4_XS.gguf
11G/12G/16G14Bsakura-14b-qwen2.5-v1.0-iq4xs.gguf
24G14Bsakura-14b-qwen2.5-v1.0-q6k.gguf

启动

  SakuraLLMServer\llama\...
                    \00_Core.bat
                    \01_1280_NP16.bat
                    \sakura-14b-qwen2.5-v1.0-iq4xs.gguf
                    \...
显存大小模型规模启动脚本
8G7B01_1280_NP4_KVQ8.bat
10G7B01_1280_NP8_KVQ8.bat
11G14B01_1280_NP4.bat
12G14B01_1280_NP6.bat
16G/24G14B01_1280_NP16.bat

设置 AiNiee

选项设置
接口管理 - SakuraLLM - 编辑接口 - 接口地址http://127.0.0.1:8080
接口管理 - SakuraLLM - 编辑接口 - 模型名称(8G/10G)Sakura-v0.9
接口管理 - SakuraLLM - 编辑接口 - 模型名称(11G/12G/16G/24G)Sakura-v1.0
基础设置 - 翻译任务切分模式Token 模式
基础设置 - 翻译任务的最大 Tokens 数384
基础设置 - 每个翻译任务携带的参考上文行数(翻译 小说GalGame 时)3
基础设置 - 每个翻译任务携带的参考上文行数(翻译 其他内容 时)0
基础设置 - 同时执行的翻译任务数量启动脚本名称中 NP 后的数字
基础设置 - 错误重试的最大次数0
基础设置 - 翻译流程的最大轮次20
高级设置 - 保留句内换行符启用
高级设置 - 保留首尾非字符文本启用

设置 GalTransl(TODO)

设置 轻小说翻译机器人(绿站)

常见问题