Awesome
Chinese LLaVA
开源,可商用的中英文双语视觉-语言助手 Chinese-LLaVA 以及中英文视觉 SFT 数据集 Chinese-LLaVA-Vision-Instructions,支持中英文视觉-文本多模态对话的开源可商用对话模型。
<p align="center"> <img src=".github/preview.jpg" width="40%"> </p>模型框架
基础演示
在线试玩
Talk is cheap, Show you the Demo.
资源下载
-
HuggingFace模型下载:
-
百度网盘下载:
-
语言模型:
-
数据集:
- HuggingFace Dataset: Chinese-LLaVA-Vision-Instructions
- 百度网盘链接:https://pan.baidu.com/s/1-jgINIkW0MxusmJuSif85w?pwd=q62v
环境安装
# clone the repository
git clone https://github.com/LinkSoul-AI/Chinese-LLaVA
cd Chinese-LLaVA
# install package
conda create -n Cllava python=3.10 -y
conda activate Cllava
pip install --upgrade pip
pip install -e .
快速测试
python infer.py \
--model-name PATH/TO/THE/CHINESE_LLAVA_MODEL \
--llm-type "Chinese_llama2" or "baichuan" \
--image-file PATH/TO/THE/INPUT/IMAGE \
--query QUERY/PROMPT
TODO
- 如何训练
- int4 量化
- docker 部署