Home

Awesome

image image image

<h1 align = "center">🔥ChatLLM 基于知识库🔥</h1>

star之后可联系wx: 313303303领取1000w tokens（国产模型）

star之后可联系wx: 313303303领取1000w tokens（国产模型）

star之后可联系wx: 313303303领取1000w tokens（国产模型）

<div align=center> <img src="data/imgs/LLM.drawio.png"/> </div>

image

todo: SimpleGraphRAG

ChatLLM API 分发系统上线

<details markdown="1"> <summary>Click to Star⭐️免费领取tokens</summary> https://api.chatllm.vip/ </details>

Install

pip install -U chatllm

Docs

Usages

目前适配的LLMs

计划推出国内 oneapi，支持各种主流大模型，兼容openai客户端生态。

from chatllm.applications import ChatBase

qa = ChatBase()
qa.load_llm(model_name_or_path="THUDM/chatglm-6b")
for i in qa(query='周杰伦是谁', knowledge_base='周杰伦是傻子'):
    print(i, end='')
# 根据已知信息无法回答该问题，因为周杰伦是中国内地流行歌手、演员、音乐制作人、导演，
# 是具有一定的知名度和专业能力的人物，没有提供足够的信息无法判断他是傻子。

OpenaiEcosystem

<details markdown="1"> <summary>Click to 无缝对接openai生态</summary> 
# 服务端
pip install "chatllm[openai]" && chatllm-run openai <本地模型地址>

import openai

openai.api_base = 'http://0.0.0.0:8000/v1'
openai.api_key = 'chatllm'
prompt = "你好"
completion = openai.Completion.create(prompt=prompt, stream=True, model="text-davinci-003")
for c in completion:
    print(c.choices[0].text, end='')
# 你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你，欢迎问我任何问题。

openai_keys: 不定期更新免费keys

</details>

ChatOCR

<details markdown="1"> <summary>Click to ChatOCR</summary> 
from meutils.pipe import *
from chatllm.llmchain.applications import ChatOCR

llm = ChatOCR()
file_path = "data/invoice.jpg"
llm.display(file_path, 700)
llm.chat('识别编号,公司名称,开票日期,开票人,收款人,复核人,金额', file_path=file_path) | xprint

ocr

</details>

ChatMind

<details markdown="1"> <summary>Click to ChatMind</summary> 
pip install "chatllm" && chatllm-run webui --name chatmind

客户端

</details>

ChatPDF

<details markdown="1"> <summary>Click to ChatPDF</summary> 
pip install "chatllm[pdf]" && chatllm-run webui --name chatpdf

from chatllm.applications.chatpdf import ChatPDF

qa = ChatPDF(encode_model='nghuyong/ernie-3.0-nano-zh')
qa.load_llm(model_name_or_path="THUDM/chatglm-6b")
qa.create_index('财报.pdf')  # 构建知识库

for i in qa(query='东北证券主营业务'):
    print(i, end='')
# 根据已知信息，东北证券的主营业务为证券业务。公司作为证券公司，主要从事证券经纪、证券投资咨询、与证券交易、
# 证券投资活动有关的财务顾问、证券承销与保荐、证券自营、融资融券、证券投资基金代销和代销金融产品待业务。
</details>

Deploy

<details markdown="1"> <summary>Click to Deploy</summary>
量化等级最低 GPU 显存（推理）最低 GPU 显存（高效参数微调）
FP16（无量化）13 GB14 GB
INT88 GB9 GB
INT46 GB7 GB
</details>

TODO

<details markdown="1"> <summary>Click to TODO</summary> </details>

交流群

<div align=center> <img src="data/imgs/群.png" alt="群" width="200" height="200"> </div>

若二维码失效加微信拉群 313303303