Awesome

CodeShell IntelliJ IDEA Extension

codeshell-intellij项目是基于CodeShell大模型开发的支持IntelliJ IDEA、Pycharm、GoLand等多种IDE的智能编码助手插件，支持python、java、c++/c、javascript、go等多种编程语言，为开发者提供代码补全、代码解释、代码优化、注释生成、对话问答等功能，旨在通过智能化的方式帮助开发者提高编程效率。

环境要求

CodeShell 模型服务已启动
IDE 版本要求在2022.2至2023.2之间

插件编译

如果要从源码进行打包，请先获取代码：

git clone https://github.com/WisdomShell/codeshell-intellij.git

项目使用Gradle管理依赖，点击刷新按钮自动重新加载依赖
本地运行插件：Gradle-CodeShell-Task-intellij-runIde
在runIde右键，可选择使用Debug模式启动

插件DEBUG截图

打包插件

本地生成插件安装包：Gradle-CodeShell-Task-intellij-buildPlugin
打包任务执行完成后，插件安装包在项目根目录下的build/distributions目录中

安装插件

安装入口：Settings-Plugins-Install Plugin from Disk...，在打开的资源选择窗口中选择插件安装包即可

插件安装截图

模型服务

llama_cpp_for_codeshell项目提供CodeShell大模型 4bits量化后的模型，模型名称为codeshell-chat-q4_0.gguf。以下为部署模型服务步骤：

编译代码

Linux / Mac(Apple Silicon设备)
```
git clone https://github.com/WisdomShell/llama_cpp_for_codeshell.git
cd llama_cpp_for_codeshell
make
```
在 macOS 上，默认情况下启用了Metal，启用Metal可以将模型加载到 GPU 上运行，从而显著提升性能。
Mac(非Apple Silicon设备)
```
git clone https://github.com/WisdomShell/llama_cpp_for_codeshell.git
cd llama_cpp_for_codeshell
LLAMA_NO_METAL=1 make
```
对于非 Apple Silicon 芯片的 Mac 用户，在编译时可以使用 LLAMA_NO_METAL=1 或 LLAMA_METAL=OFF 的 CMake 选项来禁用Metal构建，从而使模型正常运行。
Windows

您可以选择在Windows Subsystem for Linux中按照Linux的方法编译代码，也可以选择参考llama.cpp仓库中的方法，配置好w64devkit后再按照Linux的方法编译。

下载模型

在Hugging Face Hub上，我们提供了三种不同的模型，分别是CodeShell-7B、CodeShell-7B-Chat和CodeShell-7B-Chat-int4。以下是下载模型的步骤。

使用CodeShell-7B-Chat-int4模型推理，将模型下载到本地后并放置在以上代码中的 llama_cpp_for_codeshell/models 文件夹的路径

git clone https://huggingface.co/WisdomShell/CodeShell-7B-Chat-int4/blob/main/codeshell-chat-q4_0.gguf

使用CodeShell-7B、CodeShell-7B-Chat推理，将模型放置在本地文件夹后，使用TGI加载本地模型，启动模型服务

加载模型

CodeShell-7B-Chat-int4模型使用llama_cpp_for_codeshell项目中的server命令即可提供API服务

./server -m ./models/codeshell-chat-q4_0.gguf --host 127.0.0.1 --port 8080

注意：对于编译时启用了 Metal 的情况下，若运行时出现异常，您也可以在命令行添加参数 -ngl 0 显式地禁用Metal GPU推理，从而使模型正常运行。

CodeShell-7B和CodeShell-7B-Chat模型，使用TGI加载本地模型，启动模型服务

模型服务[NVIDIA GPU]

对于希望使用NVIDIA GPU进行推理的用户，可以使用text-generation-inference项目部署CodeShell大模型。以下为部署模型服务步骤：

下载模型

在 Hugging Face Hub将模型下载到本地后，将模型放置在 $HOME/models 文件夹的路径下，即可从本地加载模型。

git clone https://huggingface.co/WisdomShell/CodeShell-7B-Chat

部署模型

使用以下命令即可用text-generation-inference进行GPU加速推理部署：

docker run --gpus 'all' --shm-size 1g -p 9090:80 -v $HOME/models:/data \
        --env LOG_LEVEL="info,text_generation_router=debug" \
        ghcr.nju.edu.cn/huggingface/text-generation-inference:1.0.3 \
        --model-id /data/CodeShell-7B-Chat --num-shard 1 \
        --max-total-tokens 5000 --max-input-length 4096 \
        --max-stop-sequences 12 --trust-remote-code

更详细的参数说明请参考text-generation-inference项目文档。

配置插件

设置CodeShell大模型服务地址
配置是否自动触发代码补全建议
配置补全的最大tokens数量
配置问答的最大tokens数量
配置模型运行环境

注意：不同的模型运行环境可以在插件中进行配置。对于CodeShell-7B-Chat-int4模型，您可以在Model Runtime Environment选项中选择Use CPU Mode(with llama.cpp)选项。而对于CodeShell-7B和CodeShell-7B-Chat模型，应选择Use GPU Model(with TGI framework)选项。

插件配置截图