Home

Awesome

DecryptPrompt

如果LLM的突然到来让你感到沮丧，不妨读下主目录的Choose Your Weapon Survival Strategies for Depressed AI Academics 持续更新以下内容，Star to keep updated~

目录顺序如下

  1. 国内外，垂直领域大模型
  2. Agent和指令微调等训练框架
  3. 开源指令，预训练，rlhf，对话，agent训练数据梳理
  4. AIGC相关应用
  5. prompt写作指南和5星博客等资源梳理
  6. Prompt和LLM论文细分方向梳理

My blogs

LLMS

模型评测

榜单结果
AlpacaEval：LLM-based automatic evaluation 开源模型王者vicuna,openchat, wizardlm
Huggingface Open LLM LeaderboardMMLU只评估开源模型，Falcon夺冠，在Eleuther AI4个评估集上评估的LLM模型榜单,vicuna夺冠
https://opencompass.org.cn/上海人工智能实验室推出的开源榜单
Berkley出品大模型排位赛榜有准中文榜单Elo评分机制，GPT4自然是稳居第一，GPT4>Claude>GPT3.5>Vicuna>others
CMU开源聊天机器人评测应用ChatGPT>Vicuna>others；在对话场景中训练可能很重要
Z-Bench中文真格基金评测国产中文模型的编程可用性还相对较低，大家水平差不太多，两版ChatGLM提升明显
Chain-of-thought评估GSM8k, MATH等复杂问题排行榜
InfoQ 大模型综合能力评估面向中文，ChatGPT>文心一言> Claude>星火
ToolBench: 工具调用评估榜单工具微调模型和ChatGPT进行对比，提供评测脚本
AgentBench: 推理决策评估榜单清华联合多高校推出不同任务环境，例如购物，家居，操作系统等场景下模型推理决策能力
FlagEval智源出品主观+客观LLM评分榜单
Bird-Bench更贴合真实世界应用的超大数据库，需要领域知识的NL2SQL榜单，模型追赶人类尚有时日
kola以世界知识为核心的评价基准，包括已知的百科知识和未知的近90天网络发布内容，评价知识记忆，理解，应用和创造能力
CEVAL中文知识评估，覆盖52个学科，机器评价主要为多项选择
CMMLU67个主题中文知识和推理能力评估，多项选择机器评估
LLMEval3复旦推出的知识问答榜单，涵盖大学作业和考题，题库尽可能来自非互联网避免模型作弊
FinancelQ度小满开源的金融多项选择评估数据集
SWE-bench基于真实github问题和PR的模型编程能力评估
Awesome-MLLM多模态大模型榜单

国外开源模型

模型链接模型描述
Phi-3-MINI-128K还是质量>数量的训练逻辑，微软的3B小模型
LLama3Open Meta带着可商用开源的羊驼3模型来了，重回王座~
WizardLM-2-8x22B微软带着WizardLM-2也来了包括70B,7B 和8*22B
OpenSora没等来OpenAI却等来了OpenSora这个梗不错哦
GROK马斯克开源Grok-1：3140亿参数迄今最大，权重架构全开放
Gemma谷歌商场开源模型2B，7B免费商用
Mixtral8*7B法国“openai”开源基于MegaBlocks训练的MOE模型8*7B 32K
Mistral7B法国“openai”开源Mistral，超过llama2当前最好7B模型
Idefics2Hugging Face 推出 Idefics2 8B 多模态模型
Dolphin-2.2.1-Mistral-7B基于Mistral7B使用dolphin数据集微调
FalconFalcon由阿联酋技术研究所在超高质量1万亿Token上训练得到1B，7B，40B开源，免费商用！土豪们表示钱什么的格局小了
VicunaAlpaca前成员等开源以LLama13B为基础使用ShareGPT指令微调的模型，提出了用GPT4来评测模型效果
OpenChat80k ShareGPT对话微调LLama-2 13B开源模型中的战斗机
GuanacoLLama 7B基座，在alpaca52K数据上加入534K多语言指令数据微调
MPTMosaicML开源的预训练+指令微调的新模型，可商用，支持84k tokens超长输入
RedPajamaRedPajama项目既开源预训练数据后开源3B，7B的预训练+指令微调模型
koala使用alpaca，HC3等开源指令集+ ShareGPT等ChatGPT数据微调llama，在榜单上排名较高
ChatLLaMA基于RLHF微调了LLaMA
Alpaca斯坦福开源的使用52k数据在7B的LLaMA上微调得到，
Alpaca-loraLORA微调的LLaMA
DromedaryIBM self-aligned model with the LLaMA base
ColossalChatHPC-AI Tech开源的Llama+RLHF微调
MiniGPT4Vicuna+BLIP2 文本视觉融合
StackLLamaLLama使用Stackexchange数据+SFT+RL
CerebrasCerebras开源了1亿到130亿的7个模型，从预训练数据到参数全开源
Dolly-v2可商用 7b指令微调开源模型在GPT-J-6B上微调
OpenChatKitopenai研究员打造GPT-NoX-20B微调+6B审核模型过滤
MetaLM微软开源的大规模自监督预训练模型
Amazon Titan亚马逊在aws上增加自家大模型
OPT-IMLMeta复刻GPT3，up to 175B, 不过效果并不及GPT3
BloomBigScience出品，规模最大176B
BloomZBigScience出品, 基于Bloom微调
Galacia和Bloom相似，更针对科研领域训练的模型
T0BigScience出品，3B~11B的在T5进行指令微调的模型
EXLLamaPython/C++/CUDA implementation of Llama for use with 4-bit GPTQ weight
LongChatllama-13b使用condensing rotary embedding technique微调的长文本模型
MPT-30BMosaicML开源的在8Ktoken上训练的大模型

国内开源模型

模型链接模型描述
Yuan2.0-M32原2.0 M32MOE 大模型
DeepSeek-v2深度求索最新发布的21B MOE超强大模型降低KV-cache推理更高效
Qwen1.5-MoE-A2.7BQwen推出MOE版本，推理更快
Qwen1.5通义千问升级1.5，支持32K上文
Baichuan2百川第二代也出第二个版本了，提供了7B/13B Base和chat的版本
ziya2基于Llama2训练的ziya2它终于训练完了
InternLM2 7B+20B商汤的书生模型2支持200K
InternLM-XComposer最新多模态视觉大模型
Orion-14B-LongChat猎户星空多语言模型支持320K
ChatGLM3ChatGLM3发布，支持工具调用等更多功能，不过泛化性有待评估
Yuan-2.0浪潮发布Yuan2.0 2B，51B，102B
YI-200K元一智能开源超长200K的6B，34B模型
XVERSE-256K元象发布13B免费商用大模型，虽然很长但是
LLama2-chinese没等太久中文预训练微调后的llama2它来了~
YuLan-chat2高瓴人工智能基于Llama-2中英双语继续预训练+指令微调/对话微调
BlueLMVivo人工智能实验室开源大模型
zephyr-7BHuggingFace 团队基于 UltraChat 和 UltraFeedback 训练了 Zephyr-7B 模型
XWin-LMllama2 + SFT + RLHF
Skywork昆仑万维集团·天工团队开源13B大模型可商用
Chinese-LLaMA-Alpaca哈工大中文指令微调的LLaMA
Moss为复旦正名！开源了预训练，指令微调的全部数据和模型。可商用
InternLM书生浦语在过万亿 token 数据上训练的多语千亿参数基座模型
Aquila2智源更新Aquila2模型系列包括全新34B
Aquila智源开源7B大模型可商用免费
UltraLM系列面壁智能开源UltraLM13B，奖励模型UltraRM，和批评模型UltraCM
PandaLLMLLAMA2上中文wiki继续预训练+COIG指令微调
XVERSE据说中文超越llama2的元象开源模型13B模型
BiLLaLLama词表·扩充预训练+预训练和任务1比1混合SFT+指令样本SFT三阶段训练
Phoenix港中文开源凤凰和奇美拉LLM，Bloom基座，40+语言支持
Wombat-7B达摩院开源无需强化学习使用RRHF对齐的语言模型, alpaca基座
TigerBot虎博开源了7B 180B的模型以及预训练和微调语料
Luotuo中文指令微调的LLaMA，和ChatGLM
OpenBuddyLlama 多语言对话微调模型
Chinese VincunaLLama 7B基座，使用Belle+Guanaco数据训练
LinlyLlama 7B基座，使用belle+guanaco+pclue+firefly+CSL+newscommentary等7个指令微调数据集训练
Firefly中文2.6B模型，提升模型中文写作，古文能力，待开源全部训练代码，当前只有模型
Baize使用100k self-chat对话数据微调的LLama
BELLE使用ChatGPT生成数据对开源模型进行中文优化
Chatyuanchatgpt出来后最早的国内开源对话模型，T5架构是下面PromptCLUE的衍生模型
PromptCLUE多任务Prompt语言模型
PLUG阿里达摩院发布的大模型，提交申请会给下载链接
CPM2.0智源发布CPM2.0
GLM清华发布的中英双语130B预训练模型
BayLing基于LLama7B/13B，增强的语言对齐的英语/中文大语言模型

开源多模态模型

模型描述
Kosmos-2.5微软推出的多模态擅长识别多文字、表格图片
LLAVA-1.5升级后的LLAVA 13B模型浙大出品
MiniGPT-4认知类任务评分最高
InternLM-XComposer书生浦语·灵笔2，擅长自由图文理解
mPLUG-DocOwl阿里出品面向文档理解的多模态模型

LLM免费应用

模型链接模型描述
PPLX-7B/70BPerplexity.ai的Playground支持他们自家的PPLX模型和众多SOTA大模型，Gemma也支持了
kimi ChatMoonshot超长文本LLM 可输入20W上文, 文档总结无敌
万知YI模型基座的应用，支持OCR文档识别
跃问阶跃星辰推出的同样擅长长文本的大模型
讯飞星火科大讯飞
文心一言百度
通义千问阿里
百川百川
ChatGLM智谱轻言
DeepSeek深度求索
360智脑360
悟空字节跳动

垂直领域模型&进展

领域模型链接模型描述
医疗MedGPT医联发布的
医疗MedPalmGoogle在Faln-PaLM的基础上通过多种类型的医疗QA数据进行prompt-tuning指令微调得到，同时构建了MultiMedQA
医疗ChatDoctor110K真实医患对话样本+5KChatGPT生成数据进行指令微调
医疗Huatuo Med-ChatGLM医学知识图谱和chatgpt构建中文医学指令数据集+医学文献和chatgpt构建多轮问答数据
医疗Chinese-vicuna-medChinese-vicuna在cMedQA2数据上微调
医疗OpenBioMed清华AIR开源轻量版BioMedGPT, 知识图谱&20+生物研究领域多模态预训练模型
医疗DoctorGLMChatDoctor+MedDialog+CMD 多轮对话+单轮指令样本微调GLM
医疗MedicalGPT-zh自建的医学数据库ChatGPT生成QA+16个情境下SELF构建情景对话
医疗PMC-LLaMA医疗论文微调Llama
医疗PULSEBloom微调+继续预训练
医疗NHS-LLMChatgpt生成的医疗问答，对话，微调模型
医疗神农医疗大模型以中医知识图谱的实体为中心生成的中医知识指令数据集11w+，微调LLama-7B
医疗岐黄问道大模型3个子模型构成，已确诊疾病的临床治疗模型+基于症状的临床诊疗模型+中医养生条理模型，看起来是要ToB落地
医疗Zhongjing基于Ziya-LLama+医疗预训练+SFT+RLHF的中文医学大模型
医疗MeChat心理咨询领域，通过chatgpt改写多轮对话56k
医疗SoulChat心理咨询领域中文长文本指令与多轮共情对话数据联合指令微调 ChatGLM-6B
医疗MindChatMindChat-Baichuan-13B,Qwen-7B,MindChat-InternLM-7B使用不同基座在模型安全，共情，人类价值观对其上进行了强化
医疗DISC-MedLLM疾病知识图谱构建QA对+QA对转化成单论对话+真实世界数据重构+人类偏好数据筛选，SFT微调baichuan
法律LawGPT-zh利用ChatGPT清洗CrimeKgAssitant数据集得到52k单轮问答+我们根据中华人民共和国法律手册上最核心的9k法律条文，利用ChatGPT联想生成具体的情景问答+知识问答使用ChatGPT基于文本构建QA对
法律LawGPT基于llama+扩充词表二次预训练+基于法律条款构建QA指令微调
法律Lawyer Llama法律指令微调数据集：咨询+法律考试+对话进行指令微调
法律LexiLaw法律指令微调数据集：问答+书籍概念解释，法条内容进行指令微调
法律ChatLaw北大推出的法律大模型，应用形式很新颖类似频道内流一切功能皆融合在对话形式内
法律录问模型在baichuan基础上40G二次预训练+100K指令微调，在知识库构建上采用了Emb+意图+关键词联想结合的方案
金融OpenGPT领域LLM指令样本生成+微调框架
金融乾元BigBang金融2亿模型金融领域预训练+任务微调
金融度小满千亿金融大模型在Bloom-176B的基础上进行金融+中文预训练和微调
金融聚宝盆基于 LLaMA 系基模型经过中文金融知识指令精调/指令微调(Instruct-tuning) 的微调模型
金融PIXIU整理了多个金融任务数据集加入了时间序列数据进行指令微调
金融FinGPT金融传统任务微调 or chatgpt生成金融工具调用
金融CFGPT金融预训练+指令微调+RAG等检索任务增强
金融DISC-FinLLM复旦发布多微调模型组合金融系统，包括金融知识问答,金融NLP任务，金融计算，金融检索问答
金融InvestLMCFA考试，SEC， StackExchange投资问题等构建的金融指令微调LLaMA-65+
金融DeepMoney基于yi-34b-200k使用金融研报进行微调
编程Starcoder80种编程语言+Issue+Commit训练得到的编程大模型
编程ChatSQL基于ChatGLM实现NL2sql
编程codegeex13B预训练+微调多语言变成大模型
编程codegeex2Chatglm2的基础上CodeGeeX2-6B 进一步经过了 600B 代码数据预训练
编程stabelcode560B token多语言预训练+ 120,000 个 Alpaca指令对齐
编程SQLCoder在StarCoder的基础上微调15B超越gpt3.5
数学MathGPT是好未来自主研发的，面向全球数学爱好者和科研机构，以解题和讲题算法为核心的大模型。
数学MammoTH通过COT+POT构建了MathInstruct数据集微调llama在OOD数据集上超越了WizardLM
数学MetaMath模型逆向思维解决数学问题，构建了新的MetaMathQA微调llama2
交通TransGPTLLama-7B+34.6万领域预训练+5.8万条领域指令对话微调（来自文档问答）
交通TrafficGPTChatGPT+Prompt实现规划，调用交通流量领域专业TFM模型，TFM负责数据分析，任务执行，可视化等操
科技Mozi红睡衣预训练+论文QA数据集 + ChatGPT扩充科研对话数据
天文StarGLM天文知识指令微调，项目进行中后期考虑天文二次预训练+KG
写作阅文-网文大模型介绍签约作者内测中，主打的内容为打斗场景，剧情切换，环境描写，人设，世界观等辅助片段的生成
写作MediaGPTLLama-7B扩充词表+指令微调，指令来自国内媒体专家给出的在新闻创作上的80个子任务
电商EcomGPT电商领域任务指令微调大模型，指令样本250万，基座模型是Bloomz
植物科学PLLaMa基于Llama使用植物科学领域学术论文继续预训练+sft扩展的领域模型
评估Auto-J上交开源了价值评估对齐13B模型
评估JudgeLM智源开源了 JudgeLM 的裁判模型，可以高效准确地评判各类大模型
评估CritiqueLLM智谱AI发布评分模型CritiqueLLM,支持含参考文本/无参考文本的评估打分

Tool and Library

推理框架

工具描述链接
FlexFlow：模型部署推理框架https://github.com/flexflow/FlexFlow
Medusa：针对采样解码的推理加速框架，可以和其他策略结合https://github.com/FasterDecoding/Medusa
FlexGen: LLM推理 CPU Offload计算架构https://github.com/FMInference/FlexGen
VLLM：超高速推理框架Vicuna，Arena背后的无名英雄，比HF快24倍，支持很多基座模型https://github.com/vllm-project/vllm
Streamingllm: 新注意力池Attention方案，无需微调拓展模型推理长度，同时为推理提速https://github.com/mit-han-lab/streaming-llm
llama2.c: llama2 纯C语言的推理框架https://github.com/karpathy/llama2.c
Guidance: 大模型推理控制框架，适配各类interleave生成https://github.com/guidance-ai/guidance

指令微调，预训练，rlhf框架

工具描述链接
LoRA：Low-Rank指令微调方案https://github.com/tloen/alpaca-lora
peft：parameter-efficient prompt tunnging工具集https://github.com/huggingface/peft
RL4LMs：AllenAI的RL工具https://github.com/allenai/RL4LMs
RLLTE：港大，大疆等联合开源RLLTE开源学习框架https://github.com/RLE-Foundation/rllte
trl：基于Transformer的强化训练框架https://github.com/lvwerra/trl
trlx：分布式训练trlhttps://github.com/CarperAI/trlx
北大开源河狸项目可复现RLHF，支持多数LLM，提供RLHF数据https://github.com/PKU-Alignment/safe-rlhf
RL4LMs：AllenAI的RL工具https://github.com/allenai/RL4LMs
LMFlow：港科大实验室开源的大模型微调框架，支持以上多数开源模型的指令微调和RLHFhttps://github.com/OptimalScale/LMFlow
hugNLP:基于Huggingface开发继承Prompt技术，预训练和是指输入等多种方案https://github.com/wjn1996/HugNLP
Deepspeed：针对RL训练和推理的整合优化https://github.com/microsoft/DeepSpeed
Uerpy:预训练框架支持lm,mlm,unilm等https://github.com/dbiir/UER-py
TecentPretrain: Uerpy的重构版本支持llama预训练https://github.com/Tencent/TencentPretrain/tree/main
lamini: 整合指令数据生成，SFT，RLHF的工具库https://github.com/lamini-ai/lamini/
Chain-of-thought-hub：模型推理能力评估平台https://github.com/FranxYao/chain-of-thought-hub
EasyEdit：浙大开源支持多种模型，多种方案的模型知识精准编辑器https://github.com/zjunlp/EasyEdit
OpenDelta：集成了各种增量微调方案的开源实现https://github.com/thunlp/OpenDelta
Megablocks：MOE训练框架https://github.com/stanford-futuredata/megablocks
Tutel：MOE训练框架https://github.com/microsoft/tutel
LongLora: 长文本微调框架https://github.com/dvlab-research/LongLoRA
LlamaGym：在线RL微调框架https://github.com/KhoomeiK/LlamaGym
Megatron-LM：主流LLM预训练框架https://github.com/NVIDIA/Megatron-LM
TradingGym：参考openai gym的股票交易强化学习模拟器https://github.com/astrologos/tradinggym
TradeMaster: 量化交易RL训练框架https://github.com/TradeMaster-NTU/TradeMaster
REFT：大模型表征微调框架https://github.com/stanfordnlp/pyreft

Auto/Multi Agent

工具描述链接
AutoGen：微软开源多Agent顶层框架https://github.com/microsoft/autogen
CrewAI: 比chatDev流程定义更灵活的多智能体框架https://github.com/joaomdmoura/CrewAI
ChatDev: 面壁智能开源多智能体协作的虚拟软件公司https://github.com/OpenBMB/ChatDev
Generative Agents:斯坦福AI小镇的开源代码https://github.com/joonspk-research/generative_agents
BabyAGI：自执行LLM Agenthttps://github.com/yoheinakajima/babyagi
AutoGPT：自执行LLM Agenthttps://github.com/Torantulino/Auto-GPT
AutoGPT-Plugins：提供众多Auo-GPT官方和第三方的插件https://github.com/Significant-Gravitas/Auto-GPT-Plugins
XAgent: 面壁智能开源双循环AutoGPThttps://github.com/OpenBMB/XAgent
MetaGPT: 覆盖软件公司全生命流程，例如产品经理等各个职业的AutoGPThttps://github.com/geekan/MetaGPT
ResearchGPT: 论文写作领域的AutoGPT，融合论文拆解+网络爬虫https://github.com/assafelovic/gpt-researcher
MiniAGI：自执行LLM Agenthttps://github.com/muellerberndt/mini-agi
AL Legion： 自执行LLM Agenthttps://github.com/eumemic/ai-legion
AgentVerse：多模型交互环境https://github.com/OpenBMB/AgentVerse
AgentSims: 给定一个社会环境，评估LLM作为智能体的预定任务目标完成能力的沙盒环境https://github.com/py499372727/AgentSims/
GPTRPG：RPG环境 AI Agent游戏化https://github.com/dzoba/gptrpg
GPTeam：多智能体交互https://github.com/101dotxyz/GPTeam
GPTEngineer：自动工具构建和代码生成https://github.com/AntonOsika/gpt-engineer
WorkGPT：类似AutoGPThttps://github.com/team-openpm/workgpt
AI-Town: 虚拟世界模拟器https://github.com/a16z-infra/ai-town
webarena:网络拟真环境，可用于自主智能体的测试，支持在线购物，论坛，代码仓库etchttps://github.com/web-arena-x/webarena
MiniWoB++：100+web交互操作的拟真环境https://github.com/Farama-Foundation/miniwob-plusplus
VIRL:虚拟世界模拟器https://github.com/VIRL-Platform/VIRL
AgentK: 多智能体协作，自我进化，自主生成新智能体的框架https://github.com/mikekelly/AgentK/tree/master

Agent工具框架类

工具描述链接
OpenAgents: 开源版ChatGPT-Plus搭建框架https://github.com/xlang-ai/OpenAgents
LangGraph：白盒话，可循环基于有向无环图的Agent工作流构建框架https://langchain-ai.github.io/langgraph/
langchain：LLM Agent框架https://github.com/hwchase17/langchain
llama index：LLM Agent框架https://github.com/jerryjliu/llama_index
Langroid: LLM Agent框架https://github.com/langroid/langroid
Ragas: 评估检索增强LLM效果的框架，基于大模型prompt评估事实性，召回相关性，召回内容质量，回答相关性等https://github.com/explodinggradients/ragas#fire-quickstart
fastRAG：检索框架，包括多索引检索，KG构建等基础功能https://github.com/IntelLabs/fastRAG/tree/main
langflow：把langchain等agent组件做成了可拖拽式的UIhttps://github.com/logspace-ai/langflow
PhiData：把工具调用抽象成function call的Agent框架https://github.com/phidatahq/phidata
Haystack: LLM Agent 框架，pipeline的设计模式个人感觉比langchain更灵活更简洁https://github.com/deepset-ai/haystack
EdgeChain: 通过Jsonnet配置文件实现LLM Agenthttps://github.com/arakoodev/EdgeChains/tree/main
semantic-kernel：整合大模型和编程语言的SDKhttps://github.com/microsoft/semantic-kernel
BMTTools: 清华出品多工具调用开源库，提供微调数据和评估ToolBenchhttps://github.com/OpenBMB/BMTools
Jarvis: 大模型调用小模型框架，给小模型一个未来！https://github.com/search?q=jarvis
LLM-ToolMaker:让LLM自己制造Agenthttps://github.com/ctlllll/LLM-ToolMaker
Gorilla: LLM调用大量APIhttps://github.com/ShishirPatil/gorilla
Open-Interpreter：命令行聊天框架https://github.com/KillianLucas/open-interpreter
AnythingLLM: langchain推出的支持本地部署开源模型的框架https://github.com/Mintplex-Labs/anything-llm
PromptFlow：微软推出的大模型应用框架https://github.com/microsoft/promptflow
Anakin：和Coze类似的Agent定制应用，插件支持较少但workflow使用起来更简洁r
TaskingAI：API-Oriented的类似langchain的大模型应用框架https://www.tasking.ai/
TypeChat：微软推出的Schema Engineering风格的应用框架https://github.com/microsoft/TypeChat
DSPy：把稳定性低的prompt优化为参数化和模板化的提示技术https://github.com/stanfordnlp/dspy
PipeCAT：加入语音的Agent框架https://github.com/pipecat-ai/pipecat/tree/main
Khoj: 桌面Agent的个人助手可本地部署https://docs.khoj.dev/
farfalle：本地搭载的RAG引擎https://github.com/rashadphz/farfalle/tree/main
Verba：本地搭载的RAG引擎https://github.com/weaviate/Verba
Vanna：本地搭载提供了从已有数据库构建NL2SQL所需RAG数据库的方案https://github.com/vanna-ai/vanna
TaskWeaver: code-first 的Agenthttps://github.com/microsoft/TaskWeaver
QMedia：多模态检索框架https://github.com/QmiAI/Qmedia?tab=readme-ov-file
Mem0： 支持长短期多层记忆的Agent框架https://github.com/mem0ai/mem0
Automa： Chrome浏览器自动化扩展，相同思路可以接入LLM来进行任务编辑https://automa.wiki/

Agent Bot [托拉拽中间层]

应用链接
Coze：免费https://www.coze.com/
Difyhttps://dify.ai/zh
Anakinhttps://app.anakin.ai/discover
FLowisehttps://github.com/FlowiseAI/Flowise/blob/main/README-ZH.md
Microsoft Power Automatehttps://www.microsoft.com/zh-cn/power-platform/products/power-automate
Mind Studio：有限使用https://youai.ai/
QuestFlow：付费https://www.questflow.ai/
WordWare.ai:https://www.wordware.ai/?ref=aihub.cn

RAG，Agent配套工具

工具描述
Alexandria从Arix论文开始把整个互联网变成向量索引，可以免费下载
RapidAPI统一这个世界的所有API，最大API Hub，有调用成功率，latency等，是真爱！
Composio可以和langchain，crewAI等进行集成的工具API
PyTesseractOCR解析服务
EasyOCR确实使用很友好的OCR服务
suryaOCR服务
Vary旷视多模态大模型pdf直接转Markdown
LLamaParseLLamaIndex提供的PDF解析服务，每天免费1000篇
Jina-CobertJian AI开源中英德，8192 Token长文本Embedding
BGE-M3智源开源多语言，稀疏+稠密表征，8192 Token长文本Embedding
BCE网易开源更适配RAG任务的Embedding模型
PreFLMR-VIT-G剑桥开源多模态Retriever
openparse文本解析分块开源服务，先分析文档的视觉布局再进行切分
layout-parser准确度较高的开源OCR文档布局识别
AdvancedLiterateMachinery阿里OCR团队的文档解析和图片理解
ragflow-deepdocragflow提供的文档识别和解析能力
FireCrawl爬取url并生成markdown的神器
Jina-Reader把网页转换成模型可读的格式
spRAG注入上下文表征，和自动组合上下文提高完整性
knowledge-graph自动知识图谱构建工具
Marker-APIPDF转Markdwon服务
MinerU文档识别，加入了Layout识别，Reading Order排序，公式识别，OCR文字识别的pipeline

其他垂直领域Agent

工具描述链接
GPT4v-ACT：基于JS DOM识别网页元素，服务于各类多模态webagenthttps://github.com/ddupont808/GPT-4V-Act?tab=readme-ov-file
Deep-KE：基于LLM对数据进行智能解析实现知识抽取https://github.com/zjunlp/DeepKE
IncarnaMind：多文档RAG方案，动态chunking的方案可以借鉴https://github.com/junruxiong/IncarnaMind
Vectra：平台化的LLM Agent搭建方案，从索引构建，内容召回排序，到事实检查的LLM生成https://vectara.com/tour-vectara/
Data-Copilot：时间序列等结构化数据分析领域的Agent解决方案https://github.com/zwq2018/Data-Copilot
DB-GPT: 以数据库为基础的GPT实验项目，使用本地化的GPT大模型与您的数据和环境进行交互https://db-gpt.readthedocs.io/projects/db-gpt-docs-zh-cn/zh_CN/latest/index.html
guardrails：降低模型幻觉的python框架，promp模板+validation+修正https://github.com/shreyar/guardrails
guidance：微软新开源框架，同样是降低模型幻觉的框架，prompt+chain的升级版加入逐步生成和思维链路https://github.com/guidance-ai/guidance
SolidGPT: 上传个人数据，通过命令交互创建项目PRD等https://github.com/AI-Citizen/SolidGPT
HR-Agent: 类似HR和员工交互，支持多工具调用https://github.com/stepanogil/autonomous-hr-chatbot
BambooAI：数据分析Agenthttps://github.com/pgalko/BambooAI
AlphaCodium：通过Flow Engineering完成代码任务https://github.com/Codium-ai/AlphaCodium
REOR: AI驱动的笔记软件https://github.com/reorproject/reor
Vanna.AI: chat with sql databasehttps://vanna.ai/
ScrapeGraph：融合了图逻辑和LLMhttps://scrapegraph-doc.onrender.com/
OpenAct：Adapt-AI推出了的和桌面GUI交互的Agent框架https://github.com/OpenAdaptAI/OpenAdapt
LaVague：WebAgent框架，偏低层指令交互性把指令转换成Selenium代码去和网页交互https://github.com/lavague-ai/LaVague/tree/main
Tarsier: webagent的辅助工具把网站转换成可交互元素序号和描述https://github.com/reworkd/tarsier?tab=readme-ov-file
RecAI：微软推出的推荐领域LLM Agenthttps://github.com/microsoft/RecAI
Skyvern: WebAgent框架https://www.skyvern.com/
Translation Agent: 吴恩达开源的简单的翻译Agent，prompt也是用的XML格式https://github.com/andrewyng/translation-agent/blob/main/src/translation_agent/utils.py
GPT-Computer-Assistant：和电脑直接进行交互的Agent基于Crewaihttps://github.com/onuratakan/gpt-computer-assistant
WiseFlow：自动收集数据的爬虫任务https://github.com/TeamWiseFlow/wiseflow/tree/master
LaVague：WebAgent框架https://github.com/lavague-ai/LaVague
TransAgent:腾讯推出的多智能体翻译，可以在线体验https://www.transagents.ai/

Training Data

数据类型数据描述数据链接
指令微调self-instruct，GPT3自动生成&过滤得到指令集https://github.com/yizhongw/self-instruct
指令微调Standford Alpaca：52K text-davinci-003生成的self-instruct指令数据集https://github.com/tatsu-lab/stanford_alpaca
指令微调GPT4-for-LLM 中文+英文+对比指令https://github.com/Instruction-Tuning-with-GPT-4/GPT-4-LLM
指令微调GPTTeacher更多样的通用指令，角色扮演和代码指令https://github.com/teknium1/GPTeacher/tree/main
指令微调中文翻译Alpaca还有一些其他指令数据集https://github.com/hikariming/alpaca_chinese_dataset https://github.com/carbonz0/alpaca-chinese-dataset
指令微调alpaca指令GPT4生成，和以上几版对比显著质量更高，回复更长https://github.com/Instruction-Tuning-with-GPT-4/GPT-4-LLM/tree/main
指令微调Guanaco数据：对Alphca指令重写后以不同语言生成总共534K，有对话和非对话类型，还有补充的QA生成样本https://huggingface.co/datasets/JosephusCheung/GuanacoDataset
指令微调OIG中文指令包括翻译alpaca+natural+unnatural，多轮对话，考试，leetcode指令https://github.com/BAAI-Zlab/COIG
指令微调Vicuna训练使用的样本，用API获取了sharegpt上用户和chatgpt对话历史，部分网友整理到了HFhttps://github.com/domeccleston/sharegpt https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/tree/main
指令微调HC3指令数据中英文，包括金融，开放QA，百科，DBQA，医学等包含人工回复https://huggingface.co/datasets/Hello-SimpleAI/HC3-Chinese/tree/main
指令微调MOSS开源的SFT数据包含使用plugin的对话数据https://huggingface.co/datasets/Hello-SimpleAI/HC3-Chinese/tree/main
指令微调InstructWild数据：用四处爬取的chatgpt指令作为种子self-instruct扩充生成，中英双语https://github.com/XueFuzhao/InstructionWild/tree/main/data
指令微调BELLE100万指令数据，参考Alpaca用ChatGPT生成，有数学，多轮对话，校色对话等等https://github.com/LianjiaTech/BELLE
指令微调PromptCLUE多任务提示数据集：模板构建，只包含标准NLP任务https://github.com/CLUEbenchmark/pCLUE
指令微调TK-Instruct微调用的指令数据集, 全人工标注1600+NLP任务https://instructions.apps.allenai.org/
指令微调T0微调用的指令数据集（P3）https://huggingface.co/datasets/bigscience/P3
指令微调p3衍生的46种多语言数据集（xmtf）https://github.com/bigscience-workshop/xmtf
指令微调Unnatural Instruction使用GPT3生成后改写得到240khttps://github.com/orhonovich/unnatural-instructions
指令微调alpaca COT对多个数据源进行了清理并统一格式放到的了HF, 重点是人工整理的COT数据https://github.com/PhoebusSi/Alpaca-CoT
指令微调人工编写包含23种常见的中文NLP任务的指令数据，中文写作方向https://github.com/yangjianxin1/Firefly
指令微调Amazon COT指令样本包括各类QA，bigbench，math等https://github.com/amazon-science/auto-cot
指令微调CSL包含 396,209 篇中文核心期刊论文元信息 （标题、摘要、关键词、学科、门类）可做预训练可构建NLP指令任务https://github.com/ydli-ai/CSL
指令微调alpaca code 20K代码指令数据https://github.com/sahil280114/codealpaca#data-release
指令微调GPT4Tools 71K GPT4指令样本https://github.com/StevenGrove/GPT4Tools
指令微调GPT4指令+角色扮演+代码指令https://github.com/teknium1/GPTeacher
指令微调Mol-Instructions 2043K 分子+蛋白质+生物分子文本指令，覆盖分子设计、蛋白质功能预测、蛋白质设计等任务https://github.com/zjunlp/Mol-Instructions
数学腾讯人工智能实验室发布网上爬取的数学问题APE210khttps://github.com/Chenny0808/ape210k
数学猿辅导 AI Lab开源小学应用题Math23Khttps://github.com/SCNU203/Math23k/tree/main
数学grade school math把OpenAI的高中数学题有改造成指令样本有2-8步推理过程https://huggingface.co/datasets/qwedsacf/grade-school-math-instructions
数学数学问答数据集有推理过程和多项选择https://huggingface.co/datasets/math_qa/viewer/default/test?row=2
数学AMC竞赛数学题https://huggingface.co/datasets/competition_math
数学线性代数等纯数学计算题https://huggingface.co/datasets/math_dataset
代码APPS从不同的开放访问编码网站Codeforces、Kattis 等收集的问题https://opendatalab.org.cn/APPS
代码Lyra代码由带有嵌入式 SQL 的 Python 代码组成，经过仔细注释的数据库操作程序，配有中文评论和英文评论。https://opendatalab.org.cn/Lyra
代码Conala来自StackOverflow问题,手动注释3k，英文https://opendatalab.org.cn/CoNaLa/download
代码code-alpaca ChatGPT生成20K代码指令样本https://github.com/sahil280114/codealpaca.git
代码32K, 四种不同类型、不同难度的代码相关中文对话数据，有大模型生成，https://github.com/zxx000728/CodeGPT
对话LAION 策划的开放指令通用数据集中手动选择的组件子集 已开源40M 3万个,100M在路上https://github.com/LAION-AI/Open-Instruction-Generalist
对话Baize基于Chat GPT构建的self-chat数据https://github.com/project-baize/baize-chatbot/tree/main/data
对话FaceBook开源BlenderBot训练对话数据~6Khttps://huggingface.co/datasets/blended_skill_talk
对话AllenAI开源38.5万个对话高质量数据集SODAhttps://realtoxicityprompts.apps.allenai.org/
对话InstructDial在单一对话任务类型上进行指令微调https://github.com/prakharguptaz/Instructdial
对话Ultra Chat 两个独立的 ChatGPT Turbo API 进行对话，从而生成多轮对话数据https://github.com/thunlp/UltraChat
对话Awesome Open-domain Dialogue Models提供多个开放域对话数据https://github.com/cingtiye/Awesome-Open-domain-Dialogue-Models#%E4%B8%AD%E6%96%87%E5%BC%80%E6%94%BE%E5%9F%9F%E5%AF%B9%E8%AF%9D%E6%95%B0%E6%8D%AE%E9%9B%86
对话Salesforce开源超全DialogStudiohttps://github.com/salesforce/DialogStudio
对话基于事实Reference的多轮问答中文数据，已开源5万，之后会开源更多https://github.com/sufengniu/RefGPT
RLFH北大河狸开源RLHF数据集10K，1M需要申请https://huggingface.co/datasets/PKU-Alignment/PKU-SafeRLHF-10K
RLHFAnthropic hh-rlhf数据集https://huggingface.co/datasets/Anthropic/hh-rlhf
RLHFStack-exchange上问题对应多个答案，每个答案有打分https://huggingface.co/datasets/HuggingFaceH4/stack-exchange-preferences/tree/main
RLHFFacebook Bot Adversarial Dialogues数据集5Khttps://github.com/facebookresearch/ParlAI
RLHFAllenAI Real Toxicity promptshttps://github.com/facebookresearch/ParlAI
RLHFOpenAssistant Conversations 160K消息，13500人工生成, 英文为主https://huggingface.co/datasets/OpenAssistant/oasst1
RLHF知乎问答偏好数据集https://huggingface.co/datasets/liyucheng/zhihu_rlhf_3k
RLHFhh-rlhf中文翻译偏好数据https://huggingface.co/datasets/liswei/rm-static-zhTW
RLHF面壁智能开源大规模偏好数据，基于64Kprompt使用不同模型生成4个回答使用GPT-4评估https://github.com/OpenBMB/UltraFeedback
评估集BigBench(Beyond the Imitation Game Benchmark)https://github.com/google/BIG-bench
评估集Complex QA：用于ChatGPT的评测指令集https://github.com/tan92hl/Complex-Question-Answering-Evaluation-of-ChatGPT
评估集Langchain开源评估数据集https://huggingface.co/LangChainDatasets
评估集2010-2022年全国高考卷的题目https://github.com/OpenLMLab/GAOKAO-Bench
评估集中文通用大模型综合性评测基准SuperCLUEhttps://github.com/CLUEbenchmark/SuperCLUE
英文预训练RedPajama：开源的复刻llama的预训练数据集，1.21万亿Tokenhttps://github.com/togethercomputer/RedPajama-Data
英文预训练SlimPajama：Cerebras基于RedPajama进行清洗去重后得到的高质量数据集, 6270亿Tokenhttps://huggingface.co/datasets/cerebras/SlimPajama-627B/tree/main/train
英文预训练The Pile：22个高质量数据集混合的预训练数据集800G,全量开放下载https://pile.eleuther.ai/
英文预训练Fineweb：Huggingface发布从CC清洗消重后的15T tokens web数据，超越C4，pile，pajamahttps://huggingface.co/datasets/HuggingFaceFW/fineweb
英文预训练Finweb-EDU：从FineWeb中通过分类器筛选得到的高质量教育水平的数据集 5.4T Tokenhttps://huggingface.co/datasets/HuggingFaceFW/fineweb-edu
英文预训练1.3T高质量小规模混合预训练数据集https://huggingface.co/datasets/Zyphra/Zyda
通用预训练UER整理CLUECorpusSmall+News Commentary中英https://github.com/dbiir/UER-py/wiki/%E9%A2%84%E8%AE%AD%E7%BB%83%E6%95%B0%E6%8D%AE
中文预训练智源人工智能开源的wudao 200G预训练数据https://github.com/BAAI-WuDao/WuDaoMM
中文预训练里屋社区发起开源力量收集中文互联网语料集MNBVC目标是对标ChatGPT的40Thttps://github.com/esbatmop/MNBVC
中文预训练复旦开源15万中文图书下载和抽取方案https://github.com/FudanNLPLAB/CBook-150K
中文预训练书生万卷数据集来自公开网页多模态数据集，包括文本，图文和视频，其中文本1T，图文150Ghttps://opendatalab.org.cn/OpenDataLab/WanJuan1_dot_0
中文预训练昆仑天工开源3.2TB中英语料https://github.com/SkyworkAI/Skywork
中文预训练浪潮开源的用于Yuan1.0训练的预训练中文语料https://www.airyuan.cn/home
领域预训练度小满开源60G金融预训练语料https://github.com/Duxiaoman-DI/XuanYuan
领域预训练首个中文科学文献数据集CSL,也有多种NLP任务数据https://github.com/ydli-ai/CSL
平行语料news-commentary中英平行语料，用于中英间知识迁移https://data.statmt.org/news-commentary/v15/training/
多源数据集整合opendatalab整合了预训练阶段的多个数据源https://opendatalab.org.cn/?industry=9821&source=JUU3JTlGJUE1JUU0JUI5JThF
Tool-搜索增强webCPM开源的和搜索工具进行交互问答的数据集，包括网页抽取式摘要，多事实内容回答等人工标注数据https://github.com/thunlp/WebCPM
Tool-多工具BmTools开源的多工具调用指令数据集https://github.com/OpenBMB/BMTools
Tool-多工具AgentInstruct包含6项Agent任务，包括REACT式COT标注https://thudm.github.io/AgentTuning/
Tool-多工具MSAgent-Bench 大模型调用数据集 598k训练数据https://modelscope.cn/datasets/damo/MSAgent-Bench/summary
Tool-多工具MOSS开源的知识搜索，文生图，计算器，解方程等4个插件的30万条多轮对话数据https://github.com/OpenLMLab/MOSS#%E6%95%B0%E6%8D%AE
NL2SQLDB-GPT-Hub梳理了多源text-to-sql数据集https://github.com/eosphoros-ai/DB-GPT-Hub
长文本清华开源的长文本对齐数据集LongAlign-10khttps://huggingface.co/datasets/THUDM/LongAlign-10k
多模态-图表MMC图表理解问答数据集https://github.com/FuxiaoLiu/MMC
表格数据汇总了各类表格数据https://github.com/SpursGoZmy/Tabular-LLM

AIGC

搜索

全新搜索形态之AGI或许是个产品问题

通用搜索

代码搜索

知识管理

ChatDoc

AI内容运营

销售场景

论文研究: 日度更新，观点总结，

写作效率工具类

金融垂直领域

法律垂直场景

私人助理&聊天

Agent

视频拆条总结

代码copilot & BI工具

DB工具

图片生成

视频生成

音频生成

PPT制作

Resources

GPTs应用导航

Prompt和其他教程类

书籍和博客类

会议&访谈类

Papers

paper List

综述

大模型能力探究

Prompt Tunning范式

主流LLMS和预训练

指令微调&对齐 (instruction_tunning)

对话模型

思维链 (prompt_chain_of_thought)

RLHF

LLM Agent 让模型使用工具 (llm_agent)

RAG

大模型图表理解和生成

LLM+KG

Humanoid Agents

pretrain_data & pretrain

领域模型SFT(domain_llms)

LLM超长文本处理 (long_input)

LLM长文本生成（long_output）

NL2SQL

Code Generation

降低模型幻觉 (reliability)

大模型评估（evaluation）

推理优化(inference)

模型知识编辑黑科技(model_edit)

模型合并和剪枝(model_merge)

MOE

Other Prompt Engineer(prompt_engineer)

Multimodal

Timeseries LLM

Quanization

Adversarial Attacking

Others