Awesome

Bulb项目的愿景

在这个颠覆时代的AI技术浪潮中，国内外涌现出了一大批有影响力和代表性的大模型产品，包括但不限于：

• <img src=https://file.atomecho.cn/d/%E6%9C%AC%E5%9C%B0/xiangtao/modelIcon/2023-6-13/gpt.svg width=30 height=30 /> OpenAI的ChatGPT
• <img src=https://file.atomecho.cn/d/%E6%9C%AC%E5%9C%B0/xiangtao/modelIcon/2023-6-13/chatglm.svg width=25 height=30 />   智谱AI的ChatGLM
• <img src=https://file.atomecho.cn/d/%E6%9C%AC%E5%9C%B0/xiangtao/modelIcon/2023-6-13/mianbi.svg width=30 height=30 /> 面壁智能的面壁模方
• <img src=https://file.atomecho.cn/d/%E6%9C%AC%E5%9C%B0/xiangtao/modelIcon/2023-6-13/yiyan.svg width=30 height=30 /> 百度的文心一言
• <img src=https://file.atomecho.cn/d/%E6%9C%AC%E5%9C%B0/xiangtao/modelIcon/2023-6-13/tongyi.svg width=22 height=22 />   阿里的通义千问
• <img src=https://file.atomecho.cn/d/%E6%9C%AC%E5%9C%B0/xiangtao/modelIcon/2023-6-13/xinghuo.svg width=30 height=30 /> 讯飞的星火大模型

我们尝试和这些未来的AGI对话，去了解它们的所思所想，打破人类和AGI之间的认知隔阂。Bulb 项目的名称意为“灯泡”，旨在为大型模型产品的能力边界照亮明灯，以便我们能够对它们有更具体和定量的认识。在我们的官网获取更详细的信息：https://bulb.atomecho.cn

未来，我们会不断为大模型家庭引入新的成员。为了能够更公平地去探索各个大模型的能力，我们为每个大模型起了个别名，包括： <img src=https://file.atomecho.cn/d/%E6%9C%AC%E5%9C%B0/xiangtao/modelIcon/2023-6-13/Radish.svg width=30 height=30 />萝卜、<img src=https://file.atomecho.cn/d/%E6%9C%AC%E5%9C%B0/xiangtao/modelIcon/2023-6-13/Eggplant.svg width=30 height=30 />茄子、<img src=https://file.atomecho.cn/d/%E6%9C%AC%E5%9C%B0/xiangtao/modelIcon/2023-6-13/Carrot.svg width=30 height=30 />胡萝卜、<img src=https://file.atomecho.cn/d/%E6%9C%AC%E5%9C%B0/xiangtao/modelIcon/2023-6-13/Chili.svg width=30 height=30 />辣椒、<img src=https://file.atomecho.cn/d/%E6%9C%AC%E5%9C%B0/xiangtao/modelIcon/2023-6-13/Pumpkin.svg width=30 height=30 />南瓜、<img src=https://file.atomecho.cn/d/%E6%9C%AC%E5%9C%B0/xiangtao/modelIcon/2023-6-13/Potato.svg width=30 height=30 />土豆等。

如何评价大模型的能力：

由于大模型在不同任务、知识上具有超强的通用能力，如何客观、准确地评价它们是一个巨大的挑战。为此，我们收集包含1000多条（持续更新）问题的测试集来测试大模型。这些测试问题覆盖了大模型不同维度的能力，能充分体现出大模型的通用能力。

评测问题格式：

数据包含在question.json，格式如下：

 "qid": 问题编号
 "question": 问题描述
 "first_level_class": 一级分类
 "second_level_class": 二级分类

例如：

[
    {
        "qid": 2,
        "question": "什么是机器学习？它有哪些应用场景？",
        "first_level_class": "通用知识",
        "second_level_class": "自然科学"
    },
	...
]

评测回答格式：

数据包含在每个模型目录下的answer-<日期>.json，其中“日期”字段表示该份答案获取的具体时间，方便我们对应到具体的模型版本。在answer-<日期>.json中，具体的字段信息如下，我们之后会进一步扩展用户的反馈数据：

 "qid": 问题编号
 "answer": 模型回答
 "score": GPT-4对于答案的打分，介于0-10分之间

[
    {
        "qid": 2,
        "answer": "机器学习是指利用计算机程序对数据进行训练，从而使计算机具有智能化和自适应性的一种方法。\n\n机器学习可以广泛应用于各个领域，包括但不限于以下几个方面：\n\n1. 自然语言处理：例如机器翻译、文本分类、情感分析等。\n\n2. 金融：例如信用风险评估、投资组合优化、欺诈检测等。\n\n3. 医疗保健：例如疾病预测、医疗影像分析、药物研发等。\n\n4. 智能交通：例如路况预测、无人驾驶、智慧公交等。\n\n5. 电商：例如推荐系统、广告精准投放、用户画像等。\n\n6. 工业制造：例如质量预测、生产调度优化、供应链管理等。\n\n7. 安全监控：例如视频监控、入侵检测、网络安全等。\n\n8. 游戏：例如游戏智能NPC、游戏难度平衡、动态剧情生成等。",
	"score": 8
    },
	...
]

打分机制：

由于大模型在不同任务、知识上具有超强的通用能力，如何客观、准确地评价它们是一个巨大的挑战。关于打分机制，我们采取两种方式：

1. 通过OpenAI的GPT-4来评分：GPT-4是目前大家公认的能力最强的大模型，因此，我们用GPT-4来评价各个模型的问答效果。我们采用以下格式来对GPT-4提问：

您是一个乐于助人和准确的助理，用于检查回复具体问题的答案的质量。
[问题]：{question}
[答案]：{answer}
我们希望您对某个AI助手在上述问题的回答表现提供反馈。你将根据从0到10的评分获得总体综合表现得分，其中较高的分数表示整体表现更好。请首先输出一行单独包含一个数值，表示助手的得分。接下来的一行，请提供您评价的全面解释，避免任何潜在的偏见。

上面的prompt中，{question}和{answer}分别对应着被测试的问题内容和大模型的回复。我们举一个具体的例子如下：

您是一个乐于助人和准确的助理，用于检查回复具体问题的答案的质量。
[问题]：给出五个原创的古诗或现代诗句子。
[答案]：1. 古诗：春风又绿江南岸，明月何时照我还。\n现代诗：春风吹拂着江南岸，明月何时才能再次照亮我的心房。\n2. 古诗：山重水复疑无路，柳暗花明又一村。\n现代诗：山峦重叠，江水回旋，我心中充满了疑惑和迷茫，但是当我走过一条小巷时，眼前豁然开朗，仿佛又回到了一个美丽的村庄。\n3. 古诗：落霞与孤鹜齐飞，秋水共长天一色。\n现代诗：夕阳的余晖和孤独的野鸟一同飞翔，秋日的湖水和天空融为一体，形成了一幅壮丽的画面。\n4. 古诗：人生若只如初见，何事秋风悲画扇。\n现代诗：如果人生只是初次相见那样简单，那么为什么秋风会让人感到悲伤呢？或许是因为我们经历了太多的离别和分别。\n5. 古诗：采菊东篱下，悠然见南山。\n现代诗：在东边的篱笆下采摘着菊花，悠闲地看着南山，这是一种多么美好的生活啊！
我们希望您对某个AI助手在上述问题的回答表现提供反馈。你将根据从0到10的评分获得总体综合表现得分，其中较高的分数表示整体表现更好。请首先输出一行单独包含一个数值，表示助手的得分。接下来的行，请提供您评价的全面解释，避免任何潜在的偏见。

2. 通过用户的反馈来评分：在每个问题的答案下方，我们展示了不同模型的回答，用户可以“点赞”或“点踩”每个答案。我们将统计每个模型的答案得分进行评价，这是一种最为客观和准确的评价方式，但是依赖于大量的用户反馈。因此，我们欢迎每一位朋友在答案下方给出您的评价，您的反馈将影响未来AGI的发展方向。

从哪些维度评价大模型

根据我们对大量开源问答数据、社交媒体、论坛、书籍的整理（例如：BELLE、十万个为什么、弱智吧等），经过反复的讨论和梳理，最终设计了八个大的类别来探索大模型的能力，包括：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征。在每个大的类别下又细分了不同的子类，以尽可能全面地覆盖大模型的能力范畴。具体对于每个类别的详细介绍如下，我们也欢迎大家集思广益，让这个分类体系更加全面和准确。

评测问题来源

我们统计了每个问题的来源，如下表：

评测问题的类别统计

我们统计了每个类别问题的频次，如下表：