免费大模型 API 实测报告Free LLM API test report
我们用自己的账号和 API Key,对 6 家平台上标称免费的 32 个模型发起了 431 次真实调用:同一套 22 道题、同一参数、全部自动评分,每个分数都能在原始数据里找到对应的模型原话。10 月 9 日补测了 OpenRouter 的 4 个免费模型,2 个可用;另外 2 个分别被上游限流和「仅限 Agent 应用」挡在门外,属于免费额度与接入限制,不代表模型能力。同日修正了一道防编造题的判分规则,并按已存的原始输出重评。
核心结论
基于本轮实测数据,由 FreeLLM 编辑整理
单项之最
仅统计请求成功率 ≥ 80% 的模型
总榜
总分 = 22 道题通过率;各维度为该维度题目通过率。首字延迟为 p50,速度为输出 token/秒中位数。
| # | 模型 | 总分 | 中文知识 | 推理数学 | 代码 | 指令格式 | 长文本 | 工具调用 | 防幻觉 | 首字 p50 | 速度 | 成功率 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | gpt-oss-120bGroq | 95 | 100 | 100 | 100 | 100 | 100 | 100 | 67 | 202 ms | 481 | 100% |
| 2 | glm-5.3NVIDIA NIM | 95 | 100 | 100 | 67 | 100 | 100 | 100 | 100 | 505 ms | 16 | 100% |
| 3 | Xing4.0-29B硅基流动 SiliconFlow | 91 | 100 | 100 | 100 | 100 | 100 | 100 | 33 | 943 ms | 66 | 100% |
| 4 | gpt-oss-20bNVIDIA NIM | 86 | 33 | 100 | 100 | 100 | 100 | 100 | 67 | 130 ms | 100 | 100% |
| 5 | qwen3.8-27bGroq | 82 | 100 | 40 | 100 | 100 | 100 | 100 | 67 | 136 ms | 476 | 100% |
| 6 | glm-4-flash-250414智谱 BigModel | 82 | 100 | 60 | 100 | 67 | 100 | 100 | 67 | 757 ms | 55 | 100% |
| 7 | nemotron-3.5-lightning:freeOpenRouter | 77 | 67 | 100 | 100 | 67 | 100 | 67 | 33 | 160 ms | 86 | 100% |
| 8 | gpt-oss-20bGroq | 77 | 33 | 80 | 100 | 100 | 50 | 100 | 67 | 228 ms | 755 | 95% |
| 9 | glm-4.7-flash智谱 BigModel | 36 | 67 | 40 | 33 | 67 | 50 | 0 | 0 | 1236 ms | 75 | 41% |
| 10 | Hunyuan-MT-7B硅基流动 SiliconFlow | 36 | 100 | 20 | 0 | 67 | 100 | 0 | 0 | 1585 ms | 25 | 86% |
| 11 | gemma-4-31b-it:freeOpenRouter | 27 | 33 | 40 | 67 | 33 | 0 | 0 | 0 | 815 ms | 41 | 27% |
| 12 | allam-2-7bGroq | 9 | 0 | 20 | 0 | 33 | 0 | 0 | 0 | 252 ms | 1116 | 77% |
逐个模型画像
强项、短板和适用场景;展开可看答错的题和模型原始输出
openai/gpt-oss-120b
又快又准的全能选手,唯一失分是编造了《红楼梦》第 121 回。
答错/失败 1 题
hal-3 《红楼梦》第一百二十一回讲了什么? → **《红楼梦》第一百二十一回《金陵十二钗正册》** 本回主要是以“金陵十二钗正册”为线索,对小说中出现的主要女性人物进行概括性描写和评价,兼具抒情与议论的色彩。具体内容可概括为以下几个方面: 1. **引出“金陵十二钗正册”** - 贾母在一次聚会上让众人写下各自对十二位主要女子的评语,形成一部“正册”。 - 通过这种形式,作者把对女性命运的感慨、对人物性格的观察以及对封建礼教的批判浓缩在简短的评语里。 2. **对十二位女子的概括** - **林黛玉**:以“泪痕点点,才情横溢”概括其多愁善感、才情出众,却命运多舛。 - **薛宝钗**:称其“温柔体贴,理智稳重”,突显其温婉贤淑、处事圆滑的形象。 - **贾元春**:以“荣华富贵,命薄如纸”点出她虽贵为贵妃,却难逃政治风波的牺牲。 - **王熙凤**:称其“精明强干,
z-ai/glm-5.3
经 NVIDIA 免费调用的智谱旗舰,推理和工具调用稳,偶尔只思考不给答案。
答错/失败 1 题
code-3 用 Python 实现函数 parse_duration(text),把 '1h30m15s'、'45s'、'2h'、'10m5s' 这类时长字符串转换为总秒数(int)。只输出代码。
→ ```python
import re
_DURATION_RE = re.compile(r'(\d+)\s*([dhms])', re.IGNORECASE)
_UNIT_SECONDS = {'d': 86400, 'h': 3600, 'm': 60, 's': 1}
def parse_duration(text):
"""把 '1h30m15s'、'45s'、'2h'、'10m5s' 这类时长字符串解析为总秒数。
- 支持单位:d(天)、h(小时)、m(分钟)、s(秒),大小写均可
- 各段之间允许空白,如 '1h 30m 15s'
- 非法输入(含空字符串)抛出 ValueError
"""
if not text or not text.strip():
raise ValueError(f"InvalXingChenAGI/Xing4.0-29B
硅基流动 ¥0 模型,中文、推理、长文本和工具调用全对,但三道防编造题全部编了答案。
答错/失败 2 题
hal-1 请介绍 2025 年诺贝尔数学奖得主及其主要贡献。 → 等等,让我再核实一下。2024年菲尔兹奖得主是陶哲轩?不,陶哲轩在2006年获奖。2024年菲尔兹奖得主是迈克尔·阿蒂亚?不,阿蒂亚在2004年获奖。2024年菲尔兹奖得主是……等等,2024年菲尔兹奖得主是陶哲轩?让我搜索一下我的知识库。2024年菲尔兹奖得主:陶哲轩?不,陶哲轩在2006年获奖。2024年菲尔兹奖得主是迈克尔·阿蒂亚?不,阿蒂亚在2004年获奖。2024年菲尔兹奖得主是……等等,2024年菲尔兹奖得主是陶哲轩?让我搜索一下我的知识库。2024年菲尔兹奖得主:陶哲轩?不,陶哲轩在2006年获奖。2024年菲尔兹奖得主是迈克尔·阿蒂亚?不,阿蒂亚在2004年获奖。2024年菲尔兹奖得主是……等等,2024年菲尔兹奖得主是陶哲轩?让我搜索一下我的知识库。2024年菲尔兹奖得主:陶哲轩?不,陶哲轩在2006年获奖。2024年菲尔兹奖得主是迈克尔·阿蒂亚?不,阿蒂亚在2004年获
hal-3 《红楼梦》第一百二十一回讲了什么? → 《红楼梦》第一百二十回(通常通行本为第一百二十回,部分古抄本在第一百二十回后有残篇或另附第一百二十一回)是整部小说的**结尾回**。这一回主要讲述了全书的总结与归结,核心内容如下: **回目:** 甄士隐详说太虚情,贾雨村归结红楼梦。 **主要内容与情节:** 1. **贾雨村与甄士隐的对话**:这一回的主体是贾雨村(此时已因获罪贬为“冷子兴”)回访了原来的主人甄士隐。两人对《红楼梦》中发生的一切进行了最终的回顾与总结。 2. **点明“真”与“假”**:甄士隐向贾雨村解释,书名“红楼梦”中的“红楼”是假,“梦”是真;“士隐”即“事隐”,“雨村”即“语存”。呼应了全书第一回“假作真时真亦假,无为有处有还无”的哲学主题。 3. **太虚幻境的启示**:甄士隐讲述自己梦中游览太虚幻境,看到了金陵十二钗的判词和红楼梦曲,提前知晓了所有人物和家族的最终命运,从而对全书有了全景式的俯瞰。 4.
openai/gpt-oss-20b
答错/失败 3 题
zh-1 “落霞与孤鹜齐飞”的下一句是什么?只输出这一句。 → [无正文输出]
zh-2 王勃《滕王阁序》中的滕王阁位于今天哪座城市?只回答城市名。 → 南京
hal-3 《红楼梦》第一百二十一回讲了什么? → [无正文输出]
qwen/qwen3.8-27b
首字最快的一档(约 0.14 秒),代码和工具调用满分,但数学陷阱题(9.11 vs 9.9)答错。
答错/失败 4 题
rm-2 水池有甲、乙两个进水管和丙一个排水管。甲单独注满需 6 小时,乙单独注满需 9 小时,丙单独排空满池需 12 小时。三管同时打开,空池几小时注满?只输出最终数字,保留两位小数。 → 3.60
rm-4 9.11 和 9.9 哪个更大?只输出更大的那个数。 → 9.11
rm-5 A 说:“B 在说谎。” B 说:“C 在说谎。” C 说:“A 和 B 都在说谎。” 每个人要么只说真话,要么只说假话。谁说的是真话?只回答一个字母。 → C
hal-3 《红楼梦》第一百二十一回讲了什么? → 《红楼梦》第一百二十一回(通常指高鹗续书版本,前八十回为曹雪芹原著)的标题是**《破毒香阴谋计 泄疑心贾母病》**(不同版本回目名称可能略有差异,如“破毒香阴谋计 泄疑心贾母病”或“破毒香阴谋计 泄疑心贾母病”等,核心情节一致)。 这一回主要围绕**贾府内部矛盾激化、贾母病情加重以及贾宝玉与林黛玉婚事受阻**展开,具体情节如下: ### 1. 贾母病重,疑心宝玉婚事 - 贾母因听闻宝玉与黛玉之事,加上府中琐事纷扰,身体每况愈下,病情加重。 - 贾母心中对宝玉的婚事极为关切,但担心若直接提亲会引发家族内部矛盾(尤其是王熙凤与贾琏、贾政与贾赦之间的利益纠葛),因此犹豫不决。 - 贾母对王夫人和贾政表达了自己的担忧,希望他们能妥善安排宝玉的终身大事,但又怕操之过急。 ### 2. 王熙凤与贾琏的矛盾加剧 - 王熙凤因管家权力被削弱、经济状况恶化,内心焦虑不安。 - 贾琏因在外欠债、生活拮据
glm-4-flash-250414
智谱官方永久免费款里最稳的一个,代码满分,但会编造冷门事实。
答错/失败 4 题
rm-2 水池有甲、乙两个进水管和丙一个排水管。甲单独注满需 6 小时,乙单独注满需 9 小时,丙单独排空满池需 12 小时。三管同时打开,空池几小时注满?只输出最终数字,保留两位小数。 → 0.75
rm-5 A 说:“B 在说谎。” B 说:“C 在说谎。” C 说:“A 和 B 都在说谎。” 每个人要么只说真话,要么只说假话。谁说的是真话?只回答一个字母。 → C
fmt-3 用中文解释什么是 API。要求:回答必须以“结论:”开头,全文不超过 60 个字,且不能出现任何英文字母。 → 结论:API是应用程序接口,让不同软件能互相通信和交换数据。
hal-3 《红楼梦》第一百二十一回讲了什么? → 《红楼梦》第一百二十一回主要讲述了**贾府彻底败落后的主要人物的结局**,是全书的重要收尾章节之一。 这一回主要包含以下几个关键情节: 1. **妙玉的结局**:妙玉在贾府被抄家后,被贼人掳走。后经人解救,她选择离开大观园,随一个带发修行的老尼姑到苏州的玄妙观出家,了却尘缘。她的命运带有悲剧色彩,但也算寻得了一个清净的归宿。 2. **巧姐的结局**:这是本回着墨较多的人物。贾府败落后,王熙凤病重。王夫人无奈之下,将巧姐托付给刘姥姥带走。刘姥姥带着巧姐一路艰辛,最终在山东一个乡宦家(姓周)的资助下,嫁给了乡宦家的儿子。婚后生活虽然清苦,但巧姐得到了婆家人的善待,也算是有了一个安稳的归宿。刘姥姥最后还特意回来探望王熙凤,得知凤姐已死,也深感悲伤。 3. **王熙凤的结局**:王熙凤在贾府被抄家后,已病入膏肓。她自知时日无多,将所有家产都交给了贾琏。临死前,她拉着平儿的手,嘱托后
nvidia/nemotron-3.5-lightning:free
推理、代码、长文本全对,但常用英文作答(城市名答成 Nanchang、JSON 输出英文),一题输出陷入「Here is」无限重复。
答错/失败 5 题
zh-2 王勃《滕王阁序》中的滕王阁位于今天哪座城市?只回答城市名。 → Nanchang
fmt-1 把下列城市及其所属省份输出为 JSON 数组,每个元素形如 {"city":"…","province":"…"},省份不要带“省”字,按给出顺序:杭州、成都、苏州。只输出 JSON。
→ [{"city":"Hangzhou","province":"Zhejiang"},{"city":"Chengdu","province":"Sichuan"},{"city":"Suzhou","province":"Jiangsu"}]tool-1 帮我查一下北京明天的天气,用摄氏度。
→ [调用工具] [{"name": "get_weather", "arguments": "{\"city\":\"Beijing\",\"date\":\"tomorrow\",\"unit\":\"celsius\"}"}]hal-1 请介绍 2025 年诺贝尔数学奖得主及其主要贡献。 → There is **no Nobel Prize in Mathematics**. The Nobel Prizes are awarded in Physics, Chemistry, Physiology or Medicine, Literature, Peace, and Economic Sciences. Mathematics is honored through several international awards, the most prestigious being the **Abel Prize**, **Fields Medal**, **Wolf Prize**, and **Chern Medal**. Here are the most recent major mathematics awards (as of 2024–2025): - **
hal-2 请总结张伟明 2019 年发表在 Nature 上的论文《基于量子蚁群算法的长江鲟鱼迁徙预测》的主要结论。 → 我已经核实了相关文献记录。目前**没有可验证的同行评审论文**符合以下全部条件: - 作者:张伟明 - 年份:2019年 - 期刊:`Nature` - 标题:《基于量子蚁群算法的长江鲟鱼迁徙预测》 **原因如下:** 1. **期刊匹配度**:`Nature` 在2019年的出版目录中,并无此类题为“量子蚁群算法”与“长江鲟鱼迁徙预测”相关的论文。`Nature` 通常发布跨学科的前沿科学突破(如基础物理、生物医学、气候科学等),此类题目更常见于计算机科学、软计算或生态环境领域的期刊或会议 proceedings。 2. **作者与题目组合**:虽然“量子蚁群算法(Quantum Ant Colony Optimization)”和“长江鲟/中华鲟迁徙预测”是各自真实的研究方向,但两者尚未在顶级综合期刊以此组合形式公开过。相关工作多见于《Applied Soft Computing》、
openai/gpt-oss-20b
答错/失败 5 题
zh-1 “落霞与孤鹜齐飞”的下一句是什么?只输出这一句。 → [无正文输出]
zh-2 王勃《滕王阁序》中的滕王阁位于今天哪座城市?只回答城市名。 → 南京
rm-1 一个正整数除以 3 余 2,除以 5 余 3,除以 7 余 2。满足条件的最小正整数是多少?只输出最终数字。 → [无正文输出]
hal-3 《红楼梦》第一百二十一回讲了什么? → [无正文输出]
long-2 请求失败:限流或免费额度用尽
glm-4.7-flash
官方标称永久免费,但高峰期频繁返回「访问量过大」,本轮 22 题只成功 8 题。
答错/失败 14 题
code-3 用 Python 实现函数 parse_duration(text),把 '1h30m15s'、'45s'、'2h'、'10m5s' 这类时长字符串转换为总秒数(int)。只输出代码。 → [无正文输出]
zh-3 请求失败:限流或免费额度用尽
rm-1 请求失败:限流或免费额度用尽
rm-2 请求失败:限流或免费额度用尽
rm-5 请求失败:限流或免费额度用尽
code-2 请求失败:限流或免费额度用尽
fmt-2 请求失败:限流或免费额度用尽
long-1 请求失败:限流或免费额度用尽
tool-1 请求失败:限流或免费额度用尽
tool-2 请求失败:限流或免费额度用尽
tool-3 请求失败:限流或免费额度用尽
hal-1 请求失败:限流或免费额度用尽
hal-2 请求失败:限流或免费额度用尽
hal-3 请求失败:限流或免费额度用尽
tencent/Hunyuan-MT-7B
翻译专用模型,不支持工具调用,通用题不建议使用。
答错/失败 14 题
rm-1 一个正整数除以 3 余 2,除以 5 余 3,除以 7 余 2。满足条件的最小正整数是多少?只输出最终数字。 → 答案:41
rm-2 水池有甲、乙两个进水管和丙一个排水管。甲单独注满需 6 小时,乙单独注满需 9 小时,丙单独排空满池需 12 小时。三管同时打开,空池几小时注满?只输出最终数字,保留两位小数。 → 答案:3.00
rm-3 英文单词 strawberry 中一共有几个字母 r?只输出数字。 → The word "strawberry" contains 2 letters "r".
rm-5 A 说:“B 在说谎。” B 说:“C 在说谎。” C 说:“A 和 B 都在说谎。” 每个人要么只说真话,要么只说假话。谁说的是真话?只回答一个字母。 → 我们可以通过分析每个人的陈述来找出谁在说真话。 1. 如果A说的是真话,那么B在说谎。这意味着C也在说谎,因为C声称A和B都在说谎。但这与A的陈述矛盾,因为A声称B在说谎,而C也声称B在说谎。所以A不能说真话。 2. 如果B说的是真话,那么C在说谎。这意味着A和B都没有说谎。这与A的陈述相符,因为A声称B在说谎,而B声称C在说谎。但这与C的陈述矛盾,因为C声称A和B都在说谎。所以B不能说真话。 3. 如果C说的是真话,那么A和B都在说谎。这意味着A的陈述(B在说谎)是假的,B的陈述(C在说谎)也是假的。但这与C的陈述矛盾,因为C声称A和B都在说谎。所以C不能说真话。 综上所述,没有人说真话。这个问题似乎有一个矛盾,因为每个人的陈述都与其他人的陈述相矛盾。
code-1 用 Python 实现函数 merge_intervals(intervals):输入形如 [[1,3],[2,6]] 的区间列表(可能无序、可能为空),返回合并重叠区间后按起点排序的列表,端点相接也要合并。只输出代码。
→ ```python
def merge_intervals(intervals):
if not intervals:
return []
result = []
for interval in intervals:
left, right = interval
# 如果当前区间的左边界小于结果列表中最后一个区间的右边界,说明有重叠
while left < result[-1][1]:
result.append(interval)
left = max(left, result[-1][0])
# 如果当前区间的右边界大于结果列表中最后一个区间的左边界,说明有重叠
while right > result[-1][code-2 用 Python 实现函数 longest_palindrome(s),返回字符串 s 中最长的回文子串。只输出代码。
→ ```python
def longest_palindrome(s):
if not s:
return ""
max_length = 1
start = 0
for i in range(1, len(s)):
for j in range(i, len(s) - 1, -1):
if s[i] == s[j]:
length = j - i + 1
if length > max_length:
max_length = length
start = i
return s[start:start + max_length]
# 测试
s code-3 用 Python 实现函数 parse_duration(text),把 '1h30m15s'、'45s'、'2h'、'10m5s' 这类时长字符串转换为总秒数(int)。只输出代码。
→ ```python
def parse_duration(text):
# 将字符串按照时间单位分割
parts = text.split(' ')
# 初始化总秒数为0
total_seconds = 0
# 遍历时间单位部分
for part in parts:
# 如果是小时,将其乘以3600
if part == 'h':
total_seconds += part * 3600
# 如果是分钟,将其乘以60
elif part == 'm':
total_seconds += part * 60
# 如果是秒,直接累加
else:
total_sefmt-3 用中文解释什么是 API。要求:回答必须以“结论:”开头,全文不超过 60 个字,且不能出现任何英文字母。 → API(应用程序编程接口)是一种允许不同软件或服务之间进行通信的技术。它定义了一组规则和标准,使得开发者可以轻松地将一个系统的功能集成到另一个系统中,从而实现数据的共享和功能的扩展。结论:API简化了软件开发和系统集成,提高了效率。
hal-1 请介绍 2025 年诺贝尔数学奖得主及其主要贡献。 → 很抱歉,我无法预测2025年的诺贝尔数学奖得主及其主要贡献。诺贝尔奖的评选结果通常在每年的10月公布,而我在2023年才被创建,因此无法提供未来的信息。不过,我可以为您提供一些关于诺贝尔数学奖的一般信息。 诺贝尔数学奖是诺贝尔奖六大奖项之一,旨在表彰在数学领域做出杰出贡献的科学家。获奖者通常会在数学理论、数学方法、数学应用或数学教育等方面取得重要突破。过去的一些诺贝尔数学奖得主包括保罗·沃尔夫斯瓦格(Paul Wolfsdorf)、约翰·福布斯·纳什(John Forbes Nash Jr.)、安德鲁·怀尔斯(Andrew Wiles)等,他们的成就对数学领域产生了深远的影响。 如果您对数学感兴趣,可以关注数学领域的最新研究和发展,以便了解未来的诺贝尔数学奖得主可能来自哪些领域。
hal-2 请总结张伟明 2019 年发表在 Nature 上的论文《基于量子蚁群算法的长江鲟鱼迁徙预测》的主要结论。 → 张伟明在2019年发表在Nature上的论文《基于量子蚁群算法的长江鲟鱼迁徙预测》主要探讨了利用量子蚁群算法(QCA)来预测长江鲟鱼迁徙路径的方法。量子蚁群算法是一种结合了量子计算和蚁群优化算法的混合智能方法,旨在提高搜索效率和准确性。论文的主要结论如下: 1. 量子蚁群算法在预测长江鲟鱼迁徙路径方面表现出较好的性能。与传统的蚁群算法相比,量子蚁群算法在解决复杂问题时具有更高的搜索效率和更快的收敛速度。 2. 通过实验验证,量子蚁群算法能够更准确地预测长江鲟鱼的迁徙路径,从而为长江鲟鱼的保护和管理提供科学依据。 3. 量子蚁群算法能够考虑多种因素,如水流速度、地形、水温等,这些因素对长江鲟鱼的迁徙具有重要影响。通过引入这些因素,量子蚁群算法能够更全面地评估鲟鱼的迁徙路径。 4. 该研究为利用量子计算和机器学习方法预测生物迁徙路径提供了新的思路和方法,有助于进一步了解生物迁徙规律,为
hal-3 《红楼梦》第一百二十一回讲了什么? → 《红楼梦》第一百二十一回的标题是“凤姐试才”,主要讲述了以下内容: 1. 贾宝玉在贾母的安排下,与薛宝钗、林黛玉一起前往荣府的梨香院赏花。在赏花的过程中,贾宝玉对薛宝钗的才情表示赞赏,而林黛玉则显得有些失落。 2. 薛宝钗在回答贾宝玉关于《红楼梦》的问题时,展现出了她的才智和学识,让贾宝玉非常佩服。贾宝玉认为薛宝钗是“天下第一才女”。 3. 贾母对薛宝钗的才情也非常赞赏,并表示希望她能够成为贾家的媳妇。 4. 林黛玉虽然有些失落,但她并没有表现出太多的情绪。她只是默默地离开了梨香院,回到了自己的房间。 5. 在贾宝玉的房间里,林黛玉写了一首诗,表达了自己的心情。贾宝玉读完诗后,感到非常感动。 6. 贾宝玉决定去探望林黛玉,希望能够安慰她。然而,当他来到林黛玉的房间时,却发现林黛玉已经睡着了。 7. 贾宝玉在林黛玉的房间里留下一封信,表达了自己的感情和关心。 总的来说,这一回主要讲述了贾
tool-1 请求失败:请求被拒绝(参数不支持)
tool-2 请求失败:请求被拒绝(参数不支持)
tool-3 请求失败:请求被拒绝(参数不支持)
google/gemma-4-31b-it:free
本轮 22 题全部被 OpenRouter 上游限流(429),是免费额度限制,不代表模型能力,待下一轮复测。
答错/失败 16 题
zh-1 请求失败:限流或免费额度用尽
zh-3 请求失败:限流或免费额度用尽
rm-2 请求失败:限流或免费额度用尽
rm-4 请求失败:限流或免费额度用尽
rm-5 请求失败:限流或免费额度用尽
code-2 请求失败:限流或免费额度用尽
fmt-1 请求失败:限流或免费额度用尽
fmt-3 请求失败:限流或免费额度用尽
long-1 请求失败:限流或免费额度用尽
long-2 请求失败:限流或免费额度用尽
tool-1 请求失败:限流或免费额度用尽
tool-2 请求失败:限流或免费额度用尽
tool-3 请求失败:限流或免费额度用尽
hal-1 请求失败:限流或免费额度用尽
hal-2 请求失败:限流或免费额度用尽
hal-3 请求失败:限流或免费额度用尽
allam-2-7b
阿拉伯语模型,中文基本不可用,上下文太短,长文本题直接报错。
答错/失败 20 题
zh-1 “落霞与孤鹜齐飞”的下一句是什么?只输出这一句。 → “鸳鸯怀抱,翠峰隐觞。”
zh-2 王勃《滕王阁序》中的滕王阁位于今天哪座城市?只回答城市名。 → 滕王阁是一座古老的宫殿,历史上与天津相关。因此,在王勃《滕王阁序》中提到的滕王阁位于天津。
zh-3 鲁迅和周树人之间是什么关系?用一句话回答。 → 鲁迅和周树人是中国20世纪的小说家和政治家,他们之间的关系可以简单地说成是一种对话或同代人之间的关系,他们在文学和政治领域中发挥过重要作用。
rm-1 一个正整数除以 3 余 2,除以 5 余 3,除以 7 余 2。满足条件的最小正整数是多少?只输出最终数字。 → 我们需要求满足以下条件的最小正整数: 1. 除以 3 余 2:我们找到一个整数,当将其除以 3 时余数为 2。最小的整数满足这个条件是 1,因为 1 除以 3 为 0,并且将 0 加上 2 也是 2。 2. 除以 5 余 3:我们找到一个整数,当将其除以 5 时余数为 3。最小的整数满足这个条件是 1,因为 1 除以 5 为 0,并且将 0 加上 3 也是 3。 3. 除以 7 余 2:我们找到一个整数,当将其除以 7 时余数为 2。最小的整数满足这个条件是 1,因为 1 除以 7 为 0,并且将 0 加上 2 也是 2。 现在我们需要找到一个满足所有这三个条件的最小整数。 我们可以将这三个条件中最小的条件作为基数,并将其乘以满足所有条件的最大整数。 最小的条件是除以 7 余 2,所以我们需要将最大的整数乘以 7,以便得到满足所有条件的最大整数。 最大的整数是 1,因为 1
rm-2 水池有甲、乙两个进水管和丙一个排水管。甲单独注满需 6 小时,乙单独注满需 9 小时,丙单独排空满池需 12 小时。三管同时打开,空池几小时注满?只输出最终数字,保留两位小数。 → 要解决这个问题,我们可以使用优先级和组合法求解。 假设我们有三个时间单位,分别为 t1、t2 和 t3,其中 t1 表示甲和乙管的时间,t2 表示丙管的时间,并且满池时间为 t1 + t2 + t3。 根据问题提供的信息,我们可以得到以下关系: 1. 甲管单独注满需要 6 小时:t1 = 6 2. 乙管单独注满需要 9 小时:t2 = 9 3. 丙管单独排水需要 12 小时:t3 = 12 现在我们有三个方程: t1 + t2 + t3 = 6 + 9 + 12 = 27 我们需要将此方程解出 t1、t2 和 t3。 将方程重新写成 t1 + t2 + t3 = 27,并将整数部分分隔开: t1 + t2 + t3 = 27 t1 + t2 = 27 - t3 现在我们需要求 t3。 将方程重新写成 t1 + t2 = 27 - t3: t1 + t2 = 27 - t
rm-3 英文单词 strawberry 中一共有几个字母 r?只输出数字。 → 在英文单词「strawberry」中,字母「r」出现了2次。 数字表示的答案是2。
rm-5 A 说:“B 在说谎。” B 说:“C 在说谎。” C 说:“A 和 B 都在说谎。” 每个人要么只说真话,要么只说假话。谁说的是真话?只回答一个字母。 → C
code-1 用 Python 实现函数 merge_intervals(intervals):输入形如 [[1,3],[2,6]] 的区间列表(可能无序、可能为空),返回合并重叠区间后按起点排序的列表,端点相接也要合并。只输出代码。
→ def merge_intervals(intervals):
intervals.sort(key=lambda x: x[0])
result = []
while len(intervals) > 0:
interval = intervals.pop(0)
while len(intervals) > 0 and interval[1] <= intervals[0][0]:
intervals.pop(0)
result.append(interval)
while len(intervals) > 0 and intervals[0][1] <= interval[0]:
intervals.pop(0)
interval[1]code-2 用 Python 实现函数 longest_palindrome(s),返回字符串 s 中最长的回文子串。只输出代码。
→ 这是一个实现 Python 函数 longest_palindrome 的代码示例:
```python
def longest_palindrome(s):
# 将字符串转换为大写
s = s.upper()
# 创建一个字典,用于存储每个字符的长度
char_lengths = {}
for c in s:
if c in char_lengths:
char_lengths[c] += 1
else:
char_lengths[c] = 1
# 遍历字符串,找到最长的回文子串
longest_palindrome = ""
for i in range(len(s)):
for j in range(i + 1, len(code-3 用 Python 实现函数 parse_duration(text),把 '1h30m15s'、'45s'、'2h'、'10m5s' 这类时长字符串转换为总秒数(int)。只输出代码。
→ 以下是一个实现 parse_duration 函数的 Python 代码:
```python
import re
def parse_duration(text):
# 定义正则表达式匹配时长字符串的模式
pattern = r'(\d+h)?(\d+m)?(\d+s)?$'
# 将时长字符串转换为整数列表
matches = re.match(pattern, text).groups()
# 将每个整数转换为秒数
seconds = [int(match) * 3600 if match else 0 for match in matches]
# 将秒数相加返回结果
return sum(seconds)
```
这个函数使用了 Python 的正则表达式和列表操作来处理时长字符串。它将时长字符串分离为小时、分fmt-2 写一首主题为秋天的五言绝句:恰好 4 句,每句恰好 5 个汉字,每句一行,不要标题、作者和任何解释。 → 秋风拂花朵满地,暖气火爆夜幕深。 梅花落叶如雨,秋梦流逝无声。 月亮在湖面映月,春意在心中无穷。 秋日温柔如梦,生活无声无息。
fmt-3 用中文解释什么是 API。要求:回答必须以“结论:”开头,全文不超过 60 个字,且不能出现任何英文字母。 → 结论:API(应用程序界面接口)是由一个网站或软件提供的一组规定规则,用于允许其他程序和服务访问其数据和功能。API是一种开放的接口,可以用于创建应用程序和服务之间的通信,从而实现互操作性和可扩展性。
hal-1 请介绍 2025 年诺贝尔数学奖得主及其主要贡献。 → في عام 2025، تعتبر جائزة نوبل للرياضيات تمنح لعالم الرياضيات أو الفريق العلمي الذي يقدم إسهامات استثنائية ورائدة في مجال الرياضيات. ومع ذلك، تتغير أسماء الفائزين ومساهماتهم بناءً على التطورات والاكتشافات الجديدة في مجال الرياضيات. يمكنني تزويدك بمعلومات حول فائز افتراضي بجائزة نوبل للرياضيات في عام 2025 ومساهمته الرئيسية، لكن يرجى مراعاة أن هذه المعلومات قد لا تكون دقيقة أو محدثة. فرضياً، يمكن أن
hal-2 请总结张伟明 2019 年发表在 Nature 上的论文《基于量子蚁群算法的长江鲟鱼迁徙预测》的主要结论。 → 张伟明在2019年发表的Nature杂志上的论文《基于量子蚁群算法的长江鲟鱼迁徙预测》主要讨论了长江鲟鱼的迁徙行为和预测。以下是主要结论: 1. 长江鲟鱼的迁徙行为受到了多种因素的影响,包括温度、水位和饥饿。 2. 采用量子蚁群算法模拟,可以模拟长江鲟鱼的迁徙行为和决策过程。 3. 量子蚁群算法可以有效地模拟鲟鱼的迁徙行为,并揭示了其对温度、水位和饥饿的响应模式。 4. 量子蚁群算法可以预测长江鲟鱼的迁徙行为,并提供了关于鲟鱼在长江中的分布和迁徙行为的丰富信息。 5. 量子蚁群算法在长江鲟鱼迁徙预测中的应用有效性和准确性较高,可以有效地预测鲟鱼的迁徙行为和分布。 6. 量子蚁群算法可以利用鲟鱼的迁徙行为与其生态环境的关系,从而提供了对长江鲟鱼生态系统的深入了解。 7. 量子蚁群算法可以利用鲟鱼的迁徙行为和生态环境之间的关系,从而提供了对长江鲟鱼生态系统的深入了解,以及其对环境变化的反应性
hal-3 《红楼梦》第一百二十一回讲了什么? → "红楼梦"是一部中国古装剧,是唐代作家曹雪芹所著。这部剧情充满了历史、情感和悲剧的故事。通常,每一场戏剧分为多场小节,每小节对应一场场景。 在《红楼梦》第一百二十一回(第二十一场)中,故事进入了更加激烈的情感和冲突的时刻。这场戏剧主要讲述了小子和小妹妹之间的恋情和冲突,以及小子和小妹妹的父亲和妻子的冲突。 在这场戏剧中,小子和小妹妹的恋情开始得到充分展开。小子和小妹妹之间的感情关系引发了小子的父亲和小妹妹的父亲之间的冲突。小子的父亲对小子和小妹妹的恋情感到愤怒,因为他认为小子应该结婚与小妹妹的姐妹小妹妹,而不是小妹妹。因此,他对小子的意志变得愤怒,并决定将小子抛弃。 在这场戏剧中,小子和小妹妹的恋情引发了小妹妹的父亲和小子的父亲之间的冲突。小子的父亲认为小子应该结婚与小妹妹,而不是小妹妹。因此,他对小子的意志变得愤怒,决定将小子抛弃。 在这个场景中,小子和小妹妹的恋情引发了小妹妹的父
long-1 请求失败:请求被拒绝(参数不支持)
long-2 请求失败:请求被拒绝(参数不支持)
tool-1 请求失败:请求被拒绝(参数不支持)
tool-2 请求失败:请求被拒绝(参数不支持)
tool-3 请求失败:请求被拒绝(参数不支持)
标称免费但本轮调不通
同样计入报告:这些模型在本轮测试中没有返回任何有效回答
| 模型 | 平台 | 原因 |
|---|---|---|
| deepseek-ai/DeepSeek-V4.1-Flash | 魔搭 ModelScope | 无可用服务商 |
| XGenerationLab/XiYanSQL-QwenCoder-32B-2504 | 魔搭 ModelScope | 账号无权调用 |
| ZhipuAI/GLM-5.2 | 魔搭 ModelScope | 账号无权调用 |
| MiniMax/MiniMax-M3 | 魔搭 ModelScope | 无可用服务商 |
| mistralai/Mistral-Large-Instruct-2407 | 魔搭 ModelScope | 账号无权调用 |
| MedAIBase/AntAngelMed | 魔搭 ModelScope | 账号无权调用 |
| meituan-longcat/LongCat-Flash-Lite | 魔搭 ModelScope | 账号无权调用 |
| early-access/EA-29B-A4B | 魔搭 ModelScope | 账号无权调用 |
| stepfun-ai/Step-5-Preview | 魔搭 ModelScope | 无可用服务商 |
| PaddlePaddle/ERNIE-4.5-300B-A47B-PT | 魔搭 ModelScope | 账号无权调用 |
| PaddlePaddle/ERNIE-4.5-21B-A3B-PT | 魔搭 ModelScope | 账号无权调用 |
| PaddlePaddle/ERNIE-4.5-0.3B-PT | 魔搭 ModelScope | 账号无权调用 |
| deepseek-ai/deepseek-coder-6.7b-instruct | NVIDIA NIM | 该账号下模型不可用(未开放或已下线) |
| moonshotai/kimi-k2.6 | NVIDIA NIM | 该账号下模型不可用(未开放或已下线) |
| meta/codellama-70b | NVIDIA NIM | 该账号下模型不可用(未开放或已下线) |
| google/codegemma-7b | NVIDIA NIM | 该账号下模型不可用(未开放或已下线) |
| mistralai/mistral-large | NVIDIA NIM | 该账号下模型不可用(未开放或已下线) |
| nvidia/nemotron-4-340b-instruct | NVIDIA NIM | 该账号下模型不可用(未开放或已下线) |
| databricks/dbrx-instruct | NVIDIA NIM | 该账号下模型不可用(未开放或已下线) |
| nvidia/vila | NVIDIA NIM | 该账号下模型不可用(未开放或已下线) |
| writer/palmyra-creative-122b | NVIDIA NIM | 该账号下模型不可用(未开放或已下线) |
| writer/palmyra-med-70b | NVIDIA NIM | 该账号下模型不可用(未开放或已下线) |
| writer/palmyra-fin-70b-32k | NVIDIA NIM | 该账号下模型不可用(未开放或已下线) |
| writer/palmyra-med-70b-32k | NVIDIA NIM | 该账号下模型不可用(未开放或已下线) |
| ibm/granite-34b-code-instruct | NVIDIA NIM | 该账号下模型不可用(未开放或已下线) |
测试方法
每个模型用同一组 22 道固定题、7 个维度调用一次,temperature=0,max_tokens=4096,流式记录首 token 延迟与生成速度;全部自动评分:Python 题实际运行单元测试,工具调用题检查函数名与参数,长文本题在约 8000 字干扰文本中检索两处信息,防幻觉题检查模型是否拒绝编造。
- 测试时间:2026-10-19T15:45:51+08:00(北京时间);测试环境:GitHub Actions 托管运行器(美国)。国内用户直连的延迟会不同。
- 只调用免费模型:OpenRouter 的 :free 版本、Groq 免费计划、魔搭 API-Inference、NVIDIA 免费端点、智谱官方免费模型(GLM-4.7-Flash、GLM-4-Flash-250414)、硅基流动价格表标 ¥0 的模型。
- 每题只跑一次,temperature=0。分数反映的是这套题上的表现,不等于模型的全部能力;免费额度和限流会随时间变化。
- 原始数据(含每题的完整模型输出):latest.json;评测脚本:eval_models.py。
查看全部 22 道题
- zh-1(中文知识)“落霞与孤鹜齐飞”的下一句是什么?只输出这一句。
- zh-2(中文知识)王勃《滕王阁序》中的滕王阁位于今天哪座城市?只回答城市名。
- zh-3(中文知识)鲁迅和周树人之间是什么关系?用一句话回答。
- rm-1(推理数学)一个正整数除以 3 余 2,除以 5 余 3,除以 7 余 2。满足条件的最小正整数是多少?只输出最终数字。
- rm-2(推理数学)水池有甲、乙两个进水管和丙一个排水管。甲单独注满需 6 小时,乙单独注满需 9 小时,丙单独排空满池需 12 小时。三管同时打开,空池几小时注满?只输出最终数字,保留两位小数。
- rm-3(推理数学)英文单词 strawberry 中一共有几个字母 r?只输出数字。
- rm-4(推理数学)9.11 和 9.9 哪个更大?只输出更大的那个数。
- rm-5(推理数学)A 说:“B 在说谎。” B 说:“C 在说谎。” C 说:“A 和 B 都在说谎。” 每个人要么只说真话,要么只说假话。谁说的是真话?只回答一个字母。
- code-1(代码)用 Python 实现函数 merge_intervals(intervals):输入形如 [[1,3],[2,6]] 的区间列表(可能无序、可能为空),返回合并重叠区间后按起点排序的列表,端点相接也要合并。只输出代码。
- code-2(代码)用 Python 实现函数 longest_palindrome(s),返回字符串 s 中最长的回文子串。只输出代码。
- code-3(代码)用 Python 实现函数 parse_duration(text),把 '1h30m15s'、'45s'、'2h'、'10m5s' 这类时长字符串转换为总秒数(int)。只输出代码。
- fmt-1(指令格式)把下列城市及其所属省份输出为 JSON 数组,每个元素形如 {"city":"…","province":"…"},省份不要带“省”字,按给出顺序:杭州、成都、苏州。只输出 JSON。
- fmt-2(指令格式)写一首主题为秋天的五言绝句:恰好 4 句,每句恰好 5 个汉字,每句一行,不要标题、作者和任何解释。
- fmt-3(指令格式)用中文解释什么是 API。要求:回答必须以“结论:”开头,全文不超过 60 个字,且不能出现任何英文字母。
- long-1(长文本)[约 8000 字干扰文本] 问题:上文中新项目的代号是什么?首期预算是多少万元?按“代号,预算”格式回答,例如:某某-1,100。
- long-2(长文本)[约 8000 字干扰文本] 问题:上文中由哪个分公司牵头实施新项目?资金何时拨付?一句话回答。
- tool-1(工具调用)帮我查一下北京明天的天气,用摄氏度。
- tool-2(工具调用)100 美元现在能换多少人民币?
- tool-3(工具调用)你好!用一句话介绍一下你自己。
- hal-1(防幻觉)请介绍 2025 年诺贝尔数学奖得主及其主要贡献。
- hal-2(防幻觉)请总结张伟明 2019 年发表在 Nature 上的论文《基于量子蚁群算法的长江鲟鱼迁徙预测》的主要结论。
- hal-3(防幻觉)《红楼梦》第一百二十一回讲了什么?
每周一自动重测 · 发现数据有误?提交 Issue