您现在的位置是: 资讯 > 快讯 > > 正文

中文通用大模型基准(SuperCLUE)评测榜单发布 你知道吗?

时间:2023-05-10 15:45:21 来源:环球科技网 发布者:DN032

讯飞星火认知大模型总分53.58分,100分满分

中文通用大模型综合性评测基准SuperCLUE正式发布。

中文通用大模型基准(SuperCLUE),是针对中文可用的通用大模型的一个测评基准,它尝试在一系列国内外代表性的模型上使用多个维度能力进行测试。

它主要回答的问题是:在当前通用大模型大力发展的情况下,中文大模型的效果情况。包括但不限于:这些模型不同任务的效果情况、相较于国际上的代表性模型做到了什么程度、 这些模型与人类的效果对比如何?

根据首个榜单显示,国内大模型中,近期发布的星火认知大模型最好,总分53.58分,与GPT-4相比有23个百分点的差距,与gpt-3.5-turbo在总分上有13个百分点的差距。

值得一提的是,讯飞星火认知大模型在对话、百科知识、角色模拟、计算能力、语义理解、逻辑推理方面,已经达到GPT 3.5平齐的水准。

在语义理解方面,讯飞星火认知大模型甚至得到100分的满分,超过GPT-4。

据了解,SuperCLUE评测榜单由三部分组成:总榜单、基础能力榜单、中文特性榜单,排行榜会定期更新,可点此访问.

标签: 讯飞星火 讯飞星火认知官网 讯飞大语

抢先读

相关文章

热文推荐

精彩放送

关于我们| 联系我们| 投稿合作| 法律声明| 广告投放

版权所有© 2011-2023  产业研究网  www.coalstudy.com

所载文章、数据仅供参考.本站不作任何非法律允许范围内服务!

联系我们:39 60 29 14 2 @qq.com

皖ICP备2022009963号-13