打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
MAP(Mean Average Precision)
MAP(Mean AveragePrecision):单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank越高),MAP就可能越高。如果系统没有返回相关文档,则准确率默认为0。
例如:假设有两个主题,主题1有4个相关网页,主题2有5个相关网页。某系统对于主题1检索出4个相关网页,其rank分别为1, 2, 4,7;对于主题2检索出3个相关网页,其rank分别为1,3,5。对于主题1,平均准确率为(1/1+2/2+3/4+4/7)/4=0.83。对于主题2,平均准确率为(1/1+2/3+3/5+0+0)/5=0.45。则MAP= (0.83+0.45)/2=0.64。”

MRR是把标准答案在被评价系统给出结果中的排序取倒数作为它的准确度,再对所有的问题取平均。

Wiki

Precision and recall are single-value metrics based on the wholelist of documents returned by the system. For systems that return aranked sequence of documents, it is desirable to also consider theorder in which the returned documents are presented. Averageprecision emphasizes ranking relevant documents higher. It is theaverage of precisions computed at the point of each of the relevantdocuments in the ranked sequence:


where r is the rank, N the number retrieved,rel() a binary function on the relevance of a given rank,and P(r) precision at a given cut-off rank:

This metric is also sometimes referred to geometrically as thearea under the Precision-Recall curve.

Note that the denominator (number of relevant documents) is thenumber of relevant documents in the entire collection, so that themetric reflects performance over all relevant documents, regardlessof a retrieval cutoff. See:.

^Turpin, Andrew; Scholer, Falk(2006). "User performance versus precision measures for simplesearch tasks". Proceedings of the 29th Annualinternational ACM SIGIR Conference on Research and Development ininformation Retrieval_r(Seattle, Washington, USA, August 06-11,2006) (New York, NY: ACM): 11–18. doi:10.1145/1148170.1148176



MAP(Mean AveragePrecision):单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank越高),MAP就可能越高。如果系统没有返回相关文档,则准确率默认为0。
       例如:假设有两个主题,主题1有4个相关网页,主题2有5个相关网页。某系统对于主题1检索出4个相关网页,其rank分别为1, 2, 4,7;对于主题2检索出3个相关网页,其rank分别为1,3,5。对于主题1,平均准确率为(1/1+2/2+3/4+4/7)/4=0.83。对于主题2,平均准确率为(1/1+2/3+3/5+0+0)/5=0.45。则MAP= (0.83+0.45)/2=0.64。”

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
搜索引擎技术:性能提高遇到瓶颈
推荐系统评测指标
机器学习中常用的评价指标 | 分类任务、回归任务
网络舆情监控系统的实现方法
提问和回答的智慧
83张漂亮的苹果系统桌面壁纸
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服