Codabench 是一个开源平台，可用于组织 AI 基准测试。它灵活强大，却又易于使用。您只需定义任务（例如数据集和成功指标），然后添加代码（算法）提交界面，添加一些文档页面，上传即可！您的基准测试就创建完成了，可以接受新算法的提交。所有内容都可以完全自定义，包括评分程序的代码。组织者甚至可以将自己的计算资源连接到基准测试，从而实现无限的计算能力。参与者可以测试他们的方法，并在竞争激烈的排行榜上获得实时反馈和结果，以及查看详细的图表等等。
Codabench 的一个独特之处在于，它还允许您创建反向基准测试。在这种测试中，数据集和算法的角色互换。在这种情况下，您设置参考算法，而参与者则提供数据集。
CodaLab Competitions 是一个功能强大的开源 框架，可用于举办以结果或代码提交为评判标准的竞赛。您可以免费参与现有竞赛或举办自己的竞赛。
CodaLab 上举办的大多数竞赛都是机器学习（数据科学）竞赛，但并不局限于此领域。任何能够以压缩包形式提交解决方案的问题都可以参加。压缩包内需包含若干待评估文件，并由评分程序（由主办方提供）进行定量评估。评分程序必须返回一个数值分数，该分数将显示在排行榜上，用于比较参赛者的表现。
CodaLab 于 2013 年由微软和斯坦福大学联合创立。其最初愿景是创建一个生态系统，以更高效、可复现和协作的方式开展计算研究，结合工作表和竞赛。工作表以可复现的方式记录复杂的研究流程，并生成“可执行论文”。Codabench 是 CodaLab 的延续，是其第二版，用户可以在其中组织基准测试。
一些竞赛曾使用工作表进行组织，但竞赛平台和工作表平台都拥有庞大的用户群，并且可以独立使用。2014年， ChaLearn 加入CodaLab竞赛的共同开发。自2015年起，巴黎-萨克雷大学在大数据教授伊莎贝尔·盖恩（Isabelle Guyon）的指导下，成为CodaLab竞赛的社区牵头方。CodaLab和Codabench由LISN的工作人员管理。
CodaLab 在研究领域得到广泛应用。在 2019/2020 年度，CodaLab 发起了 400 项新的挑战赛。近期与 CodaLab 合作举办的热门挑战赛包括 COVID-19 转发预测挑战赛、 ECCV 2020 ChaLearn LAP Fair 人脸识别挑战赛、 2020 DriveML 华为自动驾驶汽车挑战赛, 以及一些备受瞩目的挑战赛，例如 由 See.4C 联盟组织的欧盟 200 万欧元奖金挑战赛、吸引了 493 名参赛者的CIKM AnalytiCup 2017、 MSCOCO (633 名参赛者)和 ChaLearn AutoML 2017 挑战赛（687 名参赛者）。
自 2016 年起，CodaLab 提供代码提交式机器学习挑战赛。最简单的机器学习挑战赛仅需提交结果，评分程序会将这些结果与标准解决方案（或密钥）进行比较。结果提交式挑战赛的计算成本低于代码提交式挑战赛，但其功能也相对有限。特别是，代码提交式挑战赛能够确保所有参赛者在相同条件下运行提交的代码，从而实现公平的基准测试。
CodaLab 一直为希望在预先批准的预算范围内举办高影响力赛事的挑战赛组织者提供免费资源。自 1.5 版本起新增功能：组织者可以将自己的计算资源连接到 CodaLab 后端，从而重定向代码提交，使组织者能够承担大数据竞赛的费用。由于 CodaLab 是一个开源项目，因此可以针对非常特殊的项目进行定制。
@article{codabench,
title = {Codabench: Flexible, easy-to-use, and reproducible meta-benchmark platform},
author = {Zhen Xu and Sergio Escalera and Adrien Pavão and Magali Richard and
Wei-Wei Tu and Quanming Yao and Huan Zhao and Isabelle Guyon},
journal = {Patterns},
volume = {3},
number = {7},
pages = {100543},
year = {2022},
issn = {2666-3899},
doi = {https://doi.org/10.1016/j.patter.2022.100543},
url = {https://www.sciencedirect.com/science/article/pii/S2666389922001465}
}