{ "study": "Study 1 \u2014 calibration: homogeneous swarm vs matched-compute single agent", "model": "claude-haiku-4-5-20251001", "swarm": { "agents": 3, "rounds": 2, "confidence_signal": "consensus (modal share across agents)" }, "baseline": { "confidence_signal": "self_consistency (modal share across resamples)", "compute": "matched to swarm tokens per item" }, "n": 66, "headline": { "accuracy": { "swarm": 0.8181818181818182, "baseline": 0.8181818181818182 }, "mean_confidence": { "swarm": 0.9292929292929291, "baseline": 0.8702200577200576 }, "overconfidence": { "swarm": 0.11111111111111083, "baseline": 0.052038239538239384 }, "ece": { "swarm": 0.11111111111111108, "baseline": 0.10903679653679656 }, "auc": { "swarm": 0.7407407407407407, "baseline": 0.8294753086419753 } }, "swarm_report": { "battery": "swarm-study1-v0", "n": 66, "confidence_signal": "consensus", "grounding_rate": 0.0, "total_tokens": 186842, "total_samples": 396, "overall": { "n": 66, "accuracy": 0.8181818181818182, "mean_confidence": 0.9292929292929291, "overconfidence": 0.11111111111111083, "ece": 0.11111111111111108, "mce": 0.3333333333333333, "brier": 0.12794612794612792, "auc": 0.7407407407407407, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.2, "hi": 0.3, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.3, "hi": 0.4, "count": 1, "mean_confidence": 0.3333333333333333, "accuracy": 0.0, "gap": 0.3333333333333333 }, { "lo": 0.4, "hi": 0.5, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.5, "hi": 0.6, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.6, "hi": 0.7, "count": 12, "mean_confidence": 0.6666666666666666, "accuracy": 0.5, "gap": 0.16666666666666663 }, { "lo": 0.7, "hi": 0.8, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.8, "hi": 0.9, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.9, "hi": 1.0, "count": 53, "mean_confidence": 1.0, "accuracy": 0.9056603773584906, "gap": 0.09433962264150941 } ] }, "by_difficulty": { "medium": { "n": 54, "accuracy": 0.8148148148148148, "mean_confidence": 0.9320987654320987, "overconfidence": 0.11728395061728392, "ece": 0.11728395061728394, "mce": 0.3333333333333333, "brier": 0.13786008230452673, "auc": 0.6988636363636364, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.2, "hi": 0.3, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.3, "hi": 0.4, "count": 1, "mean_confidence": 0.3333333333333333, "accuracy": 0.0, "gap": 0.3333333333333333 }, { "lo": 0.4, "hi": 0.5, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.5, "hi": 0.6, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.6, "hi": 0.7, "count": 9, "mean_confidence": 0.6666666666666666, "accuracy": 0.5555555555555556, "gap": 0.11111111111111105 }, { "lo": 0.7, "hi": 0.8, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.8, "hi": 0.9, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.9, "hi": 1.0, "count": 44, "mean_confidence": 1.0, "accuracy": 0.8863636363636364, "gap": 0.11363636363636365 } ] }, "hard": { "n": 12, "accuracy": 0.8333333333333334, "mean_confidence": 0.9166666666666665, "overconfidence": 0.08333333333333315, "ece": 0.08333333333333333, "mce": 0.3333333333333333, "brier": 0.08333333333333333, "auc": 0.95, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.2, "hi": 0.3, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.3, "hi": 0.4, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.4, "hi": 0.5, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.5, "hi": 0.6, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.6, "hi": 0.7, "count": 3, "mean_confidence": 0.6666666666666666, "accuracy": 0.3333333333333333, "gap": 0.3333333333333333 }, { "lo": 0.7, "hi": 0.8, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.8, "hi": 0.9, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.9, "hi": 1.0, "count": 9, "mean_confidence": 1.0, "accuracy": 1.0, "gap": 0.0 } ] } }, "by_contamination": { "public_benchmark": { "n": 60, "accuracy": 0.8333333333333334, "mean_confidence": 0.9444444444444444, "overconfidence": 0.11111111111111105, "ece": 0.11111111111111108, "mce": 0.3333333333333333, "brier": 0.12222222222222222, "auc": 0.714, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.2, "hi": 0.3, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.3, "hi": 0.4, "count": 1, "mean_confidence": 0.3333333333333333, "accuracy": 0.0, "gap": 0.3333333333333333 }, { "lo": 0.4, "hi": 0.5, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.5, "hi": 0.6, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.6, "hi": 0.7, "count": 8, "mean_confidence": 0.6666666666666666, "accuracy": 0.5, "gap": 0.16666666666666663 }, { "lo": 0.7, "hi": 0.8, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.8, "hi": 0.9, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.9, "hi": 1.0, "count": 51, "mean_confidence": 1.0, "accuracy": 0.9019607843137255, "gap": 0.0980392156862745 } ] }, "private": { "n": 4, "accuracy": 1.0, "mean_confidence": 0.8333333333333333, "overconfidence": -0.16666666666666674, "ece": 0.16666666666666669, "mce": 0.33333333333333337, "brier": 0.055555555555555566, "auc": null, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.2, "hi": 0.3, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.3, "hi": 0.4, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.4, "hi": 0.5, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.5, "hi": 0.6, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.6, "hi": 0.7, "count": 2, "mean_confidence": 0.6666666666666666, "accuracy": 1.0, "gap": -0.33333333333333337 }, { "lo": 0.7, "hi": 0.8, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.8, "hi": 0.9, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.9, "hi": 1.0, "count": 2, "mean_confidence": 1.0, "accuracy": 1.0, "gap": 0.0 } ] }, "post_cutoff": { "n": 2, "accuracy": 0.0, "mean_confidence": 0.6666666666666666, "overconfidence": 0.6666666666666666, "ece": 0.6666666666666666, "mce": 0.6666666666666666, "brier": 0.4444444444444444, "auc": null, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.2, "hi": 0.3, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.3, "hi": 0.4, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.4, "hi": 0.5, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.5, "hi": 0.6, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.6, "hi": 0.7, "count": 2, "mean_confidence": 0.6666666666666666, "accuracy": 0.0, "gap": 0.6666666666666666 }, { "lo": 0.7, "hi": 0.8, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.8, "hi": 0.9, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.9, "hi": 1.0, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN } ] } }, "by_tool_verifiable": { "True": { "n": 41, "accuracy": 0.7317073170731707, "mean_confidence": 0.934959349593496, "overconfidence": 0.2032520325203253, "ece": 0.20325203252032523, "mce": 0.5, "brier": 0.1815718157181572, "auc": 0.7575757575757576, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.2, "hi": 0.3, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.3, "hi": 0.4, "count": 1, "mean_confidence": 0.3333333333333333, "accuracy": 0.0, "gap": 0.3333333333333333 }, { "lo": 0.4, "hi": 0.5, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.5, "hi": 0.6, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.6, "hi": 0.7, "count": 6, "mean_confidence": 0.6666666666666666, "accuracy": 0.16666666666666666, "gap": 0.5 }, { "lo": 0.7, "hi": 0.8, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.8, "hi": 0.9, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.9, "hi": 1.0, "count": 34, "mean_confidence": 1.0, "accuracy": 0.8529411764705882, "gap": 0.1470588235294118 } ] }, "False": { "n": 25, "accuracy": 0.96, "mean_confidence": 0.9200000000000002, "overconfidence": -0.039999999999999813, "ece": 0.040000000000000015, "mce": 0.16666666666666674, "brier": 0.04, "auc": 0.8958333333333334, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.2, "hi": 0.3, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.3, "hi": 0.4, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.4, "hi": 0.5, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.5, "hi": 0.6, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.6, "hi": 0.7, "count": 6, "mean_confidence": 0.6666666666666666, "accuracy": 0.8333333333333334, "gap": -0.16666666666666674 }, { "lo": 0.7, "hi": 0.8, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.8, "hi": 0.9, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.9, "hi": 1.0, "count": 19, "mean_confidence": 1.0, "accuracy": 1.0, "gap": 0.0 } ] } } }, "baseline_report": { "battery": "swarm-study1-v0", "n": 66, "confidence_signal": "self_consistency", "grounding_rate": 0.0, "total_tokens": 203215, "total_samples": 466, "overall": { "n": 66, "accuracy": 0.8181818181818182, "mean_confidence": 0.8702200577200576, "overconfidence": 0.052038239538239384, "ece": 0.10903679653679656, "mce": 0.42857142857142855, "brier": 0.10000676406926408, "auc": 0.8294753086419753, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 1, "mean_confidence": 0.14285714285714285, "accuracy": 0.0, "gap": 0.14285714285714285 }, { "lo": 0.2, "hi": 0.3, "count": 1, "mean_confidence": 0.2857142857142857, "accuracy": 0.0, "gap": 0.2857142857142857 }, { "lo": 0.3, "hi": 0.4, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.4, "hi": 0.5, "count": 1, "mean_confidence": 0.42857142857142855, "accuracy": 0.0, "gap": 0.42857142857142855 }, { "lo": 0.5, "hi": 0.6, "count": 5, "mean_confidence": 0.5428571428571429, "accuracy": 0.2, "gap": 0.3428571428571429 }, { "lo": 0.6, "hi": 0.7, "count": 2, "mean_confidence": 0.6666666666666666, "accuracy": 1.0, "gap": -0.33333333333333337 }, { "lo": 0.7, "hi": 0.8, "count": 8, "mean_confidence": 0.7232142857142857, "accuracy": 0.875, "gap": -0.1517857142857143 }, { "lo": 0.8, "hi": 0.9, "count": 9, "mean_confidence": 0.8604497354497354, "accuracy": 0.7777777777777778, "gap": 0.08267195767195756 }, { "lo": 0.9, "hi": 1.0, "count": 39, "mean_confidence": 1.0, "accuracy": 0.9487179487179487, "gap": 0.05128205128205132 } ] }, "by_difficulty": { "medium": { "n": 54, "accuracy": 0.8333333333333334, "mean_confidence": 0.8852513227513228, "overconfidence": 0.05191798941798942, "ece": 0.12643298059964725, "mce": 0.42857142857142855, "brier": 0.10285900625682372, "auc": 0.7938271604938272, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.2, "hi": 0.3, "count": 1, "mean_confidence": 0.2857142857142857, "accuracy": 0.0, "gap": 0.2857142857142857 }, { "lo": 0.3, "hi": 0.4, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.4, "hi": 0.5, "count": 1, "mean_confidence": 0.42857142857142855, "accuracy": 0.0, "gap": 0.42857142857142855 }, { "lo": 0.5, "hi": 0.6, "count": 4, "mean_confidence": 0.5535714285714286, "accuracy": 0.25, "gap": 0.3035714285714286 }, { "lo": 0.6, "hi": 0.7, "count": 1, "mean_confidence": 0.6666666666666666, "accuracy": 1.0, "gap": -0.33333333333333337 }, { "lo": 0.7, "hi": 0.8, "count": 6, "mean_confidence": 0.7202380952380952, "accuracy": 1.0, "gap": -0.27976190476190477 }, { "lo": 0.8, "hi": 0.9, "count": 8, "mean_confidence": 0.8608630952380952, "accuracy": 0.75, "gap": 0.11086309523809523 }, { "lo": 0.9, "hi": 1.0, "count": 33, "mean_confidence": 1.0, "accuracy": 0.9393939393939394, "gap": 0.06060606060606055 } ] }, "hard": { "n": 12, "accuracy": 0.75, "mean_confidence": 0.802579365079365, "overconfidence": 0.052579365079365004, "ece": 0.13194444444444448, "mce": 0.5, "brier": 0.08717167422524565, "auc": 0.9259259259259259, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 1, "mean_confidence": 0.14285714285714285, "accuracy": 0.0, "gap": 0.14285714285714285 }, { "lo": 0.2, "hi": 0.3, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.3, "hi": 0.4, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.4, "hi": 0.5, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.5, "hi": 0.6, "count": 1, "mean_confidence": 0.5, "accuracy": 0.0, "gap": 0.5 }, { "lo": 0.6, "hi": 0.7, "count": 1, "mean_confidence": 0.6666666666666666, "accuracy": 1.0, "gap": -0.33333333333333337 }, { "lo": 0.7, "hi": 0.8, "count": 2, "mean_confidence": 0.7321428571428572, "accuracy": 0.5, "gap": 0.2321428571428572 }, { "lo": 0.8, "hi": 0.9, "count": 1, "mean_confidence": 0.8571428571428571, "accuracy": 1.0, "gap": -0.1428571428571429 }, { "lo": 0.9, "hi": 1.0, "count": 6, "mean_confidence": 1.0, "accuracy": 1.0, "gap": 0.0 } ] } }, "by_contamination": { "public_benchmark": { "n": 60, "accuracy": 0.8333333333333334, "mean_confidence": 0.8917658730158728, "overconfidence": 0.058432539682539475, "ece": 0.11875000000000002, "mce": 0.42857142857142855, "brier": 0.09618941326530613, "auc": 0.829, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.2, "hi": 0.3, "count": 1, "mean_confidence": 0.2857142857142857, "accuracy": 0.0, "gap": 0.2857142857142857 }, { "lo": 0.3, "hi": 0.4, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.4, "hi": 0.5, "count": 1, "mean_confidence": 0.42857142857142855, "accuracy": 0.0, "gap": 0.42857142857142855 }, { "lo": 0.5, "hi": 0.6, "count": 5, "mean_confidence": 0.5428571428571429, "accuracy": 0.2, "gap": 0.3428571428571429 }, { "lo": 0.6, "hi": 0.7, "count": 2, "mean_confidence": 0.6666666666666666, "accuracy": 1.0, "gap": -0.33333333333333337 }, { "lo": 0.7, "hi": 0.8, "count": 4, "mean_confidence": 0.7142857142857143, "accuracy": 1.0, "gap": -0.2857142857142857 }, { "lo": 0.8, "hi": 0.9, "count": 8, "mean_confidence": 0.8608630952380952, "accuracy": 0.75, "gap": 0.11086309523809523 }, { "lo": 0.9, "hi": 1.0, "count": 39, "mean_confidence": 1.0, "accuracy": 0.9487179487179487, "gap": 0.05128205128205132 } ] }, "private": { "n": 4, "accuracy": 1.0, "mean_confidence": 0.7589285714285715, "overconfidence": -0.2410714285714285, "ece": 0.24107142857142852, "mce": 0.2738095238095237, "brier": 0.06154336734693877, "auc": null, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.2, "hi": 0.3, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.3, "hi": 0.4, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.4, "hi": 0.5, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.5, "hi": 0.6, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.6, "hi": 0.7, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.7, "hi": 0.8, "count": 3, "mean_confidence": 0.7261904761904763, "accuracy": 1.0, "gap": -0.2738095238095237 }, { "lo": 0.8, "hi": 0.9, "count": 1, "mean_confidence": 0.8571428571428571, "accuracy": 1.0, "gap": -0.1428571428571429 }, { "lo": 0.9, "hi": 1.0, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN } ] }, "post_cutoff": { "n": 2, "accuracy": 0.0, "mean_confidence": 0.4464285714285714, "overconfidence": 0.4464285714285714, "ece": 0.4464285714285714, "mce": 0.75, "brier": 0.2914540816326531, "auc": null, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 1, "mean_confidence": 0.14285714285714285, "accuracy": 0.0, "gap": 0.14285714285714285 }, { "lo": 0.2, "hi": 0.3, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.3, "hi": 0.4, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.4, "hi": 0.5, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.5, "hi": 0.6, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.6, "hi": 0.7, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.7, "hi": 0.8, "count": 1, "mean_confidence": 0.75, "accuracy": 0.0, "gap": 0.75 }, { "lo": 0.8, "hi": 0.9, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.9, "hi": 1.0, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN } ] } }, "by_tool_verifiable": { "True": { "n": 41, "accuracy": 0.7560975609756098, "mean_confidence": 0.88109756097561, "overconfidence": 0.12500000000000022, "ece": 0.16681184668989546, "mce": 0.5476190476190476, "brier": 0.1211034718765555, "auc": 0.8612903225806452, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 1, "mean_confidence": 0.14285714285714285, "accuracy": 0.0, "gap": 0.14285714285714285 }, { "lo": 0.2, "hi": 0.3, "count": 1, "mean_confidence": 0.2857142857142857, "accuracy": 0.0, "gap": 0.2857142857142857 }, { "lo": 0.3, "hi": 0.4, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.4, "hi": 0.5, "count": 1, "mean_confidence": 0.42857142857142855, "accuracy": 0.0, "gap": 0.42857142857142855 }, { "lo": 0.5, "hi": 0.6, "count": 3, "mean_confidence": 0.5476190476190476, "accuracy": 0.0, "gap": 0.5476190476190476 }, { "lo": 0.6, "hi": 0.7, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.7, "hi": 0.8, "count": 3, "mean_confidence": 0.7142857142857143, "accuracy": 1.0, "gap": -0.2857142857142857 }, { "lo": 0.8, "hi": 0.9, "count": 4, "mean_confidence": 0.8705357142857143, "accuracy": 0.5, "gap": 0.3705357142857143 }, { "lo": 0.9, "hi": 1.0, "count": 28, "mean_confidence": 1.0, "accuracy": 0.9285714285714286, "gap": 0.0714285714285714 } ] }, "False": { "n": 25, "accuracy": 0.92, "mean_confidence": 0.8523809523809526, "overconfidence": -0.06761904761904747, "ece": 0.07333333333333335, "mce": 0.33333333333333337, "brier": 0.06540816326530613, "auc": 0.8586956521739131, "bins": [ { "lo": 0.0, "hi": 0.1, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.1, "hi": 0.2, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.2, "hi": 0.3, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.3, "hi": 0.4, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.4, "hi": 0.5, "count": 0, "mean_confidence": NaN, "accuracy": NaN, "gap": NaN }, { "lo": 0.5, "hi": 0.6, "count": 2, "mean_confidence": 0.5357142857142857, "accuracy": 0.5, "gap": 0.0357142857142857 }, { "lo": 0.6, "hi": 0.7, "count": 2, "mean_confidence": 0.6666666666666666, "accuracy": 1.0, "gap": -0.33333333333333337 }, { "lo": 0.7, "hi": 0.8, "count": 5, "mean_confidence": 0.7285714285714286, "accuracy": 0.8, "gap": -0.0714285714285714 }, { "lo": 0.8, "hi": 0.9, "count": 5, "mean_confidence": 0.8523809523809524, "accuracy": 1.0, "gap": -0.14761904761904765 }, { "lo": 0.9, "hi": 1.0, "count": 11, "mean_confidence": 1.0, "accuracy": 1.0, "gap": 0.0 } ] } } } }