{
  "source": {
    "name": "HackerRank-Bench",
    "url": "https://www.hackerrank.com/bench/report",
    "retrievedAt": "2026-11-01",
    "scope": "Static snapshot; scores, observed ranges and execution metrics as published by HackerRank. Not independently measured by DRIP."
  },
  "models": [
    {
      "id": "Claude Opus 5:high",
      "name": "Claude Opus 5",
      "vendor": "anthropic",
      "reasoning": "high",
      "score": {
        "min": 0.4025533333333333,
        "mean": 0.4257794444444445,
        "max": 0.4467566666666667
      },
      "cost": 47.3342,
      "duration": 149.2,
      "tokens": 61.02583577777777
    },
    {
      "id": "Claude Opus 5:medium",
      "name": "Claude Opus 5",
      "vendor": "anthropic",
      "reasoning": "medium",
      "score": {
        "min": 0.353975,
        "mean": 0.3856088888888889,
        "max": 0.4212433333333333
      },
      "cost": 28.20781,
      "duration": 82.95,
      "tokens": 45.11795722222222
    },
    {
      "id": "Claude Sonnet 5:high",
      "name": "Claude Sonnet 5",
      "vendor": "anthropic",
      "reasoning": "high",
      "score": {
        "min": 0.2089883333333333,
        "mean": 0.2803144444444444,
        "max": 0.340295
      },
      "cost": 20.12274,
      "duration": 124.15,
      "tokens": 75.07810344444445
    },
    {
      "id": "Claude Sonnet 5:medium",
      "name": "Claude Sonnet 5",
      "vendor": "anthropic",
      "reasoning": "medium",
      "score": {
        "min": 0.2125983333333333,
        "mean": 0.2389022222222222,
        "max": 0.2739783333333333
      },
      "cost": 9.31028,
      "duration": 61.92,
      "tokens": 37.61221388888889
    },
    {
      "id": "DeepSeek V4 Pro:high",
      "name": "DeepSeek V4 Pro",
      "vendor": "deepseek",
      "reasoning": "high",
      "score": {
        "min": 0.14559,
        "mean": 0.1700744444444445,
        "max": 0.190565
      },
      "cost": 1.66634,
      "duration": 53.2,
      "tokens": 20.53315616666667
    },
    {
      "id": "DeepSeek V4 Pro:medium",
      "name": "DeepSeek V4 Pro",
      "vendor": "deepseek",
      "reasoning": "medium",
      "score": {
        "min": 0.10813,
        "mean": 0.1626155555555555,
        "max": 0.2058966666666667
      },
      "cost": 1.31256,
      "duration": 56.1,
      "tokens": 14.58832494444444
    },
    {
      "id": "Gemini 3.7 Flash:high",
      "name": "Gemini 3.7 Flash",
      "vendor": "google",
      "reasoning": "high",
      "score": {
        "min": 0.274985,
        "mean": 0.2846525,
        "max": 0.2979133333333333
      },
      "cost": 5.31591,
      "duration": 35.28333333333333,
      "tokens": 52.37412027777779
    },
    {
      "id": "Gemini 3.7 Flash:medium",
      "name": "Gemini 3.7 Flash",
      "vendor": "google",
      "reasoning": "medium",
      "score": {
        "min": 0.2419566666666667,
        "mean": 0.2729511111111111,
        "max": 0.3036216666666667
      },
      "cost": 1.69828,
      "duration": 18.083333333333332,
      "tokens": 20.38069066666666
    },
    {
      "id": "GLM 5.2:high",
      "name": "GLM 5.2",
      "vendor": "zhipu",
      "reasoning": "high",
      "score": {
        "min": 0.1944316666666667,
        "mean": 0.2372661111111111,
        "max": 0.2905283333333333
      },
      "cost": 4.25208,
      "duration": 25.333333333333332,
      "tokens": 26.72287233333333
    },
    {
      "id": "GLM 5.2:medium",
      "name": "GLM 5.2",
      "vendor": "zhipu",
      "reasoning": "medium",
      "score": {
        "min": 0.1708083333333333,
        "mean": 0.1868288888888889,
        "max": 0.2089683333333333
      },
      "cost": 4.00872,
      "duration": 27.85,
      "tokens": 22.01775427777778
    },
    {
      "id": "GPT-5.6 Luna:high",
      "name": "GPT-5.6 Luna",
      "vendor": "openai",
      "reasoning": "high",
      "score": {
        "min": 0.2273833333333333,
        "mean": 0.2605613888888889,
        "max": 0.292675
      },
      "cost": 0.18275,
      "duration": 10.85,
      "tokens": 5.790045305555556
    },
    {
      "id": "GPT-5.6 Luna:medium",
      "name": "GPT-5.6 Luna",
      "vendor": "openai",
      "reasoning": "medium",
      "score": {
        "min": 0.1667116666666667,
        "mean": 0.1818888888888889,
        "max": 0.1994666666666667
      },
      "cost": 0.06756,
      "duration": 4.433333333333334,
      "tokens": 1.5368404722222222
    },
    {
      "id": "GPT-5.6 Sol:high",
      "name": "GPT-5.6 Sol",
      "vendor": "openai",
      "reasoning": "high",
      "score": {
        "min": 0.3536516666666666,
        "mean": 0.3843188888888889,
        "max": 0.4278083333333333
      },
      "cost": 10.76274,
      "duration": 26.45,
      "tokens": 11.269257333333332
    },
    {
      "id": "GPT-5.6 Sol:medium",
      "name": "GPT-5.6 Sol",
      "vendor": "openai",
      "reasoning": "medium",
      "score": {
        "min": 0.2676,
        "mean": 0.3297172222222222,
        "max": 0.3800083333333333
      },
      "cost": 4.21858,
      "duration": 16.65,
      "tokens": 5.190508333333332
    },
    {
      "id": "GPT-5.6 Terra:high",
      "name": "GPT-5.6 Terra",
      "vendor": "openai",
      "reasoning": "high",
      "score": {
        "min": 0.22651,
        "mean": 0.2609194444444444,
        "max": 0.291795
      },
      "cost": 1.51299,
      "duration": 9.933333333333334,
      "tokens": 3.963989444444444
    },
    {
      "id": "GPT-5.6 Terra:medium",
      "name": "GPT-5.6 Terra",
      "vendor": "openai",
      "reasoning": "medium",
      "score": {
        "min": 0.173125,
        "mean": 0.2117933333333333,
        "max": 0.25722
      },
      "cost": 0.55552,
      "duration": 5.333333333333333,
      "tokens": 1.6091698333333333
    },
    {
      "id": "Grok 4.5:high",
      "name": "Grok 4.5",
      "vendor": "xai",
      "reasoning": "high",
      "score": {
        "min": 0.2889366666666667,
        "mean": 0.3379022222222222,
        "max": 0.3887783333333333
      },
      "cost": 4.58664,
      "duration": 31.416666666666668,
      "tokens": 9.596828222222223
    },
    {
      "id": "Grok 4.5:medium",
      "name": "Grok 4.5",
      "vendor": "xai",
      "reasoning": "medium",
      "score": {
        "min": 0.3110166666666667,
        "mean": 0.3420388888888889,
        "max": 0.3803966666666667
      },
      "cost": 4.39924,
      "duration": 23.383333333333333,
      "tokens": 10.22016072222222
    },
    {
      "id": "Grok 4.6:high",
      "name": "Grok 4.6",
      "vendor": "xai",
      "reasoning": "high",
      "score": {
        "min": 0.2331366666666667,
        "mean": 0.2766066666666667,
        "max": 0.3293666666666666
      },
      "cost": 28.47829,
      "duration": 131.25,
      "tokens": 33.3712725
    },
    {
      "id": "Grok 4.6:medium",
      "name": "Grok 4.6",
      "vendor": "xai",
      "reasoning": "medium",
      "score": {
        "min": 0.2093516666666667,
        "mean": 0.2791441666666666,
        "max": 0.3520216666666667
      },
      "cost": 20.14154,
      "duration": 91.13333333333334,
      "tokens": 24.50613080555556
    },
    {
      "id": "Kimi K3:high",
      "name": "Kimi K3",
      "vendor": "moonshot",
      "reasoning": "high",
      "score": {
        "min": 0.3411666666666667,
        "mean": 0.3825344444444445,
        "max": 0.4117633333333334
      },
      "cost": 6.83838,
      "duration": 54.5,
      "tokens": 24.130115444444446
    },
    {
      "id": "Kimi K3:medium",
      "name": "Kimi K3",
      "vendor": "moonshot",
      "reasoning": "medium",
      "score": {
        "min": 0.2703766666666667,
        "mean": 0.3111238888888889,
        "max": 0.3468566666666667
      },
      "cost": 3.61123,
      "duration": 43.416666666666664,
      "tokens": 13.4778975
    },
    {
      "id": "MiniMax M3:high",
      "name": "MiniMax M3",
      "vendor": "minimax",
      "reasoning": "high",
      "score": {
        "min": 0.1839833333333333,
        "mean": 0.2109244444444444,
        "max": 0.2348866666666667
      },
      "cost": 3.53391,
      "duration": 54.65,
      "tokens": 39.99834616666667
    },
    {
      "id": "MiniMax M3:medium",
      "name": "MiniMax M3",
      "vendor": "minimax",
      "reasoning": "medium",
      "score": {
        "min": 0.1402433333333333,
        "mean": 0.1597775,
        "max": 0.1789116666666667
      },
      "cost": 3.20457,
      "duration": 49.35,
      "tokens": 30.5477285
    },
    {
      "id": "Qwen 3.8:high",
      "name": "Qwen 3.8",
      "vendor": "alibaba",
      "reasoning": "high",
      "score": {
        "min": 0.198518,
        "mean": 0.256746,
        "max": 0.33109
      },
      "cost": 29.12042,
      "duration": 171,
      "tokens": 41.3115384
    },
    {
      "id": "Qwen 3.8:medium",
      "name": "Qwen 3.8",
      "vendor": "alibaba",
      "reasoning": "medium",
      "score": {
        "min": 0.252034,
        "mean": 0.270603,
        "max": 0.298748
      },
      "cost": 17.67048,
      "duration": 90.01666666666667,
      "tokens": 43.65163593333334
    },
    {
      "id": "Claude Opus 5.5:high",
      "name": "Claude Opus 5.5",
      "vendor": "anthropic",
      "reasoning": "high",
      "score": {
        "min": 0.50248,
        "mean": 0.51232,
        "max": 0.52217
      },
      "cost": 18.86265,
      "duration": 62.88333333333333,
      "tokens": 35.604754
    },
    {
      "id": "Claude Opus 5.5:medium",
      "name": "Claude Opus 5.5",
      "vendor": "anthropic",
      "reasoning": "medium",
      "score": {
        "min": 0.44646,
        "mean": 0.4572,
        "max": 0.46794
      },
      "cost": 17.14722,
      "duration": 57.13333333333333,
      "tokens": 26.324091
    },
    {
      "id": "GPT-6 Astra:high",
      "name": "GPT-6 Astra",
      "vendor": "openai",
      "reasoning": "high",
      "score": {
        "min": 0.42413,
        "mean": 0.43508,
        "max": 0.44602
      },
      "cost": 12.35561,
      "duration": 35.06666666666667,
      "tokens": 13.297634
    },
    {
      "id": "GPT-6 Astra:medium",
      "name": "GPT-6 Astra",
      "vendor": "openai",
      "reasoning": "medium",
      "score": {
        "min": 0.35575,
        "mean": 0.36994,
        "max": 0.38414
      },
      "cost": 12.14989,
      "duration": 35.53333333333333,
      "tokens": 13.521961
    },
    {
      "id": "Claude Fable 5.1:high",
      "name": "Claude Fable 5.1",
      "vendor": "anthropic",
      "reasoning": "high",
      "score": {
        "min": 0.4639593823333333,
        "mean": 0.4750471911666667,
        "max": 0.486135
      },
      "cost": 29.29639775,
      "duration": 71.18943194444445,
      "tokens": 41.890644916666666
    },
    {
      "id": "Claude Fable 5.1:medium",
      "name": "Claude Fable 5.1",
      "vendor": "anthropic",
      "reasoning": "medium",
      "score": {
        "min": 0.4411411666666667,
        "mean": 0.4591914166666667,
        "max": 0.47724166666666673
      },
      "cost": 21.005364416666666,
      "duration": 50.45787083333334,
      "tokens": 30.04819125
    },
    {
      "id": "Gemini 4 Argon:high",
      "name": "Gemini 4 Argon",
      "vendor": "google",
      "reasoning": "high",
      "score": {
        "min": 0.44582633333333327,
        "mean": 0.4536384166666667,
        "max": 0.4614505
      },
      "cost": 7.493738166666668,
      "duration": 107.95066666666666,
      "tokens": 32.64482658333333
    },
    {
      "id": "Gemini 4 Argon:medium",
      "name": "Gemini 4 Argon",
      "vendor": "google",
      "reasoning": "medium",
      "score": {
        "min": 0.471647,
        "mean": 0.4967996666666668,
        "max": 0.5219523333333334
      },
      "cost": 6.012197583333333,
      "duration": 88.88131944444444,
      "tokens": 27.43669183333333
    }
  ],
  "taskGroups": [
    {
      "title": "New system builds",
      "sourceCategory": "Greenfield implementation",
      "results": [
        {
          "name": "Gemini 4 Argon",
          "reasoning": "medium",
          "score": 62.82,
          "vendor": "google"
        },
        {
          "name": "Claude Opus 5.5",
          "reasoning": "high",
          "score": 60.12,
          "vendor": "anthropic"
        },
        {
          "name": "Claude Fable 5.1",
          "reasoning": "high",
          "score": 56.86,
          "vendor": "anthropic"
        },
        {
          "name": "GPT-6 Astra",
          "reasoning": "high",
          "score": 53.14,
          "vendor": "openai"
        },
        {
          "name": "Claude Opus 5",
          "reasoning": "high",
          "score": 45.45,
          "vendor": "anthropic"
        }
      ]
    },
    {
      "title": "Changes to existing systems",
      "sourceCategory": "Brownfield modification",
      "results": [
        {
          "name": "Claude Opus 5.5",
          "reasoning": "high",
          "score": 48.13,
          "vendor": "anthropic"
        },
        {
          "name": "GPT-6 Astra",
          "reasoning": "high",
          "score": 44.82,
          "vendor": "openai"
        },
        {
          "name": "Claude Fable 5.1",
          "reasoning": "high",
          "score": 42.27,
          "vendor": "anthropic"
        },
        {
          "name": "GPT-5.6 Sol",
          "reasoning": "high",
          "score": 41.9,
          "vendor": "openai"
        },
        {
          "name": "Claude Opus 5",
          "reasoning": "high",
          "score": 41.85,
          "vendor": "anthropic"
        }
      ]
    },
    {
      "title": "Migrations & parity",
      "sourceCategory": "Migration & behavioral parity",
      "results": [
        {
          "name": "Claude Opus 5",
          "reasoning": "high",
          "score": 35.42,
          "vendor": "anthropic"
        },
        {
          "name": "Gemini 4 Argon",
          "reasoning": "medium",
          "score": 34.59,
          "vendor": "google"
        },
        {
          "name": "Claude Sonnet 5",
          "reasoning": "high",
          "score": 33.4,
          "vendor": "anthropic"
        },
        {
          "name": "Claude Opus 5.5",
          "reasoning": "medium",
          "score": 31.37,
          "vendor": "anthropic"
        },
        {
          "name": "Claude Fable 5.1",
          "reasoning": "medium",
          "score": 31.11,
          "vendor": "anthropic"
        }
      ]
    },
    {
      "title": "Identity integrations",
      "sourceCategory": "Identity & provisioning integration",
      "results": [
        {
          "name": "Claude Opus 5.5",
          "reasoning": "high",
          "score": 65.64,
          "vendor": "anthropic"
        },
        {
          "name": "GPT-6 Astra",
          "reasoning": "high",
          "score": 60.26,
          "vendor": "openai"
        },
        {
          "name": "Claude Fable 5.1",
          "reasoning": "high",
          "score": 58.3,
          "vendor": "anthropic"
        },
        {
          "name": "Claude Opus 5",
          "reasoning": "high",
          "score": 58.07,
          "vendor": "anthropic"
        },
        {
          "name": "Qwen 3.8",
          "reasoning": "high",
          "score": 55.78,
          "vendor": "alibaba"
        }
      ]
    },
    {
      "title": "Frontend interactions",
      "sourceCategory": "Frontend & interaction fidelity",
      "results": [
        {
          "name": "GPT-5.6 Sol",
          "reasoning": "high",
          "score": 65.31,
          "vendor": "openai"
        },
        {
          "name": "Gemini 4 Argon",
          "reasoning": "medium",
          "score": 63.03,
          "vendor": "google"
        },
        {
          "name": "Claude Opus 5.5",
          "reasoning": "high",
          "score": 62.3,
          "vendor": "anthropic"
        },
        {
          "name": "Claude Opus 5",
          "reasoning": "high",
          "score": 60.67,
          "vendor": "anthropic"
        },
        {
          "name": "Kimi K3",
          "reasoning": "high",
          "score": 60.15,
          "vendor": "moonshot"
        }
      ]
    },
    {
      "title": "Privacy & data handling",
      "sourceCategory": "Privacy & data lifecycle",
      "results": [
        {
          "name": "GPT-6 Astra",
          "reasoning": "medium",
          "score": 34.37,
          "vendor": "openai"
        },
        {
          "name": "Claude Opus 5.5",
          "reasoning": "high",
          "score": 30.62,
          "vendor": "anthropic"
        },
        {
          "name": "Gemini 4 Argon",
          "reasoning": "medium",
          "score": 29.37,
          "vendor": "google"
        },
        {
          "name": "GPT-5.6 Sol",
          "reasoning": "high",
          "score": 28.53,
          "vendor": "openai"
        },
        {
          "name": "Claude Fable 5.1",
          "reasoning": "high",
          "score": 26.24,
          "vendor": "anthropic"
        }
      ]
    }
  ]
}
