{
  "evaluation": "held_out_hard_negative_triplet_accuracy",
  "rows": 2000,
  "models": [
    {
      "label": "base",
      "model": "intfloat/multilingual-e5-base",
      "dimensions": [
        {
          "dimension": 768,
          "triplet_accuracy": 0.9525,
          "mean_positive_cosine": 0.8660481572151184,
          "mean_negative_cosine": 0.8020957112312317,
          "float32_bytes_per_vector": 3072,
          "relative_index_size_vs_768": 1.0
        },
        {
          "dimension": 512,
          "triplet_accuracy": 0.953,
          "mean_positive_cosine": 0.8617556095123291,
          "mean_negative_cosine": 0.7959698438644409,
          "float32_bytes_per_vector": 2048,
          "relative_index_size_vs_768": 0.6666666666666666
        },
        {
          "dimension": 384,
          "triplet_accuracy": 0.9505,
          "mean_positive_cosine": 0.8618201613426208,
          "mean_negative_cosine": 0.7967994809150696,
          "float32_bytes_per_vector": 1536,
          "relative_index_size_vs_768": 0.5
        },
        {
          "dimension": 256,
          "triplet_accuracy": 0.9415,
          "mean_positive_cosine": 0.8562031388282776,
          "mean_negative_cosine": 0.7898631691932678,
          "float32_bytes_per_vector": 1024,
          "relative_index_size_vs_768": 0.3333333333333333
        },
        {
          "dimension": 128,
          "triplet_accuracy": 0.9265,
          "mean_positive_cosine": 0.8480806350708008,
          "mean_negative_cosine": 0.778880774974823,
          "float32_bytes_per_vector": 512,
          "relative_index_size_vs_768": 0.16666666666666666
        },
        {
          "dimension": 64,
          "triplet_accuracy": 0.8875,
          "mean_positive_cosine": 0.8503509759902954,
          "mean_negative_cosine": 0.7842844128608704,
          "float32_bytes_per_vector": 256,
          "relative_index_size_vs_768": 0.08333333333333333
        }
      ]
    },
    {
      "label": "final",
      "model": "outputs/goktugtr-e5-matryoshka-278m-v1/final",
      "dimensions": [
        {
          "dimension": 768,
          "triplet_accuracy": 0.955,
          "mean_positive_cosine": 0.773027241230011,
          "mean_negative_cosine": 0.6141883730888367,
          "float32_bytes_per_vector": 3072,
          "relative_index_size_vs_768": 1.0
        },
        {
          "dimension": 512,
          "triplet_accuracy": 0.9565,
          "mean_positive_cosine": 0.7452764511108398,
          "mean_negative_cosine": 0.5668291449546814,
          "float32_bytes_per_vector": 2048,
          "relative_index_size_vs_768": 0.6666666666666666
        },
        {
          "dimension": 384,
          "triplet_accuracy": 0.9535,
          "mean_positive_cosine": 0.7288323640823364,
          "mean_negative_cosine": 0.5410364866256714,
          "float32_bytes_per_vector": 1536,
          "relative_index_size_vs_768": 0.5
        },
        {
          "dimension": 256,
          "triplet_accuracy": 0.95,
          "mean_positive_cosine": 0.7117487788200378,
          "mean_negative_cosine": 0.5145664215087891,
          "float32_bytes_per_vector": 1024,
          "relative_index_size_vs_768": 0.3333333333333333
        },
        {
          "dimension": 128,
          "triplet_accuracy": 0.9475,
          "mean_positive_cosine": 0.6852962374687195,
          "mean_negative_cosine": 0.4700433909893036,
          "float32_bytes_per_vector": 512,
          "relative_index_size_vs_768": 0.16666666666666666
        },
        {
          "dimension": 64,
          "triplet_accuracy": 0.925,
          "mean_positive_cosine": 0.6726328730583191,
          "mean_negative_cosine": 0.4518890976905823,
          "float32_bytes_per_vector": 256,
          "relative_index_size_vs_768": 0.08333333333333333
        }
      ]
    }
  ]
}