{
  "best_metric": 0.0047905659303069115,
  "best_model_checkpoint": "limbxy_seq_t2/checkpoint-6900",
  "epoch": 50.0,
  "eval_steps": 500,
  "global_step": 7500,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 23976.76171875,
      "learning_rate": 5e-06,
      "loss": 0.0303,
      "step": 25
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 44498.20703125,
      "learning_rate": 1e-05,
      "loss": 0.0247,
      "step": 50
    },
    {
      "epoch": 0.5,
      "grad_norm": 15935.5693359375,
      "learning_rate": 1.5e-05,
      "loss": 0.0242,
      "step": 75
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 46439.44140625,
      "learning_rate": 2e-05,
      "loss": 0.0185,
      "step": 100
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 56363.26171875,
      "learning_rate": 2.5e-05,
      "loss": 0.016,
      "step": 125
    },
    {
      "epoch": 1.0,
      "grad_norm": 42469.171875,
      "learning_rate": 3e-05,
      "loss": 0.0135,
      "step": 150
    },
    {
      "epoch": 1.0,
      "eval_loss": 0.012278009206056595,
      "eval_rmse": 0.1108061820268631,
      "eval_runtime": 22.9058,
      "eval_samples_per_second": 36.934,
      "eval_steps_per_second": 1.179,
      "step": 150
    },
    {
      "epoch": 1.1666666666666667,
      "grad_norm": 18461.55859375,
      "learning_rate": 3.5e-05,
      "loss": 0.0111,
      "step": 175
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 30171.146484375,
      "learning_rate": 4e-05,
      "loss": 0.0113,
      "step": 200
    },
    {
      "epoch": 1.5,
      "grad_norm": 25474.505859375,
      "learning_rate": 4.5e-05,
      "loss": 0.0108,
      "step": 225
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 32029.49609375,
      "learning_rate": 5e-05,
      "loss": 0.0101,
      "step": 250
    },
    {
      "epoch": 1.8333333333333335,
      "grad_norm": 39912.48828125,
      "learning_rate": 4.982758620689655e-05,
      "loss": 0.0091,
      "step": 275
    },
    {
      "epoch": 2.0,
      "grad_norm": 36011.33984375,
      "learning_rate": 4.9655172413793107e-05,
      "loss": 0.0102,
      "step": 300
    },
    {
      "epoch": 2.0,
      "eval_loss": 0.007965018041431904,
      "eval_rmse": 0.08924694359302521,
      "eval_runtime": 24.0962,
      "eval_samples_per_second": 35.109,
      "eval_steps_per_second": 1.121,
      "step": 300
    },
    {
      "epoch": 2.1666666666666665,
      "grad_norm": 29222.896484375,
      "learning_rate": 4.9482758620689655e-05,
      "loss": 0.0065,
      "step": 325
    },
    {
      "epoch": 2.3333333333333335,
      "grad_norm": 18097.1953125,
      "learning_rate": 4.931034482758621e-05,
      "loss": 0.0067,
      "step": 350
    },
    {
      "epoch": 2.5,
      "grad_norm": 20067.69140625,
      "learning_rate": 4.913793103448276e-05,
      "loss": 0.0067,
      "step": 375
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 26646.060546875,
      "learning_rate": 4.896551724137931e-05,
      "loss": 0.0085,
      "step": 400
    },
    {
      "epoch": 2.8333333333333335,
      "grad_norm": 37624.953125,
      "learning_rate": 4.8793103448275864e-05,
      "loss": 0.0085,
      "step": 425
    },
    {
      "epoch": 3.0,
      "grad_norm": 11236.326171875,
      "learning_rate": 4.862068965517241e-05,
      "loss": 0.0065,
      "step": 450
    },
    {
      "epoch": 3.0,
      "eval_loss": 0.010736133903265,
      "eval_rmse": 0.10361532121896744,
      "eval_runtime": 24.7647,
      "eval_samples_per_second": 34.162,
      "eval_steps_per_second": 1.09,
      "step": 450
    },
    {
      "epoch": 3.1666666666666665,
      "grad_norm": 21234.044921875,
      "learning_rate": 4.844827586206897e-05,
      "loss": 0.0056,
      "step": 475
    },
    {
      "epoch": 3.3333333333333335,
      "grad_norm": 27683.8359375,
      "learning_rate": 4.827586206896552e-05,
      "loss": 0.0065,
      "step": 500
    },
    {
      "epoch": 3.5,
      "grad_norm": 27213.1171875,
      "learning_rate": 4.810344827586207e-05,
      "loss": 0.0048,
      "step": 525
    },
    {
      "epoch": 3.6666666666666665,
      "grad_norm": 51301.77734375,
      "learning_rate": 4.793103448275863e-05,
      "loss": 0.0064,
      "step": 550
    },
    {
      "epoch": 3.8333333333333335,
      "grad_norm": 22701.841796875,
      "learning_rate": 4.7758620689655176e-05,
      "loss": 0.005,
      "step": 575
    },
    {
      "epoch": 4.0,
      "grad_norm": 43817.91796875,
      "learning_rate": 4.7586206896551725e-05,
      "loss": 0.0049,
      "step": 600
    },
    {
      "epoch": 4.0,
      "eval_loss": 0.008756866678595543,
      "eval_rmse": 0.09357813745737076,
      "eval_runtime": 24.2147,
      "eval_samples_per_second": 34.937,
      "eval_steps_per_second": 1.115,
      "step": 600
    },
    {
      "epoch": 4.166666666666667,
      "grad_norm": 23862.228515625,
      "learning_rate": 4.741379310344828e-05,
      "loss": 0.0056,
      "step": 625
    },
    {
      "epoch": 4.333333333333333,
      "grad_norm": 22432.494140625,
      "learning_rate": 4.724137931034483e-05,
      "loss": 0.0045,
      "step": 650
    },
    {
      "epoch": 4.5,
      "grad_norm": 36739.33203125,
      "learning_rate": 4.7068965517241385e-05,
      "loss": 0.0043,
      "step": 675
    },
    {
      "epoch": 4.666666666666667,
      "grad_norm": 30371.708984375,
      "learning_rate": 4.689655172413793e-05,
      "loss": 0.0048,
      "step": 700
    },
    {
      "epoch": 4.833333333333333,
      "grad_norm": 20437.169921875,
      "learning_rate": 4.672413793103448e-05,
      "loss": 0.0037,
      "step": 725
    },
    {
      "epoch": 5.0,
      "grad_norm": 29574.46875,
      "learning_rate": 4.655172413793104e-05,
      "loss": 0.0042,
      "step": 750
    },
    {
      "epoch": 5.0,
      "eval_loss": 0.007152818143367767,
      "eval_rmse": 0.08457433432340622,
      "eval_runtime": 25.0184,
      "eval_samples_per_second": 33.815,
      "eval_steps_per_second": 1.079,
      "step": 750
    },
    {
      "epoch": 5.166666666666667,
      "grad_norm": 27755.48828125,
      "learning_rate": 4.6379310344827586e-05,
      "loss": 0.0028,
      "step": 775
    },
    {
      "epoch": 5.333333333333333,
      "grad_norm": 27771.154296875,
      "learning_rate": 4.6206896551724135e-05,
      "loss": 0.0039,
      "step": 800
    },
    {
      "epoch": 5.5,
      "grad_norm": 17496.92578125,
      "learning_rate": 4.603448275862069e-05,
      "loss": 0.0039,
      "step": 825
    },
    {
      "epoch": 5.666666666666667,
      "grad_norm": 18169.658203125,
      "learning_rate": 4.586206896551724e-05,
      "loss": 0.0039,
      "step": 850
    },
    {
      "epoch": 5.833333333333333,
      "grad_norm": 17193.5234375,
      "learning_rate": 4.5689655172413794e-05,
      "loss": 0.0034,
      "step": 875
    },
    {
      "epoch": 6.0,
      "grad_norm": 22194.474609375,
      "learning_rate": 4.551724137931035e-05,
      "loss": 0.0033,
      "step": 900
    },
    {
      "epoch": 6.0,
      "eval_loss": 0.007074417546391487,
      "eval_rmse": 0.08410955965518951,
      "eval_runtime": 23.9626,
      "eval_samples_per_second": 35.305,
      "eval_steps_per_second": 1.127,
      "step": 900
    },
    {
      "epoch": 6.166666666666667,
      "grad_norm": 9658.81640625,
      "learning_rate": 4.53448275862069e-05,
      "loss": 0.0026,
      "step": 925
    },
    {
      "epoch": 6.333333333333333,
      "grad_norm": 8459.115234375,
      "learning_rate": 4.5172413793103454e-05,
      "loss": 0.0025,
      "step": 950
    },
    {
      "epoch": 6.5,
      "grad_norm": 22246.572265625,
      "learning_rate": 4.5e-05,
      "loss": 0.0027,
      "step": 975
    },
    {
      "epoch": 6.666666666666667,
      "grad_norm": 19054.365234375,
      "learning_rate": 4.482758620689655e-05,
      "loss": 0.0027,
      "step": 1000
    },
    {
      "epoch": 6.833333333333333,
      "grad_norm": 20117.76171875,
      "learning_rate": 4.465517241379311e-05,
      "loss": 0.0027,
      "step": 1025
    },
    {
      "epoch": 7.0,
      "grad_norm": 31974.06640625,
      "learning_rate": 4.4482758620689656e-05,
      "loss": 0.0028,
      "step": 1050
    },
    {
      "epoch": 7.0,
      "eval_loss": 0.006500152871012688,
      "eval_rmse": 0.08062352240085602,
      "eval_runtime": 24.6356,
      "eval_samples_per_second": 34.341,
      "eval_steps_per_second": 1.096,
      "step": 1050
    },
    {
      "epoch": 7.166666666666667,
      "grad_norm": 7549.3779296875,
      "learning_rate": 4.431034482758621e-05,
      "loss": 0.0023,
      "step": 1075
    },
    {
      "epoch": 7.333333333333333,
      "grad_norm": 3568.779296875,
      "learning_rate": 4.413793103448276e-05,
      "loss": 0.0023,
      "step": 1100
    },
    {
      "epoch": 7.5,
      "grad_norm": 7770.5302734375,
      "learning_rate": 4.396551724137931e-05,
      "loss": 0.0024,
      "step": 1125
    },
    {
      "epoch": 7.666666666666667,
      "grad_norm": 3176.07470703125,
      "learning_rate": 4.3793103448275864e-05,
      "loss": 0.0025,
      "step": 1150
    },
    {
      "epoch": 7.833333333333333,
      "grad_norm": 10015.4404296875,
      "learning_rate": 4.362068965517241e-05,
      "loss": 0.0024,
      "step": 1175
    },
    {
      "epoch": 8.0,
      "grad_norm": 4624.525390625,
      "learning_rate": 4.344827586206897e-05,
      "loss": 0.0023,
      "step": 1200
    },
    {
      "epoch": 8.0,
      "eval_loss": 0.007097144145518541,
      "eval_rmse": 0.08424454927444458,
      "eval_runtime": 24.1478,
      "eval_samples_per_second": 35.034,
      "eval_steps_per_second": 1.118,
      "step": 1200
    },
    {
      "epoch": 8.166666666666666,
      "grad_norm": 32302.224609375,
      "learning_rate": 4.327586206896552e-05,
      "loss": 0.0027,
      "step": 1225
    },
    {
      "epoch": 8.333333333333334,
      "grad_norm": 15594.7314453125,
      "learning_rate": 4.3103448275862066e-05,
      "loss": 0.0027,
      "step": 1250
    },
    {
      "epoch": 8.5,
      "grad_norm": 30639.5546875,
      "learning_rate": 4.293103448275863e-05,
      "loss": 0.0023,
      "step": 1275
    },
    {
      "epoch": 8.666666666666666,
      "grad_norm": 16389.27734375,
      "learning_rate": 4.275862068965518e-05,
      "loss": 0.0026,
      "step": 1300
    },
    {
      "epoch": 8.833333333333334,
      "grad_norm": 6988.25048828125,
      "learning_rate": 4.2586206896551725e-05,
      "loss": 0.0027,
      "step": 1325
    },
    {
      "epoch": 9.0,
      "grad_norm": 15722.751953125,
      "learning_rate": 4.241379310344828e-05,
      "loss": 0.0022,
      "step": 1350
    },
    {
      "epoch": 9.0,
      "eval_loss": 0.006430492270737886,
      "eval_rmse": 0.08019035309553146,
      "eval_runtime": 24.2153,
      "eval_samples_per_second": 34.937,
      "eval_steps_per_second": 1.115,
      "step": 1350
    },
    {
      "epoch": 9.166666666666666,
      "grad_norm": 14371.986328125,
      "learning_rate": 4.224137931034483e-05,
      "loss": 0.0017,
      "step": 1375
    },
    {
      "epoch": 9.333333333333334,
      "grad_norm": 15843.341796875,
      "learning_rate": 4.2068965517241385e-05,
      "loss": 0.0015,
      "step": 1400
    },
    {
      "epoch": 9.5,
      "grad_norm": 13752.29296875,
      "learning_rate": 4.1896551724137934e-05,
      "loss": 0.0021,
      "step": 1425
    },
    {
      "epoch": 9.666666666666666,
      "grad_norm": 3012.7041015625,
      "learning_rate": 4.172413793103448e-05,
      "loss": 0.0016,
      "step": 1450
    },
    {
      "epoch": 9.833333333333334,
      "grad_norm": 12362.5390625,
      "learning_rate": 4.155172413793104e-05,
      "loss": 0.0017,
      "step": 1475
    },
    {
      "epoch": 10.0,
      "grad_norm": 14453.1337890625,
      "learning_rate": 4.1379310344827587e-05,
      "loss": 0.0018,
      "step": 1500
    },
    {
      "epoch": 10.0,
      "eval_loss": 0.005872304085642099,
      "eval_rmse": 0.07663095742464066,
      "eval_runtime": 24.1286,
      "eval_samples_per_second": 35.062,
      "eval_steps_per_second": 1.119,
      "step": 1500
    },
    {
      "epoch": 10.166666666666666,
      "grad_norm": 9474.490234375,
      "learning_rate": 4.120689655172414e-05,
      "loss": 0.0013,
      "step": 1525
    },
    {
      "epoch": 10.333333333333334,
      "grad_norm": 18761.958984375,
      "learning_rate": 4.103448275862069e-05,
      "loss": 0.0015,
      "step": 1550
    },
    {
      "epoch": 10.5,
      "grad_norm": 8908.1357421875,
      "learning_rate": 4.086206896551724e-05,
      "loss": 0.0014,
      "step": 1575
    },
    {
      "epoch": 10.666666666666666,
      "grad_norm": 10597.185546875,
      "learning_rate": 4.0689655172413795e-05,
      "loss": 0.0013,
      "step": 1600
    },
    {
      "epoch": 10.833333333333334,
      "grad_norm": 2860.470458984375,
      "learning_rate": 4.0517241379310344e-05,
      "loss": 0.0013,
      "step": 1625
    },
    {
      "epoch": 11.0,
      "grad_norm": 16391.615234375,
      "learning_rate": 4.03448275862069e-05,
      "loss": 0.0014,
      "step": 1650
    },
    {
      "epoch": 11.0,
      "eval_loss": 0.005458915140479803,
      "eval_rmse": 0.07388447225093842,
      "eval_runtime": 23.9306,
      "eval_samples_per_second": 35.352,
      "eval_steps_per_second": 1.128,
      "step": 1650
    },
    {
      "epoch": 11.166666666666666,
      "grad_norm": 7713.515625,
      "learning_rate": 4.0172413793103455e-05,
      "loss": 0.0011,
      "step": 1675
    },
    {
      "epoch": 11.333333333333334,
      "grad_norm": 7927.998046875,
      "learning_rate": 4e-05,
      "loss": 0.0013,
      "step": 1700
    },
    {
      "epoch": 11.5,
      "grad_norm": 12422.3525390625,
      "learning_rate": 3.982758620689656e-05,
      "loss": 0.0012,
      "step": 1725
    },
    {
      "epoch": 11.666666666666666,
      "grad_norm": 6916.77197265625,
      "learning_rate": 3.965517241379311e-05,
      "loss": 0.0013,
      "step": 1750
    },
    {
      "epoch": 11.833333333333334,
      "grad_norm": 15062.759765625,
      "learning_rate": 3.9482758620689656e-05,
      "loss": 0.0013,
      "step": 1775
    },
    {
      "epoch": 12.0,
      "grad_norm": 11555.865234375,
      "learning_rate": 3.931034482758621e-05,
      "loss": 0.0014,
      "step": 1800
    },
    {
      "epoch": 12.0,
      "eval_loss": 0.006092158146202564,
      "eval_rmse": 0.07805227488279343,
      "eval_runtime": 24.7327,
      "eval_samples_per_second": 34.206,
      "eval_steps_per_second": 1.092,
      "step": 1800
    },
    {
      "epoch": 12.166666666666666,
      "grad_norm": 16014.1708984375,
      "learning_rate": 3.913793103448276e-05,
      "loss": 0.0013,
      "step": 1825
    },
    {
      "epoch": 12.333333333333334,
      "grad_norm": 8199.9521484375,
      "learning_rate": 3.896551724137931e-05,
      "loss": 0.0015,
      "step": 1850
    },
    {
      "epoch": 12.5,
      "grad_norm": 5141.04541015625,
      "learning_rate": 3.8793103448275865e-05,
      "loss": 0.0011,
      "step": 1875
    },
    {
      "epoch": 12.666666666666666,
      "grad_norm": 6066.68603515625,
      "learning_rate": 3.862068965517241e-05,
      "loss": 0.0013,
      "step": 1900
    },
    {
      "epoch": 12.833333333333334,
      "grad_norm": 15361.6728515625,
      "learning_rate": 3.844827586206897e-05,
      "loss": 0.0013,
      "step": 1925
    },
    {
      "epoch": 13.0,
      "grad_norm": 18773.4296875,
      "learning_rate": 3.827586206896552e-05,
      "loss": 0.0013,
      "step": 1950
    },
    {
      "epoch": 13.0,
      "eval_loss": 0.005602031946182251,
      "eval_rmse": 0.07484672218561172,
      "eval_runtime": 25.6642,
      "eval_samples_per_second": 32.964,
      "eval_steps_per_second": 1.052,
      "step": 1950
    },
    {
      "epoch": 13.166666666666666,
      "grad_norm": 13982.216796875,
      "learning_rate": 3.8103448275862066e-05,
      "loss": 0.0012,
      "step": 1975
    },
    {
      "epoch": 13.333333333333334,
      "grad_norm": 8787.0205078125,
      "learning_rate": 3.793103448275862e-05,
      "loss": 0.0013,
      "step": 2000
    },
    {
      "epoch": 13.5,
      "grad_norm": 14623.2998046875,
      "learning_rate": 3.775862068965517e-05,
      "loss": 0.0014,
      "step": 2025
    },
    {
      "epoch": 13.666666666666666,
      "grad_norm": 15070.6416015625,
      "learning_rate": 3.7586206896551726e-05,
      "loss": 0.0011,
      "step": 2050
    },
    {
      "epoch": 13.833333333333334,
      "grad_norm": 3772.699951171875,
      "learning_rate": 3.741379310344828e-05,
      "loss": 0.0012,
      "step": 2075
    },
    {
      "epoch": 14.0,
      "grad_norm": 6189.50927734375,
      "learning_rate": 3.724137931034483e-05,
      "loss": 0.0009,
      "step": 2100
    },
    {
      "epoch": 14.0,
      "eval_loss": 0.005514672491699457,
      "eval_rmse": 0.07426083832979202,
      "eval_runtime": 24.3843,
      "eval_samples_per_second": 34.695,
      "eval_steps_per_second": 1.107,
      "step": 2100
    },
    {
      "epoch": 14.166666666666666,
      "grad_norm": 7100.7158203125,
      "learning_rate": 3.7068965517241385e-05,
      "loss": 0.0011,
      "step": 2125
    },
    {
      "epoch": 14.333333333333334,
      "grad_norm": 21329.642578125,
      "learning_rate": 3.6896551724137934e-05,
      "loss": 0.0012,
      "step": 2150
    },
    {
      "epoch": 14.5,
      "grad_norm": 13695.5166015625,
      "learning_rate": 3.672413793103448e-05,
      "loss": 0.0014,
      "step": 2175
    },
    {
      "epoch": 14.666666666666666,
      "grad_norm": 2531.25048828125,
      "learning_rate": 3.655172413793104e-05,
      "loss": 0.001,
      "step": 2200
    },
    {
      "epoch": 14.833333333333334,
      "grad_norm": 34455.28125,
      "learning_rate": 3.637931034482759e-05,
      "loss": 0.0017,
      "step": 2225
    },
    {
      "epoch": 15.0,
      "grad_norm": 4662.3671875,
      "learning_rate": 3.620689655172414e-05,
      "loss": 0.0017,
      "step": 2250
    },
    {
      "epoch": 15.0,
      "eval_loss": 0.005805719178169966,
      "eval_rmse": 0.07619526982307434,
      "eval_runtime": 25.2273,
      "eval_samples_per_second": 33.535,
      "eval_steps_per_second": 1.07,
      "step": 2250
    },
    {
      "epoch": 15.166666666666666,
      "grad_norm": 20696.083984375,
      "learning_rate": 3.603448275862069e-05,
      "loss": 0.0012,
      "step": 2275
    },
    {
      "epoch": 15.333333333333334,
      "grad_norm": 11598.755859375,
      "learning_rate": 3.586206896551724e-05,
      "loss": 0.0009,
      "step": 2300
    },
    {
      "epoch": 15.5,
      "grad_norm": 3409.390625,
      "learning_rate": 3.5689655172413795e-05,
      "loss": 0.001,
      "step": 2325
    },
    {
      "epoch": 15.666666666666666,
      "grad_norm": 5427.46875,
      "learning_rate": 3.5517241379310344e-05,
      "loss": 0.0012,
      "step": 2350
    },
    {
      "epoch": 15.833333333333334,
      "grad_norm": 7153.16650390625,
      "learning_rate": 3.53448275862069e-05,
      "loss": 0.0009,
      "step": 2375
    },
    {
      "epoch": 16.0,
      "grad_norm": 5100.07763671875,
      "learning_rate": 3.517241379310345e-05,
      "loss": 0.0012,
      "step": 2400
    },
    {
      "epoch": 16.0,
      "eval_loss": 0.005410957615822554,
      "eval_rmse": 0.07355920970439911,
      "eval_runtime": 24.7206,
      "eval_samples_per_second": 34.223,
      "eval_steps_per_second": 1.092,
      "step": 2400
    },
    {
      "epoch": 16.166666666666668,
      "grad_norm": 20211.419921875,
      "learning_rate": 3.5e-05,
      "loss": 0.0011,
      "step": 2425
    },
    {
      "epoch": 16.333333333333332,
      "grad_norm": 12609.2548828125,
      "learning_rate": 3.482758620689655e-05,
      "loss": 0.0011,
      "step": 2450
    },
    {
      "epoch": 16.5,
      "grad_norm": 3446.8486328125,
      "learning_rate": 3.465517241379311e-05,
      "loss": 0.0009,
      "step": 2475
    },
    {
      "epoch": 16.666666666666668,
      "grad_norm": 14641.283203125,
      "learning_rate": 3.4482758620689657e-05,
      "loss": 0.0008,
      "step": 2500
    },
    {
      "epoch": 16.833333333333332,
      "grad_norm": 12291.1083984375,
      "learning_rate": 3.431034482758621e-05,
      "loss": 0.0009,
      "step": 2525
    },
    {
      "epoch": 17.0,
      "grad_norm": 7226.25,
      "learning_rate": 3.413793103448276e-05,
      "loss": 0.0008,
      "step": 2550
    },
    {
      "epoch": 17.0,
      "eval_loss": 0.005254137795418501,
      "eval_rmse": 0.07248543202877045,
      "eval_runtime": 25.4082,
      "eval_samples_per_second": 33.296,
      "eval_steps_per_second": 1.063,
      "step": 2550
    },
    {
      "epoch": 17.166666666666668,
      "grad_norm": 6015.2412109375,
      "learning_rate": 3.3965517241379316e-05,
      "loss": 0.0008,
      "step": 2575
    },
    {
      "epoch": 17.333333333333332,
      "grad_norm": 7095.80859375,
      "learning_rate": 3.3793103448275865e-05,
      "loss": 0.0008,
      "step": 2600
    },
    {
      "epoch": 17.5,
      "grad_norm": 7659.24951171875,
      "learning_rate": 3.3620689655172414e-05,
      "loss": 0.0008,
      "step": 2625
    },
    {
      "epoch": 17.666666666666668,
      "grad_norm": 3724.34619140625,
      "learning_rate": 3.344827586206897e-05,
      "loss": 0.001,
      "step": 2650
    },
    {
      "epoch": 17.833333333333332,
      "grad_norm": 16511.189453125,
      "learning_rate": 3.327586206896552e-05,
      "loss": 0.0009,
      "step": 2675
    },
    {
      "epoch": 18.0,
      "grad_norm": 13546.2470703125,
      "learning_rate": 3.310344827586207e-05,
      "loss": 0.0008,
      "step": 2700
    },
    {
      "epoch": 18.0,
      "eval_loss": 0.00547071872279048,
      "eval_rmse": 0.07396430522203445,
      "eval_runtime": 24.3255,
      "eval_samples_per_second": 34.778,
      "eval_steps_per_second": 1.11,
      "step": 2700
    },
    {
      "epoch": 18.166666666666668,
      "grad_norm": 9512.2578125,
      "learning_rate": 3.293103448275862e-05,
      "loss": 0.0008,
      "step": 2725
    },
    {
      "epoch": 18.333333333333332,
      "grad_norm": 6799.78662109375,
      "learning_rate": 3.275862068965517e-05,
      "loss": 0.0008,
      "step": 2750
    },
    {
      "epoch": 18.5,
      "grad_norm": 3044.78662109375,
      "learning_rate": 3.2586206896551726e-05,
      "loss": 0.0007,
      "step": 2775
    },
    {
      "epoch": 18.666666666666668,
      "grad_norm": 13546.1982421875,
      "learning_rate": 3.2413793103448275e-05,
      "loss": 0.0007,
      "step": 2800
    },
    {
      "epoch": 18.833333333333332,
      "grad_norm": 12045.7158203125,
      "learning_rate": 3.2241379310344824e-05,
      "loss": 0.0007,
      "step": 2825
    },
    {
      "epoch": 19.0,
      "grad_norm": 11820.66015625,
      "learning_rate": 3.206896551724138e-05,
      "loss": 0.0007,
      "step": 2850
    },
    {
      "epoch": 19.0,
      "eval_loss": 0.005731063894927502,
      "eval_rmse": 0.07570379227399826,
      "eval_runtime": 24.3718,
      "eval_samples_per_second": 34.712,
      "eval_steps_per_second": 1.108,
      "step": 2850
    },
    {
      "epoch": 19.166666666666668,
      "grad_norm": 4663.9130859375,
      "learning_rate": 3.1896551724137935e-05,
      "loss": 0.0007,
      "step": 2875
    },
    {
      "epoch": 19.333333333333332,
      "grad_norm": 1934.84619140625,
      "learning_rate": 3.172413793103448e-05,
      "loss": 0.0007,
      "step": 2900
    },
    {
      "epoch": 19.5,
      "grad_norm": 6919.31982421875,
      "learning_rate": 3.155172413793104e-05,
      "loss": 0.0007,
      "step": 2925
    },
    {
      "epoch": 19.666666666666668,
      "grad_norm": 6109.6171875,
      "learning_rate": 3.137931034482759e-05,
      "loss": 0.0007,
      "step": 2950
    },
    {
      "epoch": 19.833333333333332,
      "grad_norm": 5411.876953125,
      "learning_rate": 3.120689655172414e-05,
      "loss": 0.0006,
      "step": 2975
    },
    {
      "epoch": 20.0,
      "grad_norm": 11151.029296875,
      "learning_rate": 3.103448275862069e-05,
      "loss": 0.0007,
      "step": 3000
    },
    {
      "epoch": 20.0,
      "eval_loss": 0.005564698483794928,
      "eval_rmse": 0.07459690421819687,
      "eval_runtime": 24.4791,
      "eval_samples_per_second": 34.56,
      "eval_steps_per_second": 1.103,
      "step": 3000
    },
    {
      "epoch": 20.166666666666668,
      "grad_norm": 6611.220703125,
      "learning_rate": 3.086206896551724e-05,
      "loss": 0.0007,
      "step": 3025
    },
    {
      "epoch": 20.333333333333332,
      "grad_norm": 2534.669921875,
      "learning_rate": 3.0689655172413796e-05,
      "loss": 0.0008,
      "step": 3050
    },
    {
      "epoch": 20.5,
      "grad_norm": 4288.451171875,
      "learning_rate": 3.0517241379310348e-05,
      "loss": 0.0007,
      "step": 3075
    },
    {
      "epoch": 20.666666666666668,
      "grad_norm": 6255.359375,
      "learning_rate": 3.0344827586206897e-05,
      "loss": 0.0006,
      "step": 3100
    },
    {
      "epoch": 20.833333333333332,
      "grad_norm": 4882.11328125,
      "learning_rate": 3.017241379310345e-05,
      "loss": 0.0006,
      "step": 3125
    },
    {
      "epoch": 21.0,
      "grad_norm": 2612.861083984375,
      "learning_rate": 3e-05,
      "loss": 0.0006,
      "step": 3150
    },
    {
      "epoch": 21.0,
      "eval_loss": 0.005460184533149004,
      "eval_rmse": 0.07389306277036667,
      "eval_runtime": 24.709,
      "eval_samples_per_second": 34.239,
      "eval_steps_per_second": 1.093,
      "step": 3150
    },
    {
      "epoch": 21.166666666666668,
      "grad_norm": 13961.8076171875,
      "learning_rate": 2.9827586206896553e-05,
      "loss": 0.0007,
      "step": 3175
    },
    {
      "epoch": 21.333333333333332,
      "grad_norm": 10601.8212890625,
      "learning_rate": 2.96551724137931e-05,
      "loss": 0.0007,
      "step": 3200
    },
    {
      "epoch": 21.5,
      "grad_norm": 8989.919921875,
      "learning_rate": 2.9482758620689654e-05,
      "loss": 0.0007,
      "step": 3225
    },
    {
      "epoch": 21.666666666666668,
      "grad_norm": 2415.768310546875,
      "learning_rate": 2.9310344827586206e-05,
      "loss": 0.0006,
      "step": 3250
    },
    {
      "epoch": 21.833333333333332,
      "grad_norm": 4838.57666015625,
      "learning_rate": 2.913793103448276e-05,
      "loss": 0.0005,
      "step": 3275
    },
    {
      "epoch": 22.0,
      "grad_norm": 8728.1083984375,
      "learning_rate": 2.8965517241379313e-05,
      "loss": 0.0005,
      "step": 3300
    },
    {
      "epoch": 22.0,
      "eval_loss": 0.005140391178429127,
      "eval_rmse": 0.07169651985168457,
      "eval_runtime": 24.1883,
      "eval_samples_per_second": 34.976,
      "eval_steps_per_second": 1.116,
      "step": 3300
    },
    {
      "epoch": 22.166666666666668,
      "grad_norm": 14058.439453125,
      "learning_rate": 2.8793103448275865e-05,
      "loss": 0.0006,
      "step": 3325
    },
    {
      "epoch": 22.333333333333332,
      "grad_norm": 3426.945068359375,
      "learning_rate": 2.8620689655172417e-05,
      "loss": 0.0007,
      "step": 3350
    },
    {
      "epoch": 22.5,
      "grad_norm": 4576.7431640625,
      "learning_rate": 2.844827586206897e-05,
      "loss": 0.0005,
      "step": 3375
    },
    {
      "epoch": 22.666666666666668,
      "grad_norm": 2808.37744140625,
      "learning_rate": 2.8275862068965518e-05,
      "loss": 0.0005,
      "step": 3400
    },
    {
      "epoch": 22.833333333333332,
      "grad_norm": 9870.7392578125,
      "learning_rate": 2.810344827586207e-05,
      "loss": 0.0006,
      "step": 3425
    },
    {
      "epoch": 23.0,
      "grad_norm": 12436.296875,
      "learning_rate": 2.7931034482758622e-05,
      "loss": 0.0006,
      "step": 3450
    },
    {
      "epoch": 23.0,
      "eval_loss": 0.005283581558614969,
      "eval_rmse": 0.0726882591843605,
      "eval_runtime": 24.0792,
      "eval_samples_per_second": 35.134,
      "eval_steps_per_second": 1.121,
      "step": 3450
    },
    {
      "epoch": 23.166666666666668,
      "grad_norm": 2277.886962890625,
      "learning_rate": 2.7758620689655175e-05,
      "loss": 0.0006,
      "step": 3475
    },
    {
      "epoch": 23.333333333333332,
      "grad_norm": 12487.025390625,
      "learning_rate": 2.7586206896551727e-05,
      "loss": 0.0006,
      "step": 3500
    },
    {
      "epoch": 23.5,
      "grad_norm": 13577.09375,
      "learning_rate": 2.7413793103448275e-05,
      "loss": 0.0006,
      "step": 3525
    },
    {
      "epoch": 23.666666666666668,
      "grad_norm": 13655.8271484375,
      "learning_rate": 2.7241379310344827e-05,
      "loss": 0.0005,
      "step": 3550
    },
    {
      "epoch": 23.833333333333332,
      "grad_norm": 2765.83056640625,
      "learning_rate": 2.706896551724138e-05,
      "loss": 0.0005,
      "step": 3575
    },
    {
      "epoch": 24.0,
      "grad_norm": 3158.755126953125,
      "learning_rate": 2.689655172413793e-05,
      "loss": 0.0005,
      "step": 3600
    },
    {
      "epoch": 24.0,
      "eval_loss": 0.005190260708332062,
      "eval_rmse": 0.07204346358776093,
      "eval_runtime": 24.5397,
      "eval_samples_per_second": 34.475,
      "eval_steps_per_second": 1.1,
      "step": 3600
    },
    {
      "epoch": 24.166666666666668,
      "grad_norm": 7158.42578125,
      "learning_rate": 2.672413793103448e-05,
      "loss": 0.0005,
      "step": 3625
    },
    {
      "epoch": 24.333333333333332,
      "grad_norm": 14029.6904296875,
      "learning_rate": 2.6551724137931032e-05,
      "loss": 0.0006,
      "step": 3650
    },
    {
      "epoch": 24.5,
      "grad_norm": 5185.93408203125,
      "learning_rate": 2.637931034482759e-05,
      "loss": 0.0005,
      "step": 3675
    },
    {
      "epoch": 24.666666666666668,
      "grad_norm": 4489.02294921875,
      "learning_rate": 2.620689655172414e-05,
      "loss": 0.0006,
      "step": 3700
    },
    {
      "epoch": 24.833333333333332,
      "grad_norm": 1894.82666015625,
      "learning_rate": 2.6034482758620692e-05,
      "loss": 0.0007,
      "step": 3725
    },
    {
      "epoch": 25.0,
      "grad_norm": 6927.84716796875,
      "learning_rate": 2.5862068965517244e-05,
      "loss": 0.0006,
      "step": 3750
    },
    {
      "epoch": 25.0,
      "eval_loss": 0.005490241106599569,
      "eval_rmse": 0.07409615814685822,
      "eval_runtime": 24.2263,
      "eval_samples_per_second": 34.921,
      "eval_steps_per_second": 1.114,
      "step": 3750
    },
    {
      "epoch": 25.166666666666668,
      "grad_norm": 2080.053955078125,
      "learning_rate": 2.5689655172413796e-05,
      "loss": 0.0005,
      "step": 3775
    },
    {
      "epoch": 25.333333333333332,
      "grad_norm": 7075.02685546875,
      "learning_rate": 2.551724137931035e-05,
      "loss": 0.0006,
      "step": 3800
    },
    {
      "epoch": 25.5,
      "grad_norm": 10757.322265625,
      "learning_rate": 2.5344827586206897e-05,
      "loss": 0.0006,
      "step": 3825
    },
    {
      "epoch": 25.666666666666668,
      "grad_norm": 9014.060546875,
      "learning_rate": 2.517241379310345e-05,
      "loss": 0.0006,
      "step": 3850
    },
    {
      "epoch": 25.833333333333332,
      "grad_norm": 2507.72998046875,
      "learning_rate": 2.5e-05,
      "loss": 0.0004,
      "step": 3875
    },
    {
      "epoch": 26.0,
      "grad_norm": 9365.7626953125,
      "learning_rate": 2.4827586206896553e-05,
      "loss": 0.0005,
      "step": 3900
    },
    {
      "epoch": 26.0,
      "eval_loss": 0.005092009902000427,
      "eval_rmse": 0.07135831564664841,
      "eval_runtime": 24.0941,
      "eval_samples_per_second": 35.112,
      "eval_steps_per_second": 1.121,
      "step": 3900
    },
    {
      "epoch": 26.166666666666668,
      "grad_norm": 8156.84814453125,
      "learning_rate": 2.4655172413793105e-05,
      "loss": 0.0005,
      "step": 3925
    },
    {
      "epoch": 26.333333333333332,
      "grad_norm": 6262.81396484375,
      "learning_rate": 2.4482758620689654e-05,
      "loss": 0.0005,
      "step": 3950
    },
    {
      "epoch": 26.5,
      "grad_norm": 4787.65771484375,
      "learning_rate": 2.4310344827586206e-05,
      "loss": 0.0005,
      "step": 3975
    },
    {
      "epoch": 26.666666666666668,
      "grad_norm": 7484.62939453125,
      "learning_rate": 2.413793103448276e-05,
      "loss": 0.0005,
      "step": 4000
    },
    {
      "epoch": 26.833333333333332,
      "grad_norm": 10509.4423828125,
      "learning_rate": 2.3965517241379314e-05,
      "loss": 0.0005,
      "step": 4025
    },
    {
      "epoch": 27.0,
      "grad_norm": 11441.84765625,
      "learning_rate": 2.3793103448275862e-05,
      "loss": 0.0005,
      "step": 4050
    },
    {
      "epoch": 27.0,
      "eval_loss": 0.005185635760426521,
      "eval_rmse": 0.07201135903596878,
      "eval_runtime": 24.5085,
      "eval_samples_per_second": 34.519,
      "eval_steps_per_second": 1.102,
      "step": 4050
    },
    {
      "epoch": 27.166666666666668,
      "grad_norm": 12403.2705078125,
      "learning_rate": 2.3620689655172415e-05,
      "loss": 0.0005,
      "step": 4075
    },
    {
      "epoch": 27.333333333333332,
      "grad_norm": 6164.29541015625,
      "learning_rate": 2.3448275862068967e-05,
      "loss": 0.0005,
      "step": 4100
    },
    {
      "epoch": 27.5,
      "grad_norm": 10556.6201171875,
      "learning_rate": 2.327586206896552e-05,
      "loss": 0.0004,
      "step": 4125
    },
    {
      "epoch": 27.666666666666668,
      "grad_norm": 5694.11572265625,
      "learning_rate": 2.3103448275862067e-05,
      "loss": 0.0005,
      "step": 4150
    },
    {
      "epoch": 27.833333333333332,
      "grad_norm": 7944.47216796875,
      "learning_rate": 2.293103448275862e-05,
      "loss": 0.0005,
      "step": 4175
    },
    {
      "epoch": 28.0,
      "grad_norm": 11066.5947265625,
      "learning_rate": 2.2758620689655175e-05,
      "loss": 0.0005,
      "step": 4200
    },
    {
      "epoch": 28.0,
      "eval_loss": 0.005251267924904823,
      "eval_rmse": 0.07246563583612442,
      "eval_runtime": 25.0299,
      "eval_samples_per_second": 33.8,
      "eval_steps_per_second": 1.079,
      "step": 4200
    },
    {
      "epoch": 28.166666666666668,
      "grad_norm": 7138.5908203125,
      "learning_rate": 2.2586206896551727e-05,
      "loss": 0.0005,
      "step": 4225
    },
    {
      "epoch": 28.333333333333332,
      "grad_norm": 7910.48193359375,
      "learning_rate": 2.2413793103448276e-05,
      "loss": 0.0004,
      "step": 4250
    },
    {
      "epoch": 28.5,
      "grad_norm": 6678.46142578125,
      "learning_rate": 2.2241379310344828e-05,
      "loss": 0.0005,
      "step": 4275
    },
    {
      "epoch": 28.666666666666668,
      "grad_norm": 2658.396484375,
      "learning_rate": 2.206896551724138e-05,
      "loss": 0.0004,
      "step": 4300
    },
    {
      "epoch": 28.833333333333332,
      "grad_norm": 7415.6455078125,
      "learning_rate": 2.1896551724137932e-05,
      "loss": 0.0003,
      "step": 4325
    },
    {
      "epoch": 29.0,
      "grad_norm": 4360.8212890625,
      "learning_rate": 2.1724137931034484e-05,
      "loss": 0.0003,
      "step": 4350
    },
    {
      "epoch": 29.0,
      "eval_loss": 0.005068263970315456,
      "eval_rmse": 0.07119174301624298,
      "eval_runtime": 23.6937,
      "eval_samples_per_second": 35.706,
      "eval_steps_per_second": 1.14,
      "step": 4350
    },
    {
      "epoch": 29.166666666666668,
      "grad_norm": 9353.43359375,
      "learning_rate": 2.1551724137931033e-05,
      "loss": 0.0003,
      "step": 4375
    },
    {
      "epoch": 29.333333333333332,
      "grad_norm": 6008.50390625,
      "learning_rate": 2.137931034482759e-05,
      "loss": 0.0004,
      "step": 4400
    },
    {
      "epoch": 29.5,
      "grad_norm": 5255.45458984375,
      "learning_rate": 2.120689655172414e-05,
      "loss": 0.0003,
      "step": 4425
    },
    {
      "epoch": 29.666666666666668,
      "grad_norm": 8044.0888671875,
      "learning_rate": 2.1034482758620692e-05,
      "loss": 0.0004,
      "step": 4450
    },
    {
      "epoch": 29.833333333333332,
      "grad_norm": 1686.931640625,
      "learning_rate": 2.086206896551724e-05,
      "loss": 0.0004,
      "step": 4475
    },
    {
      "epoch": 30.0,
      "grad_norm": 2483.55419921875,
      "learning_rate": 2.0689655172413793e-05,
      "loss": 0.0004,
      "step": 4500
    },
    {
      "epoch": 30.0,
      "eval_loss": 0.0051447427831590176,
      "eval_rmse": 0.07172686606645584,
      "eval_runtime": 24.8197,
      "eval_samples_per_second": 34.086,
      "eval_steps_per_second": 1.088,
      "step": 4500
    },
    {
      "epoch": 30.166666666666668,
      "grad_norm": 4986.66552734375,
      "learning_rate": 2.0517241379310345e-05,
      "loss": 0.0004,
      "step": 4525
    },
    {
      "epoch": 30.333333333333332,
      "grad_norm": 4183.8564453125,
      "learning_rate": 2.0344827586206897e-05,
      "loss": 0.0004,
      "step": 4550
    },
    {
      "epoch": 30.5,
      "grad_norm": 4985.001953125,
      "learning_rate": 2.017241379310345e-05,
      "loss": 0.0003,
      "step": 4575
    },
    {
      "epoch": 30.666666666666668,
      "grad_norm": 4720.66455078125,
      "learning_rate": 2e-05,
      "loss": 0.0004,
      "step": 4600
    },
    {
      "epoch": 30.833333333333332,
      "grad_norm": 2436.566650390625,
      "learning_rate": 1.9827586206896554e-05,
      "loss": 0.0004,
      "step": 4625
    },
    {
      "epoch": 31.0,
      "grad_norm": 5655.64306640625,
      "learning_rate": 1.9655172413793106e-05,
      "loss": 0.0004,
      "step": 4650
    },
    {
      "epoch": 31.0,
      "eval_loss": 0.005167735740542412,
      "eval_rmse": 0.07188696414232254,
      "eval_runtime": 23.808,
      "eval_samples_per_second": 35.534,
      "eval_steps_per_second": 1.134,
      "step": 4650
    },
    {
      "epoch": 31.166666666666668,
      "grad_norm": 6381.2216796875,
      "learning_rate": 1.9482758620689655e-05,
      "loss": 0.0005,
      "step": 4675
    },
    {
      "epoch": 31.333333333333332,
      "grad_norm": 4444.06787109375,
      "learning_rate": 1.9310344827586207e-05,
      "loss": 0.0004,
      "step": 4700
    },
    {
      "epoch": 31.5,
      "grad_norm": 4063.191650390625,
      "learning_rate": 1.913793103448276e-05,
      "loss": 0.0003,
      "step": 4725
    },
    {
      "epoch": 31.666666666666668,
      "grad_norm": 2023.14794921875,
      "learning_rate": 1.896551724137931e-05,
      "loss": 0.0004,
      "step": 4750
    },
    {
      "epoch": 31.833333333333332,
      "grad_norm": 7719.87353515625,
      "learning_rate": 1.8793103448275863e-05,
      "loss": 0.0004,
      "step": 4775
    },
    {
      "epoch": 32.0,
      "grad_norm": 10876.1064453125,
      "learning_rate": 1.8620689655172415e-05,
      "loss": 0.0003,
      "step": 4800
    },
    {
      "epoch": 32.0,
      "eval_loss": 0.005189752671867609,
      "eval_rmse": 0.07203993201255798,
      "eval_runtime": 24.4076,
      "eval_samples_per_second": 34.661,
      "eval_steps_per_second": 1.106,
      "step": 4800
    },
    {
      "epoch": 32.166666666666664,
      "grad_norm": 7112.66748046875,
      "learning_rate": 1.8448275862068967e-05,
      "loss": 0.0003,
      "step": 4825
    },
    {
      "epoch": 32.333333333333336,
      "grad_norm": 3561.666259765625,
      "learning_rate": 1.827586206896552e-05,
      "loss": 0.0003,
      "step": 4850
    },
    {
      "epoch": 32.5,
      "grad_norm": 4231.2265625,
      "learning_rate": 1.810344827586207e-05,
      "loss": 0.0003,
      "step": 4875
    },
    {
      "epoch": 32.666666666666664,
      "grad_norm": 3887.852294921875,
      "learning_rate": 1.793103448275862e-05,
      "loss": 0.0003,
      "step": 4900
    },
    {
      "epoch": 32.833333333333336,
      "grad_norm": 4729.369140625,
      "learning_rate": 1.7758620689655172e-05,
      "loss": 0.0003,
      "step": 4925
    },
    {
      "epoch": 33.0,
      "grad_norm": 12836.8896484375,
      "learning_rate": 1.7586206896551724e-05,
      "loss": 0.0003,
      "step": 4950
    },
    {
      "epoch": 33.0,
      "eval_loss": 0.00510548148304224,
      "eval_rmse": 0.07145265489816666,
      "eval_runtime": 24.6674,
      "eval_samples_per_second": 34.296,
      "eval_steps_per_second": 1.095,
      "step": 4950
    },
    {
      "epoch": 33.166666666666664,
      "grad_norm": 3480.9482421875,
      "learning_rate": 1.7413793103448276e-05,
      "loss": 0.0003,
      "step": 4975
    },
    {
      "epoch": 33.333333333333336,
      "grad_norm": 4718.3798828125,
      "learning_rate": 1.7241379310344828e-05,
      "loss": 0.0003,
      "step": 5000
    },
    {
      "epoch": 33.5,
      "grad_norm": 3190.914306640625,
      "learning_rate": 1.706896551724138e-05,
      "loss": 0.0003,
      "step": 5025
    },
    {
      "epoch": 33.666666666666664,
      "grad_norm": 5478.87158203125,
      "learning_rate": 1.6896551724137932e-05,
      "loss": 0.0004,
      "step": 5050
    },
    {
      "epoch": 33.833333333333336,
      "grad_norm": 5177.54931640625,
      "learning_rate": 1.6724137931034485e-05,
      "loss": 0.0003,
      "step": 5075
    },
    {
      "epoch": 34.0,
      "grad_norm": 10662.73046875,
      "learning_rate": 1.6551724137931037e-05,
      "loss": 0.0002,
      "step": 5100
    },
    {
      "epoch": 34.0,
      "eval_loss": 0.005342215299606323,
      "eval_rmse": 0.07309045642614365,
      "eval_runtime": 24.4257,
      "eval_samples_per_second": 34.636,
      "eval_steps_per_second": 1.105,
      "step": 5100
    },
    {
      "epoch": 34.166666666666664,
      "grad_norm": 2308.01123046875,
      "learning_rate": 1.6379310344827585e-05,
      "loss": 0.0003,
      "step": 5125
    },
    {
      "epoch": 34.333333333333336,
      "grad_norm": 2815.79638671875,
      "learning_rate": 1.6206896551724137e-05,
      "loss": 0.0003,
      "step": 5150
    },
    {
      "epoch": 34.5,
      "grad_norm": 4326.0478515625,
      "learning_rate": 1.603448275862069e-05,
      "loss": 0.0002,
      "step": 5175
    },
    {
      "epoch": 34.666666666666664,
      "grad_norm": 6309.9462890625,
      "learning_rate": 1.586206896551724e-05,
      "loss": 0.0003,
      "step": 5200
    },
    {
      "epoch": 34.833333333333336,
      "grad_norm": 1817.662353515625,
      "learning_rate": 1.5689655172413794e-05,
      "loss": 0.0002,
      "step": 5225
    },
    {
      "epoch": 35.0,
      "grad_norm": 3567.881103515625,
      "learning_rate": 1.5517241379310346e-05,
      "loss": 0.0003,
      "step": 5250
    },
    {
      "epoch": 35.0,
      "eval_loss": 0.005233472678810358,
      "eval_rmse": 0.07234274595975876,
      "eval_runtime": 24.1269,
      "eval_samples_per_second": 35.065,
      "eval_steps_per_second": 1.119,
      "step": 5250
    },
    {
      "epoch": 35.166666666666664,
      "grad_norm": 3930.6884765625,
      "learning_rate": 1.5344827586206898e-05,
      "loss": 0.0003,
      "step": 5275
    },
    {
      "epoch": 35.333333333333336,
      "grad_norm": 4008.536865234375,
      "learning_rate": 1.5172413793103448e-05,
      "loss": 0.0003,
      "step": 5300
    },
    {
      "epoch": 35.5,
      "grad_norm": 2320.7138671875,
      "learning_rate": 1.5e-05,
      "loss": 0.0003,
      "step": 5325
    },
    {
      "epoch": 35.666666666666664,
      "grad_norm": 5395.9560546875,
      "learning_rate": 1.482758620689655e-05,
      "loss": 0.0003,
      "step": 5350
    },
    {
      "epoch": 35.833333333333336,
      "grad_norm": 3271.279052734375,
      "learning_rate": 1.4655172413793103e-05,
      "loss": 0.0003,
      "step": 5375
    },
    {
      "epoch": 36.0,
      "grad_norm": 7306.166015625,
      "learning_rate": 1.4482758620689657e-05,
      "loss": 0.0002,
      "step": 5400
    },
    {
      "epoch": 36.0,
      "eval_loss": 0.005008559208363295,
      "eval_rmse": 0.07077117264270782,
      "eval_runtime": 23.9539,
      "eval_samples_per_second": 35.318,
      "eval_steps_per_second": 1.127,
      "step": 5400
    },
    {
      "epoch": 36.166666666666664,
      "grad_norm": 2410.515625,
      "learning_rate": 1.4310344827586209e-05,
      "loss": 0.0003,
      "step": 5425
    },
    {
      "epoch": 36.333333333333336,
      "grad_norm": 3116.67822265625,
      "learning_rate": 1.4137931034482759e-05,
      "loss": 0.0002,
      "step": 5450
    },
    {
      "epoch": 36.5,
      "grad_norm": 2509.718994140625,
      "learning_rate": 1.3965517241379311e-05,
      "loss": 0.0003,
      "step": 5475
    },
    {
      "epoch": 36.666666666666664,
      "grad_norm": 4319.36669921875,
      "learning_rate": 1.3793103448275863e-05,
      "loss": 0.0003,
      "step": 5500
    },
    {
      "epoch": 36.833333333333336,
      "grad_norm": 5166.88720703125,
      "learning_rate": 1.3620689655172414e-05,
      "loss": 0.0003,
      "step": 5525
    },
    {
      "epoch": 37.0,
      "grad_norm": 3035.32275390625,
      "learning_rate": 1.3448275862068966e-05,
      "loss": 0.0002,
      "step": 5550
    },
    {
      "epoch": 37.0,
      "eval_loss": 0.004944357089698315,
      "eval_rmse": 0.0703161209821701,
      "eval_runtime": 24.563,
      "eval_samples_per_second": 34.442,
      "eval_steps_per_second": 1.099,
      "step": 5550
    },
    {
      "epoch": 37.166666666666664,
      "grad_norm": 4661.7880859375,
      "learning_rate": 1.3275862068965516e-05,
      "loss": 0.0002,
      "step": 5575
    },
    {
      "epoch": 37.333333333333336,
      "grad_norm": 3572.86083984375,
      "learning_rate": 1.310344827586207e-05,
      "loss": 0.0002,
      "step": 5600
    },
    {
      "epoch": 37.5,
      "grad_norm": 2449.630126953125,
      "learning_rate": 1.2931034482758622e-05,
      "loss": 0.0002,
      "step": 5625
    },
    {
      "epoch": 37.666666666666664,
      "grad_norm": 7162.35400390625,
      "learning_rate": 1.2758620689655174e-05,
      "loss": 0.0002,
      "step": 5650
    },
    {
      "epoch": 37.833333333333336,
      "grad_norm": 7194.30908203125,
      "learning_rate": 1.2586206896551725e-05,
      "loss": 0.0002,
      "step": 5675
    },
    {
      "epoch": 38.0,
      "grad_norm": 3310.67236328125,
      "learning_rate": 1.2413793103448277e-05,
      "loss": 0.0002,
      "step": 5700
    },
    {
      "epoch": 38.0,
      "eval_loss": 0.005015978589653969,
      "eval_rmse": 0.07082357257604599,
      "eval_runtime": 24.649,
      "eval_samples_per_second": 34.322,
      "eval_steps_per_second": 1.095,
      "step": 5700
    },
    {
      "epoch": 38.166666666666664,
      "grad_norm": 4332.0615234375,
      "learning_rate": 1.2241379310344827e-05,
      "loss": 0.0002,
      "step": 5725
    },
    {
      "epoch": 38.333333333333336,
      "grad_norm": 4779.07568359375,
      "learning_rate": 1.206896551724138e-05,
      "loss": 0.0002,
      "step": 5750
    },
    {
      "epoch": 38.5,
      "grad_norm": 3394.655029296875,
      "learning_rate": 1.1896551724137931e-05,
      "loss": 0.0002,
      "step": 5775
    },
    {
      "epoch": 38.666666666666664,
      "grad_norm": 1213.259521484375,
      "learning_rate": 1.1724137931034483e-05,
      "loss": 0.0002,
      "step": 5800
    },
    {
      "epoch": 38.833333333333336,
      "grad_norm": 7526.7451171875,
      "learning_rate": 1.1551724137931034e-05,
      "loss": 0.0002,
      "step": 5825
    },
    {
      "epoch": 39.0,
      "grad_norm": 9150.9912109375,
      "learning_rate": 1.1379310344827587e-05,
      "loss": 0.0002,
      "step": 5850
    },
    {
      "epoch": 39.0,
      "eval_loss": 0.004906541667878628,
      "eval_rmse": 0.07004670798778534,
      "eval_runtime": 24.1426,
      "eval_samples_per_second": 35.042,
      "eval_steps_per_second": 1.118,
      "step": 5850
    },
    {
      "epoch": 39.166666666666664,
      "grad_norm": 5821.2470703125,
      "learning_rate": 1.1206896551724138e-05,
      "loss": 0.0002,
      "step": 5875
    },
    {
      "epoch": 39.333333333333336,
      "grad_norm": 4532.37890625,
      "learning_rate": 1.103448275862069e-05,
      "loss": 0.0002,
      "step": 5900
    },
    {
      "epoch": 39.5,
      "grad_norm": 5742.3427734375,
      "learning_rate": 1.0862068965517242e-05,
      "loss": 0.0002,
      "step": 5925
    },
    {
      "epoch": 39.666666666666664,
      "grad_norm": 1430.531005859375,
      "learning_rate": 1.0689655172413794e-05,
      "loss": 0.0002,
      "step": 5950
    },
    {
      "epoch": 39.833333333333336,
      "grad_norm": 4371.09765625,
      "learning_rate": 1.0517241379310346e-05,
      "loss": 0.0002,
      "step": 5975
    },
    {
      "epoch": 40.0,
      "grad_norm": 3642.697998046875,
      "learning_rate": 1.0344827586206897e-05,
      "loss": 0.0002,
      "step": 6000
    },
    {
      "epoch": 40.0,
      "eval_loss": 0.004872768651694059,
      "eval_rmse": 0.06980521976947784,
      "eval_runtime": 23.9307,
      "eval_samples_per_second": 35.352,
      "eval_steps_per_second": 1.128,
      "step": 6000
    },
    {
      "epoch": 40.166666666666664,
      "grad_norm": 5250.0,
      "learning_rate": 1.0172413793103449e-05,
      "loss": 0.0002,
      "step": 6025
    },
    {
      "epoch": 40.333333333333336,
      "grad_norm": 1985.86083984375,
      "learning_rate": 1e-05,
      "loss": 0.0002,
      "step": 6050
    },
    {
      "epoch": 40.5,
      "grad_norm": 4391.5673828125,
      "learning_rate": 9.827586206896553e-06,
      "loss": 0.0002,
      "step": 6075
    },
    {
      "epoch": 40.666666666666664,
      "grad_norm": 4576.029296875,
      "learning_rate": 9.655172413793103e-06,
      "loss": 0.0002,
      "step": 6100
    },
    {
      "epoch": 40.833333333333336,
      "grad_norm": 5284.35107421875,
      "learning_rate": 9.482758620689655e-06,
      "loss": 0.0002,
      "step": 6125
    },
    {
      "epoch": 41.0,
      "grad_norm": 3708.590576171875,
      "learning_rate": 9.310344827586207e-06,
      "loss": 0.0002,
      "step": 6150
    },
    {
      "epoch": 41.0,
      "eval_loss": 0.004881918430328369,
      "eval_rmse": 0.069870725274086,
      "eval_runtime": 24.6924,
      "eval_samples_per_second": 34.262,
      "eval_steps_per_second": 1.093,
      "step": 6150
    },
    {
      "epoch": 41.166666666666664,
      "grad_norm": 1864.5494384765625,
      "learning_rate": 9.13793103448276e-06,
      "loss": 0.0002,
      "step": 6175
    },
    {
      "epoch": 41.333333333333336,
      "grad_norm": 3076.697998046875,
      "learning_rate": 8.96551724137931e-06,
      "loss": 0.0002,
      "step": 6200
    },
    {
      "epoch": 41.5,
      "grad_norm": 2170.48486328125,
      "learning_rate": 8.793103448275862e-06,
      "loss": 0.0002,
      "step": 6225
    },
    {
      "epoch": 41.666666666666664,
      "grad_norm": 3419.19384765625,
      "learning_rate": 8.620689655172414e-06,
      "loss": 0.0002,
      "step": 6250
    },
    {
      "epoch": 41.833333333333336,
      "grad_norm": 5411.42236328125,
      "learning_rate": 8.448275862068966e-06,
      "loss": 0.0002,
      "step": 6275
    },
    {
      "epoch": 42.0,
      "grad_norm": 3653.36865234375,
      "learning_rate": 8.275862068965518e-06,
      "loss": 0.0002,
      "step": 6300
    },
    {
      "epoch": 42.0,
      "eval_loss": 0.004911797121167183,
      "eval_rmse": 0.07008421421051025,
      "eval_runtime": 24.3533,
      "eval_samples_per_second": 34.739,
      "eval_steps_per_second": 1.109,
      "step": 6300
    },
    {
      "epoch": 42.166666666666664,
      "grad_norm": 3295.633056640625,
      "learning_rate": 8.103448275862069e-06,
      "loss": 0.0001,
      "step": 6325
    },
    {
      "epoch": 42.333333333333336,
      "grad_norm": 3717.45849609375,
      "learning_rate": 7.93103448275862e-06,
      "loss": 0.0002,
      "step": 6350
    },
    {
      "epoch": 42.5,
      "grad_norm": 2262.6142578125,
      "learning_rate": 7.758620689655173e-06,
      "loss": 0.0001,
      "step": 6375
    },
    {
      "epoch": 42.666666666666664,
      "grad_norm": 1310.09912109375,
      "learning_rate": 7.586206896551724e-06,
      "loss": 0.0002,
      "step": 6400
    },
    {
      "epoch": 42.833333333333336,
      "grad_norm": 3895.883544921875,
      "learning_rate": 7.413793103448275e-06,
      "loss": 0.0001,
      "step": 6425
    },
    {
      "epoch": 43.0,
      "grad_norm": 3741.710205078125,
      "learning_rate": 7.241379310344828e-06,
      "loss": 0.0001,
      "step": 6450
    },
    {
      "epoch": 43.0,
      "eval_loss": 0.0048644402995705605,
      "eval_rmse": 0.06974554061889648,
      "eval_runtime": 24.2068,
      "eval_samples_per_second": 34.949,
      "eval_steps_per_second": 1.115,
      "step": 6450
    },
    {
      "epoch": 43.166666666666664,
      "grad_norm": 1377.0496826171875,
      "learning_rate": 7.0689655172413796e-06,
      "loss": 0.0001,
      "step": 6475
    },
    {
      "epoch": 43.333333333333336,
      "grad_norm": 2979.349365234375,
      "learning_rate": 6.896551724137932e-06,
      "loss": 0.0001,
      "step": 6500
    },
    {
      "epoch": 43.5,
      "grad_norm": 1298.4322509765625,
      "learning_rate": 6.724137931034483e-06,
      "loss": 0.0001,
      "step": 6525
    },
    {
      "epoch": 43.666666666666664,
      "grad_norm": 2018.940673828125,
      "learning_rate": 6.551724137931035e-06,
      "loss": 0.0001,
      "step": 6550
    },
    {
      "epoch": 43.833333333333336,
      "grad_norm": 1853.4677734375,
      "learning_rate": 6.379310344827587e-06,
      "loss": 0.0002,
      "step": 6575
    },
    {
      "epoch": 44.0,
      "grad_norm": 7740.021484375,
      "learning_rate": 6.206896551724138e-06,
      "loss": 0.0002,
      "step": 6600
    },
    {
      "epoch": 44.0,
      "eval_loss": 0.004866042174398899,
      "eval_rmse": 0.06975702196359634,
      "eval_runtime": 24.1955,
      "eval_samples_per_second": 34.965,
      "eval_steps_per_second": 1.116,
      "step": 6600
    },
    {
      "epoch": 44.166666666666664,
      "grad_norm": 1772.85400390625,
      "learning_rate": 6.03448275862069e-06,
      "loss": 0.0001,
      "step": 6625
    },
    {
      "epoch": 44.333333333333336,
      "grad_norm": 2806.0537109375,
      "learning_rate": 5.862068965517242e-06,
      "loss": 0.0001,
      "step": 6650
    },
    {
      "epoch": 44.5,
      "grad_norm": 1677.330078125,
      "learning_rate": 5.689655172413794e-06,
      "loss": 0.0001,
      "step": 6675
    },
    {
      "epoch": 44.666666666666664,
      "grad_norm": 2859.73095703125,
      "learning_rate": 5.517241379310345e-06,
      "loss": 0.0001,
      "step": 6700
    },
    {
      "epoch": 44.833333333333336,
      "grad_norm": 2286.294921875,
      "learning_rate": 5.344827586206897e-06,
      "loss": 0.0001,
      "step": 6725
    },
    {
      "epoch": 45.0,
      "grad_norm": 2282.572021484375,
      "learning_rate": 5.172413793103448e-06,
      "loss": 0.0001,
      "step": 6750
    },
    {
      "epoch": 45.0,
      "eval_loss": 0.00484111625701189,
      "eval_rmse": 0.0695781260728836,
      "eval_runtime": 25.1872,
      "eval_samples_per_second": 33.589,
      "eval_steps_per_second": 1.072,
      "step": 6750
    },
    {
      "epoch": 45.166666666666664,
      "grad_norm": 1199.2476806640625,
      "learning_rate": 5e-06,
      "loss": 0.0001,
      "step": 6775
    },
    {
      "epoch": 45.333333333333336,
      "grad_norm": 4216.11572265625,
      "learning_rate": 4.827586206896552e-06,
      "loss": 0.0001,
      "step": 6800
    },
    {
      "epoch": 45.5,
      "grad_norm": 3172.265380859375,
      "learning_rate": 4.655172413793104e-06,
      "loss": 0.0001,
      "step": 6825
    },
    {
      "epoch": 45.666666666666664,
      "grad_norm": 2178.9580078125,
      "learning_rate": 4.482758620689655e-06,
      "loss": 0.0001,
      "step": 6850
    },
    {
      "epoch": 45.833333333333336,
      "grad_norm": 2676.595947265625,
      "learning_rate": 4.310344827586207e-06,
      "loss": 0.0001,
      "step": 6875
    },
    {
      "epoch": 46.0,
      "grad_norm": 2955.51806640625,
      "learning_rate": 4.137931034482759e-06,
      "loss": 0.0001,
      "step": 6900
    },
    {
      "epoch": 46.0,
      "eval_loss": 0.0047905659303069115,
      "eval_rmse": 0.06921391934156418,
      "eval_runtime": 24.7777,
      "eval_samples_per_second": 34.144,
      "eval_steps_per_second": 1.09,
      "step": 6900
    },
    {
      "epoch": 46.166666666666664,
      "grad_norm": 1705.5765380859375,
      "learning_rate": 3.96551724137931e-06,
      "loss": 0.0001,
      "step": 6925
    },
    {
      "epoch": 46.333333333333336,
      "grad_norm": 1702.0909423828125,
      "learning_rate": 3.793103448275862e-06,
      "loss": 0.0001,
      "step": 6950
    },
    {
      "epoch": 46.5,
      "grad_norm": 3313.3212890625,
      "learning_rate": 3.620689655172414e-06,
      "loss": 0.0001,
      "step": 6975
    },
    {
      "epoch": 46.666666666666664,
      "grad_norm": 2680.958251953125,
      "learning_rate": 3.448275862068966e-06,
      "loss": 0.0001,
      "step": 7000
    },
    {
      "epoch": 46.833333333333336,
      "grad_norm": 495.0559997558594,
      "learning_rate": 3.2758620689655175e-06,
      "loss": 0.0001,
      "step": 7025
    },
    {
      "epoch": 47.0,
      "grad_norm": 4104.341796875,
      "learning_rate": 3.103448275862069e-06,
      "loss": 0.0001,
      "step": 7050
    },
    {
      "epoch": 47.0,
      "eval_loss": 0.004818546585738659,
      "eval_rmse": 0.06941574811935425,
      "eval_runtime": 24.9976,
      "eval_samples_per_second": 33.843,
      "eval_steps_per_second": 1.08,
      "step": 7050
    },
    {
      "epoch": 47.166666666666664,
      "grad_norm": 1351.109130859375,
      "learning_rate": 2.931034482758621e-06,
      "loss": 0.0001,
      "step": 7075
    },
    {
      "epoch": 47.333333333333336,
      "grad_norm": 3643.360107421875,
      "learning_rate": 2.7586206896551725e-06,
      "loss": 0.0001,
      "step": 7100
    },
    {
      "epoch": 47.5,
      "grad_norm": 3840.823974609375,
      "learning_rate": 2.586206896551724e-06,
      "loss": 0.0001,
      "step": 7125
    },
    {
      "epoch": 47.666666666666664,
      "grad_norm": 605.887451171875,
      "learning_rate": 2.413793103448276e-06,
      "loss": 0.0001,
      "step": 7150
    },
    {
      "epoch": 47.833333333333336,
      "grad_norm": 3222.42822265625,
      "learning_rate": 2.2413793103448275e-06,
      "loss": 0.0001,
      "step": 7175
    },
    {
      "epoch": 48.0,
      "grad_norm": 2107.290283203125,
      "learning_rate": 2.0689655172413796e-06,
      "loss": 0.0001,
      "step": 7200
    },
    {
      "epoch": 48.0,
      "eval_loss": 0.004817850887775421,
      "eval_rmse": 0.06941074132919312,
      "eval_runtime": 24.6293,
      "eval_samples_per_second": 34.349,
      "eval_steps_per_second": 1.096,
      "step": 7200
    },
    {
      "epoch": 48.166666666666664,
      "grad_norm": 2339.809326171875,
      "learning_rate": 1.896551724137931e-06,
      "loss": 0.0001,
      "step": 7225
    },
    {
      "epoch": 48.333333333333336,
      "grad_norm": 1776.428466796875,
      "learning_rate": 1.724137931034483e-06,
      "loss": 0.0001,
      "step": 7250
    },
    {
      "epoch": 48.5,
      "grad_norm": 1188.1318359375,
      "learning_rate": 1.5517241379310346e-06,
      "loss": 0.0001,
      "step": 7275
    },
    {
      "epoch": 48.666666666666664,
      "grad_norm": 1058.152099609375,
      "learning_rate": 1.3793103448275862e-06,
      "loss": 0.0001,
      "step": 7300
    },
    {
      "epoch": 48.833333333333336,
      "grad_norm": 787.6583251953125,
      "learning_rate": 1.206896551724138e-06,
      "loss": 0.0001,
      "step": 7325
    },
    {
      "epoch": 49.0,
      "grad_norm": 2516.050048828125,
      "learning_rate": 1.0344827586206898e-06,
      "loss": 0.0001,
      "step": 7350
    },
    {
      "epoch": 49.0,
      "eval_loss": 0.004793087020516396,
      "eval_rmse": 0.06923212110996246,
      "eval_runtime": 24.0402,
      "eval_samples_per_second": 35.191,
      "eval_steps_per_second": 1.123,
      "step": 7350
    },
    {
      "epoch": 49.166666666666664,
      "grad_norm": 779.75244140625,
      "learning_rate": 8.620689655172415e-07,
      "loss": 0.0001,
      "step": 7375
    },
    {
      "epoch": 49.333333333333336,
      "grad_norm": 578.4296875,
      "learning_rate": 6.896551724137931e-07,
      "loss": 0.0001,
      "step": 7400
    },
    {
      "epoch": 49.5,
      "grad_norm": 2092.16259765625,
      "learning_rate": 5.172413793103449e-07,
      "loss": 0.0001,
      "step": 7425
    },
    {
      "epoch": 49.666666666666664,
      "grad_norm": 1592.06787109375,
      "learning_rate": 3.4482758620689656e-07,
      "loss": 0.0001,
      "step": 7450
    },
    {
      "epoch": 49.833333333333336,
      "grad_norm": 2670.34326171875,
      "learning_rate": 1.7241379310344828e-07,
      "loss": 0.0001,
      "step": 7475
    },
    {
      "epoch": 50.0,
      "grad_norm": 914.4434204101562,
      "learning_rate": 0.0,
      "loss": 0.0001,
      "step": 7500
    },
    {
      "epoch": 50.0,
      "eval_loss": 0.004804946947842836,
      "eval_rmse": 0.06931772083044052,
      "eval_runtime": 24.8499,
      "eval_samples_per_second": 34.044,
      "eval_steps_per_second": 1.087,
      "step": 7500
    },
    {
      "epoch": 50.0,
      "step": 7500,
      "total_flos": 0.0,
      "train_loss": 0.0016370025988823424,
      "train_runtime": 16468.788,
      "train_samples_per_second": 14.537,
      "train_steps_per_second": 0.455
    }
  ],
  "logging_steps": 25,
  "max_steps": 7500,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 50,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 0.0,
  "train_batch_size": 32,
  "trial_name": null,
  "trial_params": null
}