Files
exp-model-parameter-similarity/results/cpu-qwen35-2b/gain-factorization-score-metrics.csv

22 KiB

1layerdirectionsample_idsplitscore_max_abs_errorscore_relative_l2probability_max_abs_errorfirst_key_mass_afirst_key_mass_bjs_without_first_keywithout_first_key_valid_rowsjs_meanjs_p95js_without_first_querytop5_overlap
23q_to_kcal-zh-1calibration1.9073486328125e-065.101167139945906e-083.5762786865234375e-070.123339332640171050.123339332640171056.144742492608657e-092486.2515415066854985e-093.3901077500786414e-086.453204193235251e-091.0
33q_to_kcal-zh-2calibration1.9073486328125e-065.091678723372976e-085.066394805908203e-070.13469323515892030.13469320535659796.3971117292283e-092485.0883031121884414e-093.329163433818394e-085.252442036862703e-091.0
43q_to_kcal-en-1calibration1.9073486328125e-065.108396212348145e-083.725290298461914e-070.14368304610252380.14368304610252386.142506059347852e-092485.038649941724316e-092.9201892459695955e-085.2011870366186486e-091.0
53q_to_kcal-en-2calibration1.9073486328125e-065.1701194575127235e-083.8743019104003906e-070.15007674694061280.15007674694061286.898510651609513e-092485.6701336959008586e-093.627561184771366e-085.853041162851014e-091.0
63q_to_ktest-zh-1heldout1.9073486328125e-065.220060152896206e-084.172325134277344e-070.094499409198760990.094499416649341584.331650149680399e-092485.2700910302405646e-093.2252330584015e-085.440094152930897e-091.0
73q_to_ktest-zh-2heldout1.9073486328125e-065.0557365349437256e-083.5762786865234375e-070.122335150837898250.122335158288478854.755000837519674e-092485.405037306616123e-092.982928037909005e-085.579393391741405e-091.0
83q_to_ktest-en-1heldout1.9073486328125e-065.036456447011736e-084.76837158203125e-070.162842348217964170.162842348217964173.5884786253603806e-092486.1204539214543274e-093.24787201577692e-086.317887990547888e-091.0
93q_to_ktest-en-2heldout1.9073486328125e-065.110061520200993e-084.76837158203125e-070.17657108604907990.17657110095024114.401169650947168e-092484.359010929988472e-093.009398241715644e-084.4996242287709265e-091.0
103k_to_qcal-zh-1calibration1.9073486328125e-065.1102714936484615e-083.2782554626464844e-070.123339332640171050.123339325189590455.54685852804937e-092486.077549130623083e-093.364394274285587e-086.273598973649541e-091.0
113k_to_qcal-zh-2calibration1.9073486328125e-065.047857377998922e-085.066394805908203e-070.13469323515892030.13469322025775915.5039839352843956e-092485.080743381569164e-093.255715697036976e-085.244638501267218e-091.0
123k_to_qcal-en-1calibration1.9073486328125e-065.134420550367216e-084.172325134277344e-070.14368304610252380.14368304610252385.426067595237782e-092486.617717041024207e-093.062589826186013e-086.831191612377552e-091.0
133k_to_qcal-en-2calibration1.9073486328125e-065.226853937237364e-085.364418029785156e-070.15007674694061280.15007674694061287.92923859904704e-092483.863607211940234e-092.7573278771342302e-083.988239516417025e-091.0
143k_to_qtest-zh-1heldout1.9073486328125e-065.123835134005697e-084.76837158203125e-070.094499409198760990.094499409198760993.631874356813114e-092485.632322164217385e-092.992773318055697e-085.814010162197292e-091.0
153k_to_qtest-zh-2heldout1.9073486328125e-065.0224548540677525e-084.172325134277344e-070.122335150837898250.122335150837898255.022106286389771e-092484.692121358118584e-093.066226383907633e-084.843480283511781e-091.0
163k_to_qtest-en-1heldout1.9073486328125e-064.9758794253491996e-084.76837158203125e-070.162842348217964170.162842348217964173.619864186177324e-092486.1619935820544924e-093.4145102745242184e-086.360767468294171e-091.0
173k_to_qtest-en-2heldout1.9073486328125e-065.142298277550361e-082.980232238769531e-070.17657108604907990.17657108604907994.500570138787907e-092485.100083466658134e-093.277366289466954e-085.264602087606818e-091.0
187q_to_kcal-zh-1calibration1.9073486328125e-065.222536694121921e-084.172325134277344e-070.178814798593521120.178814798593521125.7563616095990255e-092485.532780456007913e-093.966695061308201e-085.711257244911394e-091.0
197q_to_kcal-zh-2calibration1.9073486328125e-065.170127993939104e-084.470348358154297e-070.15586900711059570.15586900711059574.651088403306858e-092485.351785681284582e-094.158310318302938e-085.524424029346164e-091.0
207q_to_kcal-en-1calibration1.9073486328125e-065.378773497110193e-088.046627044677734e-070.169708088040351870.169708073139190677.066096152641421e-092484.739160619493532e-093.499418710362079e-084.892036553627577e-091.0
217q_to_kcal-en-2calibration1.9073486328125e-065.317526550862134e-084.76837158203125e-070.17748856544494630.17748856544494632.2907555852214045e-092484.155392474558539e-093.55765088499993e-084.289437249838102e-091.0
227q_to_ktest-zh-1heldout1.9073486328125e-065.211860231803155e-085.364418029785156e-070.135517328977584840.135517328977584843.869626841179752e-092484.760383198743057e-093.7595043522742344e-084.91394391843869e-091.0
237q_to_ktest-zh-2heldout1.9073486328125e-065.3270193367964134e-083.8743019104003906e-070.162148922681808470.162148922681808475.834590144360163e-092483.3417555389547715e-093.232060308278051e-083.4495541978429856e-091.0
247q_to_ktest-en-1heldout1.9073486328125e-065.1701003812639285e-085.364418029785156e-070.169529914855957030.169529914855957034.620759330720148e-092483.3314184744170916e-093.060024056367183e-083.4388836223087083e-091.0
257q_to_ktest-en-2heldout1.9073486328125e-065.3793891417825e-085.364418029785156e-070.206248760223388670.206248775124549875.72924729880242e-092485.260036406440349e-093.098259782063906e-085.429714899918281e-091.0
267k_to_qcal-zh-1calibration1.9073486328125e-065.2622550638818123e-085.066394805908203e-070.178814798593521120.178814783692359925.618802756401919e-092483.0388158656080577e-093.318642782801362e-083.1368421193889162e-091.0
277k_to_qcal-zh-2calibration1.9073486328125e-065.2178797749660394e-084.76837158203125e-070.15586900711059570.15586902201175695.6034279438677e-092486.106143590756119e-093.9555089870191296e-086.3031158070714355e-091.0
287k_to_qcal-en-1calibration1.9073486328125e-065.331118520036339e-085.364418029785156e-070.169708088040351870.169708073139190674.860980507004342e-092483.6745022580220166e-093.220852917706907e-083.7930347751569116e-091.0
297k_to_qcal-en-2calibration1.9073486328125e-065.3509503240043504e-084.172325134277344e-070.17748856544494630.17748855054378512.684577671274724e-092483.914189861120576e-093.4250152936010636e-084.040454193443566e-091.0
307k_to_qtest-zh-1heldout1.9073486328125e-065.186216628978779e-085.364418029785156e-070.135517328977584840.135517328977584847.021717873811895e-092483.1829396895943773e-093.381542512670421e-083.285615113313156e-091.0
317k_to_qtest-zh-2heldout1.9073486328125e-065.435688576791881e-085.960464477539062e-070.162148922681808470.162148922681808474.47947234860635e-092485.434995564712608e-093.8530473034370516e-085.610317987958524e-091.0
327k_to_qtest-en-1heldout1.9073486328125e-065.182678341307826e-084.76837158203125e-070.169529914855957030.169529914855957035.902526023504606e-092483.811826410071717e-093.153426675339688e-083.934788495030261e-091.0
337k_to_qtest-en-2heldout1.9073486328125e-065.389036154327309e-085.364418029785156e-070.206248760223388670.206248775124549874.393694741366971e-092486.306869693162298e-093.442805152076289e-086.510317174246438e-091.0
3411q_to_kcal-zh-1calibration1.9073486328125e-065.3373433612649885e-084.76837158203125e-070.244928091764450070.244928091764450075.236138189701478e-092484.897512173585028e-093.2079633172088506e-085.055496465899978e-091.0
3511q_to_kcal-zh-2calibration1.9073486328125e-065.3680472349671996e-084.76837158203125e-070.185750246047973630.185750231146812444.706864675796396e-092486.692440379651998e-093.841551432515189e-086.908325467236409e-091.0
3611q_to_kcal-en-1calibration1.9073486328125e-065.413658613357613e-086.556510925292969e-070.242728009819984440.242727994918823245.221439280944651e-092485.445071948884106e-093.742365706216333e-085.620719445431632e-091.0
3711q_to_kcal-en-2calibration1.9073486328125e-065.431145274674744e-086.258487701416016e-070.25252154469490050.25252151489257814.965174049686993e-092483.2684353001855015e-093.038027784896258e-083.373868739942054e-091.0
3811q_to_ktest-zh-1heldout1.9073486328125e-064.975615695445315e-084.76837158203125e-070.206830129027366640.206830129027366644.743543779994752e-092485.727621932294369e-093.784743896062537e-085.912383915784858e-091.0
3911q_to_ktest-zh-2heldout1.9073486328125e-065.341885392276808e-085.066394805908203e-070.22637960314750670.22637960314750675.8260534174792156e-092484.675535514309104e-093.7589622081668495e-084.826359312204431e-091.0
4011q_to_ktest-en-1heldout1.9073486328125e-065.3474540038830716e-084.76837158203125e-070.2428070753812790.2428070753812795.4214881473058085e-092483.967941974991618e-092.985759550711009e-084.095940031589862e-091.0
4111q_to_ktest-en-2heldout1.9073486328125e-065.447992218148785e-085.960464477539062e-070.29300972819328310.29300972819328316.2322125238267745e-092483.5252292196474855e-093.577358498318972e-083.6389462554353713e-091.0
4211k_to_qcal-zh-1calibration1.9073486328125e-065.28470006223089e-084.470348358154297e-070.244928091764450070.244928091764450075.811663150723234e-092485.133418579106319e-093.507095414079231e-085.29901278412126e-091.0
4311k_to_qcal-zh-2calibration1.9073486328125e-065.340567432956712e-085.066394805908203e-070.185750246047973630.185750246047973632.0245674026142524e-092485.099674460495862e-093.472874965382289e-085.26418020285746e-091.0
4411k_to_qcal-en-1calibration1.9073486328125e-065.450061260733951e-085.066394805908203e-070.242728009819984440.242727994918823246.1068083923032646e-092486.209086134134623e-093.4522884106991114e-086.409379249561198e-091.0
4511k_to_qcal-en-2calibration1.9073486328125e-065.419026691337401e-085.960464477539062e-070.25252154469490050.25252154469490056.355903803267893e-092484.629203242956237e-093.0078894042162574e-084.778532236571209e-091.0
4611k_to_qtest-zh-1heldout2.86102294921875e-065.101806004082587e-084.76837158203125e-070.206830129027366640.206830114126205444.4362411522058665e-092485.5794813214049555e-093.09307068846465e-085.759464460908248e-091.0
4711k_to_qtest-zh-2heldout1.9073486328125e-065.354370300835508e-085.364418029785156e-070.22637960314750670.226379588246345525.91522208992501e-092485.174931594353893e-093.6706762074345534e-085.341864728336532e-091.0
4811k_to_qtest-en-1heldout1.9073486328125e-065.454591675148741e-085.066394805908203e-070.2428070753812790.242807090282440194.439097978092832e-092485.318464335601902e-093.0657005822831707e-085.490027543686438e-091.0
4911k_to_qtest-en-2heldout2.86102294921875e-065.424732981759204e-086.854534149169922e-070.29300972819328310.29300972819328316.705069388601714e-092484.751804283387173e-093.399427228600871e-084.90508833550507e-091.0
5015q_to_kcal-zh-1calibration1.9073486328125e-065.3514833863035024e-084.470348358154297e-070.334346354007720950.334346354007720954.285159338479616e-092484.447109791527737e-093.414147897728981e-084.590564817164022e-091.0
5115q_to_kcal-zh-2calibration1.9073486328125e-065.218853708885142e-084.76837158203125e-070.302277714014053340.302277743816375735.229982669163746e-092487.101956356336814e-094.079232240883357e-087.3310517656466345e-091.0
5215q_to_kcal-en-1calibration1.9073486328125e-065.4103478102894914e-084.76837158203125e-070.33203154802322390.33203154802322395.162816396619974e-092484.775797535216952e-093.1169314240742096e-084.929855634827618e-091.0
5315q_to_kcal-en-2calibration1.9073486328125e-065.31591652511587e-083.5762786865234375e-070.358039885759353640.358039855957031255.665685698375e-092483.281495741802587e-093.316486996141066e-083.3873504001746824e-091.0
5415q_to_ktest-zh-1heldout1.9073486328125e-065.2584229204196615e-085.960464477539062e-070.31342303752899170.31342303752899174.611414805566483e-092483.2052387410885785e-093.137078863346687e-083.3086335893273144e-091.0
5515q_to_ktest-zh-2heldout2.86102294921875e-065.334021097494736e-087.152557373046875e-070.315239965915679930.315239965915679936.134295738036144e-092483.099508649739846e-093.3302633539733506e-083.1994928928469335e-091.0
5615q_to_ktest-en-1heldout1.9073486328125e-065.277330399580438e-085.662441253662109e-070.357211291790008540.357211291790008543.875603393765914e-092486.00105520831562e-093.1643388354041235e-086.194637691692151e-091.0
5715q_to_ktest-en-2heldout1.9073486328125e-065.4245038413836726e-085.364418029785156e-070.37856277823448180.37856277823448185.588637108644434e-092485.273080638801275e-093.732484543661485e-085.443180128850145e-091.0
5815k_to_qcal-zh-1calibration1.9073486328125e-065.370409043564381e-084.76837158203125e-070.334346354007720950.334346354007720955.413625991934623e-092487.632287690739759e-093.8797516310751234e-087.878490748680633e-091.0
5915k_to_qcal-zh-2calibration1.9073486328125e-065.2645265789812776e-085.066394805908203e-070.302277714014053340.302277743816375736.007307984390309e-092484.376814466411361e-093.4955100147726625e-084.518001972542152e-091.0
6015k_to_qcal-en-1calibration1.9073486328125e-065.3713584045477537e-085.364418029785156e-070.33203154802322390.33203154802322393.789843550094929e-092484.10175182707917e-093.3631373241860274e-084.2340664307971565e-091.0
6115k_to_qcal-en-2calibration1.9073486328125e-065.329913616712736e-084.470348358154297e-070.358039885759353640.358039855957031255.377542411366676e-092483.882600019267102e-093.18341726313065e-084.007845166853485e-091.0
6215k_to_qtest-zh-1heldout1.9073486328125e-065.1740198395570186e-085.960464477539062e-070.31342303752899170.31342300772666935.392958968286621e-092483.644287094317633e-092.9920162347707446e-083.761844613592302e-091.0
6315k_to_qtest-zh-2heldout1.9073486328125e-065.17587827155604e-087.152557373046875e-070.315239965915679930.315239965915679936.041951827739922e-092484.992775970436014e-093.2279736217333266e-085.1538333600831265e-091.0
6415k_to_qtest-en-1heldout1.9073486328125e-065.262549006299803e-086.258487701416016e-070.357211291790008540.357211291790008544.4030894486013494e-092484.485939619769397e-093.2921569470545364e-084.630647421066669e-091.0
6515k_to_qtest-en-2heldout1.9073486328125e-065.460989035027149e-085.662441253662109e-070.37856277823448180.37856277823448186.211682723744616e-092483.997459696591932e-093.3428371182253613e-084.1264098804560945e-091.0
6619q_to_kcal-zh-1calibration1.9073486328125e-064.990160271767093e-085.364418029785156e-070.080870017409324650.080870024859905244.9786765821124845e-092484.393741370734006e-093.151729544015325e-084.535475106592912e-091.0
6719q_to_kcal-zh-2calibration1.9073486328125e-064.9742994871294574e-084.76837158203125e-070.080353543162345890.080353535711765295.756638277176762e-092484.049901303204706e-093.086056210577226e-084.180543466958397e-091.0
6819q_to_kcal-en-1calibration3.814697265625e-065.087667850358471e-085.066394805908203e-070.248341470956802370.248341470956802374.231536010479431e-092484.469023373587788e-092.7867795182601185e-084.613185389246155e-091.0
6919q_to_kcal-en-2calibration2.86102294921875e-065.025801246712497e-084.470348358154297e-070.1690092682838440.1690092682838445.525796265004601e-092484.058557934172313e-092.8106194704946574e-084.1894789859497905e-091.0
7019q_to_ktest-zh-1heldout1.9073486328125e-065.0221761295632774e-084.172325134277344e-070.063968285918235780.063968278467655183.353163524622005e-092484.251817564693283e-092.829117207170384e-084.3889731848878455e-091.0
7119q_to_ktest-zh-2heldout1.9073486328125e-065.0605528455235685e-085.960464477539062e-070.073036871850490570.073036879301071175.027091631859548e-092483.928162239930089e-093.122080727280263e-084.054877322801076e-091.0
7219q_to_ktest-en-1heldout1.9073486328125e-065.211114332289351e-085.364418029785156e-070.28810551762580870.28810551762580873.5609850623785633e-092484.370760198213475e-093.161588324473996e-084.511752305091932e-091.0
7319q_to_ktest-en-2heldout3.814697265625e-065.1614248682850084e-084.172325134277344e-070.086808599531650540.086808599531650544.462207936484219e-092484.6642192330637045e-093.021447270157296e-084.814677989628535e-091.0
7419k_to_qcal-zh-1calibration1.9073486328125e-065.113471077024349e-083.8743019104003906e-070.080870017409324650.080870017409324654.6697485878155476e-092485.351755927307522e-093.250153568501446e-085.524393387190685e-091.0
7519k_to_qcal-zh-2calibration1.9073486328125e-065.029181744672548e-085.662441253662109e-070.080353543162345890.080353543162345894.907285688915408e-092485.877964781575429e-093.508033685761802e-086.06757666332669e-091.0
7619k_to_qcal-en-1calibration1.9073486328125e-065.1180455196819575e-085.960464477539062e-070.248341470956802370.248341470956802375.958978199771536e-092483.994703678955602e-092.9186557171101413e-084.123565044977795e-091.0
7719k_to_qcal-en-2calibration1.9073486328125e-065.087171697055175e-085.662441253662109e-070.1690092682838440.16900928318500526.885077397100758e-092484.357643579311343e-092.7700329141566726e-084.498212913262023e-091.0
7819k_to_qtest-zh-1heldout1.9073486328125e-064.9891522075043136e-084.172325134277344e-070.063968285918235780.063968285918235783.918689817083987e-092486.348101155850827e-093.146694638189729e-086.552878684118468e-091.0
7919k_to_qtest-zh-2heldout1.9073486328125e-065.0542783963068e-085.066394805908203e-070.073036871850490570.073036871850490576.0575562343956335e-092483.8445029382216944e-092.87921402275515e-083.968519290964423e-091.0
8019k_to_qtest-en-1heldout1.9073486328125e-065.202611404804706e-085.364418029785156e-070.28810551762580870.288105487823486334.291980548742913e-092485.839524419570807e-092.908876339802191e-086.027895960158958e-091.0
8119k_to_qtest-en-2heldout1.9073486328125e-065.31186969928777e-084.172325134277344e-070.086808599531650540.086808592081069955.296885152716868e-092486.1070810630781125e-092.844184265882177e-086.304083477459699e-091.0
8223q_to_kcal-zh-1calibration1.9073486328125e-064.932807759644251e-084.470348358154297e-070.067246019840240480.067246019840240484.144036225284253e-092484.558249777630863e-092.929247777672117e-084.705289935458268e-091.0
8323q_to_kcal-zh-2calibration1.9073486328125e-064.9029117626786305e-084.76837158203125e-070.067646719515323640.067646726965904243.972651985151288e-092484.91240381705893e-093.200177900453127e-085.070868613898938e-091.0
8423q_to_kcal-en-1calibration3.814697265625e-064.95385074720159e-083.8743019104003906e-070.087470069527626040.087470069527626043.265131720553427e-092483.707365081595526e-093.0631660763447144e-083.826957417629728e-091.0
8523q_to_kcal-en-2calibration1.9073486328125e-064.922304127933099e-084.76837158203125e-070.089039236307144170.089039228856563575.270068825780072e-092483.997369546482332e-092.7743276120872906e-084.126317065811236e-091.0
8623q_to_ktest-zh-1heldout1.9073486328125e-064.8364042774388367e-083.5762786865234375e-070.059317119419574740.059317115694284443.816367222242434e-092483.653502167466627e-092.7387025980374347e-083.771357004467291e-091.0
8723q_to_ktest-zh-2heldout3.814697265625e-064.96448251794115e-085.364418029785156e-070.083126030862331390.083126038312911995.321914020584018e-092483.6995391194949434e-092.9038851323548442e-083.818878990813346e-091.0
8823q_to_ktest-en-1heldout3.814697265625e-065.034978202226261e-084.023313522338867e-070.11463491618633270.11463490873575214.471692793828197e-092483.4011016225576896e-092.928134534840865e-083.5108145279849623e-091.0
8923q_to_ktest-en-2heldout3.814697265625e-064.994535705946019e-084.470348358154297e-070.088860556483268740.088860556483268744.2449421755463845e-092483.4883309574240684e-092.892927319919636e-083.600857834129556e-091.0
9023k_to_qcal-zh-1calibration2.86102294921875e-064.8831644467980875e-084.76837158203125e-070.067246019840240480.067246019840240483.977453033598977e-092484.496496952555162e-092.8416268449404924e-084.64154537027639e-091.0
9123k_to_qcal-zh-2calibration1.9073486328125e-064.9029117626786305e-084.470348358154297e-070.067646719515323640.067646726965904244.682830567759311e-092482.651090902361375e-092.4917778063127116e-082.736610049680621e-091.0
9223k_to_qcal-en-1calibration3.814697265625e-065.024324385126141e-083.8743019104003906e-070.087470069527626040.087470069527626043.7081571147012937e-092484.977271039763309e-093.31379155227296e-085.13782838496013e-091.0
9323k_to_qcal-en-2calibration1.9073486328125e-064.8518648048109764e-082.980232238769531e-070.089039236307144170.089039228856563573.85932619195728e-092484.874880499272649e-092.9354460195918364e-085.0321347089266055e-091.0
9423k_to_qtest-zh-1heldout3.814697265625e-064.978168384729527e-084.172325134277344e-070.059317119419574740.059317119419574744.285771737499999e-092484.133625886026948e-092.540235399806079e-084.266968556265738e-091.0
9523k_to_qtest-zh-2heldout1.9073486328125e-064.943963198590656e-086.556510925292969e-070.083126030862331390.083126030862331393.7222060988995054e-092484.004627740528122e-092.6530234009669584e-084.133809294870616e-091.0
9623k_to_qtest-en-1heldout3.814697265625e-064.9439166765060464e-084.023313522338867e-070.11463491618633270.11463491618633276.534782048817078e-092484.612270565473864e-092.6872147174117345e-084.7610533293607205e-091.0
9723k_to_qtest-en-2heldout1.9073486328125e-064.8735765106561524e-084.172325134277344e-070.088860556483268740.088860556483268744.1334708988927105e-092484.0138719015203606e-092.8323970724386527e-084.1433514397226645e-091.0