exp-model-parameter-similarity/results/cpu-qwen35-2b/calibration-metrics.csv

1	candidate	kind	source	sample_id	split	relative_l2	reverse_relative_l2	token_relative_p95	reverse_token_relative_p95	cosine	low_norm_tokens	first_key_mass_a	first_key_mass_b	js_without_first_key	without_first_key_valid_rows	js_mean	js_p95	js_without_first_query	top5_overlap
2	attn_3_7	attn	3	cal-zh-1	calibration	1.75886973383732	1.2170194989630583	2.3326619869739242	1.3829599318796777	-0.001709405865837512	0	0.12333933264017105	0.5467976927757263	0.21484676003456116	248	0.2868691682815552	0.4794144630432129	0.2961229979991913	0.5515625
3	attn_3_7	attn	3	cal-zh-2	calibration	2.0666622735799773	1.1397562572129543	2.6608388071181586	1.2319401946881372	0.004627105486643174	0	0.1346932351589203	0.6545802354812622	0.1990504413843155	248	0.3104545772075653	0.512997567653656	0.3204692304134369	0.55859375
4	attn_3_7	attn	3	cal-en-1	calibration	1.9684586970451095	1.1687255334183004	2.5460869484043305	1.3209705033413297	-0.011291865355731309	0	0.1436830461025238	0.6550427675247192	0.2021898329257965	248	0.31806862354278564	0.5598381161689758	0.3283289074897766	0.56015625
5	attn_3_7	attn	3	cal-en-2	calibration	2.1157833337453664	1.1413057345289206	2.896573536355606	1.279392467480941	-0.010752011897128681	0	0.1500767469406128	0.6574594974517822	0.2199564427137375	248	0.3112969994544983	0.5577057003974915	0.32133883237838745	0.5484375
6	attn_3_7	attn	7	cal-zh-1	calibration	1.3340187814155438	1.42344327376934	1.4289276609634798	1.638356412458448	0.05265559345262384	0	0.07230515778064728	0.17881479859352112	0.144265815615654	248	0.15721087157726288	0.3267841339111328	0.16228218376636505	0.5890625
7	attn_3_7	attn	7	cal-zh-2	calibration	1.3371723133481364	1.418275178551954	1.4336050300809013	1.6659403627988982	0.05349503065318622	0	0.081089086830616	0.1558690071105957	0.13882805407047272	248	0.1448846012353897	0.3248489499092102	0.14955829083919525	0.590625
8	attn_3_7	attn	7	cal-en-1	calibration	1.405999268639987	1.3246539988272832	1.532711571208276	1.4346161336828325	0.07054514898566913	0	0.08104264736175537	0.16970808804035187	0.1672150194644928	248	0.17672982811927795	0.38887327909469604	0.18243078887462616	0.5859375
9	attn_3_7	attn	7	cal-en-2	calibration	1.366473684595312	1.4009631878257847	1.4664096677417215	1.59944923669573	0.0431210172272288	0	0.07256138324737549	0.1774885654449463	0.1528259664773941	248	0.16717864573001862	0.3629882335662842	0.17257151007652283	0.5625
10	attn_11_15	attn	11	cal-zh-1	calibration	2.7606058538571316	0.9703348793344666	2.4183673572578086	1.0857279648648543	0.2588922604193846	0	0.24492809176445007	0.4079643785953522	0.11288609355688095	248	0.1462744027376175	0.3241320848464966	0.15099292993545532	0.6625
11	attn_11_15	attn	11	cal-zh-2	calibration	2.5044424857870546	0.9843061509576916	2.592796177795181	1.1478459097975344	0.23612970738935357	0	0.18575024604797363	0.3524782657623291	0.12114741653203964	248	0.16847708821296692	0.3656128942966461	0.17391183972358704	0.66328125
12	attn_11_15	attn	11	cal-en-1	calibration	2.649979511635331	0.9795891219874814	2.4632888494810317	1.1094207865752836	0.23948147120552113	0	0.24272800981998444	0.39156001806259155	0.11876673251390457	248	0.15664874017238617	0.337306410074234	0.16170193254947662	0.6929687500000001
13	attn_11_15	attn	11	cal-en-2	calibration	2.7191409308620766	0.9759398005295231	2.5703854656788505	1.1257459370791087	0.24568690002591262	0	0.2525215446949005	0.3836510181427002	0.11734011769294739	248	0.15115201473236084	0.3331157863140106	0.1560278832912445	0.65078125
14	attn_11_15	attn	15	cal-zh-1	calibration	3.7267750977169203	0.9943195388381949	1.8571948100572258	1.4659544762265972	0.15463241076860404	0	0.12717953324317932	0.33434635400772095	0.15986472368240356	248	0.19836202263832092	0.40538591146469116	0.20476080477237701	0.6398437499999999
15	attn_11_15	attn	15	cal-zh-2	calibration	3.484117411382163	0.9958762023786318	1.9555333671772042	1.5034310789069971	0.15731411020281283	0	0.13328716158866882	0.30227771401405334	0.17917340993881226	248	0.21005423367023468	0.41705968976020813	0.21683017909526825	0.628125
16	attn_11_15	attn	15	cal-en-1	calibration	3.5714882610996845	0.9941664364521509	1.8393702843739006	1.5570787013529828	0.16007660497298756	0	0.14896893501281738	0.3320315480232239	0.17083808779716492	248	0.2080441117286682	0.4197816848754883	0.21475520730018616	0.646875
17	attn_11_15	attn	15	cal-en-2	calibration	3.783713712256275	0.9885545400787986	2.0440754255967826	1.5107488942763196	0.17418988407724514	0	0.15646213293075562	0.35803988575935364	0.1682518720626831	248	0.2177426666021347	0.419617235660553	0.22476662695407867	0.6046875
18	attn_19_23	attn	19	cal-zh-1	calibration	3.1071992972679547	1.080818751446137	3.9981135079246157	1.1800456131328154	-0.06780946108706973	0	0.08087001740932465	0.04044787213206291	0.20344728231430054	248	0.20533767342567444	0.5970298051834106	0.21196146309375763	0.65390625
19	attn_19_23	attn	19	cal-zh-2	calibration	3.5223723842603682	1.066376496758468	4.7369591160509135	1.1555630164896329	-0.07515431162135316	0	0.08035354316234589	0.04998621344566345	0.17885737121105194	248	0.17917148768901825	0.5459575057029724	0.18495121598243713	0.72890625
20	attn_19_23	attn	19	cal-en-1	calibration	3.7338041826396506	1.0390406833474568	4.724166114393082	1.1075162239519407	-0.0038920109670231525	0	0.24834147095680237	0.10791976749897003	0.18416298925876617	248	0.20052647590637207	0.5714813470840454	0.20699506998062134	0.69375
21	attn_19_23	attn	19	cal-en-2	calibration	3.3431946049591024	1.0618542149778405	4.853161886124916	1.1462103851521934	-0.04195946512998055	0	0.169009268283844	0.07061692327260971	0.21073731780052185	248	0.22293230891227722	0.6151081323623657	0.23012366890907288	0.58125
22	attn_19_23	attn	23	cal-zh-1	calibration	2.981238336078164	1.0546738615923779	3.342676305565292	1.0914181503369393	0.018114203094761517	0	0.1326604187488556	0.06724601984024048	0.1667337417602539	248	0.17328983545303345	0.5646554827690125	0.17887982726097107	0.6109375
23	attn_19_23	attn	23	cal-zh-2	calibration	3.0395249971461062	1.0612041520781252	3.9775899363194043	1.111839148442333	-0.006099502317895858	0	0.09588906913995743	0.06764671951532364	0.15978427231311798	248	0.16259410977363586	0.5136446356773376	0.16783908009529114	0.6968749999999999
24	attn_19_23	attn	23	cal-en-1	calibration	3.044278410194487	1.074729515389283	4.006931562831888	1.1811940201100057	-0.04307182449714221	0	0.12535521388053894	0.08747006952762604	0.1720750480890274	248	0.1742202639579773	0.5411514639854431	0.17984026670455933	0.66015625
25	attn_19_23	attn	23	cal-en-2	calibration	2.9710652272259535	1.0799822705908066	3.68900214533588	1.1411985546671786	-0.0470831335221732	0	0.08650433272123337	0.08903923630714417	0.17286045849323273	248	0.17006517946720123	0.538245439529419	0.1755511462688446	0.56875
26	mlp_5_6	mlp	5	cal-zh-1	calibration	1.2343440431264474	1.2448870136879528	1.4262659492232905	1.3330956688296154	0.23172673358878942	0
27	mlp_5_6	mlp	5	cal-zh-2	calibration	1.2339654450576971	1.2535104800781527	1.32561843838562	1.329338987748564	0.22672917563938177	0
28	mlp_5_6	mlp	5	cal-en-1	calibration	1.2263457192811411	1.2317267194400943	1.3474685872410954	1.321453653023078	0.2447481896291194	0
29	mlp_5_6	mlp	5	cal-en-2	calibration	1.2077976165854318	1.2358845908873308	1.3068781752715062	1.3085733890221656	0.2539150140171328	0
30	mlp_5_6	mlp	6	cal-zh-1	calibration	1.4662701939974856	1.3822306441896342	1.7481556583915787	1.7624732809638852	-0.011619417250216499	0
31	mlp_5_6	mlp	6	cal-zh-2	calibration	1.4798445991262743	1.3637763123448376	1.6959117760237137	1.4894484186140093	-0.005750877367744503	0
32	mlp_5_6	mlp	6	cal-en-1	calibration	1.464591579412775	1.3766590597797903	1.689543163635455	1.5032948778211077	-0.006204174235411236	0
33	mlp_5_6	mlp	6	cal-en-2	calibration	1.4368842673613405	1.4008394919323996	1.6226235618647424	1.6896559214993705	-0.006099379702393146	0
34	mlp_20_21	mlp	20	cal-zh-1	calibration	1.3631629826891347	1.3480373135423591	1.4508876157140895	1.4575901158218467	0.0812649689016906	0
35	mlp_20_21	mlp	20	cal-zh-2	calibration	1.4305121300612613	1.314068906091469	1.5976490501921767	1.4075788062559882	0.06371076852261268	0
36	mlp_20_21	mlp	20	cal-en-1	calibration	1.366192568032983	1.35226347926907	1.5789533371800022	1.5827466919073778	0.07632635231947486	0
37	mlp_20_21	mlp	20	cal-en-2	calibration	1.4386161527552375	1.3312892565009653	1.5821573752114773	1.4214461315124072	0.045400137548793094	0
38	mlp_20_21	mlp	21	cal-zh-1	calibration	1.389882929510158	1.3382556516005442	1.4917751564635304	1.4560073575192687	0.07070714893962673	0
39	mlp_20_21	mlp	21	cal-zh-2	calibration	1.4299639779406776	1.3285677793009314	1.6132811807602088	1.41117608068315	0.052803821787486716	0
40	mlp_20_21	mlp	21	cal-en-1	calibration	1.3453233062044447	1.4107978765350015	1.5399413812441296	1.7867758701030254	0.052139705952592985	0
41	mlp_20_21	mlp	21	cal-en-2	calibration	1.4554092594533905	1.3180744101503734	1.5831740681011888	1.3865901398082663	0.045747088042376524	0
42	qk_norm_3	qk_norm	q	cal-zh-1	calibration	0.22945597860473388	0.23195008932522895	0.24221562711880595	0.24569969899481256	0.973447272274363	0
43	qk_norm_3	qk_norm	q	cal-zh-2	calibration	0.2290088724166579	0.23181448107574626	0.24542894690924066	0.24779202863840974	0.9735303499099761	0
44	qk_norm_3	qk_norm	q	cal-en-1	calibration	0.23455492648208914	0.2376969550882275	0.24989139477418182	0.2529845119820021	0.972212040535478	0
45	qk_norm_3	qk_norm	q	cal-en-2	calibration	0.22901516213757628	0.23221465328764443	0.24944281350466996	0.2558284584833273	0.9735059067182225	0
46	qk_norm_3	qk_norm	k	cal-zh-1	calibration	0.19278924917702345	0.19044985719492102	0.21696829135487192	0.21613622029669263	0.9817161843232514	0
47	qk_norm_3	qk_norm	k	cal-zh-2	calibration	0.1914737037557284	0.18949712918171538	0.22059518754606067	0.22263213250570094	0.98191197888193	0
48	qk_norm_3	qk_norm	k	cal-en-1	calibration	0.19741689848184946	0.1948868605635172	0.25540160556856767	0.2544707934700031	0.9808462075453858	0
49	qk_norm_3	qk_norm	k	cal-en-2	calibration	0.21059744905193553	0.20938264759903177	0.24188706740832974	0.24203851319432876	0.9779690077710401	0
50	qk_norm_7	qk_norm	q	cal-zh-1	calibration	0.20847388940801903	0.20369709176427747	0.2170900495487928	0.21347731005429094	0.9790359000979272	0
51	qk_norm_7	qk_norm	q	cal-zh-2	calibration	0.19935697980676284	0.19546641114417262	0.21545417284813181	0.20622001465458153	0.9807104227014257	0
52	qk_norm_7	qk_norm	q	cal-en-1	calibration	0.20377890669282792	0.1992044511742432	0.2180618268213074	0.21066534853291913	0.9799609125477599	0
53	qk_norm_7	qk_norm	q	cal-en-2	calibration	0.2049050681850306	0.20143020818672328	0.21865291387428726	0.20943815578722963	0.9795092387917065	0
54	qk_norm_7	qk_norm	k	cal-zh-1	calibration	0.11058006301891404	0.10891256044231754	0.12484384056818072	0.12331584938512573	0.9940936589516192	0
55	qk_norm_7	qk_norm	k	cal-zh-2	calibration	0.1025377174596076	0.10115362014926518	0.1190380009492926	0.11772165381976195	0.994906319610355	0
56	qk_norm_7	qk_norm	k	cal-en-1	calibration	0.11061820718242668	0.10874403924660925	0.1246694172087446	0.12218803487494587	0.9941314653674382	0
57	qk_norm_7	qk_norm	k	cal-en-2	calibration	0.1097129827694824	0.10824015260116268	0.12658812743768616	0.1257629217271933	0.9941536582549061	0
58	qk_norm_11	qk_norm	q	cal-zh-1	calibration	0.13162251097797606	0.1336688160421926	0.14723992137490324	0.1503968566479842	0.9913220883632566	0
59	qk_norm_11	qk_norm	q	cal-zh-2	calibration	0.1293519958781259	0.1314802843900349	0.15550840977823716	0.15903465263092675	0.9916295485881612	0
60	qk_norm_11	qk_norm	q	cal-en-1	calibration	0.12647077725692374	0.12852946057966494	0.14803436556570124	0.1502912423902487	0.9920027531738658	0
61	qk_norm_11	qk_norm	q	cal-en-2	calibration	0.1325318326855699	0.13489053569820655	0.15675391452711515	0.16029285586480232	0.9912169569277748	0
62	qk_norm_11	qk_norm	k	cal-zh-1	calibration	0.19235633022629203	0.19080289992858507	0.2290122037106061	0.22871738277610806	0.9816818019088915	0
63	qk_norm_11	qk_norm	k	cal-zh-2	calibration	0.20373761974053708	0.2026516990230578	0.22610646515999447	0.22641810348752162	0.9793703931467622	0
64	qk_norm_11	qk_norm	k	cal-en-1	calibration	0.20072570704403014	0.1997337419816918	0.23210824690537907	0.232000375512668	0.9799664235115935	0
65	qk_norm_11	qk_norm	k	cal-en-2	calibration	0.21292543194773159	0.2114735746425023	0.2540111544217496	0.253548340715113	0.9775093552656579	0
66	qk_norm_15	qk_norm	q	cal-zh-1	calibration	0.15982234891287764	0.1668593847865133	0.1806429713396301	0.18971996556779416	0.9875945267208645	0
67	qk_norm_15	qk_norm	q	cal-zh-2	calibration	0.15740332806536778	0.1630453842176067	0.17808143035469418	0.1865293914125642	0.987788243570594	0
68	qk_norm_15	qk_norm	q	cal-en-1	calibration	0.16051291705164175	0.16606195948802505	0.18552144269008958	0.19215103895989022	0.9872500535949923	0
69	qk_norm_15	qk_norm	q	cal-en-2	calibration	0.1646608571816797	0.17165005121760066	0.18445606954569943	0.19141765315408663	0.9867321292200623	0
70	qk_norm_15	qk_norm	k	cal-zh-1	calibration	0.12891191745886205	0.12454504053986937	0.1385991791084394	0.1331904813118359	0.9925662013931714	0
71	qk_norm_15	qk_norm	k	cal-zh-2	calibration	0.12161598809109211	0.11777013931789594	0.1368420974285716	0.1315377420603533	0.9933549654835544	0
72	qk_norm_15	qk_norm	k	cal-en-1	calibration	0.12197566460111624	0.11819082207382924	0.135322184241321	0.13196489880351644	0.9932886289657402	0
73	qk_norm_15	qk_norm	k	cal-en-2	calibration	0.12441025575886772	0.12064470117171276	0.1406080640306027	0.13504984145616641	0.9929676304409041	0
74	qk_norm_19	qk_norm	q	cal-zh-1	calibration	0.35607606695379634	0.35506507510461943	0.4419932151127893	0.43353427677209583	0.9367889544420241	0
75	qk_norm_19	qk_norm	q	cal-zh-2	calibration	0.3050017336245941	0.3063513991209177	0.35702892926241475	0.35499913749231526	0.9532908937392158	0
76	qk_norm_19	qk_norm	q	cal-en-1	calibration	0.3004172668571062	0.30248734097466856	0.3551434800248225	0.3574678230240773	0.9545873680313379	0
77	qk_norm_19	qk_norm	q	cal-en-2	calibration	0.332120216475189	0.33442277896716227	0.39234612989053624	0.3869494866775299	0.9444895843396817	0
78	qk_norm_19	qk_norm	k	cal-zh-1	calibration	0.1494891933687725	0.1453919459232531	0.19873146648565732	0.1911951771845603	0.9895189305032556	0
79	qk_norm_19	qk_norm	k	cal-zh-2	calibration	0.14909792210432973	0.14536281895078332	0.19307308117224836	0.18807685138750432	0.9894852004735976	0
80	qk_norm_19	qk_norm	k	cal-en-1	calibration	0.1529571262250341	0.14878974314439253	0.19553431973346902	0.18740449249037416	0.9890023265976378	0
81	qk_norm_19	qk_norm	k	cal-en-2	calibration	0.1608915089597201	0.15621975475373284	0.19992876686197072	0.1909273809291801	0.9878669550506567	0
82	qk_norm_23	qk_norm	q	cal-zh-1	calibration	0.5472715903763039	0.4942115602598659	0.5959124252670717	0.5246077344510891	0.8699706486172409	0
83	qk_norm_23	qk_norm	q	cal-zh-2	calibration	0.5066278025120974	0.4652273156892467	0.5698812253775749	0.505450409971441	0.8857874771365101	0
84	qk_norm_23	qk_norm	q	cal-en-1	calibration	0.5396383470456222	0.4881273164223247	0.6104980922233472	0.5338668240636818	0.8733304573488526	0
85	qk_norm_23	qk_norm	q	cal-en-2	calibration	0.5484944291943057	0.4948734608679084	0.6117866340678192	0.5354951226175159	0.8695786360146698	0
86	qk_norm_23	qk_norm	k	cal-zh-1	calibration	0.1313144920837702	0.13005524261632884	0.18219490064170027	0.1762085222381826	0.9915073560564274	0
87	qk_norm_23	qk_norm	k	cal-zh-2	calibration	0.12151622394280005	0.12124252528158447	0.1793544881596151	0.17483197862503747	0.9926360753692314	0
88	qk_norm_23	qk_norm	k	cal-en-1	calibration	0.12730373699904377	0.12630314407300633	0.17809052202752992	0.17316093196082644	0.9919917024971001	0
89	qk_norm_23	qk_norm	k	cal-en-2	calibration	0.15218433424490216	0.1492986535261055	0.1960834395064235	0.18960021577591676	0.9888227905277445	0