Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Paper • 1908.10084 • Published • 16
How to use cuadron11/bge-reranker-v2-m3-contrastive-bopv-4-1ep with sentence-transformers:
from sentence_transformers import CrossEncoder
model = CrossEncoder("cuadron11/bge-reranker-v2-m3-contrastive-bopv-4-1ep")
query = "Which planet is known as the Red Planet?"
passages = [
"Venus is often called Earth's twin because of its similar size and proximity.",
"Mars, known for its reddish appearance, is often referred to as the Red Planet.",
"Jupiter, the largest planet in our solar system, has a prominent red spot.",
"Saturn, famous for its rings, is sometimes mistaken for the Red Planet."
]
scores = model.predict([(query, passage) for passage in passages])
print(scores)This is a Cross Encoder model finetuned from BAAI/bge-reranker-v2-m3 using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import CrossEncoder
# Download from the 🤗 Hub
model = CrossEncoder("cuadron11/bge-reranker-v2-m3-contrastive-bopv-4-1ep")
# Get scores for pairs of texts
pairs = [
['Zein dira Funtzio Publikoko Zuzendaritzako Giza Baliabideen arduradunaren lanpostua lortzeko baldintzak?', 'Funtzio Publikoko Zuzendaritzan Giza Baliabideen arduradunaren lanpostu bat (kodea: 511721; dotazioa: 1) hutsik dago. Beraz, sail honek erabaki du lanpostu hori izendapen askez betetzeko deialdia iragartzea, Euskal Enplegu Publikoari buruzko abenduaren 1eko 11/2022 Legearen 102. artikuluan agindutakoaren arabera, eta Funtzio Publikoaren Zuzendaritzak aldeko txostena eman ostean. Hauek dira deialdiaren\nOINARRIAK\nLehenengoa. Parte hartzeko baldintzak.\nDeialdi honetan parte hartu ahal izango dute Euskal Autonomia Erkidegoko Administrazio Orokorreko eta haren organismo autonomoetako karrerako funtzionarioek, lanpostu-zerrendan ezartzen diren baldintzak betetzen badituzte (eranskinean zehaztuta daude).\nAipatutako langileek edozein administrazio-egoeratan egonda har dezakete parte deialdi honetan, honako egoera hauetan izan ezik:\na) Eginkizun-gabetze irmoa ezarrita duten funtzionarioek, egoera horrek dirauen bitartean.\nb) Norberaren kontuetarako edo familia elkartzeko borondatezko eszedentzian dauden langileek, ez badute bete eszedentzian egon beharreko gutxieneko denbora.\nOrobat, parte hartu ahal izango dute beste administrazio publiko batzuetako karrerako funtzionarioek, irakaskuntzako eta Justizia Administrazioko karrerako funtzionarioek, bai eta erakunde sanitarioetako estatutupeko langile finkoek ere, betiere espresuki ezartzen bada langile mota horrek betetzeko moduko lanpostua dela, eta, hortaz, zehazki identifikatzen bada dagokion kodearekin, bat etorriz agiri honen eranskinean zehaztutakoarekin.\nLangile horiek deialdi honetan parte hartu ahal izango dute, lanpostu-zerrendan ezarritako baldintzak egiaztatzen badituzte eta zerbitzu aktiboko administrazio-egoeran edo jatorrizko administrazioan lanpostua gordetzea dakarren administrazio-egoeran badaude, non eta ez duten 6 hilabetetik beherako eginkizun-gabetze behin-behinekoa edo irmoa.\nBigarrena. Eskabideak.'],
['Zein proiektuk aztertzen dute emakumeen parte-hartzea lan-munduan edo enpresetan?', '30/2009PRO Universidad de Deusto ¿Por qué estás aquí y no allí? Mujeres, dirección y liderazgo. 02\n32/2009PRO Universidad de Deusto Barreras para el ocio activo de las mujeres de la Comunidad Autónoma de Euskadi (CAE), con hijas/os menores de cuatro años. 02\n34/2009PRO Iurre Etxarri, Arantxa Catálogo de Directoras y Dramaturgas nacidas entre 1950-1982. 02\n35/2009PRO Fundación para la Innovación en la Gestión y el Liderazgo desde los Valores. FIGEVA Generación de un modelo de liderazgo femenino. 02\n36/2009PRO Equala Iniciativas, S.L., Acción Piloto: El teletrabajo como medida de flexibilidad empresrial. 02\n37/2009PRO Asociación de Mujeres Profesionales y Empresarias de Álava. AMPEA Iguala-t «Camino hacia la igualdad de oportunidades en las empresas». 01\n38/2009PRO Universidad del País Vasco UPV/EHU Percepción de inseguridad en espacios urbanos: perspectiva de género. 02\n39/2009PRO Mapiónika Georreferencias, S.L. Mapa interactivo de «La Ciudad Prohibida». 02\n40/2009PRO Quiles González, Magdalena La presencia de la mujer en la Administración de Justicia, en especial en la CAPV: Evolución de las Políticas de Igualdad de Género. 02\n41/2009PRO Agirrezabala Zubillaga, Marta Emakume baserritarraren «berdintasunezko» partehartzea. 02\n42/2009PRO ADOS! S.C. Análisis de la masculinidad y actitudes subyacentes de la violencia machista, entre adolescentes. 02\n43/2009PRO Sindicato Er.N.E. Análisis de la presencia de la mujer en la Policía Vasca. 02\n44/2009PRO Elixir Films, S.L «Melodías abruptas» (Asto melodiak). Libro-DVD. 03\n47/2009PRO Comisión de Mujer por la Igualdad de Fekoor El impacto de género + discapacidad en la exclusión laboral y la violencia sexista. 02\n48/2009PRO Sosusi SL AdWomen. 01\n50/2009PRO Taller de Sociología S.L. El poder de la familia en la transmisión de valores igualitarios y como medida preventiva contra la violencia hacia la mujer. 02'],
['Zein urtetan ezarri zen martxan 9030 dorrearen inguruko linea elektrikoa?', 'Aipatutako sektoreak burutzen badira, 9030 dorrea izango da dorre bakarra inguru guztian.\nSail honek eskatzen du aurkeztutako proiektuaren beharrezko aldaketak formulatzea, Iberdrolak 9030 dorrearen proiektuaren ordezkoa bertan behera utz dezan eta Larrabide Azpi, Larrabide baserria eta Azkuene Goiaren artean dagoen tentsio altuko linea guztia lurpera dezan\n1976ko LLTBren 60. artikuluak berariaz debekatzen du handitze- edo sendotze-obrak egitea, salbu herri-lurretik pasatzen diren aireko lineen zenbait konponketa-obra.\n9030 euskarriaren funtzioa lurzoru urbanizaezinean kokatua Azkuene Goia eta Larrabide Azpi gune urbanoetatik igarotzen den aireko linea sendotzea da.\nAdministrazioak lan horiek mantentze-lantzat jotzen ditu, eta, haren ustez, ez da horien benetako izaerara egokitzen; halaxe jakinarazi zaio.\nDagoen euskarria berri batekin trukatzeak eskatuko du orain dagoena eta haren zapatak eraistea euskarri berria eraikitzeko, haren zimentazioa barne: hori ez da mantentze-obra, ordezkatze bat baizik.\nDesjabetzeko espediente bat izapidetzen ari da, eta 9030 euskarrirako eta aireko pasoaren zortasunerako lurzoruaren desjabetzea aurretik egin zen; ondorioz, ez da bidezkoa inongo desjabetzerik bideratzea.\nHamar. Francisco José Arreseren-Igor Echeburuaren alegazioaren berri eman zitzaion Iberdrola Distribución Eléctrica S.A.U.ri, eta hark zera erantzun zuen, laburbilduta:\nLinea elektrikoa CE.7/1648 espedientean legeztatu zela, eta 1962-04-24an martxan ezarri.'],
['Nola aurkez daiteke gora jotzeko errekurtsoa Osakidetzako Administrazio Kontseiluari?', 'Administrazio Publikoen Administrazio Prozedura Erkidearen urriaren 1eko 39/2015 Legearen 112., 121. eta hurrengo artikuluetan ezarritakoaren arabera, ebazpen honek ez du administrazio-bidea amaitzen, eta, beraz, interesdunek gora jotzeko errekurtsoa aurkeztu ahal izango diote Osakidetzako Administrazio Kontseiluari, hilabeteko epean, ebazpena jakinarazi eta hurrengo egunetik aurrera.\nVitoria-Gasteiz, 2024ko urtarrilaren 23a.\nOsakidetza-Euskal osasun zerbitzuko zuzendari nagusia,\nMARIA ROSA PÉREZ ESQUERDO.'],
['Zein aginduren bidez ebatzi zen 2015-2016 ikasturterako planifikazioa aldatzea eta 2014-2015 ikasturterako zenbat unitate itunduko diren zehaztea?', 'Hezkuntza, Hizkuntza Politika eta Kulturako sailburuaren 2014ko maiatzaren 21eko Aginduak inprimaki hauek onartzen eta jakinarazten ditu: batetik, itunpeko ikastetxeek 2015-2016 ikasturterako planifikazioaren aldaketa eskatzeko direnak, eta bestetik, 2014-2015 ikasturterako itundu beharreko gela-kopurua finkatzeko direnak.\nHezkuntza, Hizkuntza Politika eta Kulturako sailburuaren 2014ko irailaren 19ko Aginduaren bidez, ebazten da 2015-2016 ikasturterako planifikazioa aldatzea eta 2014-2015 ikasturterako Haur Hezkuntza (2. zikloa), Lehen Hezkuntza, Derrigorrezko Bigarren Hezkuntza eta Hezkuntza Bereziko zenbat unitate itunduko diren zehaztea.\nGisa horretako akats bat atzeman da 2015-2016 ikasturterako planifikazioa aldatzeari buruzko I. eranskinean, euskarazko testuan, eta 2014-2015 ikasturtea ituntzeari buruzko III. eranskinean; Euskal Herriko Agintaritzaren Aldizkaria arautzen duen abenduaren 23ko 217/2008 Dekretuak 18.2.c) artikuluaren arabera, agindu honen bidez egiten da aldaketa.\nEBAZTEN DUT\n:\nAldatzea Hezkuntza, Hizkuntza Politika eta Kulturako sailburuaren 2014ko irailaren 19ko Aginduaren I. eranskina, euskarazko testua, eta III. eranskina. Agindu horren bidez ebatzi zen 2015-2016 ikasturterako planifikazioa aldatzea, eta 2014-2015 ikasturterako Haur Hezkuntza (2. zikloa), Lehen Hezkuntza, Derrigorrezko Bigarren Hezkuntza eta Hezkuntza Bereziko zenbat unitate itunduko diren zehaztea.\nVitoria-Gasteiz, 2014ko urriaren 30a.\nHezkuntza, Hizkuntza Politika eta Kulturako sailburua,\nCRISTINA URIARTE TOLEDO.\n(Ikus .PDF)\n(Ikus .PDF)'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)
# Or rank different texts based on similarity to a single text
ranks = model.rank(
'Zein dira Funtzio Publikoko Zuzendaritzako Giza Baliabideen arduradunaren lanpostua lortzeko baldintzak?',
[
'Funtzio Publikoko Zuzendaritzan Giza Baliabideen arduradunaren lanpostu bat (kodea: 511721; dotazioa: 1) hutsik dago. Beraz, sail honek erabaki du lanpostu hori izendapen askez betetzeko deialdia iragartzea, Euskal Enplegu Publikoari buruzko abenduaren 1eko 11/2022 Legearen 102. artikuluan agindutakoaren arabera, eta Funtzio Publikoaren Zuzendaritzak aldeko txostena eman ostean. Hauek dira deialdiaren\nOINARRIAK\nLehenengoa. Parte hartzeko baldintzak.\nDeialdi honetan parte hartu ahal izango dute Euskal Autonomia Erkidegoko Administrazio Orokorreko eta haren organismo autonomoetako karrerako funtzionarioek, lanpostu-zerrendan ezartzen diren baldintzak betetzen badituzte (eranskinean zehaztuta daude).\nAipatutako langileek edozein administrazio-egoeratan egonda har dezakete parte deialdi honetan, honako egoera hauetan izan ezik:\na) Eginkizun-gabetze irmoa ezarrita duten funtzionarioek, egoera horrek dirauen bitartean.\nb) Norberaren kontuetarako edo familia elkartzeko borondatezko eszedentzian dauden langileek, ez badute bete eszedentzian egon beharreko gutxieneko denbora.\nOrobat, parte hartu ahal izango dute beste administrazio publiko batzuetako karrerako funtzionarioek, irakaskuntzako eta Justizia Administrazioko karrerako funtzionarioek, bai eta erakunde sanitarioetako estatutupeko langile finkoek ere, betiere espresuki ezartzen bada langile mota horrek betetzeko moduko lanpostua dela, eta, hortaz, zehazki identifikatzen bada dagokion kodearekin, bat etorriz agiri honen eranskinean zehaztutakoarekin.\nLangile horiek deialdi honetan parte hartu ahal izango dute, lanpostu-zerrendan ezarritako baldintzak egiaztatzen badituzte eta zerbitzu aktiboko administrazio-egoeran edo jatorrizko administrazioan lanpostua gordetzea dakarren administrazio-egoeran badaude, non eta ez duten 6 hilabetetik beherako eginkizun-gabetze behin-behinekoa edo irmoa.\nBigarrena. Eskabideak.',
'30/2009PRO Universidad de Deusto ¿Por qué estás aquí y no allí? Mujeres, dirección y liderazgo. 02\n32/2009PRO Universidad de Deusto Barreras para el ocio activo de las mujeres de la Comunidad Autónoma de Euskadi (CAE), con hijas/os menores de cuatro años. 02\n34/2009PRO Iurre Etxarri, Arantxa Catálogo de Directoras y Dramaturgas nacidas entre 1950-1982. 02\n35/2009PRO Fundación para la Innovación en la Gestión y el Liderazgo desde los Valores. FIGEVA Generación de un modelo de liderazgo femenino. 02\n36/2009PRO Equala Iniciativas, S.L., Acción Piloto: El teletrabajo como medida de flexibilidad empresrial. 02\n37/2009PRO Asociación de Mujeres Profesionales y Empresarias de Álava. AMPEA Iguala-t «Camino hacia la igualdad de oportunidades en las empresas». 01\n38/2009PRO Universidad del País Vasco UPV/EHU Percepción de inseguridad en espacios urbanos: perspectiva de género. 02\n39/2009PRO Mapiónika Georreferencias, S.L. Mapa interactivo de «La Ciudad Prohibida». 02\n40/2009PRO Quiles González, Magdalena La presencia de la mujer en la Administración de Justicia, en especial en la CAPV: Evolución de las Políticas de Igualdad de Género. 02\n41/2009PRO Agirrezabala Zubillaga, Marta Emakume baserritarraren «berdintasunezko» partehartzea. 02\n42/2009PRO ADOS! S.C. Análisis de la masculinidad y actitudes subyacentes de la violencia machista, entre adolescentes. 02\n43/2009PRO Sindicato Er.N.E. Análisis de la presencia de la mujer en la Policía Vasca. 02\n44/2009PRO Elixir Films, S.L «Melodías abruptas» (Asto melodiak). Libro-DVD. 03\n47/2009PRO Comisión de Mujer por la Igualdad de Fekoor El impacto de género + discapacidad en la exclusión laboral y la violencia sexista. 02\n48/2009PRO Sosusi SL AdWomen. 01\n50/2009PRO Taller de Sociología S.L. El poder de la familia en la transmisión de valores igualitarios y como medida preventiva contra la violencia hacia la mujer. 02',
'Aipatutako sektoreak burutzen badira, 9030 dorrea izango da dorre bakarra inguru guztian.\nSail honek eskatzen du aurkeztutako proiektuaren beharrezko aldaketak formulatzea, Iberdrolak 9030 dorrearen proiektuaren ordezkoa bertan behera utz dezan eta Larrabide Azpi, Larrabide baserria eta Azkuene Goiaren artean dagoen tentsio altuko linea guztia lurpera dezan\n1976ko LLTBren 60. artikuluak berariaz debekatzen du handitze- edo sendotze-obrak egitea, salbu herri-lurretik pasatzen diren aireko lineen zenbait konponketa-obra.\n9030 euskarriaren funtzioa lurzoru urbanizaezinean kokatua Azkuene Goia eta Larrabide Azpi gune urbanoetatik igarotzen den aireko linea sendotzea da.\nAdministrazioak lan horiek mantentze-lantzat jotzen ditu, eta, haren ustez, ez da horien benetako izaerara egokitzen; halaxe jakinarazi zaio.\nDagoen euskarria berri batekin trukatzeak eskatuko du orain dagoena eta haren zapatak eraistea euskarri berria eraikitzeko, haren zimentazioa barne: hori ez da mantentze-obra, ordezkatze bat baizik.\nDesjabetzeko espediente bat izapidetzen ari da, eta 9030 euskarrirako eta aireko pasoaren zortasunerako lurzoruaren desjabetzea aurretik egin zen; ondorioz, ez da bidezkoa inongo desjabetzerik bideratzea.\nHamar. Francisco José Arreseren-Igor Echeburuaren alegazioaren berri eman zitzaion Iberdrola Distribución Eléctrica S.A.U.ri, eta hark zera erantzun zuen, laburbilduta:\nLinea elektrikoa CE.7/1648 espedientean legeztatu zela, eta 1962-04-24an martxan ezarri.',
'Administrazio Publikoen Administrazio Prozedura Erkidearen urriaren 1eko 39/2015 Legearen 112., 121. eta hurrengo artikuluetan ezarritakoaren arabera, ebazpen honek ez du administrazio-bidea amaitzen, eta, beraz, interesdunek gora jotzeko errekurtsoa aurkeztu ahal izango diote Osakidetzako Administrazio Kontseiluari, hilabeteko epean, ebazpena jakinarazi eta hurrengo egunetik aurrera.\nVitoria-Gasteiz, 2024ko urtarrilaren 23a.\nOsakidetza-Euskal osasun zerbitzuko zuzendari nagusia,\nMARIA ROSA PÉREZ ESQUERDO.',
'Hezkuntza, Hizkuntza Politika eta Kulturako sailburuaren 2014ko maiatzaren 21eko Aginduak inprimaki hauek onartzen eta jakinarazten ditu: batetik, itunpeko ikastetxeek 2015-2016 ikasturterako planifikazioaren aldaketa eskatzeko direnak, eta bestetik, 2014-2015 ikasturterako itundu beharreko gela-kopurua finkatzeko direnak.\nHezkuntza, Hizkuntza Politika eta Kulturako sailburuaren 2014ko irailaren 19ko Aginduaren bidez, ebazten da 2015-2016 ikasturterako planifikazioa aldatzea eta 2014-2015 ikasturterako Haur Hezkuntza (2. zikloa), Lehen Hezkuntza, Derrigorrezko Bigarren Hezkuntza eta Hezkuntza Bereziko zenbat unitate itunduko diren zehaztea.\nGisa horretako akats bat atzeman da 2015-2016 ikasturterako planifikazioa aldatzeari buruzko I. eranskinean, euskarazko testuan, eta 2014-2015 ikasturtea ituntzeari buruzko III. eranskinean; Euskal Herriko Agintaritzaren Aldizkaria arautzen duen abenduaren 23ko 217/2008 Dekretuak 18.2.c) artikuluaren arabera, agindu honen bidez egiten da aldaketa.\nEBAZTEN DUT\n:\nAldatzea Hezkuntza, Hizkuntza Politika eta Kulturako sailburuaren 2014ko irailaren 19ko Aginduaren I. eranskina, euskarazko testua, eta III. eranskina. Agindu horren bidez ebatzi zen 2015-2016 ikasturterako planifikazioa aldatzea, eta 2014-2015 ikasturterako Haur Hezkuntza (2. zikloa), Lehen Hezkuntza, Derrigorrezko Bigarren Hezkuntza eta Hezkuntza Bereziko zenbat unitate itunduko diren zehaztea.\nVitoria-Gasteiz, 2014ko urriaren 30a.\nHezkuntza, Hizkuntza Politika eta Kulturako sailburua,\nCRISTINA URIARTE TOLEDO.\n(Ikus .PDF)\n(Ikus .PDF)',
]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]
bge-reranker-v2-m3-contrastive-bopv-4-1epCrossEncoderRerankingEvaluator with these parameters:{
"at_k": 10,
"always_rerank_positives": false
}
| Metric | Value |
|---|---|
| map | 0.0271 (+0.0262) |
| mrr@10 | 0.0270 (+0.0270) |
| ndcg@10 | 0.0274 (+0.0274) |
query and positive| query | positive | |
|---|---|---|
| type | string | string |
| details |
|
|
| query | positive |
|---|---|
Zenbat dirulaguntza jaso zuen Oskorri Band Band proiektuak Musikabirak programan? |
Musikabirak / Giras musicales. |
Zein da deialdi honetako ikuskari zentral lanpostuaren berariazko osagarria? |
Laugarrena. Deialdi honen ebazpena Hezkuntzako sailburuaren aginduz izango da, eta Euskal Herriko Agintaritzaren Aldizkarian argitaratuko da, gehienez ere hilabeteko epean, eskabideak aurkezteko epea amaitu eta biharamunetik hasita. |
Zein dira Polizia eta Larrialdietako Euskal Akademiaren betebeharrak lan-poltsa kudeatzeko orduan? |
Lan-poltsako zati izango dira Polizia eta Larrialdietako Euskal Akademiak deitutako hautaketa-prozesuan parte hartu duten eta hori gainditu duten, eta Akademia horrek berak Arkauteko instalazioetan antolatutako prestakuntza-ikastaroa egin duten pertsonak. |
CachedMultipleNegativesRankingLoss with these parameters:{
"scale": 10.0,
"num_negatives": null,
"activation_fn": "torch.nn.modules.activation.Sigmoid",
"mini_batch_size": 16
}
query and positive| query | positive | |
|---|---|---|
| type | string | string |
| details |
|
|
| query | positive |
|---|---|
Zein dira Funtzio Publikoko Zuzendaritzako Giza Baliabideen arduradunaren lanpostua lortzeko baldintzak? |
Funtzio Publikoko Zuzendaritzan Giza Baliabideen arduradunaren lanpostu bat (kodea: 511721; dotazioa: 1) hutsik dago. Beraz, sail honek erabaki du lanpostu hori izendapen askez betetzeko deialdia iragartzea, Euskal Enplegu Publikoari buruzko abenduaren 1eko 11/2022 Legearen 102. artikuluan agindutakoaren arabera, eta Funtzio Publikoaren Zuzendaritzak aldeko txostena eman ostean. Hauek dira deialdiaren |
Zein proiektuk aztertzen dute emakumeen parte-hartzea lan-munduan edo enpresetan? |
30/2009PRO Universidad de Deusto ¿Por qué estás aquí y no allí? Mujeres, dirección y liderazgo. 02 |
Zein urtetan ezarri zen martxan 9030 dorrearen inguruko linea elektrikoa? |
Aipatutako sektoreak burutzen badira, 9030 dorrea izango da dorre bakarra inguru guztian. |
CachedMultipleNegativesRankingLoss with these parameters:{
"scale": 10.0,
"num_negatives": null,
"activation_fn": "torch.nn.modules.activation.Sigmoid",
"mini_batch_size": 16
}
eval_strategy: stepsper_device_train_batch_size: 16per_device_eval_batch_size: 16learning_rate: 2e-05num_train_epochs: 1warmup_ratio: 0.1load_best_model_at_end: Truebatch_sampler: no_duplicatesoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: stepsprediction_loss_only: Trueper_device_train_batch_size: 16per_device_eval_batch_size: 16per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 1eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 2e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 1max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falseuse_ipex: Falsebf16: Falsefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedeepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torchoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsehub_revision: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: Falseneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseliger_kernel_config: Noneeval_use_gather_object: Falseaverage_tokens_across_devices: Falseprompts: Nonebatch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}| Epoch | Step | Training Loss | Validation Loss | bge-reranker-v2-m3-contrastive-bopv-4-1ep_ndcg@10 |
|---|---|---|---|---|
| 1.0 | 200 | 0.0766 | 0.0573 | 0.0274 (+0.0274) |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
Base model
BAAI/bge-reranker-v2-m3