cuadron11/bge-reranker-v2-m3-contrastive-parl-4-3ep

CrossEncoder based on BAAI/bge-reranker-v2-m3

This is a Cross Encoder model finetuned from BAAI/bge-reranker-v2-m3 using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

• Model Type: Cross Encoder
• Base model: BAAI/bge-reranker-v2-m3
• Maximum Sequence Length: 8192 tokens
• Number of Output Labels: 1 label

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("cuadron11/bge-reranker-v2-m3-contrastive-parl-4-3ep")
# Get scores for pairs of texts
pairs = [
    ['Zer malgutasun-neurri eskatzen dituzte Zuzenean zerbitzuko langileek?', '[TOPIC: Galdera, Oihana Etxebarrieta Legrand EH Bildu taldeko legebiltzarkideak Gobernantza Publiko eta Autogobernuko sailburuari egina, Zuzenean zerbitzuko langileek malgutasun-neurriak hartzeko zailtasunei buruz]\n[ETXEBARRIETA LEGRAND, (EH Bildu)]:\nZuzenean-eko emakumeek. Eta gauza pilo bat neuzkan prestatuta, baina, benetan, amaitu nahiko nuke kontu batekin. Malgutasunak…, zuk diozu are eta gauza gehiago eskatzen direla; ez, 2010eko hitzarmena da eskatzen ari direna. Eta zuen ezintasuna izan da 2010etik 2019ra bestelako hitzarmenen bat lortzea, baina, 2010etik aurrera, urtero-urtero sinatzen zen sindikatuekin batera adostutako ordutegi bat, eta malgutasunak bertan sartzen ziren, eta orain ez dituzue lortu, eta esan diezue ez dituzuela horiek (Date: 05.04.2019)'],
    ['Zein da Euskal Legebiltzar Talde Popularraren jarrera desgaitasunari buruzko lege orokorraren inguruan?', '[TOPIC: Euskal Legebiltzar Talde Popularrak egindako legez besteko proposamena, desgaitasunari buruzko lege orokor bat egitearen gainean. Eztabaida eta behin betiko ebazpena]\n[SARASUA DÍAZ, (SV-ES)]:\njakizu, Llanos andrea, murrizketa horiek kalte egin dietela pertsona horiei, kalte handia, benetan. Kalte handia. Bigarrenik, beldur gara Gobernuak ez ote duen desgaitasunari buruzko legea erabili nahi izango eskubideak murrizteko, finantzaketa murrizteko eta desgaitasuna duten pertsonak babesik gabe uzteko. Ez gara fio, eta badugu horretarako arrazoirik ere; horregatik, Talde Sozialista arreta handiz ari da jarraitzen lege honen izapidetze-ibilbide osoa Kongresuan. Dena dela, gai hau eztabaida-aldian da oraindik; gainera, (Date: 31.10.2013)'],
    ['Zein erakunderi eman zitzaizkien luzapenak 2013ko aurrekontu-luzapenari buruzko legezkotasuna bete ez arren?', '[TOPIC: Galdera, Susana Corcuera Leunda Euskal Sozialistak taldeko legebiltzarkideak Ogasun eta Finantzetako sailburuari egina, aurrekontu-luzapenari buruzko legezkotasuna 2013an ez betetzeari buruz]\n[OGASUN ETA FINANTZAKO SAILBURUAK (GATZAGAETXEBARRIA BASTIDA), (EA-NV)]:\nhurrengo urteetan jarraitzeko izaera daukatenean. Eta, adibidez, luzapena zertan egin da? Bada, hainbat inbertsio gure ehun ekonomikoaren eskola publikoan: Haurreskolan, bigarren eta lehen mailako eskolan, eta baita Lanbide Heziketan ere. Hor badaude luzapen batzuk. Hori da Herri Kontuen Auzitegiak egin duen interpretazioa, baina luzapen horiek derrigorrezkoak ziren; esaterako, Euskaltzaindiari emandako laguntzak, beharrezkoak zirenak. Lanbidek eman behar zituen laguntzak ere luzatu egin ziren, birgizarteratzeko enpleguan ematen direnak, (Date: 26.06.2015)'],
    ['Zein da Memoriaren, Bizikidetzaren eta Giza Eskubideen Institutuaren helburua?', '[TOPIC: Giza Eskubideen, Berdintasunaren eta Herritarren Partaidetzaren Batzordearen irizpena, Memoriaren, Bizikidetzaren eta Giza Eskubideen Institutua sortzeko lege-proposamenaren gainean egindakoa. Eztabaida eta behin betiko ebazpena]\n[ARES TABOADA, (SV-ES)]:\nzaretela diskurtso eta hitz anbiguoen bidez. Eta onar iezadazu gomendio bat. Ez itzazue hitz berriak bilatu gainerakoekin akordioetara iristeko, ez lanik egin hiztegian. Printzipioetan lan egin ezazue, egin behar dituzuen betebeharretan lan egin ezazue. Eta hor bai, ziur elkarrekin topo egin ahalko dugula, ez hiztegia miatzen. Zeren, begira, biktimek ez dute denek jatorri bera eta ez dira berdinak, ez baita berdina, ezin baita berdina izan zuek biktimatzat (Date: 27.11.2014)'],
    ['Noiz arte egongo dira indarrean gaur egun indarrean dauden hipoteka-maileguei aplikagarri zaizkien tipoak?', '[TOPIC: Lehenbailehen eztabaidatzeko Euskal Sozialistak legebiltzartaldeak egindako legez besteko proposamena, hipoteka-maileguei aplikagarri zaizkien indizeei buruz. Eztabaida eta behin betiko ebazpena]\n[DAMBORENEA BASTERRECHEA, (PV-ETP)]:\nduzu zuek, hori garestitu guztiei, hipotekak? Hori proposatzera etorri zara hona, Espainiako Gobernuak gauzak egiten ez badaki ere? Begira, badakizue irakurtzen, eta badakizue zer esaten duen aginduak. Badakizue esaten dutela urriaren 6ra arte indarrean egongo direla gaur indarrean dauden tipoak, ezta? Badakizue, ezta? Badakizue irakurtzen, biek. Ala ez? Ala arazoa da ez dakigula irakurtzen, hona etorri eta esateko PPren Gobernuak gauzak berandu eta gaizki egiten dituela? Baina (Date: 27.06.2013)'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'Zer malgutasun-neurri eskatzen dituzte Zuzenean zerbitzuko langileek?',
    [
        '[TOPIC: Galdera, Oihana Etxebarrieta Legrand EH Bildu taldeko legebiltzarkideak Gobernantza Publiko eta Autogobernuko sailburuari egina, Zuzenean zerbitzuko langileek malgutasun-neurriak hartzeko zailtasunei buruz]\n[ETXEBARRIETA LEGRAND, (EH Bildu)]:\nZuzenean-eko emakumeek. Eta gauza pilo bat neuzkan prestatuta, baina, benetan, amaitu nahiko nuke kontu batekin. Malgutasunak…, zuk diozu are eta gauza gehiago eskatzen direla; ez, 2010eko hitzarmena da eskatzen ari direna. Eta zuen ezintasuna izan da 2010etik 2019ra bestelako hitzarmenen bat lortzea, baina, 2010etik aurrera, urtero-urtero sinatzen zen sindikatuekin batera adostutako ordutegi bat, eta malgutasunak bertan sartzen ziren, eta orain ez dituzue lortu, eta esan diezue ez dituzuela horiek (Date: 05.04.2019)',
        '[TOPIC: Euskal Legebiltzar Talde Popularrak egindako legez besteko proposamena, desgaitasunari buruzko lege orokor bat egitearen gainean. Eztabaida eta behin betiko ebazpena]\n[SARASUA DÍAZ, (SV-ES)]:\njakizu, Llanos andrea, murrizketa horiek kalte egin dietela pertsona horiei, kalte handia, benetan. Kalte handia. Bigarrenik, beldur gara Gobernuak ez ote duen desgaitasunari buruzko legea erabili nahi izango eskubideak murrizteko, finantzaketa murrizteko eta desgaitasuna duten pertsonak babesik gabe uzteko. Ez gara fio, eta badugu horretarako arrazoirik ere; horregatik, Talde Sozialista arreta handiz ari da jarraitzen lege honen izapidetze-ibilbide osoa Kongresuan. Dena dela, gai hau eztabaida-aldian da oraindik; gainera, (Date: 31.10.2013)',
        '[TOPIC: Galdera, Susana Corcuera Leunda Euskal Sozialistak taldeko legebiltzarkideak Ogasun eta Finantzetako sailburuari egina, aurrekontu-luzapenari buruzko legezkotasuna 2013an ez betetzeari buruz]\n[OGASUN ETA FINANTZAKO SAILBURUAK (GATZAGAETXEBARRIA BASTIDA), (EA-NV)]:\nhurrengo urteetan jarraitzeko izaera daukatenean. Eta, adibidez, luzapena zertan egin da? Bada, hainbat inbertsio gure ehun ekonomikoaren eskola publikoan: Haurreskolan, bigarren eta lehen mailako eskolan, eta baita Lanbide Heziketan ere. Hor badaude luzapen batzuk. Hori da Herri Kontuen Auzitegiak egin duen interpretazioa, baina luzapen horiek derrigorrezkoak ziren; esaterako, Euskaltzaindiari emandako laguntzak, beharrezkoak zirenak. Lanbidek eman behar zituen laguntzak ere luzatu egin ziren, birgizarteratzeko enpleguan ematen direnak, (Date: 26.06.2015)',
        '[TOPIC: Giza Eskubideen, Berdintasunaren eta Herritarren Partaidetzaren Batzordearen irizpena, Memoriaren, Bizikidetzaren eta Giza Eskubideen Institutua sortzeko lege-proposamenaren gainean egindakoa. Eztabaida eta behin betiko ebazpena]\n[ARES TABOADA, (SV-ES)]:\nzaretela diskurtso eta hitz anbiguoen bidez. Eta onar iezadazu gomendio bat. Ez itzazue hitz berriak bilatu gainerakoekin akordioetara iristeko, ez lanik egin hiztegian. Printzipioetan lan egin ezazue, egin behar dituzuen betebeharretan lan egin ezazue. Eta hor bai, ziur elkarrekin topo egin ahalko dugula, ez hiztegia miatzen. Zeren, begira, biktimek ez dute denek jatorri bera eta ez dira berdinak, ez baita berdina, ezin baita berdina izan zuek biktimatzat (Date: 27.11.2014)',
        '[TOPIC: Lehenbailehen eztabaidatzeko Euskal Sozialistak legebiltzartaldeak egindako legez besteko proposamena, hipoteka-maileguei aplikagarri zaizkien indizeei buruz. Eztabaida eta behin betiko ebazpena]\n[DAMBORENEA BASTERRECHEA, (PV-ETP)]:\nduzu zuek, hori garestitu guztiei, hipotekak? Hori proposatzera etorri zara hona, Espainiako Gobernuak gauzak egiten ez badaki ere? Begira, badakizue irakurtzen, eta badakizue zer esaten duen aginduak. Badakizue esaten dutela urriaren 6ra arte indarrean egongo direla gaur indarrean dauden tipoak, ezta? Badakizue, ezta? Badakizue irakurtzen, biek. Ala ez? Ala arazoa da ez dakigula irakurtzen, hona etorri eta esateko PPren Gobernuak gauzak berandu eta gaizki egiten dituela? Baina (Date: 27.06.2013)',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Evaluation

Metrics

Cross Encoder Reranking

• Dataset: bge-reranker-v2-m3-contrastive-parl-4-3ep
• Evaluated with CrossEncoderRerankingEvaluator with these parameters:

  {
      "at_k": 10,
      "always_rerank_positives": false
  }
  

Metric	Value
map	0.0112 (+0.0108)
mrr@10	0.0112 (+0.0110)
ndcg@10	0.0112 (+0.0108)

Training Details

Training Dataset

Unnamed Dataset

• Size: 3,200 training samples
• Columns: query and positive
• Approximate statistics based on the first 1000 samples:

  	query	positive
  type	string	string
  details	min: 29 characters mean: 100.69 characters max: 195 characters	min: 562 characters mean: 972.1 characters max: 2071 characters

• Samples:

  query	positive
  Zenbat etxegabetze izan dira Euskadin 2013 eta 2021 artean 10.000 biztanleko?	[TOPIC: Galdera, Miren Gorrotxategi Azurmendi Elkarrekin Podemos-IU taldeko legebiltzarkideak lehendakariari egina, herritarren eskubideak espekulazio-arauen menpe ez egoteari buruz] [JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]: babesa izango duzue. Gure eskumenen eremuari dagokionez, jakin badakigu pertsonek egoera ugariren ondorioz arazoak izan ditzaketela kreditu-betebeharrei aurre egiteko eta, ondorioz, etxebizitza galtzeko arriskuan egon daitezkeela. Eusko Jaurlaritzaren babesa dute horiek guztiek, eta aholkularitza eta laguntza ekonomikoak dituzte eskura beren arazoei konponbide bat emateko. Sentsibilitate hori argi ikus daiteke; izan ere, aipatutako arazoak eragin txikiagoa du Euskadin beste autonomia-erkidegoekin alderatuz gero. Datu batzuk emango dizkizut, Botere Judizialaren Kontseilu Nagusian dutenak jatorria. Estatu osoan Euskadi da biztanle bakoitzeko etxegabetze gutxien izan dituen erkidegoa. Euskadin, 2013 eta 2021 artean, 37 etxegabetze egin dira 10.000 biz...
  Zein izan da Euskal Talde Popularra-Ciudadanos talde parlamentarioaren legez besteko proposamenaren helburua erronka demografikoaren 2020-2030 euskal estrategiari dagokionez?	[TOPIC: Euskal Talde Popularra-Ciudadanos talde parlamentarioak egindako legez besteko proposamena, erronka demografikoaren 2020-2030 euskal estrategiari buruz. Eztabaida eta behin betiko ebazpena] [SOTO RODRÍGUEZ, (EP-IU)]: agertzen dela zuzenketan, hain zuzen ere esaten baita ondo egin direla erronka demografikoari aurre egiteko politikak; hau da, gu bat ez gatozen gauzak ondo egin direla dioen balioespena da; izan ere, Kortajarena andreak ondo esan dizun bezala, elementu batzuk adierazle gisa ezarri ziren erronka demografikoaren arazoari aurre egiteko zer egin behar den islatze aldera; haien artean bat pobreziarena zen, eta pobrezia, azken estatistiken arabera, handitu egin da; herrialde honetako desberdintasun-arrakala handitu egin (Date: 03.03.2022)
  Zergatik aldatu zaio izena Justizia Konponarazlearen Zerbitzuari?	[TOPIC: Galdera, Jon Hernández Hidalgo Elkarrekin Podemos taldeko legebiltzarkideak Lan eta Justiziako sailburuari egina, Justizia Konponarazlearen Zerbitzuko prestazioak egitea kontratatzeko lehiaketaren oinarriei buruz] [HERNÁNDEZ HIDALGO, (EP)]: judizial izena hartu zuen... Hau da, bi izen eduki ditu dagoeneko, nahiz eta zerbitzua berbera izan, eta orain, zabaldu egin denean, izena aldatu zaio. Ondo iruditzen zaigu izena aldatzea, baina zerbitzua berbera da, eta, beraz, ez dago arrazoirik orain arte lan hori egin dutenak baztertzeko. Gure ustez, zerbitzu horiek Administrazioak eman behar lituzke, zuzenean, eta ez hitzarmenen edo esleipen bidez, baina zuek zerbitzua esleitzea erabaki duzue. Ondo iruditzen zaigu. Ondo iruditzen (Date: 02.02.2018)

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 10.0,
      "num_negatives": null,
      "activation_fn": "torch.nn.modules.activation.Sigmoid",
      "mini_batch_size": 16
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 800 evaluation samples
• Columns: query and positive
• Approximate statistics based on the first 800 samples:

  	query	positive
  type	string	string
  details	min: 34 characters mean: 98.54 characters max: 235 characters	min: 599 characters mean: 985.26 characters max: 2112 characters

• Samples:

  query	positive
  Zer malgutasun-neurri eskatzen dituzte Zuzenean zerbitzuko langileek?	[TOPIC: Galdera, Oihana Etxebarrieta Legrand EH Bildu taldeko legebiltzarkideak Gobernantza Publiko eta Autogobernuko sailburuari egina, Zuzenean zerbitzuko langileek malgutasun-neurriak hartzeko zailtasunei buruz] [ETXEBARRIETA LEGRAND, (EH Bildu)]: Zuzenean-eko emakumeek. Eta gauza pilo bat neuzkan prestatuta, baina, benetan, amaitu nahiko nuke kontu batekin. Malgutasunak…, zuk diozu are eta gauza gehiago eskatzen direla; ez, 2010eko hitzarmena da eskatzen ari direna. Eta zuen ezintasuna izan da 2010etik 2019ra bestelako hitzarmenen bat lortzea, baina, 2010etik aurrera, urtero-urtero sinatzen zen sindikatuekin batera adostutako ordutegi bat, eta malgutasunak bertan sartzen ziren, eta orain ez dituzue lortu, eta esan diezue ez dituzuela horiek (Date: 05.04.2019)
  Zein da Euskal Legebiltzar Talde Popularraren jarrera desgaitasunari buruzko lege orokorraren inguruan?	[TOPIC: Euskal Legebiltzar Talde Popularrak egindako legez besteko proposamena, desgaitasunari buruzko lege orokor bat egitearen gainean. Eztabaida eta behin betiko ebazpena] [SARASUA DÍAZ, (SV-ES)]: jakizu, Llanos andrea, murrizketa horiek kalte egin dietela pertsona horiei, kalte handia, benetan. Kalte handia. Bigarrenik, beldur gara Gobernuak ez ote duen desgaitasunari buruzko legea erabili nahi izango eskubideak murrizteko, finantzaketa murrizteko eta desgaitasuna duten pertsonak babesik gabe uzteko. Ez gara fio, eta badugu horretarako arrazoirik ere; horregatik, Talde Sozialista arreta handiz ari da jarraitzen lege honen izapidetze-ibilbide osoa Kongresuan. Dena dela, gai hau eztabaida-aldian da oraindik; gainera, (Date: 31.10.2013)
  Zein erakunderi eman zitzaizkien luzapenak 2013ko aurrekontu-luzapenari buruzko legezkotasuna bete ez arren?	[TOPIC: Galdera, Susana Corcuera Leunda Euskal Sozialistak taldeko legebiltzarkideak Ogasun eta Finantzetako sailburuari egina, aurrekontu-luzapenari buruzko legezkotasuna 2013an ez betetzeari buruz] [OGASUN ETA FINANTZAKO SAILBURUAK (GATZAGAETXEBARRIA BASTIDA), (EA-NV)]: hurrengo urteetan jarraitzeko izaera daukatenean. Eta, adibidez, luzapena zertan egin da? Bada, hainbat inbertsio gure ehun ekonomikoaren eskola publikoan: Haurreskolan, bigarren eta lehen mailako eskolan, eta baita Lanbide Heziketan ere. Hor badaude luzapen batzuk. Hori da Herri Kontuen Auzitegiak egin duen interpretazioa, baina luzapen horiek derrigorrezkoak ziren; esaterako, Euskaltzaindiari emandako laguntzak, beharrezkoak zirenak. Lanbidek eman behar zituen laguntzak ere luzatu egin ziren, birgizarteratzeko enpleguan ematen direnak, (Date: 26.06.2015)

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 10.0,
      "num_negatives": null,
      "activation_fn": "torch.nn.modules.activation.Sigmoid",
      "mini_batch_size": 16
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	bge-reranker-v2-m3-contrastive-parl-4-3ep_ndcg@10
1.0	200	0.0188	0.0099	0.0112 (+0.0108)

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.9.7
• Sentence Transformers: 5.0.0
• Transformers: 4.56.0
• PyTorch: 2.7.1+cu126
• Accelerate: 1.5.2
• Datasets: 4.0.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}