Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Paper • 1908.10084 • Published • 16
How to use cuadron11/jina-reranker-v2-base-multilingual-contrastive-parl-4-1ep-mle5 with sentence-transformers:
from sentence_transformers import CrossEncoder
model = CrossEncoder("cuadron11/jina-reranker-v2-base-multilingual-contrastive-parl-4-1ep-mle5", trust_remote_code=True)
query = "Which planet is known as the Red Planet?"
passages = [
"Venus is often called Earth's twin because of its similar size and proximity.",
"Mars, known for its reddish appearance, is often referred to as the Red Planet.",
"Jupiter, the largest planet in our solar system, has a prominent red spot.",
"Saturn, famous for its rings, is sometimes mistaken for the Red Planet."
]
scores = model.predict([(query, passage) for passage in passages])
print(scores)This is a Cross Encoder model finetuned from jinaai/jina-reranker-v2-base-multilingual using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import CrossEncoder
# Download from the 🤗 Hub
model = CrossEncoder("cuadron11/jina-reranker-v2-base-multilingual-contrastive-parl-4-1ep-mle5")
# Get scores for pairs of texts
pairs = [
["Zein da Carmelo Barrio Baroja legebiltzarkidearen iritzia 'Memoriaren Mapa amaituz' agiriari buruz?", "[TOPIC: Galdera, Carmelo Barrio Baroja Euskal Talde Popularreko legebiltzarkideak lehendakariari egina, 'Memoriaren Mapa amaituz' agiriari buruz]\n[BARRIO BAROJA, (PV-ETP)]:\nlausotu egiten dituzu, eta hori guztia gatazkari buruzko teoria injustu bat elikatzen jarraitzeko. Eta hori tristea da, lehendakari jauna. Egunez egun, gero eta gehiago ahazten dituzu ETAren eta terrorismoaren biktimak. Bere presentziarekin, bere komunikatuekin erasotzen jarraitzen duen erakunde terrorista bat dugu oraindik, eta oraindik argitzeke daude ETAren krimen asko. Ez nahastu biktimak, lehendakari jauna. Eskerrik asko. La (Date: 13.06.2014)"],
['Zein da Ertzaintzaren sindikatuekin abiatutako negoziazio-ekimenen helburua?', '[TOPIC: Galdera, Iñigo Iturrate Ibarra Euzko Abertzaleak taldeko legebiltzarkideak Segurtasuneko sailburuari egina, Segurtasun Sailak Ertzaintzaren sindikatuekin abiatutako negoziazio-ekimenei buruz]\n[SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]:\nzerbitzuak. Ertzaintzak egitura berriak finkatzen jarraitzen du eta gaur eta etorkizunean nahi dugun polizia-eredua finkatzeko neurriak hartzen ari dira. Eta eredu horretan, protestak (bidezkoa izanik ere) ezin du baliogabetu, ezin du ordezkatu sindikatuek proposatzeko, negoziatzeko eta akordioetara iristeko duten erantzukizuna. Horregatik, nire erantzukizuna kontuan harturik, elkarrizketarako eta negoziaziorako erakundeak deitzen jarraituko dugu behar den guztietan. Borondate hori bera eta jarrera hori bera eskatzen diet sindikatuei ere. Ezin dugu baztertu (Date: 13.03.2015)'],
['Zein fasetan dago Emakumeen eta Gizonen Berdintasunerako VII. Plana?', '[TOPIC: Galdera, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak lehendakariari egina, Emakumeen eta Gizonen Berdintasunerako VII. Planari eta Euskadiko Ekonomia eta Gizarte Arazoetarako Batzordearen irizpenari buruz]\n[JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]:\nesango dizut VII. Berdintasun Plana bere osaketaren azken fasean dagoela, hilabete batzuen buruan onetsiko dela, eta Emakundek eskatuta Ekonomia eta Gizarte Arazoetarako Batzordeak egin dituen ekarpenak balioztatu eta errespetatu egiten ditugula. Eta plan berriak erakunde horrek proposatu dituen neurriak garatzeko behar den esparrua eskaintzen du, hain zuzen ere. Hori bai, dagokien unean; hau da, erakunde bakoitzaren programa zehatzen gida-plana gauzatzeko orduan, Macazaga andrea. Ez baitira nahasi behar gida-plan (Date: 13.04.2018)'],
['Zein da Andueza Lorenzoren ikuspuntua Eusko Jaurlaritzak parte hartzen duen ekitaldi instituzionaletan Espainiako bandera erabiltzeari buruz?', '[TOPIC: Mistoa talde parlamentarioak egindako legez besteko proposamena, Eusko Jaurlaritzak parte hartzen duen ekitaldi instituzionaletan Espainiako bandera erabiltzeari buruz. Eztabaida eta behin betiko ebaztea]\n[ANDUEZA LORENZO, (SV-ES)]:\nari baitira zerbitzu horiek ahulduta gera ez daitezen. Gure industriarentzat, merkatari txikientzat, ETEentzat, konponbideak bilatzen izango nauzu ni. Gaur bertan, Legebiltzar honetan, gai horietako batzuk jorratu dira, eta eztabaida horietan aurkituko nauzu ni. Bai eta, jakina, Gobernua kontrolatzen eta hari kritika egiten ere, huts egin badu jardunean. Horretarako gaude, halaber, gai horiei buruz eztabaidatzeko. Baina, begira, herri honetan, zuek politikagintzan hasi baino lehen ere, uste dut denbora eta energia (Date: 27.05.2021)'],
['Zein da UPyDren helburua San Mames berriaren eraikuntzan lan-araudia ez betetzeari buruzko mozioarekin?', '[TOPIC: Mozioa, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebiltzarkideak aurkeztua, San Mames berriaren eraikuntzan lan-araudia ez betetzeari buruz. Eztabaida eta behin betiko ebazpena]\n[MANEIRO LABAYEN, (Mixto-UPyD)]:\nhori salatzea da. Interpelazioa, Arregi andrea, ez zen UPyDren jakin-mina. Ez zen jakin-mina. Ganberan egindako salaketa bat zen, hor egin behar baita, Eusko Legebiltzarrean. Hori da gure lana, ikustea zer egiten duen gaizki Jaurlaritzak, eta hori salatzea eta hona ekartzea. Beraz, esan bezala, mozio honek ez du kezka eragiten; oso egokia da, eta oso beharrezkoa. Dena den, Matute jauna, ez da denbora-galtze bat, ez da denboragaltze bat; izan ere, (Date: 17.10.2013)'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)
# Or rank different texts based on similarity to a single text
ranks = model.rank(
"Zein da Carmelo Barrio Baroja legebiltzarkidearen iritzia 'Memoriaren Mapa amaituz' agiriari buruz?",
[
"[TOPIC: Galdera, Carmelo Barrio Baroja Euskal Talde Popularreko legebiltzarkideak lehendakariari egina, 'Memoriaren Mapa amaituz' agiriari buruz]\n[BARRIO BAROJA, (PV-ETP)]:\nlausotu egiten dituzu, eta hori guztia gatazkari buruzko teoria injustu bat elikatzen jarraitzeko. Eta hori tristea da, lehendakari jauna. Egunez egun, gero eta gehiago ahazten dituzu ETAren eta terrorismoaren biktimak. Bere presentziarekin, bere komunikatuekin erasotzen jarraitzen duen erakunde terrorista bat dugu oraindik, eta oraindik argitzeke daude ETAren krimen asko. Ez nahastu biktimak, lehendakari jauna. Eskerrik asko. La (Date: 13.06.2014)",
'[TOPIC: Galdera, Iñigo Iturrate Ibarra Euzko Abertzaleak taldeko legebiltzarkideak Segurtasuneko sailburuari egina, Segurtasun Sailak Ertzaintzaren sindikatuekin abiatutako negoziazio-ekimenei buruz]\n[SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]:\nzerbitzuak. Ertzaintzak egitura berriak finkatzen jarraitzen du eta gaur eta etorkizunean nahi dugun polizia-eredua finkatzeko neurriak hartzen ari dira. Eta eredu horretan, protestak (bidezkoa izanik ere) ezin du baliogabetu, ezin du ordezkatu sindikatuek proposatzeko, negoziatzeko eta akordioetara iristeko duten erantzukizuna. Horregatik, nire erantzukizuna kontuan harturik, elkarrizketarako eta negoziaziorako erakundeak deitzen jarraituko dugu behar den guztietan. Borondate hori bera eta jarrera hori bera eskatzen diet sindikatuei ere. Ezin dugu baztertu (Date: 13.03.2015)',
'[TOPIC: Galdera, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak lehendakariari egina, Emakumeen eta Gizonen Berdintasunerako VII. Planari eta Euskadiko Ekonomia eta Gizarte Arazoetarako Batzordearen irizpenari buruz]\n[JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]:\nesango dizut VII. Berdintasun Plana bere osaketaren azken fasean dagoela, hilabete batzuen buruan onetsiko dela, eta Emakundek eskatuta Ekonomia eta Gizarte Arazoetarako Batzordeak egin dituen ekarpenak balioztatu eta errespetatu egiten ditugula. Eta plan berriak erakunde horrek proposatu dituen neurriak garatzeko behar den esparrua eskaintzen du, hain zuzen ere. Hori bai, dagokien unean; hau da, erakunde bakoitzaren programa zehatzen gida-plana gauzatzeko orduan, Macazaga andrea. Ez baitira nahasi behar gida-plan (Date: 13.04.2018)',
'[TOPIC: Mistoa talde parlamentarioak egindako legez besteko proposamena, Eusko Jaurlaritzak parte hartzen duen ekitaldi instituzionaletan Espainiako bandera erabiltzeari buruz. Eztabaida eta behin betiko ebaztea]\n[ANDUEZA LORENZO, (SV-ES)]:\nari baitira zerbitzu horiek ahulduta gera ez daitezen. Gure industriarentzat, merkatari txikientzat, ETEentzat, konponbideak bilatzen izango nauzu ni. Gaur bertan, Legebiltzar honetan, gai horietako batzuk jorratu dira, eta eztabaida horietan aurkituko nauzu ni. Bai eta, jakina, Gobernua kontrolatzen eta hari kritika egiten ere, huts egin badu jardunean. Horretarako gaude, halaber, gai horiei buruz eztabaidatzeko. Baina, begira, herri honetan, zuek politikagintzan hasi baino lehen ere, uste dut denbora eta energia (Date: 27.05.2021)',
'[TOPIC: Mozioa, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebiltzarkideak aurkeztua, San Mames berriaren eraikuntzan lan-araudia ez betetzeari buruz. Eztabaida eta behin betiko ebazpena]\n[MANEIRO LABAYEN, (Mixto-UPyD)]:\nhori salatzea da. Interpelazioa, Arregi andrea, ez zen UPyDren jakin-mina. Ez zen jakin-mina. Ganberan egindako salaketa bat zen, hor egin behar baita, Eusko Legebiltzarrean. Hori da gure lana, ikustea zer egiten duen gaizki Jaurlaritzak, eta hori salatzea eta hona ekartzea. Beraz, esan bezala, mozio honek ez du kezka eragiten; oso egokia da, eta oso beharrezkoa. Dena den, Matute jauna, ez da denbora-galtze bat, ez da denboragaltze bat; izan ere, (Date: 17.10.2013)',
]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]
jina-reranker-v2-base-multilingual-contrastive-parl-4-1ep-mle5CrossEncoderRerankingEvaluator with these parameters:{
"at_k": 10,
"always_rerank_positives": false
}
| Metric | Value |
|---|---|
| map | 0.0187 (+0.0181) |
| mrr@10 | 0.0187 (+0.0184) |
| ndcg@10 | 0.0187 (+0.0179) |
query and positive| query | positive | |
|---|---|---|
| type | string | string |
| details |
|
|
| query | positive |
|---|---|
Zein da Etxebarrieta Legranden iritzia emakumeen planto egiteari buruz? |
[TOPIC: Mozioa, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak aurkeztua, zaintza-lanei, gizarte berdintzaileagoari eta bizitzak erdigunean jartzeko tresnei buruz. Eztabaida eta behin betiko ebazpena] |
Zer jarduera mota baimentzen ditu Gasteizko Mendiak parke natural izendatzeko hasierako onarpenak? |
[TOPIC: Galdera, Daniel Maeztu Perez EH Bildu taldeko legebiltzarkideak Ingurumen eta Lurralde Politikako sailburuari egina, Gasteizko Mendiak parke natural izendatzearen inguruan] |
Zein da Eusko Jaurlaritzaren asmoa Jarduera Ekonomikoetarako Lurzorua Sortzeko eta Saltoki Handiak Antolatzeko Lurraldearen Arloko Planaren inguruan? |
[TOPIC: Galdera, Iker Casanova Alonso EH Bildu taldeko legebiltzarkideak Ingurumen, Lurralde Plangintza eta Etxebizitzako sailburuari egina, Jarduera Ekonomikoetarako Lurzorua Sortzeko eta Saltoki Handiak Antolatzeko Lurraldearen Arloko Planaren inguruan Jaurlaritzak dituen asmoei buruz] |
CachedMultipleNegativesRankingLoss with these parameters:{
"scale": 10.0,
"num_negatives": null,
"activation_fn": "torch.nn.modules.activation.Sigmoid",
"mini_batch_size": 16
}
query and positive| query | positive | |
|---|---|---|
| type | string | string |
| details |
|
|
| query | positive |
|---|---|
Zein da Carmelo Barrio Baroja legebiltzarkidearen iritzia 'Memoriaren Mapa amaituz' agiriari buruz? |
[TOPIC: Galdera, Carmelo Barrio Baroja Euskal Talde Popularreko legebiltzarkideak lehendakariari egina, 'Memoriaren Mapa amaituz' agiriari buruz] |
Zein da Ertzaintzaren sindikatuekin abiatutako negoziazio-ekimenen helburua? |
[TOPIC: Galdera, Iñigo Iturrate Ibarra Euzko Abertzaleak taldeko legebiltzarkideak Segurtasuneko sailburuari egina, Segurtasun Sailak Ertzaintzaren sindikatuekin abiatutako negoziazio-ekimenei buruz] |
Zein fasetan dago Emakumeen eta Gizonen Berdintasunerako VII. Plana? |
[TOPIC: Galdera, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak lehendakariari egina, Emakumeen eta Gizonen Berdintasunerako VII. Planari eta Euskadiko Ekonomia eta Gizarte Arazoetarako Batzordearen irizpenari buruz] |
CachedMultipleNegativesRankingLoss with these parameters:{
"scale": 10.0,
"num_negatives": null,
"activation_fn": "torch.nn.modules.activation.Sigmoid",
"mini_batch_size": 16
}
eval_strategy: stepsper_device_train_batch_size: 16per_device_eval_batch_size: 16learning_rate: 2e-05num_train_epochs: 1warmup_ratio: 0.1load_best_model_at_end: Truebatch_sampler: no_duplicatesoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: stepsprediction_loss_only: Trueper_device_train_batch_size: 16per_device_eval_batch_size: 16per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 1eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 2e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 1max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falseuse_ipex: Falsebf16: Falsefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedeepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torchoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsehub_revision: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: Falseneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseliger_kernel_config: Noneeval_use_gather_object: Falseaverage_tokens_across_devices: Falseprompts: Nonebatch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}| Epoch | Step | Training Loss | Validation Loss | jina-reranker-v2-base-multilingual-contrastive-parl-4-1ep-mle5_ndcg@10 |
|---|---|---|---|---|
| 1.0 | 200 | 0.0414 | 0.0302 | 0.0187 (+0.0179) |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
Base model
jinaai/jina-reranker-v2-base-multilingual