thivy/splade-multilingual-norwegian-health-summaries-v4

SPLADE multilingual fine-tuned on Norwegian health triplets (merged-v3)

This is a Asymmetric Inference-free SPLADE Sparse Encoder model finetuned from opensearch-project/opensearch-neural-sparse-encoding-multilingual-v1 on the eti-embedding-training-data-summaries-merged-v3-clean dataset using the sentence-transformers library. It maps sentences & paragraphs to a 105879-dimensional sparse vector space and can be used for semantic search and sparse retrieval.

Model Details

Model Description

• Model Type: Asymmetric Inference-free SPLADE Sparse Encoder
• Base model: opensearch-project/opensearch-neural-sparse-encoding-multilingual-v1
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 105879 dimensions
• Similarity Function: Dot Product
• Training Dataset:
  • eti-embedding-training-data-summaries-merged-v3-clean
• Language: no
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Sparse Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sparse Encoders on Hugging Face

Full Model Architecture

SparseEncoder(
  (0): Router(
    (sub_modules): ModuleDict(
      (query): Sequential(
        (0): SparseStaticEmbedding({'frozen': True}, dim=105879, tokenizer=BertTokenizerFast)
      )
      (document): Sequential(
        (0): MLMTransformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertForMaskedLM'})
        (1): SpladePooling({'pooling_strategy': 'max', 'activation_function': 'relu', 'word_embedding_dimension': 105879})
      )
    )
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SparseEncoder

# Download from the 🤗 Hub
model = SparseEncoder("thivy/splade-multilingual-norwegian-health-summaries-v4")
# Run inference
queries = [
    "Kriterier for varig funksjonsvanske ved tildeling av hjelpemidler etter folketrygdloven.",
]
documents = [
    'Dokumentet gir en grundig oversikt over rettigheter, vilkår og søknadsprosess for å få utlånt senger, madrasser, tilbehør og forflytningshjelpemidler fra det offentlige, hovedsakelig gjennom NAV hjelpemiddelsentral. Hovedtemaet er å informere personer med varig nedsatt funksjonsevne om hvilke hjelpemidler som finnes for pleie, stell og forflytning i og rundt seng, samt hvordan man går frem for å søke om disse. Dokumentet retter seg primært mot brukere med bevegelsesvansker, deres pårørende og fagpersoner som fysioterapeuter, ergoterapeuter og kommunale hjelpemiddelformidlere. Tjenesten omfatter hjelpemidler som elektrisk regulerbare senger, trykkavlastende madrasser, hjertebrett, sengebord, sengegrinder, utstyr for overflytting og vending, samt tilbehør som støttehåndtak og posisjoneringsputer. Det gis informasjon om søknadsprosess, krav til dokumentasjon, opplæring, levering, vedlikehold, reparasjon, bytte, forsikring og klagerettigheter. Sentrale begreper og entiteter inkluderer NAV hjelpemiddelsentral, folketrygden, funksjonsvansker, hjelpemiddelformidler, brukerpass, og relevante lover og forskrifter. Dokumentet dekker helse- og velferdstjenester innenfor området hjelpemidler og tilrettelegging for personer med nedsatt funksjonsevne.',
    'Dokumentet omhandler kommunens ansvar for tidlig oppdagelse av utsatte barn og unge, med hovedformål å sikre at ansatte i relevante tjenester har nødvendig kunnskap og rutiner for å identifisere og følge opp barn og unge som lever i risikosituasjoner. Målgruppen er primært kommunens ledelse og ansatte i barnehage, skole, helse- og omsorgstjenester, barnevern, NAV, fastlege- og tannhelsetjenesten, samt andre fagpersoner som møter barn, unge og deres familier i sitt arbeid. Dokumentet beskriver offentlige tjenester innen oppvekst, utdanning, helse, omsorg, barnevern og sosialtjenester, og vektlegger betydningen av systematisk observasjon, dokumentasjon, samtaler med barn og foreldre, og tverrfaglig samarbeid. Sentrale begreper er beskyttelsesfaktorer, risikofaktorer, tegn og signaler på bekymring, rutiner for håndtering av bekymring, opplysningsplikt, avvergeplikt, og samhandlingsavtaler. Dokumentet refererer til lovverk som helse- og omsorgstjenesteloven, barnehageloven, opplæringsloven, barnevernloven, sosialtjenesteloven og politiloven, og beskriver modeller for tverrfaglig samarbeid som BTI og SLT. Det understrekes at ledelsen har ansvar for kompetanseutvikling, rutiner, internkontroll og samarbeid for å sikre tidlig innsats og helhetlig oppfølging av utsatte barn og unge.',
    'Dokumentet om funksjonsassistanse i arbeidslivet beskriver en offentlig ordning som gir praktisk assistanse til personer med fysisk funksjonsnedsettelse eller sterkt nedsatt syn, slik at de kan utføre sine ordinære arbeidsoppgaver og stå i ordinært lønnet arbeid. Formålet er å sikre inkludering og deltakelse i arbeidslivet for denne gruppen, og ordningen gjelder også for lærlinger og personer med lønnstilskudd. Målgruppen er primært arbeidstakere med funksjonsnedsettelse, men også arbeidsgivere og funksjonsassistenter får relevant informasjon. Tjenesten administreres av Nav hjelpemiddelsentral og omfatter dekning av lønnsutgifter til en assistent, som kan være en kollega, en ansatt eller en ekstern leverandør. Funksjonsassistanse kan kombineres med andre tiltak som brukerstyrt personlig assistanse (BPA), inkluderingstilskudd og lese- og sekretærhjelp. Ordningen regulerer også forhold ved sykefravær, permittering og endringer i behov, og gir informasjon om søknadsprosess, klagerettigheter og lovgrunnlag. Sentrale begreper er funksjonsassistanse, Nav, arbeidsliv, tilrettelegging, assistent, inkludering, og arbeidsmarkedstiltak.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 105879] [3, 105879]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[16.3203,  2.6027,  6.7327]])

Evaluation

Metrics

Sparse Information Retrieval

• Datasets: dev_ir and test_ir
• Evaluated with SparseInformationRetrievalEvaluator

Metric	dev_ir	test_ir
dot_accuracy@1	0.419	0.385
dot_accuracy@5	0.849	0.848
dot_accuracy@10	0.944	0.941
dot_precision@1	0.419	0.385
dot_precision@3	0.2407	0.2457
dot_precision@5	0.1698	0.1696
dot_precision@10	0.0944	0.0941
dot_recall@1	0.419	0.385
dot_recall@3	0.722	0.737
dot_recall@5	0.849	0.848
dot_recall@10	0.944	0.941
dot_ndcg@10	0.6787	0.6669
dot_mrr@10	0.5935	0.5782
dot_map@100	0.5968	0.5815
query_active_dims	18.961	19.327
query_sparsity_ratio	0.9998	0.9998
corpus_active_dims	273.813	271.68
corpus_sparsity_ratio	0.9974	0.9974
avg_flops	2.736	2.8036

Training Details

Training Dataset

eti-embedding-training-data-summaries-merged-v3-clean

• Dataset: eti-embedding-training-data-summaries-merged-v3-clean at f08589f
• Size: 205,705 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 6 tokens mean: 21.71 tokens max: 53 tokens	min: 226 tokens mean: 324.47 tokens max: 415 tokens	min: 163 tokens mean: 331.22 tokens max: 425 tokens

• Samples:

  anchor	positive	negative
  Hvordan kan taleapraksi påvirke en persons evne til å kommunisere?	Dokumentet omhandler kartlegging av kommunikasjonsvansker hos barn og elever med ervervet hjerneskade. Formålet er å beskrive hvordan man systematisk identifiserer og vurderer ulike typer kommunikasjonsutfordringer, som afasi, taleapraksi, dysartri, kognitive kommunikasjonsvansker og nevrologiske stemmevansker. Kartleggingen skal avdekke hvilke språkfunksjoner som er rammet, barnets styrker og svakheter, og danne grunnlag for tilpassede tiltak og mål. Dokumentet retter seg mot fagpersoner som logopeder, nevropsykologer, leger, fysioterapeuter, ergoterapeuter, samt Pedagogisk-psykologisk tjeneste (PPT), foreldre og andre som jobber med barn og elever i barnehage og skole. Tjenestetypen er helsetjenester og pedagogisk støtte, og samfunnsområdet er opplæring og rehabilitering etter hjerneskade. Sentrale begreper er kommunikasjonsvansker, kartlegging, ervervet hjerneskade, språkfunksjoner, tiltak, og samarbeid mellom spesialisthelsetjenesten, PPT og logoped. Dokumentet understreker viktigh...	Dokumentet gir veiledning til PP-rådgivere (pedagogisk-psykologisk tjeneste) om hvordan de best kan støtte barn som er født med leppe-kjeve-ganespalte (LKG) i opplæringssammenheng. Hovedtemaet er hvordan LKG kan påvirke barnets tale, hørsel og psykososiale utvikling, og hvordan rådgivere kan tilrettelegge for god språkutvikling og mestring. Dokumentet forklarer at alle barn med LKG i Norge får oppfølging av tverrfaglige spalteteam ved sykehusene i Oslo eller Bergen, og at behandlingen tilpasses individuelt fra fødsel til voksen alder. Det gis konkrete råd om systematisk kartlegging av barnets tale, betydningen av å sjekke hørsel, og hvordan man kan arbeide med språklyder barnet mestrer for å utvikle nye lyder. Videre vektlegges viktigheten av å skape trygghet, motivasjon og mestringsfølelse hos barnet, samt å tilpasse treningsøktene i lengde og innhold. Sentrale begreper og entiteter i dokumentet er leppe-kjeve-ganespalte, PP-rådgiver, spalteteam, talevansker, logopediske tiltak, hyper...
  Hva er aktivitetsplanen som skolen skal lage?	Dokumentet "Elevens skolemiljø" omhandler elevers rett til et trygt, inkluderende og helsefremmende skolemiljø, både psykososialt og fysisk. Formålet er å informere om skolens ansvar for å forebygge og håndtere mobbing, krenkelser og andre negative opplevelser, samt å beskrive rutiner for varsling, oppfølging og tiltak. Målgruppen er elever, foreldre/foresatte og ansatte i skolen, med særlig vekt på barn og unge i grunnskole og videregående opplæring. Dokumentet beskriver offentlige tjenester innen utdanning og oppvekst, inkludert skolehelsetjenesten, kommunale lavterskeltilbud som Fredrikstadhjelpa 0-16, og muligheten for å melde saker til Statsforvalteren. Sentrale begreper er skolemiljø, psykososialt miljø, fysisk miljø, mobbing, krenkelser, aktivitetsplan, rektor, skoleeier, og samarbeidspartnere. Det understrekes at elevens egen opplevelse er avgjørende, og at både elever og foreldre har rett til å bli hørt og involvert i prosessen. Dokumentet viser til relevant lovverk, forskrift...	Dokumentet omhandler energiøkonomisering hos barn og ungdom med muskelsykdommer, med hovedfokus på hvordan kraftnedsettelse påvirker hverdagen og behovet for tilrettelegging i barnehage og skole. Formålet er å øke forståelsen for utfordringene disse barna møter, særlig når nedsatt muskelkraft ikke er synlig, og å gi råd om hvordan energi kan disponeres for å sikre deltakelse i både lærings- og fritidsaktiviteter. Målgruppen er primært foreldre, ansatte i barnehage og skole, samt fagpersoner som fysioterapeuter og ergoterapeuter. Dokumentet gir innsikt i hvordan symptomer på kraftnedsettelse kan arte seg, og understreker viktigheten av observante voksne som kan tilpasse aktivitetene etter barnets behov. Det presenteres sentrale begreper som energiøkonomisering, kraftnedsettelse, tilrettelegging, og bruk av hjelpemidler som rullestol. Videre gis det praktiske råd fra både foreldre og fagpersoner om aktivitetsbalanse, pauser, og samarbeid mellom hjem og skole. Dokumentet er relevant for o...
  4-åringen min har fått en hjerneskade og skal tilbake i barnehagen – hva kan de gjøre for å hjelpe ham i hverdagen der?	Dokumentet omhandler ervervet hjerneskade hos barn og elever, med hovedfokus på hvordan slike skader kan påvirke læring, utvikling, sosial deltakelse og hverdagsliv. Formålet er å gi informasjon og konkrete råd om tilrettelegging i barnehage og skole for barn og unge som har fått en hjerneskade etter fødselen. Dokumentet retter seg primært mot fagpersoner som pedagoger, lærere, barnehageansatte og annet støttepersonell, men kan også være relevant for foresatte. Det tar for seg ulike former for tilrettelegging, både fysisk, sosialt og pedagogisk, og gir eksempler på tiltak ved utfordringer som fatigue, endrede bevegelsesmuligheter og kognitive vansker. Videre beskrives viktigheten av oppdagerkompetanse og kartlegging av kognitive, kommunikative, sosiale og emosjonelle vansker for å kunne iverksette riktige tiltak. Sentrale begreper og entiteter i dokumentet er ervervet hjerneskade, tilrettelegging, barnehage, skole, kognitive vansker, fatigue, kartlegging, og oppfølging over tid. Dokume...	Dokumentet om temahefter om hjerneskader presenterer en samling informasjonsmateriell rettet mot pasienter, pårørende, barn, unge og helsepersonell. Hovedtemaet er ervervet hjerneskade, med fokus på ulike aspekter som symptomer, rehabilitering, kognitive endringer, sosialt liv, seksualitet, hukommelsesvansker og mestring av hverdagen etter skade. Heftene gir praktiske råd, forklaringer og støtte til både den rammede og deres nærmeste, samt fagpersoner som arbeider med hjerneskader. Tjenestetypen er helse- og rehabiliteringstjenester, og samfunnsområdet er helse og omsorg. Sentrale begreper inkluderer ervervet hjerneskade, hjerneslag, traumatisk hjerneskade, kognitive endringer, hukommelsesvansker, rehabilitering, pårørendearbeid og mestring. Dokumentet inneholder også e-læringskurs for fagpersoner og spesifikke temahefter for barn, samt erfaringer fra personer som har opplevd hjerneskade. Entiteter som Sunnaas sykehus og Landsforeningen for slagrammede nevnes. Formålet er å gi kunnskap...

• Loss: SpladeLoss with these parameters:

  {
      "loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False)",
      "document_regularizer_weight": 0.003,
      "query_regularizer_weight": 5e-05
  }
  

Evaluation Dataset

eti-embedding-training-data-summaries-merged-v3-clean

• Dataset: eti-embedding-training-data-summaries-merged-v3-clean at f08589f
• Size: 500 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 500 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 6 tokens mean: 22.08 tokens max: 57 tokens	min: 163 tokens mean: 323.74 tokens max: 416 tokens	min: 228 tokens mean: 332.37 tokens max: 416 tokens

• Samples:

  anchor	positive	negative
  Hva kjennetegner behandling og oppfølging av barn med autisme?	Dokumentet gir en grundig oversikt over autisme, en utviklingsforstyrrelse som påvirker sosialt samspill, kommunikasjon og atferd, og som ofte omtales som autismespekterforstyrrelser (ASF) grunnet stor variasjon i symptomer og funksjonsevne. Formålet er å informere om symptomer, årsaker, utredning, behandling og støtteordninger for autisme. Målgruppen er bred og inkluderer foreldre, pårørende, personer med autisme, fagpersoner i helse- og utdanningssektoren, samt andre som søker kunnskap om tilstanden. Dokumentet omhandler helsetjenester, spesielt utredning og oppfølging i spesialisthelsetjenesten, samt tilrettelegging i barnehage, skole og arbeidsliv. Sentrale begreper er autisme, autismespekterforstyrrelser, sosialt samspill, kommunikasjon, gjentakende atferd, sanseutfordringer, dobbeltdiagnoser (som ADHD, angst, depresjon), utredning, Early Intensive Behavioral Intervention (EIBI), og tilrettelegging. Det beskrives at diagnosen stilles av spesialisthelsetjenesten, og at tidlig innsa...	Dokumentet gir en oversikt over nevroutviklingsforstyrrelser, som er tilstander som påvirker hjernens utvikling og fører til utfordringer med læring, kommunikasjon og sosialt samspill. Hovedtemaet er å forklare hva nevroutviklingsforstyrrelser som ADHD, Tourettes syndrom, autisme, non-verbale lærevansker (NLD) og DLD innebærer, samt å presentere tiltak og tilrettelegging for barn og elever med slike diagnoser. Dokumentet er rettet mot fagpersoner i barnehage og skole, samt foresatte og andre som jobber med barn og unge med nevroutviklingsforstyrrelser. Det tar for seg offentlig tilrettelegging innen utdanningssektoren og spesialpedagogiske tjenester, med vekt på hvordan man kan støtte barn og elever gjennom kartlegging, tilpasset opplæring, struktur, forutsigbarhet, og styrking av kommunikasjon og sosiale ferdigheter. Sentrale begreper og entiteter inkluderer autisme, ADHD, Tourettes syndrom, sensoriske vansker, eksekutive funksjoner, maskering, medvirkning, og tiltak for å fremme lek,...
  Hvilke utgifter til oppholdet dekkes av Helfo?	Dokumentet omhandler kursopphold ved Montebellosenteret for kreftpasienter og deres pårørende, med hovedformål å informere om muligheten for økonomisk støtte fra Helfo til slike opphold. Det retter seg mot kreftpasienter, pårørende, familier med barn rammet av kreft, og andre nære personer, samt fagpersoner som bistår i søknadsprosessen. Tjenesten gjelder helsetilbud innen rehabilitering og opplæring for personer berørt av kreft, og omfatter kursopphold, familiekurs og støtte til reiseutgifter. Sentrale begreper er Helfo, Montebellosenteret, kursopphold, egenbetaling, refusjon, rehabilitering, legeerklæring og NAV. Dokumentet beskriver hvordan man søker om opphold, hvilke utgifter som dekkes, egenbetalingssatser, og hvordan man søker om refusjon for reiseutgifter. Det forklarer også at barn under 15 år er fritatt for egenbetaling, og at det er mulig å søke NAV om støtte ved dårlig økonomi. Montebellosenteret er en spesialisert helseinstitusjon i Ringsaker, Innlandet, og behandlingen av...	Dokumentet omhandler omsorgsstønad, en kommunal ordning som gir økonomisk kompensasjon til personer som utfører særlig tyngende omsorgsarbeid for hjemmeboende med omfattende behov for hjelp, typisk syke eller eldre familiemedlemmer. Formålet er å sikre god og stabil omsorg for personer med store bistandsbehov, samtidig som pårørende og andre nærstående får støtte til å fortsette omsorgsarbeidet på en bærekraftig måte. Målgruppen er primært omsorgsgivere, som ektefeller, foreldre eller andre frivillige, samt omsorgsmottakere og deres pårørende. Tjenesten er en del av kommunens helse- og omsorgstilbud, og behandles av avdeling for forvaltning og utvikling, som vurderer søknader basert på omfang og nødvendighet av omsorgsarbeidet, samt kommunens ressurser. Sentrale begreper er omsorgsstønad, pårørendestøtte, avlastning, brukerstyrt personlig assistanse (BPA), hjelpestønad fra NAV, og kartleggingsskjema for bistandsbehov. Dokumentet beskriver også plikter ved endringer i omsorgssituasjonen...
  Forklar hvordan eksekutiv dysfunksjon kan påvirke evnen til å forutse konsekvenser.	Dokumentet gir en grundig innføring i kognitiv funksjon, med særlig vekt på hvordan ulike kognitive evner som perseptuell resonnering, prosesseringshastighet, visuospatiale evner, hukommelse og eksekutive funksjoner påvirker menneskers evne til å tilegne seg, bearbeide og bruke informasjon. Hovedtemaet er å forklare hva kognisjon innebærer, hvordan de ulike delene av kognitiv funksjon virker sammen, og hvordan disse kan være påvirket ved sjeldne diagnoser, ofte med genetisk bakgrunn. Dokumentet retter seg mot fagpersoner, pårørende og andre som har behov for å forstå kognitive utredninger og utfordringer, særlig i sammenheng med sjeldne diagnoser og nevrologiske tilstander. Det tar for seg sentrale begreper som sensorisk hukommelse, arbeidshukommelse, langtidshukommelse, eksekutive funksjoner (inkludert "kalde" og "varme" funksjoner), samt hvordan svikt i disse områdene kan arte seg og påvirke daglig fungering, læring og sosial tilpasning. Dokumentet er relevant innen helse- og omsorgs...	Dokumentet omhandler hvordan foreldre kan involveres i arbeidet med støttegrupper for søsken til barn med funksjonsnedsettelse eller kronisk sykdom. Hovedformålet er å styrke kommunikasjonen og samspillet mellom foreldre og søsken, samt å gi søsken bedre forståelse og støtte i en krevende familiesituasjon. Dokumentet presenterer erfaringer og funn fra Søskenprosjektet, et forskningssamarbeid mellom Frambu, Psykologisk institutt ved Universitetet i Oslo og flere brukerforeninger, hvor det er utviklet og utprøvd en støttegruppemanual. Målgruppen er primært fagpersoner som arbeider med familier i helse- og omsorgstjenesten, men også foreldre og brukerorganisasjoner. Tjenesten det gjelder er støttegrupper og familieopplæring innen helse- og velferdssektoren, med særlig fokus på psykisk helse og familiekommunikasjon. Sentrale begreper og entiteter inkluderer søskenstøtte, foreldreinvolvering, psykisk helse, funksjonsnedsettelse, kronisk sykdom, Søskenprosjektet, Frambu, NevSom og Autismefor...

• Loss: SpladeLoss with these parameters:

  {
      "loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False)",
      "document_regularizer_weight": 0.003,
      "query_regularizer_weight": 5e-05
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 1.0
• warmup_ratio: 0.1
• bf16: True
• dataloader_num_workers: 4
• load_best_model_at_end: True
• ddp_find_unused_parameters: False
• batch_sampler: no_duplicates
• router_mapping: {'anchor': 'query', 'positive': 'document', 'negative': 'document'}

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1.0
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 4
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: False
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {'anchor': 'query', 'positive': 'document', 'negative': 'document'}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	dev_ir_dot_ndcg@10	test_ir_dot_ndcg@10
-1	-1	-	-	0.5546	-
0.0003	1	1.2149	-	-	-
0.0156	50	0.8804	-	-	-
0.0311	100	0.5799	-	-	-
0.0467	150	0.485	-	-	-
0.0622	200	0.459	-	-	-
0.0778	250	0.4535	-	-	-
0.0933	300	0.4085	-	-	-
0.1002	322	-	0.3540	0.6385	-
0.1089	350	0.3754	-	-	-
0.1245	400	0.3653	-	-	-
0.1400	450	0.3641	-	-	-
0.1556	500	0.3397	-	-	-
0.1711	550	0.3562	-	-	-
0.1867	600	0.3336	-	-	-
0.2004	644	-	0.3552	0.6566	-
0.2022	650	0.3676	-	-	-
0.2178	700	0.3547	-	-	-
0.2334	750	0.3521	-	-	-
0.2489	800	0.3243	-	-	-
0.2645	850	0.3455	-	-	-
0.2800	900	0.3335	-	-	-
0.2956	950	0.3247	-	-	-
0.3006	966	-	0.3464	0.6569	-
0.3111	1000	0.2887	-	-	-
0.3267	1050	0.3253	-	-	-
0.3423	1100	0.3242	-	-	-
0.3578	1150	0.3346	-	-	-
0.3734	1200	0.3271	-	-	-
0.3889	1250	0.3394	-	-	-
0.4007	1288	-	0.3458	0.6686	-
0.4045	1300	0.3198	-	-	-
0.4200	1350	0.339	-	-	-
0.4356	1400	0.2889	-	-	-
0.4512	1450	0.303	-	-	-
0.4667	1500	0.3073	-	-	-
0.4823	1550	0.279	-	-	-
0.4978	1600	0.2894	-	-	-
0.5009	1610	-	0.3301	0.6732	-
0.5134	1650	0.2804	-	-	-
0.5289	1700	0.3017	-	-	-
0.5445	1750	0.2952	-	-	-
0.5600	1800	0.3133	-	-	-
0.5756	1850	0.3137	-	-	-
0.5912	1900	0.2962	-	-	-
0.6011	1932	-	0.3197	0.6787	-
0.6067	1950	0.2785	-	-	-
0.6223	2000	0.3321	-	-	-
0.6378	2050	0.2781	-	-	-
0.6534	2100	0.2943	-	-	-
0.6689	2150	0.2507	-	-	-
0.6845	2200	0.2636	-	-	-
0.7001	2250	0.3036	-	-	-
0.7013	2254	-	0.3114	0.6737	-
0.7156	2300	0.2711	-	-	-
0.7312	2350	0.2826	-	-	-
0.7467	2400	0.2332	-	-	-
0.7623	2450	0.2588	-	-	-
0.7778	2500	0.2515	-	-	-
0.7934	2550	0.2661	-	-	-
0.8015	2576	-	0.2901	0.6738	-
0.8090	2600	0.2683	-	-	-
0.8245	2650	0.2449	-	-	-
0.8401	2700	0.2904	-	-	-
0.8556	2750	0.2614	-	-	-
0.8712	2800	0.253	-	-	-
0.8867	2850	0.2844	-	-	-
0.9017	2898	-	0.2869	0.6745	-
0.9023	2900	0.247	-	-	-
0.9179	2950	0.265	-	-	-
0.9334	3000	0.2741	-	-	-
0.9490	3050	0.2935	-	-	-
0.9645	3100	0.2469	-	-	-
0.9801	3150	0.2787	-	-	-
0.9956	3200	0.2397	-	-	-
-1	-1	-	-	0.6787	0.6669

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.14.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

SpladeLoss

@misc{formal2022distillationhardnegativesampling,
      title={From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective},
      author={Thibault Formal and Carlos Lassance and Benjamin Piwowarski and Stéphane Clinchant},
      year={2022},
      eprint={2205.04733},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2205.04733},
}

SparseMultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

FlopsLoss

@article{paria2020minimizing,
    title={Minimizing flops to learn efficient sparse representations},
    author={Paria, Biswajit and Yeh, Chih-Kuan and Yen, Ian EH and Xu, Ning and Ravikumar, Pradeep and P{'o}czos, Barnab{'a}s},
    journal={arXiv preprint arXiv:2004.05665},
    year={2020}
}