thivy/splade-norwegian-health-v7-klonly

SPLADE v7-klonly — Norwegian health (v4 + pure SparseDistillKLDivLoss T=2.0 from bge-reranker raw logits, doc_reg=1.5e-1 with FLOPS threshold=200, qgen-v2 multi_turn/specific_fact rows)

This is a Asymmetric Inference-free SPLADE Sparse Encoder model finetuned from thivy/splade-multilingual-norwegian-health-summaries-v4 on the eti-embedding-splade-v7-distill-v1 dataset using the sentence-transformers library. It maps sentences & paragraphs to a 105879-dimensional sparse vector space and can be used for semantic search and sparse retrieval.

Model Details

Model Description

• Model Type: Asymmetric Inference-free SPLADE Sparse Encoder
• Base model: thivy/splade-multilingual-norwegian-health-summaries-v4
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 105879 dimensions
• Similarity Function: Dot Product
• Training Dataset:
  • eti-embedding-splade-v7-distill-v1
• Language: no
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Sparse Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sparse Encoders on Hugging Face

Full Model Architecture

SparseEncoder(
  (0): Router(
    (sub_modules): ModuleDict(
      (query): Sequential(
        (0): SparseStaticEmbedding({'frozen': True}, dim=105879, tokenizer=BertTokenizerFast)
      )
      (document): Sequential(
        (0): MLMTransformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertForMaskedLM'})
        (1): SpladePooling({'pooling_strategy': 'max', 'activation_function': 'relu', 'word_embedding_dimension': 105879})
      )
    )
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SparseEncoder

# Download from the 🤗 Hub
model = SparseEncoder("sparse_encoder_model_id")
# Run inference
queries = [
    "Hvordan sikrer skolen mat til barn som glemmer matpakken?",
]
documents = [
    'Dokumentet gir en faglig anbefaling om at det bør tilrettelegges for måltider med maksimalt 3-4 timers mellomrom for elever i grunnskolen og på skolefritidsordning (SFO). Hovedtemaet er betydningen av jevn tilførsel av næringsrik mat for barns helse, konsentrasjon, trivsel og læring, samt hvordan skolen og SFO kan bidra til å utjevne sosiale forskjeller i kosthold. Anbefalingen er rettet mot skoleledere, lærere, SFO-ansatte og andre fagpersoner som har ansvar for barns mattilbud i skolen og SFO. Dokumentet understreker at barn og unge har behov for 4-5 måltider daglig, og at det er viktig å inkludere alle elever, også de som mangler matpakke eller penger, ved å tilby enkel mat som knekkebrød og pålegg. Helsedirektoratets kartlegginger og undersøkelser om matvaner og måltidspraksis i skolen danner kunnskapsgrunnlaget. Sentrale begreper og entiteter er måltidsrytme, ernæring, folkehelse, sosioøkonomisk status, skole, SFO, Helsedirektoratet og opplæringsloven. Formålet er å fremme god praksis, kvalitet og likhet i mattilbudet for barn i skolen og SFO, og å bidra til å redusere sosiale forskjeller i barns kosthold.',
    'Dokumentet omhandler barnehagens ansvar for å tilrettelegge mat og måltider for barn med særlige behov, slik som matallergi, matintoleranse, sykdom, spisevansker og nedsatt funksjonsevne. Formålet er å sikre at alle barn får et individuelt tilpasset, likeverdig og inkluderende tilbud i tråd med lovverk og forskrifter, og at måltidene bidrar til helse, trivsel og fellesskap. Målgruppen er barnehagepersonell, ledere, foresatte og samarbeidspartnere som helsetjenesten og pedagogisk-psykologisk tjeneste (PPT). Dokumentet gir praktiske råd om tilrettelegging, rutiner, samarbeid og opplæring, samt informasjon om relevante ressurser og veiledere fra Statped, Helsedirektoratet og Nasjonal kompetansetjeneste for habilitering av barn med spise- og ernæringsvansker. Sentrale begreper er matallergi, matintoleranse, cøliaki, laktoseintoleranse, spisevansker, inkludering, tilrettelegging, erstatningsprodukter, matmerking og forebyggende helsearbeid. Dokumentet understreker betydningen av god dialog mellom barnehage og hjem, skriftlige rutiner, og at barn med særlige behov skal kunne delta i måltider på lik linje med andre. Det vises til relevant lovverk, forskrifter og nasjonale faglige råd.',
    'Dokumentet omhandler E-PAtS, et gruppetilbud i form av kurs for foreldre og foresatte til barn i alderen 0-5 år med generell utviklingsforstyrrelse. Hovedformålet med kurset er å støtte foreldre i deres omsorgsrolle, fremme positiv utvikling hos barnet, samt gi informasjon om det offentlige hjelpeapparatet. Kurset legger også til rette for erfaringsutveksling mellom foreldre. Tilbudet organiseres av Barne- og ungdomshabiliteringen (HABU) i Stavanger, og deltakerne følges opp av denne enheten. Kurset arrangeres to ganger i året, består av fire samlinger, og har ingen deltakeravgift. Foreldre kan søke opplæringspenger fra NAV etter folketrygdloven § 9-13. Målgruppen er foreldre og foresatte til små barn med utviklingsforstyrrelser, og kurset er særlig relevant for familier som har behov for støtte og informasjon om habiliteringstjenester. Sentrale begreper og entiteter i dokumentet er E-PAtS, generell utviklingsforstyrrelse, Barne- og ungdomshabiliteringen (HABU), NAV, opplæringspenger, og folketrygdloven. Kurset ledes av psykologspesialist og har påmeldingsfrist 25. august 2024.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 105879] [3, 105879]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[9.0414, 4.8895, 0.0288]])

Evaluation

Metrics

Sparse Information Retrieval

• Dataset: fasit
• Evaluated with SparseInformationRetrievalEvaluator

Metric	Value
dot_accuracy@1	0.4177
dot_accuracy@5	0.4937
dot_accuracy@10	0.6456
dot_precision@1	0.4177
dot_precision@3	0.3544
dot_precision@5	0.3139
dot_precision@10	0.2937
dot_recall@1	0.019
dot_recall@3	0.0473
dot_recall@5	0.0693
dot_recall@10	0.1306
dot_ndcg@10	0.3294
dot_mrr@10	0.4561
dot_map@100	0.1921
query_active_dims	17.5063
query_sparsity_ratio	0.9998
corpus_active_dims	166.8896
corpus_sparsity_ratio	0.9984
avg_flops	1.6813

Training Details

Training Dataset

eti-embedding-splade-v7-distill-v1

• Dataset: eti-embedding-splade-v7-distill-v1 at b94f4d0
• Size: 221,201 training samples
• Columns: query, positive, negative, and label
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative	label
  type	string	string	string	list
  details	min: 7 tokens mean: 22.26 tokens max: 64 tokens	min: 163 tokens mean: 330.0 tokens max: 477 tokens	min: 163 tokens mean: 335.33 tokens max: 512 tokens	size: 2 elements

• Samples:

  query	positive	negative	label
  Hvor kan jeg oppbevare morsmelkerstatning etter tilberedning?	Dokumentet «Tilberede og oppbevare morsmelkerstatning» fra Helsedirektoratet gir praktiske retningslinjer for tilberedning, oppbevaring og transport av morsmelkerstatning til spedbarn. Hovedtemaet er korrekt hygiene og sikker håndtering av morsmelkerstatning, med målgruppen foreldre og omsorgspersoner som tilbereder mat til spedbarn hjemme eller på farten. Dokumentet er en veiledningstjeneste som forklarer trinn-for-trinn hvordan man håndterer morsmelkerstatning for å sikre barnets helse. Dokumentet svarer på konkrete spørsmål om prosedyre og tid: Ved tilberedning skal alt utstyr og arbeidsområde være rent og kokt, og hender vasket. Morsmelkerstatningsvann skal koke opp og holde minst 70 °C ved innblanding av pulver. Riktig pulver-vann-forhold skal følges nøye, i henhold til pakkens instruksjoner, og måleskje brukes. Ferdig blandet melk skal gis ved 37 °C, altså håndvarm. Melk som lages ferdig til flere måltider kan oppbevares maksimalt 24 timer i kjøleskap på maks 4 °C. Melk som har ...	Dokumentet «Amming og morsmelk» fra Helsedirektoratet gir råd og informasjon om amming til nybakte foreldre, hovedsakelig mødre, med fokus på anbefalinger, praktisk veiledning og helsefordeler. Målgruppen er foreldre til spedbarn, og tjenestene omfatter ammerådgivning, veiledning på sykehus/helsestasjon og informasjon om ernæring og håndtering av morsmelk. Hovedtemaet er ammingens betydning som optimal næring for spedbarn. Helsedirektoratet anbefaler at barnet ammes hele det første året, og gjerne lenger; WHO anbefaler amming i to år. I de første seks månedene skal barnet kun få morsmelk samt D-vitamindråper fra ca. én ukes alder. For delamming eller morsmelkerstatning, skal D-vitaminmengden justeres etter behov. Det gis råd om når og hvordan man starter med fast føde, typisk fra seks måneders alder, men noen barn kan trenge det tidligere. Konkrete fakta inkluderer: vanlig antall måltider for nyfødte (8–12 eller flere pr døgn), lagring av morsmelk (maks 4 dager i kjøleskap ved 4°C og...	[5.1523, 5.1406]
  Forskjell mellom samarbeid på systemnivå og individnivå mellom helsestasjon og NAV	Dokumentet gir en sterk faglig anbefaling om at helsestasjon, skolehelsetjenesten og helsestasjon for ungdom bør samarbeide med NAV i kommunen, primært på systemnivå for å sikre tidlig oppfølging av barn og ungdom. Hovedtemaet er forebyggende samarbeid rundt barnefattigdom, kunnskapsoverføring om barnehelse, frafall i videregående skole og sosiale ulikheter. Målgruppen er barn og unge, samt tjenestene og ansatte i helsesektoren og NAV. Dokumentet retter seg mot offentlige tjenesteytere og ledelse i kommunen og beskriver helhetlig, tverrfaglig samarbeid som tjenestetype. Konkrete fakta: Samarbeidsrutiner bør være skriftlige og rutinemessige, og kan omfatte temadager og utveksling av kunnskap om sentrale folkehelsetemaer. Samarbeidet på individnivå, for kronisk syke eller barn med særskilte behov, kan kun skje etter innhentet og journalført samtykke (jf. journalforskriften § 8). NAV-veileder i videregående skole bør involveres der det finnes, for å forebygge frafall. Det er kommunens an...	Dokumentet gir en sterk anbefaling om at helsestasjon, skolehelsetjeneste og helsestasjon for ungdom skal tilby tjenester tilpasset individuelle forutsetninger og behov. Hovedtemaet er likeverdige, tilgjengelige og kultursensitive helsetjenester for barn, ungdom og deres foreldre, med særlig vekt på å møte behov knyttet til språk, kultur, funksjonsnedsettelser og sosioøkonomisk bakgrunn. Målgruppen er barn, ungdom og deres foresatte, inklusive samiske brukere og personer med innvandrerbakgrunn. Tjenestetypen omfatter primære helse- og omsorgstjenester rettet mot oppfølging og forebygging. Dokumentet presiserer at tjenestene må tilrettelegges med hensyn til brukernes språk og kulturbakgrunn i tråd med helse- og omsorgstjenesteloven § 3-10 og Sameloven § 3-5, samt at alle har rett på tilpasset informasjon (pasient- og brukerrettighetsloven §§ 3-2 og 3-5). Helsepersonell skal benytte kvalifisert tolk ved behov (helsepersonelloven § 10), og konsultasjoner må kunne utvides for å møte slike...	[5.1445, -6.8086]
  Hva er dysleksi?	Dokumentet gir en oversikt over hva dysleksi er, hvordan det kan utredes, og hvilke rettigheter personer med dysleksi har i Norge. Hovedtemaet er å informere om dysleksi som en lese- og skrivevanske som ikke har sammenheng med intelligens, og å forklare hvilke tilpasninger og støtteordninger som finnes i utdanningssystemet og samfunnet for personer med denne diagnosen. Dokumentet er primært rettet mot barn og unge med dysleksi, men også deres foreldre og lærere, og gir praktisk informasjon om hvordan man kan gå fram for å få utredning via Pedagogisk-psykologisk tjeneste (PPT) eller andre fagpersoner. Det beskriver rettigheter til tilpasset opplæring, spesialundervisning, fritak fra vurdering i enkelte fag, og tilrettelegging i høyere utdanning, inkludert bruk av hjelpemidler som datamaskiner, retteprogrammer og lydbøker. Dokumentet omtaler sentrale aktører som NAV, Statped, Tibi (tidligere Norsk Lyd- og Blindeskriftbibliotek), og Dysleksiforbundet i Norge, og forklarer begreper som ind...	Dokumentet gir en oversikt over tale, språk og kommunikasjon, med særlig vekt på hvordan ulike områder i hjernen og andre organer bidrar til språklige ferdigheter. Det forklarer sentrale begreper som Brocas område, Wernickes område, afasi, dysartri, taleapraksi og pragmatiske språkforstyrrelser, og beskriver hvordan skader, sykdommer eller utviklingsmessige forhold kan føre til ulike former for språkforstyrrelser. Dokumentet retter seg mot fagpersoner, pårørende og andre som arbeider med eller har interesse for personer med kommunikasjonsvansker, og omhandler offentlig helsetjeneste og opplæring innen helse og habilitering. Det understreker at språk er en kognitiv ferdighet, nært knyttet til hukommelse, oppmerksomhet og reguleringsferdigheter, og at både verbale og nonverbale uttrykk, som kroppsspråk og atferd, er viktige for kommunikasjon. Dokumentet omtaler tre hovedkategorier av språkforstyrrelser: utviklingsmessig språkforstyrrelse (DLD), språkforstyrrelser assosiert med kjente til...	[5.145057201385498, -5.352967739105225]

• Loss: SpladeLoss with these parameters:

  {
      "loss": "SparseDistillKLDivLoss",
      "document_regularizer_weight": 0.15,
      "query_regularizer_weight": 5e-05,
      "document_regularizer_threshold": 200
  }
  

Evaluation Dataset

eti-embedding-splade-v7-distill-v1

• Dataset: eti-embedding-splade-v7-distill-v1 at b94f4d0
• Size: 1,000 evaluation samples
• Columns: query, positive, negative, and label
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative	label
  type	string	string	string	list
  details	min: 7 tokens mean: 22.07 tokens max: 59 tokens	min: 201 tokens mean: 330.34 tokens max: 494 tokens	min: 235 tokens mean: 335.76 tokens max: 488 tokens	size: 2 elements

• Samples:

  query	positive	negative	label
  tilpasset opplæring inneklima	Dokumentet omhandler krav og veiledning til inneklima i barnehager, skoler og skolefritidsordninger, med formål å sikre et helsemessig tilfredsstillende fysisk miljø for barn og unge. Hovedtemaet er hvordan faktorer som temperatur, luftfuktighet, fukt og mugg, trekk, luftkvalitet, giftige og helseskadelige stoffer samt stråling påvirker helse, trivsel og læringsmiljø. Dokumentet gir konkrete normer og anbefalinger for blant annet temperatur (19–26 °C), luftkvalitet (CO2 under 1000 ppm), lufthastighet, fukt, radon og stråling, og understreker betydningen av internkontroll og vedlikeholdsplaner for å oppfylle kravene. Det beskriver også hvordan avvik fra faglige normer må dokumenteres og håndteres, og viser til relevant regelverk som Forskrift om helse og miljø i barnehager, skoler og skolefritidsordninger, Strålevernforskriften og Arbeidstilsynets forskrifter. Målgruppen er primært virksomhetsledere, eiere, driftsansvarlige og andre fagpersoner med ansvar for miljø og helse i barnehager...	Dokumentet omhandler tilskudd til ombygging av bolig for personer med varig nedsatt gangfunksjon, som alternativ til installasjon av rampe, trappeheis eller løfteplattform. Formålet er å gi økonomisk støtte til varige og praktiske løsninger, slik at boligen blir tilrettelagt for personer med funksjonsnedsettelse, for eksempel ved å samle nødvendige rom på ett plan og etablere trinnfritt inngangsparti. Målgruppen er primært personer med langvarig bevegelsesvansker, deres pårørende, samt fagpersoner som ergoterapeuter og hjelpemiddelformidlere. Tjenesten administreres av Nav hjelpemiddelsentral og gjelder innenfor velferds- og boligområdet. Sentrale begreper er tilskudd, ombygging, funksjonsnedsettelse, folketrygden, hjelpemidler, rampe, trappeheis, løfteplattform, Husbanken, kommunen, finansieringsplan, og Plan- og bygningsloven (TEK). Dokumentet beskriver vilkår for tilskudd, søknadsprosess, nødvendig dokumentasjon, klagerettigheter, og samordning med andre offentlige støtteordninger. ...	[5.137247562408447, -4.233684062957764]
  - Kan kommunen dekke utgiftene til bandasjemateriell hvis de utfører sårbehandlingen?	Dokumentet omhandler ordningen for refusjon av utgifter til bandasjemateriell, medisinsk forbruksmateriell og reseptfrie legemidler for personer med kroniske og alvorlige sår eller fistler. Formålet er å informere om hvilke utgifter som kan dekkes, hvordan man søker om refusjon, og hvilke krav som gjelder, inkludert egenandel og dokumentasjonskrav. Målgruppen er primært pasienter med langvarige sårtilstander, samt deres pårørende og behandlende leger. Tjenesten administreres av Helfo og gjelder helse- og omsorgsområdet, spesielt innen sårbehandling og kroniske hudlidelser. Sentrale begreper er kroniske sår, fistler, bandasjemateriell, medisinsk forbruksmateriell, reseptfrie legemidler, egenandel, legeerklæring, Helfo, frikortordning, blå resept, og iktyose. Dokumentet beskriver også endringer fra 2026 for dekning av utgifter ved iktyose, og gir detaljer om søknadsprosessen, krav til kvitteringer, saksbehandlingstid, og bruk av digitale og papirbaserte skjemaer. Det presiseres at utgift...	Dokumentet gir informasjon om hvordan kommunal omsorgsstønad (tidligere kalt omsorgslønn) påvirker utbetalinger fra Nav, og understreker plikten til å melde fra til Nav dersom man mottar eller søker om økonomiske ytelser fra Nav samtidig som man får omsorgsstønad. Hovedtemaet er samordning av kommunale og statlige økonomiske støtteordninger, med særlig vekt på hvordan omsorgsstønad regnes som pensjonsgivende og skattepliktig inntekt, og dermed kan påvirke beregningen av ulike Nav-ytelser som alderspensjon, arbeidsavklaringspenger, dagpenger, foreldrepenger, uføretrygd og flere andre støtteordninger. Formålet er å informere mottakere av omsorgsstønad om deres meldeplikt og om konsekvensene for andre økonomiske ytelser. Målgruppen er privatpersoner som mottar eller vurderer å søke omsorgsstønad og samtidig har, eller planlegger å søke, økonomiske ytelser fra Nav. Dokumentet er relevant for offentlig forvaltning innen velferd og sosialtjenester, og sentrale begreper inkluderer omsorgsstøn...	[5.149467945098877, -7.6727166175842285]
  Hva er kunnskapsbasert praksis?	Dokumentet omhandler kunnskapsbasert praksis innen helsetjenester og andre fagfelt der beslutninger skal baseres på solid kunnskapsgrunnlag. Hovedtemaet er hvordan fagpersoner, særlig innen helse og omsorg, kan integrere forskningsbasert kunnskap, erfaringsbasert kunnskap og pasientens behov i faglige avgjørelser. Målgruppen er helsepersonell og andre fagutøvere som arbeider med kvalitetsforbedring og faglig utvikling. Tjenestetypen er en fagmetodikk for beslutningsstøtte og kvalitetssikring. Dokumentet beskriver de fem konkrete trinnene i kunnskapsbasert praksis: 1) refleksjon over egen praksis, 2) formulering av faglige spørsmål, 3) søk etter forskningsbasert kunnskap (for eksempel via litteratursøk), 4) anvendelse av forskningskunnskap sammen med erfaring og brukernes/pasientenes behov, og 5) evaluering av egen praksis. Dokumentet gir ikke eksplisitte tall, satser, beløp, varighet, frister eller spesifikasjoner om saksbehandlingstid, men presiserer at metoden også gjelder der nasjo...	Dokumentet omhandler hva som kjennetegner tjenester av god kvalitet i helse- og omsorgssektoren, og retter seg mot aktører og ansatte i helse- og omsorgstjenestene. Tjenestetypen omfatter både helse- og omsorgstilbud. Hovedtemaet er å presisere de nasjonale målene for kvalitet, som er at tjenestene skal ha høy kvalitet, være tilgjengelige innen forsvarlig ventetid, og gis til alle uavhengig av sosial bakgrunn og bosted. Dokumentet trekker også frem at tjenestene skal være brukerorienterte, med vekt på aktiv medbestemmelse fra pasienter og brukere, og at systematisk kvalitetsforbedring er en sentral del av målet om bedre tjenestekvalitet. Dokumentet konkretiserer seks eksplisitte kjennetegn på god kvalitet i slike tjenester: (1) de skal være virkningsfulle, (2) trygge og sikre, (3) involvere brukerne og gi dem innflytelse, (4) være samordnet og preget av kontinuitet, (5) utnytte ressursene på en god måte, og (6) være tilgjengelige og rettferdig fordelt. Det besvares ingen konkrete spør...	[5.1484, -7.6602]

• Loss: SpladeLoss with these parameters:

  {
      "loss": "SparseDistillKLDivLoss",
      "document_regularizer_weight": 0.15,
      "query_regularizer_weight": 5e-05,
      "document_regularizer_threshold": 200
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 1e-05
• weight_decay: 0.01
• num_train_epochs: 1
• warmup_ratio: 0.1
• seed: 12
• bf16: True
• load_best_model_at_end: True
• router_mapping: {'query': 'query', 'positive': 'document', 'negative': 'document'}

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 12
• data_seed: None
• jit_mode_eval: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {'query': 'query', 'positive': 'document', 'negative': 'document'}
• learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	fasit_dot_ndcg@10
-1	-1	-	-	0.2949
0.0001	1	0.5203	-	-
0.0101	70	0.3606	-	-
0.0203	140	0.3282	-	-
0.0304	210	0.3146	-	-
0.0405	280	0.31	-	-
0.0506	350	0.2728	-	-
0.0608	420	0.301	-	-
0.0709	490	0.3025	-	-
0.0810	560	0.2974	-	-
0.0911	630	0.2976	-	-
0.1001	692	-	0.3248	0.2977
0.1013	700	0.2678	-	-
0.1114	770	0.2871	-	-
0.1215	840	0.2744	-	-
0.1316	910	0.307	-	-
0.1418	980	0.3115	-	-
0.1519	1050	0.3049	-	-
0.1620	1120	0.2668	-	-
0.1721	1190	0.3128	-	-
0.1823	1260	0.2962	-	-
0.1924	1330	0.2795	-	-
0.2002	1384	-	0.3088	0.3120
0.2025	1400	0.2851	-	-
0.2126	1470	0.2709	-	-
0.2228	1540	0.2902	-	-
0.2329	1610	0.2813	-	-
0.2430	1680	0.3053	-	-
0.2531	1750	0.2764	-	-
0.2633	1820	0.3087	-	-
0.2734	1890	0.2675	-	-
0.2835	1960	0.2794	-	-
0.2936	2030	0.2384	-	-
0.3003	2076	-	0.3233	0.2952
0.3038	2100	0.2856	-	-
0.3139	2170	0.2849	-	-
0.3240	2240	0.2884	-	-
0.3342	2310	0.2523	-	-
0.3443	2380	0.3006	-	-
0.3544	2450	0.288	-	-
0.3645	2520	0.2689	-	-
0.3747	2590	0.2717	-	-
0.3848	2660	0.2811	-	-
0.3949	2730	0.2637	-	-
0.4004	2768	-	0.3185	0.3294
0.4050	2800	0.2561	-	-
0.4152	2870	0.266	-	-
0.4253	2940	0.2994	-	-
0.4354	3010	0.2719	-	-
0.4455	3080	0.278	-	-
0.4557	3150	0.2736	-	-
0.4658	3220	0.2683	-	-
0.4759	3290	0.266	-	-
0.4860	3360	0.2832	-	-
0.4962	3430	0.3054	-	-
0.5005	3460	-	0.2774	0.2872
0.5063	3500	0.2816	-	-
0.5164	3570	0.2744	-	-
0.5265	3640	0.2577	-	-
0.5367	3710	0.2667	-	-
0.5468	3780	0.2857	-	-
0.5569	3850	0.2597	-	-
0.5670	3920	0.268	-	-
0.5772	3990	0.2675	-	-
0.5873	4060	0.267	-	-
0.5974	4130	0.2819	-	-
0.6006	4152	-	0.3071	0.2910
0.6076	4200	0.2582	-	-
0.6177	4270	0.2614	-	-
0.6278	4340	0.2556	-	-
0.6379	4410	0.2626	-	-
0.6481	4480	0.2839	-	-
0.6582	4550	0.2736	-	-
0.6683	4620	0.2613	-	-
0.6784	4690	0.2775	-	-
0.6886	4760	0.2606	-	-
0.6987	4830	0.2617	-	-
0.7007	4844	-	0.2889	0.2920
0.7088	4900	0.2471	-	-
0.7189	4970	0.2578	-	-
0.7291	5040	0.2645	-	-
0.7392	5110	0.2503	-	-
0.7493	5180	0.2507	-	-
0.7594	5250	0.2497	-	-
0.7696	5320	0.2664	-	-
0.7797	5390	0.2529	-	-
0.7898	5460	0.2397	-	-
0.7999	5530	0.2738	-	-
0.8008	5536	-	0.3020	0.2829
0.8101	5600	0.2423	-	-
0.8202	5670	0.2423	-	-
0.8303	5740	0.2407	-	-
0.8404	5810	0.2721	-	-
0.8506	5880	0.2497	-	-
0.8607	5950	0.2618	-	-
0.8708	6020	0.2472	-	-
0.8809	6090	0.233	-	-
0.8911	6160	0.2795	-	-
0.9009	6228	-	0.2961	0.2842
0.9012	6230	0.2412	-	-
0.9113	6300	0.2422	-	-
0.9215	6370	0.2845	-	-
0.9316	6440	0.2542	-	-
0.9417	6510	0.2589	-	-
0.9518	6580	0.2472	-	-
0.9620	6650	0.2697	-	-
0.9721	6720	0.2534	-	-
0.9822	6790	0.2718	-	-
0.9923	6860	0.2466	-	-
-1	-1	-	-	0.3294

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.14.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

SpladeLoss

@misc{formal2022distillationhardnegativesampling,
      title={From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective},
      author={Thibault Formal and Carlos Lassance and Benjamin Piwowarski and Stéphane Clinchant},
      year={2022},
      eprint={2205.04733},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2205.04733},
}

SparseDistillKLDivLoss

@misc{lin2020distillingdenserepresentationsranking,
      title={Distilling Dense Representations for Ranking using Tightly-Coupled Teachers},
      author={Sheng-Chieh Lin and Jheng-Hong Yang and Jimmy Lin},
      year={2020},
      eprint={2010.11386},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2010.11386},
}

FlopsLoss

@article{paria2020minimizing,
    title={Minimizing flops to learn efficient sparse representations},
    author={Paria, Biswajit and Yeh, Chih-Kuan and Yen, Ian EH and Xu, Ning and Ravikumar, Pradeep and P{'o}czos, Barnab{'a}s},
    journal={arXiv preprint arXiv:2004.05665},
    year={2020}
}