thivy/splade-norwegian-health-v13-margin-filtered

SPLADE v13 — Norwegian health (v7-klonly recipe on v8-distill-v1 filtered to margin >= 2.0, drops ~14% noisy rows). Pure SparseDistillKLDivLoss T=2.0, doc_reg=1.5e-1 threshold=200.

This is a Asymmetric Inference-free SPLADE Sparse Encoder model finetuned from thivy/splade-multilingual-norwegian-health-summaries-v4 on the eti-embedding-splade-v8-distill-v1 dataset using the sentence-transformers library. It maps sentences & paragraphs to a 105879-dimensional sparse vector space and can be used for semantic search and sparse retrieval.

Model Details

Model Description

• Model Type: Asymmetric Inference-free SPLADE Sparse Encoder
• Base model: thivy/splade-multilingual-norwegian-health-summaries-v4
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 105879 dimensions
• Similarity Function: Dot Product
• Training Dataset:
  • eti-embedding-splade-v8-distill-v1
• Language: no
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Sparse Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sparse Encoders on Hugging Face

Full Model Architecture

SparseEncoder(
  (0): Router(
    (sub_modules): ModuleDict(
      (query): Sequential(
        (0): SparseStaticEmbedding({'frozen': True}, dim=105879, tokenizer=BertTokenizerFast)
      )
      (document): Sequential(
        (0): MLMTransformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertForMaskedLM'})
        (1): SpladePooling({'pooling_strategy': 'max', 'activation_function': 'relu', 'word_embedding_dimension': 105879})
      )
    )
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SparseEncoder

# Download from the 🤗 Hub
model = SparseEncoder("sparse_encoder_model_id")
# Run inference
queries = [
    "oppl\u00e6ringspenger foreldre til barn med PWS",
]
documents = [
    'Dokumentet gir en oversikt over rettigheter og offentlige tjenester for personer med Prader-Willis syndrom (PWS) og deres familier, og retter seg mot pårørende, personer med PWS, samt tjenesteytere. Temaet er helhetlig støtte og individuell tilrettelegging, med vekt på nødvendigheten av koordinert og tett oppfølging gjennom ulike livsfaser. Dokumentet omtaler flere konkrete tjenestetyper: samarbeid og samordning gjennom individuell plan og ansvarsgruppe, støttekontakt, brukerstyrt personlig assistanse (BPA), omsorgsstønad, hjelpestønad (inkludert forhøyet hjelpestønad), grunnstønad, pleiepenger, omsorgspenger, opplæringspenger, avlastning (både vurdering og rettigheter), ledsagerbevis og støtte til tannbehandling. For personer over 18 år nevnes vurdering av vergemål i henhold til vergemålsloven § 20. Sentrale vilkår og krav er behovsprøving, individuell vurdering og hensyn til brukermedvirkning. Spesifikke beløp, satser, frister eller presis saksbehandlingstid nevnes ikke i selve dokumentet, men informasjon om dette, samt detaljer om søknadsskjema, klagerett og prosess, henvises til Frambus temasider. Det presiseres at systematisk tilrettelegging, brukermedvirkning, og skriftlige avtaler er viktige elementer, og at kunnskap om lovverk relatert til tvang og makt (helse- og omsorgstjenesteloven kap. 9) er nødvendig for alle involverte. Dokumentet er sist faglig oppdatert 28.10.2021.',
    'Dokumentet «Arbeidsliv» gir en grundig beskrivelse av utfordringer og tilretteleggingsbehov for personer med Williams syndrom (WS) i arbeidslivet. Hovedtemaet er hvordan voksne med WS kan få et meningsfullt og tilpasset arbeidsforhold, med råd både til personer med diagnosen, deres pårørende og fagpersoner som bistår med opplæring og arbeidstilrettelegging. Tjenestetypen omhandler individuell tilpasning av opplæring og arbeid, samt bruk av NAVs arbeidsmarkedstiltak.\n\nDokumentet beskriver konkrete egenskaper mange med WS har, som god verbal kommunikasjon, men ofte begrenset intellektuell kapasitet, sosiale og empatiske trekk, motoriske utfordringer, persepsjonsvansker og økt behov for struktur og støtte. Det legges vekt på motivasjon, mestring og å unngå for høye krav. For valg av yrke anbefales service- og hjelpefunksjoner (f.eks. postombæring, kantine, gartneri, vaktmesterassistent, assistent på bibliotek eller i eldreomsorgen). Arbeid med mye rutine, tallbehandling eller kassebetjening frarådes ofte. Personer med WS bør ha varierte oppgaver, tett oppfølging og mulighet for hyppige pauser, særlig på grunn av konsentrasjonsutfordringer og redusert utholdenhet.\n\nDokumentet gir ikke konkrete beløp, satser, varigheter, søknadsfrister, saksbehandlingstider eller formelle krav knyttet til ytelser eller tiltak. Det henvises til NAV for aktuelle arbeidsmarkedstiltak, men presiserer ingen  søknadssteg eller klageregler. For informasjon om rettigheter og prosedyrer, henvises det til temasider om arbeid og tilrettelegging. Dokumentet er sist faglig oppdatert 19.12.2023.',
    'Søskenintervensjonen SIBS er et forebyggende gruppetiltak rettet mot søsken til barn med fysisk eller psykisk funksjonsnedsettelse, med mål om å styrke familiers evne til å håndtere diagnoser gjennom åpne samtaler om utfordringer. Kursets hovedmålgruppe er fagpersoner i kommunene som ønsker å bli gruppeledere eller tilretteleggere for slike søskengrupper. Tjenestetypen er opplæring gjennom kurs delt i tre deler: (1) et nettbasert kurs, (2) en to-dagers praktisk workshop, og (3) tilgang til ekstraressurser. Nettkurset er inndelt i fem deler som tar for seg bakgrunn, målsettinger, roller, håndtering av utfordringer og forberedelse til praktisk del. Etter fullført nettbasert del kreves det innsending av et refleksjonsnotat. Fagansvarlig vurderer dette notatet før deltager mottar kursbevis, SIBS-manual og invitasjon til praktisk workshop. Det er ingen oppgitte beløp, satser eller deltakeravgifter, og varighet på nettkurset er ikke spesifisert, men praktisk workshop varer i to dager. Det stilles krav om aktiv deltakelse, refleksjonsnotat og fullført praktisk del for å kvalifisere for ytterligere ressurser. Dokumentet spesifiserer ikke saksbehandlingstid, frister, formell søknadsprosess eller klageadgang, men gir kontaktinformasjon for eventuell veiledning.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 105879] [3, 105879]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[11.3765,  3.1364,  1.6185]])

Evaluation

Metrics

Sparse Information Retrieval

• Datasets: fasit and keyword_fasit
• Evaluated with SparseInformationRetrievalEvaluator

Metric	fasit	keyword_fasit
dot_accuracy@1	0.2911	0.55
dot_accuracy@5	0.481	0.85
dot_accuracy@10	0.557	0.92
dot_precision@1	0.2911	0.55
dot_precision@3	0.2869	0.2533
dot_precision@5	0.2886	0.17
dot_precision@10	0.2506	0.092
dot_recall@1	0.0131	0.55
dot_recall@3	0.0386	0.76
dot_recall@5	0.0607	0.85
dot_recall@10	0.1044	0.92
dot_ndcg@10	0.2733	0.7418
dot_mrr@10	0.3556	0.6844
dot_map@100	0.1503	0.6876
query_active_dims	17.5063	11.78
query_sparsity_ratio	0.9998	0.9999
corpus_active_dims	147.8841	177.2441
corpus_sparsity_ratio	0.9986	0.9983
avg_flops	1.4489	1.6861

Training Details

Training Dataset

eti-embedding-splade-v8-distill-v1

• Dataset: eti-embedding-splade-v8-distill-v1 at 7108367
• Size: 807,437 training samples
• Columns: query, positive, negative, and label
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative	label
  type	string	string	string	list
  details	min: 8 tokens mean: 17.64 tokens max: 49 tokens	min: 226 tokens mean: 381.08 tokens max: 512 tokens	min: 263 tokens mean: 381.5 tokens max: 503 tokens	size: 2 elements

• Samples:

  query	positive	negative	label
  Er det vanleg å få BW-røntgen sjølv om det ikkje er mistanke om karies eller symptom?	Dokumentet gir en sterk faglig anbefaling om at barn og unge over 4 år bør få bitewing-røntgen (BW) ved statusundersøkelse dersom det er nødvendig for diagnostisering av karies, periodontitt, agenesier eller andre tilstander. Målgruppen er tannhelsepersonell som tilbyr forebyggende og diagnostiske tjenester for barn 0-18 år, spesielt ved statusundersøkelser. BW-røntgen øker presisjonen i kariesdiagnostikken og gir opptil åtte ganger høyere registrering av lesjoner i sidesegmentene, sammenlignet med visuell inspeksjon alene. Tjenesten er diagnostisk undersøkelse av tenner og munn, og BW benyttes kun når klinisk behov foreligger. Dokumentet presiserer at røntgenopptak skal følge strålevernforskriften § 39, der behandlingsansvarlig tannlege/tannpleier må utføre en individuell berettigelsesvurdering før røntgen tas. BW-røntgen er berettiget når den diagnostiske fordelen overgår risikoen ved strålebruk, og alternative metoder uten stråling vurderes. BW er unødvendig hvis karies kan diagnos...	Dokumentet om Prader-Willi syndrom (PWS) beskriver en sjelden genetisk tilstand som påvirker både fysisk og psykisk utvikling, med betydelige konsekvenser for munn- og tannhelse. Hovedtemaet er hvordan PWS gir spesielle utfordringer for tannhelsepersonell, og dokumentet er særlig rettet mot tannleger, tannpleiere, foreldre og helsepersonell som arbeider med pasienter med PWS. Tjenestetypen er offentlig tannhelseoppfølging samt henvisning til spesialiserte enheter, inkludert Nasjonalt senter for sjeldne diagnoser. Konkrete fakta: PWS forekommer hos 1 av 10.000 til 1 av 30.000 nyfødte. Salivasekresjon er betydelig redusert (<0,1 ml/min hos 54% av de med PWS). Hypodonti er funnet hos nesten 25%, og tanngnissing hos 40%. Kontrollintervaller for tannhelse varierer mellom 3-12 måneder, mens profesjonell tannrengjøring kan være nødvendig hver 2-4 uke. Barn og unge har rett til gratis tannbehandling til året de fyller 18, unge voksne (19-24 år) betaler 25% av taksten. Personer med PWS og u...	[5.1172, -2.2363]
  Kan tilretteleggingen omfatte endringer av bygningen i barnehagen?	Dokumentet omhandler tilrettelegging av barnehagetilbud for barn med nedsatt funksjonsevne, med hovedformål å sikre at disse barna får likeverdige aktivitets- og utviklingsmuligheter som andre barn. Det beskriver hvordan tilrettelegging kan innebære fysiske endringer i barnehagebygg, tilpasning av utstyr, ekstra bemanning, opplæring av ansatte eller andre nødvendige tiltak, og understreker at behovet må vurderes individuelt for hvert barn. Kommunen har ansvar for å sørge for egnet tilrettelegging dersom det ordinære barnehagetilbudet ikke er tilstrekkelig, og skal velge effektive tiltak i samråd med barnets foreldre, med barnets beste som grunnlag. Dokumentet retter seg mot foreldre, barnehageeiere, kommunale saksbehandlere og fagpersoner innen barnehagesektoren. Det tilhører samfunnsområdet utdanning og oppvekst, og omhandler offentlig tjeneste knyttet til barnehage. Sentrale begreper er tilrettelegging, inkludering, nedsatt funksjonsevne, barnehagetilbud, kommunen, og barnets beste. ...	Dokumentet omhandler tilskudd til ombygging av bolig for personer med varig nedsatt gangfunksjon, som alternativ til installasjon av rampe, trappeheis eller løfteplattform. Formålet er å gi økonomisk støtte til varige og praktiske løsninger, slik at boligen blir tilrettelagt for personer med funksjonsnedsettelse, for eksempel ved å samle nødvendige rom på ett plan og etablere trinnfritt inngangsparti. Målgruppen er primært personer med langvarig bevegelsesvansker, deres pårørende, samt fagpersoner som ergoterapeuter og hjelpemiddelformidlere. Tjenesten administreres av Nav hjelpemiddelsentral og gjelder innenfor velferds- og boligområdet. Sentrale begreper er tilskudd, ombygging, funksjonsnedsettelse, folketrygden, hjelpemidler, rampe, trappeheis, løfteplattform, Husbanken, kommunen, finansieringsplan, og Plan- og bygningsloven (TEK). Dokumentet beskriver vilkår for tilskudd, søknadsprosess, nødvendig dokumentasjon, klagerettigheter, og samordning med andre offentlige støtteordninger. ...	[5.149202823638916, -7.481136798858643]
  Henvisning habilitering barn cerebral parese	Dokumentet om habilitering for barn og unge med cerebral parese informerer om tilbudet i spesialisthelsetjenesten, spesielt habiliteringstjenesten for barn og unge (HABU). Hovedtemaet er hvordan helsetjenesten arbeider tverrfaglig for å hjelpe barn og ungdom med cerebral parese til å fungere best mulig i hverdagen, samt hvordan henvisning og oppfølging foregår. Målgruppen er barn og unge med cerebral parese og deres foresatte, samt helsepersonell som skal henvise til HABU. Tjenestetypen er tverrfaglig utrednings-, behandlings- og oppfølgingstilbud fra spesialisthelsetjenesten. Dokumentet beskriver detaljerte fakta om henvisningsprosessen: Henvisning kan gjøres av fastlege eller lege ved sykehus, og det kreves en omfattende sjekkliste med konkrete opplysninger (f.eks. pasientopplysninger, diagnose, mål med henvisning, rapporter fra instanser). Det forventes en tverrfaglig vurdering i kommunen før henvisning. Det gis ingen konkrete beløp/satser, varighet eller saksbehandlingstid, men fo...	Dokumentet gir en fagspesifikk innledning til habilitering av barn og unge i spesialisthelsetjenesten, og retter seg hovedsakelig mot helsepersonell, forvaltere og henvisende instanser som jobber med barn og unge med habiliteringsbehov. Tjenestetypen som omtales er spesialisthelsetjenestens habiliteringstilbud, med særlig fokus på kriterier for henvisning, vurdering av behov og relevante juridiske forhold. Dokumentet tar opp hvilke barn og unge som bør henvises til habilitering i spesialisthelsetjenesten, de medisinske og funksjonelle vurderingene som bør ligge til grunn, og klargjør ansvarsdelingen mellom primærhelsetjenesten og spesialisthelsetjenesten. Det gjennomgår juridiske krav, herunder hvem som har rett til vurdering og behandling, hvordan henvisninger skal utformes, og hvilke dokumentasjonskrav som gjelder. Det konkretiseres at spesialisthelsetjenesten skal vurdere henvisninger innen 10 virkedager, og gir informasjon om saksbehandlingstid. Dokumentet beskriver videre vilkår f...	[5.1406, -6.6172]

• Loss: SpladeLoss with these parameters:

  {
      "loss": "SparseDistillKLDivLoss",
      "document_regularizer_weight": 0.15,
      "query_regularizer_weight": 5e-05,
      "document_regularizer_threshold": 200
  }
  

Evaluation Dataset

eti-embedding-splade-v8-distill-v1

• Dataset: eti-embedding-splade-v8-distill-v1 at 7108367
• Size: 1,000 evaluation samples
• Columns: query, positive, negative, and label
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative	label
  type	string	string	string	list
  details	min: 6 tokens mean: 18.2 tokens max: 52 tokens	min: 228 tokens mean: 377.69 tokens max: 512 tokens	min: 246 tokens mean: 385.34 tokens max: 512 tokens	size: 2 elements

• Samples:

  query	positive	negative	label
  Datteren vår på 19 med moderat utviklingshemming sliter med depresjon og utfordrende atferd, hvordan kan vi sikre bedre oppfølging og tilrettelegge for at hun får jobb?	Dokumentet omhandler sammenhengen mellom arbeid og psykisk helse for voksne personer med utviklingshemming, med utgangspunkt i funn fra NOHID-studien og Erlend Refseth Pedersens doktorgradsarbeid ved NTNU. Hovedformålet er å belyse hvordan faktorer som grad av utviklingshemming, psykiske helseproblemer og utfordrende atferd påvirker muligheten for sysselsetting, samt å undersøke bruk av psykofarmaka og kvaliteten på helsetjenesteoppfølging. Målgruppen er fagpersoner innen helse- og omsorgstjenester, arbeidsgivere, beslutningstakere og andre som arbeider med eller for personer med utviklingshemming. Dokumentet tar for seg offentlige tjenester knyttet til arbeidsinkludering, habilitering, psykisk helsevern og sosialtjenester. Sentrale begreper er utviklingshemming (mild, moderat, alvorlig), psykisk helse, utfordrende atferd (bl.a. irritabilitet og verbal atferd), sysselsetting (ordinært arbeid, VTA-bedrifter, dagtilbud), psykofarmaka, medikamentgjennomgang og tverrfaglig oppfølging. Stud...	Dokumentet omhandler rettigheter og tilrettelegging i arbeidslivet for personer med sjeldne diagnoser. Hovedformålet er å informere om hvordan arbeid kan bidra til økonomisk trygghet, sosial tilhørighet og personlig utvikling, samtidig som det belyser utfordringer knyttet til funksjonsnedsettelser som kan påvirke arbeids- og inntektsevne. Målgruppen er primært personer med sjeldne diagnoser, deres foreldre og pårørende, samt fagpersoner som rådgivere, lærere, helsepersonell og arbeidsgivere som bistår i utdannings- og arbeidsforløp. Dokumentet tar for seg offentlige tjenester innen arbeidsliv, inkludering og velferd, med særlig vekt på NAVs rolle i vurdering av inntektsevne og tilretteleggingstiltak. Sentrale begreper inkluderer sjeldne diagnoser, funksjonsnedsettelse, individuell opplæringsplan (IOP), individuell plan (IP), uføretrygd, arbeidsutprøving og tilrettelegging på arbeidsplassen. Det understrekes at rettigheter og tiltak må tilpasses individuelt, og at det ikke finnes automa...	[5.145002841949463, -6.430434703826904]
  Hvordan kan vi søke om støtte til behandling i utlandet for barnet vårt?	Dokumentet gir en oversikt over muligheten for økonomisk støtte fra Helfo til behandling, trening eller kurs i utlandet for barn med funksjonsnedsetting. Hovedtemaet er hvilke tilbud som kan dekkes, hvem som kan få støtte, hvilke utgifter som refunderes, og hvordan man søker om forhåndsgodkjenning, forskudd og refusjon. Dokumentet er rettet mot foreldre og foresatte til barn med funksjonsnedsetting, samt eventuelt søsken og nødvendige følgepersoner. Det beskriver offentlige helse- og velferdstjenester, spesielt knyttet til refusjonsordninger for helserelaterte opphold i utlandet. Sentrale begreper inkluderer funksjonsnedsetting, behandlingstilbud (som Doman-metoden, Kozijavkin-metoden, ABR og FHC), deltakeravgift, reise- og oppholdsutgifter, forhåndsgodkjenning, forskudd, refusjon og nødvendig dokumentasjon. Helfo og Helsedirektoratet er sentrale entiteter. Dokumentet forklarer krav til dokumentasjon, søknadsprosess, saksbehandlingstid og hvordan man ettersender dokumentasjon, og gir p...	Dokumentet gir en veiledning om hvordan man søker om reisestøtte (reisestønad) for reiser til og fra offentlig dekket behandling. Det retter seg mot pasienter, reiseledsagere, nær pårørende, foresatte, verger og fosterforeldre som har behov for økonomisk støtte til transport i forbindelse med helsetjenester. Dokumentet beskriver kriterier for å få reisestøtte, som blant annet krav til reiseavstand, takstsoner og egenandel, samt muligheter for dekning av utgifter til bil, parkering, bom og ferje når offentlig transport ikke er tilgjengelig eller helsemessige forhold krever det. Det forklarer hvordan man søker digitalt via Helsenorge eller med papirskjema, og gir informasjon om spesielle tilfeller som krever særskilt behandling, for eksempel organdonasjon, tuberkulosekontroll, fristbrudd, hemmelig adresse, barn i utsatte familiesituasjoner og søknad på vegne av død pasient. Sentrale begreper er reisestøtte, pasientreise, egenandel, frikort, takstsone, organisert pasientreise og Pasientre...	[5.138899326324463, 2.8771634101867676]
  Hva er foreldrestøttende tiltak i familievernet?	Dokumentet gir en oversikt over hvilke kommunale og spesialiserte tjenester som tilbyr foreldrestøtte, hvem de er for, og hvilke konkrete tiltak og krav som gjelder. Foreldrestøtte er ikke lovpålagt, men inngår i det forebyggende arbeidet kommuner og faginstanser skal utføre. Tilbudene varierer fra kommune til kommune; det finnes ingen nasjonale beløp, satser eller varighetskrav. Helsestasjon og skolehelsetjenesten gir foreldre råd, veiledning og grupper, og følger barn fra 0-20 år. Barneverntjenesten kan, etter undersøkelse og vedtak, gi frivillige hjelpetiltak og tiltaksplan ved særlig behov; prosessen starter med bekymringsmelding og kan utløse vedtak om foreldrestøtte. PPT krever samtykke (foreldre/verge/elever over 15), tilbyr foreldreveiledning og foreldrerådgivning til barn med særlige behov. Familievernet tilbyr veiledning individuelt eller i gruppe; journal føres. Barnehage og skole samarbeider med foreldre, men foreldreveiledning er ikke en ordinær del av skolen. NAV skal hen...	Dokumentet informerer om barneverntjenestens rådgivningstjenester i Sarpsborg, med hovedtema å hjelpe barn, unge og voksne som er bekymret for barns omsorgssituasjon. Målgruppen er både private (foreldre, familiemedlemmer, naboer, venner) og offentlige ansatte med meldeplikt, samt barn og ungdom selv. Tjenestetypen er lavterskel rådgivning og veiledning, inkludert mulighet for anonym drøfting, samt bistand i å vurdere og sende bekymringsmelding til barnevernet. Dokumentet forklarer konkret at hvem som helst kan kontakte barneverntjenesten anonymt for å diskutere bekymring. Bekymringsmelding sendes enten via telefon (69 10 83 00) eller nasjonal portal (https://bekymringsmelding.fiks.ks.no/). Frist: Barneverntjenesten skal innen én uke vurdere om en mottatt melding skal henlegges eller undersøkes, og gir skriftlig/muntlig bekreftelse til privat melder innen tre uker. Saksbehandlingstiden starter formelt med meldingsmottak. Du kan melde med navn, anonymt via telefon/brev, eller velge at...	[5.1406, -7.3672]

• Loss: SpladeLoss with these parameters:

  {
      "loss": "SparseDistillKLDivLoss",
      "document_regularizer_weight": 0.15,
      "query_regularizer_weight": 5e-05,
      "document_regularizer_threshold": 200
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 4
• gradient_accumulation_steps: 2
• learning_rate: 1e-05
• weight_decay: 0.01
• num_train_epochs: 1
• warmup_ratio: 0.1
• seed: 12
• bf16: True
• dataloader_num_workers: 2
• load_best_model_at_end: True
• ddp_find_unused_parameters: False
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: {'use_reentrant': False}
• router_mapping: {'query': 'query', 'positive': 'document', 'negative': 'document'}

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 2
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 12
• data_seed: None
• jit_mode_eval: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 2
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: False
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: {'use_reentrant': False}
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {'query': 'query', 'positive': 'document', 'negative': 'document'}
• learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	fasit_dot_ndcg@10	keyword_fasit_dot_ndcg@10
-1	-1	-	-	0.2949	0.7229
0.0001	1	0.8027	-	-	-
0.0101	127	0.4349	-	-	-
0.0201	254	0.3792	-	-	-
0.0302	381	0.3505	-	-	-
0.0403	508	0.3477	-	-	-
0.0503	635	0.3431	-	-	-
0.0604	762	0.3485	-	-	-
0.0705	889	0.3346	-	-	-
0.0805	1016	0.3424	-	-	-
0.0906	1143	0.3336	-	-	-
0.1000	1262	-	0.3485	0.2647	0.7162
0.1007	1270	0.3285	-	-	-
0.1107	1397	0.3356	-	-	-
0.1208	1524	0.3248	-	-	-
0.1309	1651	0.3214	-	-	-
0.1409	1778	0.3328	-	-	-
0.1510	1905	0.3112	-	-	-
0.1611	2032	0.3182	-	-	-
0.1711	2159	0.3049	-	-	-
0.1812	2286	0.3194	-	-	-
0.1913	2413	0.3205	-	-	-
0.2001	2524	-	0.4618	0.2680	0.7393
0.2013	2540	0.3053	-	-	-
0.2114	2667	0.2961	-	-	-
0.2215	2794	0.2981	-	-	-
0.2315	2921	0.2994	-	-	-
0.2416	3048	0.3183	-	-	-
0.2517	3175	0.3049	-	-	-
0.2617	3302	0.2937	-	-	-
0.2718	3429	0.2951	-	-	-
0.2819	3556	0.2877	-	-	-
0.2919	3683	0.2901	-	-	-
0.3001	3786	-	0.5076	0.2537	0.7262
0.3020	3810	0.2963	-	-	-
0.3121	3937	0.2814	-	-	-
0.3221	4064	0.2931	-	-	-
0.3322	4191	0.2895	-	-	-
0.3423	4318	0.2908	-	-	-
0.3523	4445	0.2861	-	-	-
0.3624	4572	0.2894	-	-	-
0.3725	4699	0.2896	-	-	-
0.3825	4826	0.2793	-	-	-
0.3926	4953	0.2778	-	-	-
0.4001	5048	-	0.6380	0.2545	0.7393
0.4027	5080	0.2785	-	-	-
0.4127	5207	0.2866	-	-	-
0.4228	5334	0.2841	-	-	-
0.4329	5461	0.2799	-	-	-
0.4429	5588	0.2797	-	-	-
0.4530	5715	0.2791	-	-	-
0.4631	5842	0.2783	-	-	-
0.4731	5969	0.2795	-	-	-
0.4832	6096	0.2863	-	-	-
0.4933	6223	0.2794	-	-	-
0.5002	6310	-	0.3882	0.2737	0.7220
0.5033	6350	0.272	-	-	-
0.5134	6477	0.2592	-	-	-
0.5235	6604	0.2706	-	-	-
0.5335	6731	0.2821	-	-	-
0.5436	6858	0.2717	-	-	-
0.5537	6985	0.2703	-	-	-
0.5637	7112	0.2681	-	-	-
0.5738	7239	0.2742	-	-	-
0.5839	7366	0.2745	-	-	-
0.5939	7493	0.2667	-	-	-
0.6002	7572	-	0.4280	0.2622	0.7316
0.6040	7620	0.2651	-	-	-
0.6141	7747	0.2701	-	-	-
0.6241	7874	0.2706	-	-	-
0.6342	8001	0.2668	-	-	-
0.6443	8128	0.2803	-	-	-
0.6543	8255	0.2745	-	-	-
0.6644	8382	0.2605	-	-	-
0.6745	8509	0.2656	-	-	-
0.6845	8636	0.2641	-	-	-
0.6946	8763	0.2742	-	-	-
0.7002	8834	-	0.4832	0.2731	0.7263
0.7047	8890	0.2633	-	-	-
0.7147	9017	0.2728	-	-	-
0.7248	9144	0.2763	-	-	-
0.7349	9271	0.2567	-	-	-
0.7449	9398	0.2634	-	-	-
0.7550	9525	0.2513	-	-	-
0.7651	9652	0.2644	-	-	-
0.7751	9779	0.2534	-	-	-
0.7852	9906	0.2551	-	-	-
0.7953	10033	0.2615	-	-	-
0.8003	10096	-	0.4014	0.2573	0.7345
0.8053	10160	0.258	-	-	-
0.8154	10287	0.2644	-	-	-
0.8255	10414	0.256	-	-	-
0.8355	10541	0.2611	-	-	-
0.8456	10668	0.2633	-	-	-
0.8557	10795	0.26	-	-	-
0.8657	10922	0.2555	-	-	-
0.8758	11049	0.256	-	-	-
0.8859	11176	0.2543	-	-	-
0.8959	11303	0.249	-	-	-
0.9003	11358	-	0.3704	0.2733	0.7418
0.9060	11430	0.2559	-	-	-
0.9161	11557	0.2491	-	-	-
0.9261	11684	0.2469	-	-	-
0.9362	11811	0.2538	-	-	-
0.9463	11938	0.2629	-	-	-
0.9563	12065	0.2436	-	-	-
0.9664	12192	0.2585	-	-	-
0.9765	12319	0.2435	-	-	-
0.9865	12446	0.2513	-	-	-
0.9966	12573	0.2604	-	-	-
-1	-1	-	-	0.2733	0.7418

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.14.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

SpladeLoss

@misc{formal2022distillationhardnegativesampling,
      title={From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective},
      author={Thibault Formal and Carlos Lassance and Benjamin Piwowarski and Stéphane Clinchant},
      year={2022},
      eprint={2205.04733},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2205.04733},
}

SparseDistillKLDivLoss

@misc{lin2020distillingdenserepresentationsranking,
      title={Distilling Dense Representations for Ranking using Tightly-Coupled Teachers},
      author={Sheng-Chieh Lin and Jheng-Hong Yang and Jimmy Lin},
      year={2020},
      eprint={2010.11386},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2010.11386},
}

FlopsLoss

@article{paria2020minimizing,
    title={Minimizing flops to learn efficient sparse representations},
    author={Paria, Biswajit and Yeh, Chih-Kuan and Yen, Ian EH and Xu, Ning and Ravikumar, Pradeep and P{'o}czos, Barnab{'a}s},
    journal={arXiv preprint arXiv:2004.05665},
    year={2020}
}