Update README.md

fedd8e7 verified 2 months ago

243 kB

language:
  - ko
license: apache-2.0
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:375895
  - loss:MatryoshkaLoss
  - loss:CachedMultipleNegativesRankingLoss
base_model: Qwen/Qwen3-VL-Embedding-2B
widget:
  - source_sentence: 컴퓨터시스템설계 및 분석가와 시스템소프트웨어개발자의 2021-2031년 고용 증감률 차이는 어떤 요인에 기인하나요?
    sentences:
      - 2023년 일·가정 양립 실태조사에서 사업체 규모별 상시근로자 수와 표본 배분 수의 차이는 어떻게 다른가요?
      - 「소재·부품·장비 2.0전략」으로 확대된 GVC 핵심품목 수와 2022년 국내 첨단화학소재 시장 규모는 각각 얼마인가요?
      - 이차전지 장비 분야에서 고졸 인력의 퇴직률과 채용률은 사업체 규모별로 어떻게 다른가요?
  - source_sentence: 난임치료휴가 사용일수 vs 태아검진시간 보장 vs 생리휴가 vs 수유시간 제공 모성보호제도 사용 가능 비율
    sentences:
      - 차세대세라믹소재 산업에서 분야별 및 사업체규모별 퇴직률과 채용률의 차이를 비교하라
      - >-
        2023년 기준 일·가정 양립 정책 중 근로자 이직률 감소와 기업 생산성 향상에 가장 큰 영향을 미친 상위 3개 정책을 순위별
        응답 빈도와 지역별 성과 데이터를 비교하여 설명하라.
      - 철로설치·보수원과 잠수기능원의 업무 환경, 필수 자격 요건, 그리고 작업 방식의 차이점을 비교하라.
  - source_sentence: 재량근무제 원격근무제 재택근무제 도입률 평균 활용인원 비교
    sentences:
      - 자연과학시험원과 생물학연구원의 향후 10년간 일자리 전망 차이는 어떤 기술적·사회적 요인에 기인하나요?
      - 식품 가공 관련 기계 조작원의 평균 연령대와 초과 근로시간이 월임금총액에서 차지하는 비율은 성별에 따라 어떻게 다른가요?
      - >-
        산업용 첨단화학소재 분야의 높은 연평균 증가율이 전체 산업기술인력 기여율에서 상대적으로 낮은 비중을 차지하는 이유는 무엇이며,
        이와 관련된 직무별 인력 수요 변화는 어떻게 나타나는가?
  - source_sentence: 이차전지 재사용·재활용 분야의 신입직 채용 어려움과 인력 부족 원인이 다른 분야와 어떻게 다른지 설명하시오.
    sentences:
      - 부동산중개인이 되기 위해 필요한 자격증과 향후 10년간 일자리 전망에 영향을 미치는 주요 요인은 무엇인가요?
      - 가상(증강)현실전문가와 게임프로그래머의 일자리 증가 요인과 요구되는 능력은 어떻게 다른가요?
      - 첨단화학소재 산업에서 생산기술 직무 퇴직률 증가와 R&D 및 공정설계 분야 고급인력 양성 요구 사이의 관계는 무엇인가요?
  - source_sentence: 2023년 지역별 연차 평균 사용 일수와 연차 미사용 이유 간의 상관관계는 무엇이며, 이를 개선하기 위한 주요 조치는 무엇인가요?
    sentences:
      - 웹개발자 및 웹기획자 취업자 수 증감률 비교
      - 이차전지 재사용·재활용 분야의 신입직 채용 어려움과 인력 부족 원인이 다른 분야와 어떻게 다른지 설명하시오.
      - 가축사육종사원의 일자리 전망에 영향을 미치는 증가 요인과 감소 요인을 비교하여 설명하시오.
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - cosine_accuracy@1
  - cosine_accuracy@3
  - cosine_accuracy@5
  - cosine_accuracy@10
  - cosine_precision@1
  - cosine_precision@3
  - cosine_precision@5
  - cosine_precision@10
  - cosine_recall@1
  - cosine_recall@3
  - cosine_recall@5
  - cosine_recall@10
  - cosine_ndcg@5
  - cosine_ndcg@10
  - cosine_mrr@10
  - cosine_map@100
model-index:
  - name: >-
      Qwen3-VL-Embedding-2B model trained on Korean Visual Document Retrieval
      query-document screenshot pairs
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: kovidore hr eval
          type: kovidore-hr-eval
        metrics:
          - type: cosine_accuracy@1
            value: 0.3167420814479638
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.5384615384615384
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.6244343891402715
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.746606334841629
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.3167420814479638
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.23981900452488686
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.1936651583710407
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.13891402714932127
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.10555914673561732
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.23277310924369748
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.3139301874595992
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.42953027364792074
            name: Cosine Recall@10
          - type: cosine_ndcg@5
            value: 0.29936477796940414
            name: Cosine Ndcg@5
          - type: cosine_ndcg@10
            value: 0.3521916369275723
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.4510019392372335
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.28612283041029246
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: kovidore hr eval 2048d
          type: kovidore-hr-eval-2048d
        metrics:
          - type: cosine_accuracy@1
            value: 0.3167420814479638
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.5384615384615384
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.6244343891402715
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.746606334841629
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.3167420814479638
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.23981900452488686
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.1936651583710407
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.13891402714932127
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.10555914673561732
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.23277310924369748
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.3139301874595992
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.42953027364792074
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.3521916369275723
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.4510019392372335
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.28612283041029246
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: kovidore hr eval 1024d
          type: kovidore-hr-eval-1024d
        metrics:
          - type: cosine_accuracy@1
            value: 0.28054298642533937
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.502262443438914
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.6108597285067874
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.7239819004524887
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.28054298642533937
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.22624434389140272
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.19004524886877827
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.13122171945701358
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.09145658263305322
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.21945701357466063
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.30687351863822454
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.41164619694031457
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.3299995662996147
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.4146232852115207
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.27091077583689815
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: kovidore hr eval 512d
          type: kovidore-hr-eval-512d
        metrics:
          - type: cosine_accuracy@1
            value: 0.26244343891402716
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.497737556561086
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.583710407239819
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.751131221719457
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.26244343891402716
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.21116138763197587
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.17647058823529413
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.13031674208144794
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.08629605688429216
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.20309200603318248
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.27490842490842493
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.4076923076923077
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.3191360237740399
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.4087050204697264
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.25493079095962123
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: kovidore hr eval 256d
          type: kovidore-hr-eval-256d
        metrics:
          - type: cosine_accuracy@1
            value: 0.2669683257918552
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.45248868778280543
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.579185520361991
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.7058823529411765
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.2669683257918552
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.1975867269984917
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.16832579185520363
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.1253393665158371
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.08584356819650937
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.1872979961215255
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.2654384830855419
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.3909609997845292
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.30811152229006145
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.3952111613876321
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.24497983293286898
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: kovidore hr eval 128d
          type: kovidore-hr-eval-128d
        metrics:
          - type: cosine_accuracy@1
            value: 0.2398190045248869
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.38461538461538464
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.4660633484162896
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.5972850678733032
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.2398190045248869
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.16892911010558068
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.13846153846153844
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.1013574660633484
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.0781835811247576
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.15757379875026933
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.2132406808877397
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.31347769877181647
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.2528783413141007
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.33766429648782603
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.20530881281856705
            name: Cosine Map@100

Qwen3-VL-Embedding-2B model trained on Korean Visual Document Retrieval query-document screenshot pairs

This is a sentence-transformers model finetuned from Qwen/Qwen3-VL-Embedding-2B. It maps sentences & paragraphs to a 2048-dimensional dense vector space and can be used for retrieval.

The evaluation results reported in this README were obtained with max_pixels = 1024 * 32 * 32. When evaluated on SDS KoPub-VDR and KoViDoRe v2 with max_pixels = 1800 * 32 * 32, the NDCG@10 scores are as follows:

KoViDoRe v2

Domain NDCG@10

Cybersecurity 0.7073

Energy 0.6035

Hr 0.4107

Economic 0.2404

Average 0.4905

SDS KoPub-VDR

Domain NDCG@10

Average 0.6522

Domain	NDCG@10
Cybersecurity	0.7073
Energy	0.6035
Hr	0.4107
Economic	0.2404
Average	0.4905

Domain	NDCG@10
Average	0.6522

Model Details

Model Description

Model Type: Sentence Transformer
Base model: Qwen/Qwen3-VL-Embedding-2B
Maximum Sequence Length: 262144 tokens
Output Dimensionality: 2048 dimensions
Similarity Function: Cosine Similarity
Supported Modalities: Text, Image, Video, Message
Language: ko
License: apache-2.0

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}, 'image': {'method': 'forward', 'method_output_name': 'last_hidden_state'}, 'video': {'method': 'forward', 'method_output_name': 'last_hidden_state'}, 'message': {'method': 'forward', 'method_output_name': 'last_hidden_state', 'format': 'structured'}}, 'module_output_name': 'token_embeddings', 'processing_kwargs': {'chat_template': {'add_generation_prompt': True}}, 'unpad_inputs': False, 'architecture': 'Qwen3VLModel'})
  (1): Pooling({'embedding_dimension': 2048, 'pooling_mode': 'lasttoken', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    '하이테크섬유소재 산업에서 산업용 테크니컬 섬유의 시장 성장 전망이 연구개발 인력 비중 변화에 어떤 영향을 미치고 있나요?',
]
documents = [
    'assets/image_0.jpg',
    'assets/image_1.jpg',
    'assets/image_2.jpg',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 2048] [3, 2048]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.5445, 0.5695, 0.5247]])

Evaluation

Metrics

Information Retrieval

Dataset: kovidore-hr-eval

Evaluated with InformationRetrievalEvaluator with these parameters:

{
    "query_prompt": "Find a screenshot that is relevant to the user's question."
}

Metric	Value
cosine_accuracy@1	0.3167
cosine_accuracy@3	0.5385
cosine_accuracy@5	0.6244
cosine_accuracy@10	0.7466
cosine_precision@1	0.3167
cosine_precision@3	0.2398
cosine_precision@5	0.1937
cosine_precision@10	0.1389
cosine_recall@1	0.1056
cosine_recall@3	0.2328
cosine_recall@5	0.3139
cosine_recall@10	0.4295
cosine_ndcg@5	0.2994
cosine_ndcg@10	0.3522
cosine_mrr@10	0.451
cosine_map@100	0.2861

Information Retrieval

Dataset: kovidore-hr-eval-2048d

Evaluated with InformationRetrievalEvaluator with these parameters:

{
    "truncate_dim": 2048,
    "query_prompt": "Find a screenshot that is relevant to the user's question."
}

Metric	Value
cosine_accuracy@1	0.3167
cosine_accuracy@3	0.5385
cosine_accuracy@5	0.6244
cosine_accuracy@10	0.7466
cosine_precision@1	0.3167
cosine_precision@3	0.2398
cosine_precision@5	0.1937
cosine_precision@10	0.1389
cosine_recall@1	0.1056
cosine_recall@3	0.2328
cosine_recall@5	0.3139
cosine_recall@10	0.4295
cosine_ndcg@10	0.3522
cosine_mrr@10	0.451
cosine_map@100	0.2861

Information Retrieval

Dataset: kovidore-hr-eval-1024d

Evaluated with InformationRetrievalEvaluator with these parameters:

{
    "truncate_dim": 1024,
    "query_prompt": "Find a screenshot that is relevant to the user's question."
}

Metric	Value
cosine_accuracy@1	0.2805
cosine_accuracy@3	0.5023
cosine_accuracy@5	0.6109
cosine_accuracy@10	0.724
cosine_precision@1	0.2805
cosine_precision@3	0.2262
cosine_precision@5	0.19
cosine_precision@10	0.1312
cosine_recall@1	0.0915
cosine_recall@3	0.2195
cosine_recall@5	0.3069
cosine_recall@10	0.4116
cosine_ndcg@10	0.33
cosine_mrr@10	0.4146
cosine_map@100	0.2709

Information Retrieval

Dataset: kovidore-hr-eval-512d

Evaluated with InformationRetrievalEvaluator with these parameters:

{
    "truncate_dim": 512,
    "query_prompt": "Find a screenshot that is relevant to the user's question."
}

Metric	Value
cosine_accuracy@1	0.2624
cosine_accuracy@3	0.4977
cosine_accuracy@5	0.5837
cosine_accuracy@10	0.7511
cosine_precision@1	0.2624
cosine_precision@3	0.2112
cosine_precision@5	0.1765
cosine_precision@10	0.1303
cosine_recall@1	0.0863
cosine_recall@3	0.2031
cosine_recall@5	0.2749
cosine_recall@10	0.4077
cosine_ndcg@10	0.3191
cosine_mrr@10	0.4087
cosine_map@100	0.2549

Information Retrieval

Dataset: kovidore-hr-eval-256d

Evaluated with InformationRetrievalEvaluator with these parameters:

{
    "truncate_dim": 256,
    "query_prompt": "Find a screenshot that is relevant to the user's question."
}

Metric	Value
cosine_accuracy@1	0.267
cosine_accuracy@3	0.4525
cosine_accuracy@5	0.5792
cosine_accuracy@10	0.7059
cosine_precision@1	0.267
cosine_precision@3	0.1976
cosine_precision@5	0.1683
cosine_precision@10	0.1253
cosine_recall@1	0.0858
cosine_recall@3	0.1873
cosine_recall@5	0.2654
cosine_recall@10	0.391
cosine_ndcg@10	0.3081
cosine_mrr@10	0.3952
cosine_map@100	0.245

Information Retrieval

Dataset: kovidore-hr-eval-128d

Evaluated with InformationRetrievalEvaluator with these parameters:

{
    "truncate_dim": 128,
    "query_prompt": "Find a screenshot that is relevant to the user's question."
}

Metric	Value
cosine_accuracy@1	0.2398
cosine_accuracy@3	0.3846
cosine_accuracy@5	0.4661
cosine_accuracy@10	0.5973
cosine_precision@1	0.2398
cosine_precision@3	0.1689
cosine_precision@5	0.1385
cosine_precision@10	0.1014
cosine_recall@1	0.0782
cosine_recall@3	0.1576
cosine_recall@5	0.2132
cosine_recall@10	0.3135
cosine_ndcg@10	0.2529
cosine_mrr@10	0.3377
cosine_map@100	0.2053

Training Details

Training Dataset

Unnamed Dataset

Size: 375,895 training samples
Columns: query and image
Approximate statistics based on the first 1000 samples:
query image
type string image
details
min: 20 tokens
mean: 61.49 tokens
max: 116 tokens

min: 339x178 px
mean: 2263x2460 px
max: 4961x4385 px

	query	image
type	string	image
details	min: 20 tokens mean: 61.49 tokens max: 116 tokens	min: 339x178 px mean: 2263x2460 px max: 4961x4385 px

Samples:

query	image
`시청사 안전 관리 정책과 세무조사 절차가 각각 위험 최소화와 예산 효율성 확보에 어떻게 기여하고 있는가?`
`학교 밖 청소년 지원 확대는 언제 시작되었나요?`
`소니의 게임 산업 전략과 2020년 방송영상 콘텐츠 혁신 계획 간의 기술 혁신 접근 방식 차이는 무엇인가요?`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "CachedMultipleNegativesRankingLoss",
    "matryoshka_dims": [
        2048,
        1024,
        512,
        256,
        128
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Evaluation Dataset

Unnamed Dataset

Size: 726 evaluation samples
Columns: query and image
Approximate statistics based on the first 726 samples:
query image
type string image
details
min: 38 tokens
mean: 65.45 tokens
max: 107 tokens

min: 2221x2480 px
mean: 2387x3333 px
max: 3505x3626 px

	query	image
type	string	image
details	min: 38 tokens mean: 65.45 tokens max: 107 tokens	min: 2221x2480 px mean: 2387x3333 px max: 3505x3626 px

Samples:

query	image
`하이테크섬유소재 산업에서 산업용 테크니컬 섬유의 시장 성장 전망이 연구개발 인력 비중 변화에 어떤 영향을 미치고 있나요?`
`하이테크섬유소재 산업에서 산업용 테크니컬 섬유의 시장 성장 전망이 연구개발 인력 비중 변화에 어떤 영향을 미치고 있나요?`
`하이테크섬유소재 산업에서 산업용 테크니컬 섬유의 시장 성장 전망이 연구개발 인력 비중 변화에 어떤 영향을 미치고 있나요?`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "CachedMultipleNegativesRankingLoss",
    "matryoshka_dims": [
        2048,
        1024,
        512,
        256,
        128
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 128
num_train_epochs: 1.0
learning_rate: 2e-05
lr_scheduler_type: cosine
warmup_steps: 0.05
gradient_accumulation_steps: 2
bf16: True
per_device_eval_batch_size: 128
dataloader_num_workers: 4
batch_sampler: no_duplicates_hashed

All Hyperparameters

Click to expand

per_device_train_batch_size: 128
num_train_epochs: 1.0
max_steps: -1
learning_rate: 2e-05
lr_scheduler_type: cosine
lr_scheduler_kwargs: None
warmup_steps: 0.05
optim: adamw_torch_fused
optim_args: None
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
optim_target_modules: None
gradient_accumulation_steps: 2
average_tokens_across_devices: True
max_grad_norm: 1.0
label_smoothing_factor: 0.0
bf16: True
fp16: False
bf16_full_eval: False
fp16_full_eval: False
tf32: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
use_liger_kernel: False
liger_kernel_config: None
use_cache: False
neftune_noise_alpha: None
torch_empty_cache_steps: None
auto_find_batch_size: False
log_on_each_node: True
logging_nan_inf_filter: True
include_num_input_tokens_seen: no
log_level: passive
log_level_replica: warning
disable_tqdm: False
project: huggingface
trackio_space_id: trackio
per_device_eval_batch_size: 128
prediction_loss_only: True
eval_on_start: False
eval_do_concat_batches: True
eval_use_gather_object: False
eval_accumulation_steps: None
include_for_metrics: []
batch_eval_metrics: False
save_only_model: False
save_on_each_node: False
enable_jit_checkpoint: False
push_to_hub: False
hub_private_repo: None
hub_model_id: None
hub_strategy: every_save
hub_always_push: False
hub_revision: None
load_best_model_at_end: False
ignore_data_skip: False
restore_callback_states_from_checkpoint: False
full_determinism: False
seed: 42
data_seed: None
use_cpu: False
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
dataloader_drop_last: True
dataloader_num_workers: 4
dataloader_pin_memory: True
dataloader_persistent_workers: False
dataloader_prefetch_factor: None
remove_unused_columns: True
label_names: None
train_sampling_strategy: random
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
ddp_backend: None
ddp_timeout: 1800
fsdp: []
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
deepspeed: None
debug: []
skip_memory_metrics: True
do_predict: False
resume_from_checkpoint: None
warmup_ratio: None
local_rank: -1
prompts: None
batch_sampler: no_duplicates_hashed
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}
mini_batch_size: 16
matryoshka_dims: [2048, 1024, 512, 256, 128]
use_lora: False
lora_r: 32
lora_alpha: 32
lora_dropout: 0.05
lora_target_modules: ['q_proj', 'k_proj', 'v_proj', 'o_proj', 'gate_proj', 'up_proj', 'down_proj']

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	kovidore-hr-eval_cosine_ndcg@10	kovidore-hr-eval-2048d_cosine_ndcg@10	kovidore-hr-eval-1024d_cosine_ndcg@10	kovidore-hr-eval-512d_cosine_ndcg@10	kovidore-hr-eval-256d_cosine_ndcg@10	kovidore-hr-eval-128d_cosine_ndcg@10
-1	-1	-	-	0.1635	-	-	-	-	-
0.0014	1	12.5989	-	-	-	-	-	-	-
0.0027	2	11.7525	-	-	-	-	-	-	-
0.0041	3	11.9801	-	-	-	-	-	-	-
0.0054	4	12.4201	-	-	-	-	-	-	-
0.0068	5	12.4029	-	-	-	-	-	-	-
0.0082	6	11.9316	-	-	-	-	-	-	-
0.0095	7	11.5481	-	-	-	-	-	-	-
0.0109	8	11.5434	-	-	-	-	-	-	-
0.0123	9	10.8382	-	-	-	-	-	-	-
0.0136	10	10.0838	-	-	-	-	-	-	-
0.0150	11	9.8435	-	-	-	-	-	-	-
0.0163	12	9.1532	-	-	-	-	-	-	-
0.0177	13	8.5349	-	-	-	-	-	-	-
0.0191	14	8.6398	-	-	-	-	-	-	-
0.0204	15	8.2873	-	-	-	-	-	-	-
0.0218	16	7.6626	-	-	-	-	-	-	-
0.0232	17	7.2096	-	-	-	-	-	-	-
0.0245	18	7.1897	-	-	-	-	-	-	-
0.0259	19	6.3010	-	-	-	-	-	-	-
0.0272	20	6.6421	-	-	-	-	-	-	-
0.0286	21	6.3039	-	-	-	-	-	-	-
0.0300	22	6.1375	-	-	-	-	-	-	-
0.0313	23	6.0474	-	-	-	-	-	-	-
0.0327	24	5.6578	-	-	-	-	-	-	-
0.0341	25	5.5311	-	-	-	-	-	-	-
0.0354	26	5.5291	-	-	-	-	-	-	-
0.0368	27	5.1779	-	-	-	-	-	-	-
0.0381	28	5.5651	-	-	-	-	-	-	-
0.0395	29	4.8693	-	-	-	-	-	-	-
0.0409	30	4.5870	-	-	-	-	-	-	-
0.0422	31	4.8026	-	-	-	-	-	-	-
0.0436	32	4.5821	-	-	-	-	-	-	-
0.0450	33	3.9704	-	-	-	-	-	-	-
0.0463	34	4.6102	-	-	-	-	-	-	-
0.0477	35	4.3860	-	-	-	-	-	-	-
0.0490	36	4.1360	-	-	-	-	-	-	-
0.0504	37	3.6120	-	-	-	-	-	-	-
0.0518	38	4.0341	-	-	-	-	-	-	-
0.0531	39	4.3009	-	-	-	-	-	-	-
0.0545	40	3.8860	-	-	-	-	-	-	-
0.0559	41	3.6376	-	-	-	-	-	-	-
0.0572	42	3.6823	-	-	-	-	-	-	-
0.0586	43	3.7491	-	-	-	-	-	-	-
0.0599	44	3.9204	-	-	-	-	-	-	-
0.0613	45	3.3923	-	-	-	-	-	-	-
0.0627	46	3.4663	-	-	-	-	-	-	-
0.0640	47	3.7050	-	-	-	-	-	-	-
0.0654	48	3.9178	-	-	-	-	-	-	-
0.0668	49	3.8461	-	-	-	-	-	-	-
0.0681	50	3.4688	-	-	-	-	-	-	-
0.0695	51	3.4001	-	-	-	-	-	-	-
0.0708	52	3.6708	-	-	-	-	-	-	-
0.0722	53	3.6082	-	-	-	-	-	-	-
0.0736	54	3.3912	-	-	-	-	-	-	-
0.0749	55	2.7133	-	-	-	-	-	-	-
0.0763	56	3.2332	-	-	-	-	-	-	-
0.0777	57	2.9877	-	-	-	-	-	-	-
0.0790	58	3.2032	-	-	-	-	-	-	-
0.0804	59	3.3414	-	-	-	-	-	-	-
0.0817	60	3.4641	-	-	-	-	-	-	-
0.0831	61	3.1595	-	-	-	-	-	-	-
0.0845	62	2.9798	-	-	-	-	-	-	-
0.0858	63	3.4362	-	-	-	-	-	-	-
0.0872	64	2.6839	-	-	-	-	-	-	-
0.0886	65	3.1535	-	-	-	-	-	-	-
0.0899	66	3.2873	-	-	-	-	-	-	-
0.0913	67	3.4748	-	-	-	-	-	-	-
0.0926	68	3.2044	-	-	-	-	-	-	-
0.0940	69	3.3770	-	-	-	-	-	-	-
0.0954	70	2.7455	-	-	-	-	-	-	-
0.0967	71	2.4288	-	-	-	-	-	-	-
0.0981	72	2.9685	-	-	-	-	-	-	-
0.0995	73	3.0441	-	-	-	-	-	-	-
0.1008	74	2.8841	-	-	-	-	-	-	-
0.1022	75	2.8333	-	-	-	-	-	-	-
0.1035	76	2.9206	-	-	-	-	-	-	-
0.1049	77	3.0215	-	-	-	-	-	-	-
0.1063	78	3.0514	-	-	-	-	-	-	-
0.1076	79	2.9484	-	-	-	-	-	-	-
0.1090	80	2.7305	-	-	-	-	-	-	-
0.1104	81	3.4594	-	-	-	-	-	-	-
0.1117	82	2.2943	-	-	-	-	-	-	-
0.1131	83	2.8816	-	-	-	-	-	-	-
0.1144	84	3.2173	-	-	-	-	-	-	-
0.1158	85	2.7779	-	-	-	-	-	-	-
0.1172	86	2.9407	-	-	-	-	-	-	-
0.1185	87	2.6579	-	-	-	-	-	-	-
0.1199	88	2.4952	-	-	-	-	-	-	-
0.1213	89	2.9427	-	-	-	-	-	-	-
0.1226	90	2.7977	-	-	-	-	-	-	-
0.1240	91	2.7015	-	-	-	-	-	-	-
0.1253	92	2.9378	-	-	-	-	-	-	-
0.1267	93	2.6606	-	-	-	-	-	-	-
0.1281	94	2.6318	-	-	-	-	-	-	-
0.1294	95	2.7911	-	-	-	-	-	-	-
0.1308	96	3.0715	-	-	-	-	-	-	-
0.1322	97	2.9101	-	-	-	-	-	-	-
0.1335	98	2.4365	-	-	-	-	-	-	-
0.1349	99	2.3475	-	-	-	-	-	-	-
0.1362	100	2.3083	12.6454	0.2856	-	-	-	-	-
0.1376	101	2.4004	-	-	-	-	-	-	-
0.1390	102	2.7838	-	-	-	-	-	-	-
0.1403	103	2.7071	-	-	-	-	-	-	-
0.1417	104	2.5176	-	-	-	-	-	-	-
0.1431	105	2.6188	-	-	-	-	-	-	-
0.1444	106	2.5974	-	-	-	-	-	-	-
0.1458	107	2.4591	-	-	-	-	-	-	-
0.1471	108	2.9671	-	-	-	-	-	-	-
0.1485	109	2.8031	-	-	-	-	-	-	-
0.1499	110	2.4146	-	-	-	-	-	-	-
0.1512	111	2.5816	-	-	-	-	-	-	-
0.1526	112	2.6721	-	-	-	-	-	-	-
0.1540	113	2.7648	-	-	-	-	-	-	-
0.1553	114	2.8498	-	-	-	-	-	-	-
0.1567	115	2.6547	-	-	-	-	-	-	-
0.1580	116	2.8596	-	-	-	-	-	-	-
0.1594	117	3.0361	-	-	-	-	-	-	-
0.1608	118	2.8527	-	-	-	-	-	-	-
0.1621	119	2.5922	-	-	-	-	-	-	-
0.1635	120	2.7961	-	-	-	-	-	-	-
0.1649	121	2.3379	-	-	-	-	-	-	-
0.1662	122	2.6011	-	-	-	-	-	-	-
0.1676	123	2.5183	-	-	-	-	-	-	-
0.1689	124	2.3978	-	-	-	-	-	-	-
0.1703	125	2.5928	-	-	-	-	-	-	-
0.1717	126	2.8163	-	-	-	-	-	-	-
0.1730	127	2.6082	-	-	-	-	-	-	-
0.1744	128	2.5493	-	-	-	-	-	-	-
0.1757	129	2.3846	-	-	-	-	-	-	-
0.1771	130	2.7151	-	-	-	-	-	-	-
0.1785	131	2.2919	-	-	-	-	-	-	-
0.1798	132	2.7926	-	-	-	-	-	-	-
0.1812	133	2.5687	-	-	-	-	-	-	-
0.1826	134	3.0042	-	-	-	-	-	-	-
0.1839	135	2.1077	-	-	-	-	-	-	-
0.1853	136	2.4163	-	-	-	-	-	-	-
0.1866	137	2.2914	-	-	-	-	-	-	-
0.1880	138	2.3251	-	-	-	-	-	-	-
0.1894	139	2.6317	-	-	-	-	-	-	-
0.1907	140	2.8224	-	-	-	-	-	-	-
0.1921	141	2.2333	-	-	-	-	-	-	-
0.1935	142	2.5090	-	-	-	-	-	-	-
0.1948	143	2.3920	-	-	-	-	-	-	-
0.1962	144	2.4799	-	-	-	-	-	-	-
0.1975	145	2.5125	-	-	-	-	-	-	-
0.1989	146	2.6033	-	-	-	-	-	-	-
0.2003	147	2.3994	-	-	-	-	-	-	-
0.2016	148	2.7508	-	-	-	-	-	-	-
0.2030	149	2.5441	-	-	-	-	-	-	-
0.2044	150	2.8192	-	-	-	-	-	-	-
0.2057	151	2.5756	-	-	-	-	-	-	-
0.2071	152	2.7869	-	-	-	-	-	-	-
0.2084	153	2.5446	-	-	-	-	-	-	-
0.2098	154	2.5355	-	-	-	-	-	-	-
0.2112	155	2.6220	-	-	-	-	-	-	-
0.2125	156	2.6144	-	-	-	-	-	-	-
0.2139	157	2.4171	-	-	-	-	-	-	-
0.2153	158	2.3553	-	-	-	-	-	-	-
0.2166	159	2.4939	-	-	-	-	-	-	-
0.2180	160	2.5188	-	-	-	-	-	-	-
0.2193	161	2.2849	-	-	-	-	-	-	-
0.2207	162	2.4986	-	-	-	-	-	-	-
0.2221	163	2.2168	-	-	-	-	-	-	-
0.2234	164	2.5498	-	-	-	-	-	-	-
0.2248	165	2.3878	-	-	-	-	-	-	-
0.2262	166	1.9777	-	-	-	-	-	-	-
0.2275	167	2.1589	-	-	-	-	-	-	-
0.2289	168	2.3726	-	-	-	-	-	-	-
0.2302	169	2.1589	-	-	-	-	-	-	-
0.2316	170	2.4009	-	-	-	-	-	-	-
0.2330	171	2.2393	-	-	-	-	-	-	-
0.2343	172	2.3541	-	-	-	-	-	-	-
0.2357	173	2.3611	-	-	-	-	-	-	-
0.2371	174	2.2913	-	-	-	-	-	-	-
0.2384	175	2.6696	-	-	-	-	-	-	-
0.2398	176	2.6759	-	-	-	-	-	-	-
0.2411	177	2.1232	-	-	-	-	-	-	-
0.2425	178	2.4155	-	-	-	-	-	-	-
0.2439	179	2.6672	-	-	-	-	-	-	-
0.2452	180	2.4271	-	-	-	-	-	-	-
0.2466	181	2.1856	-	-	-	-	-	-	-
0.2480	182	2.5975	-	-	-	-	-	-	-
0.2493	183	2.6202	-	-	-	-	-	-	-
0.2507	184	2.4713	-	-	-	-	-	-	-
0.2520	185	2.6800	-	-	-	-	-	-	-
0.2534	186	2.4214	-	-	-	-	-	-	-
0.2548	187	2.4757	-	-	-	-	-	-	-
0.2561	188	2.0876	-	-	-	-	-	-	-
0.2575	189	1.9946	-	-	-	-	-	-	-
0.2589	190	2.1938	-	-	-	-	-	-	-
0.2602	191	2.3078	-	-	-	-	-	-	-
0.2616	192	2.0943	-	-	-	-	-	-	-
0.2629	193	2.3893	-	-	-	-	-	-	-
0.2643	194	2.3438	-	-	-	-	-	-	-
0.2657	195	2.2656	-	-	-	-	-	-	-
0.2670	196	2.4710	-	-	-	-	-	-	-
0.2684	197	2.3922	-	-	-	-	-	-	-
0.2698	198	2.4481	-	-	-	-	-	-	-
0.2711	199	2.3725	-	-	-	-	-	-	-
0.2725	200	2.6946	12.7048	0.2944	-	-	-	-	-
0.2738	201	2.1826	-	-	-	-	-	-	-
0.2752	202	2.1741	-	-	-	-	-	-	-
0.2766	203	2.1160	-	-	-	-	-	-	-
0.2779	204	2.6354	-	-	-	-	-	-	-
0.2793	205	2.3611	-	-	-	-	-	-	-
0.2807	206	2.0879	-	-	-	-	-	-	-
0.2820	207	2.3140	-	-	-	-	-	-	-
0.2834	208	2.4683	-	-	-	-	-	-	-
0.2847	209	2.6136	-	-	-	-	-	-	-
0.2861	210	2.3649	-	-	-	-	-	-	-
0.2875	211	2.3117	-	-	-	-	-	-	-
0.2888	212	2.5930	-	-	-	-	-	-	-
0.2902	213	2.0142	-	-	-	-	-	-	-
0.2916	214	2.4329	-	-	-	-	-	-	-
0.2929	215	2.5556	-	-	-	-	-	-	-
0.2943	216	2.4058	-	-	-	-	-	-	-
0.2956	217	2.1328	-	-	-	-	-	-	-
0.2970	218	2.3350	-	-	-	-	-	-	-
0.2984	219	2.1800	-	-	-	-	-	-	-
0.2997	220	2.3129	-	-	-	-	-	-	-
0.3011	221	2.3166	-	-	-	-	-	-	-
0.3025	222	2.0943	-	-	-	-	-	-	-
0.3038	223	2.2954	-	-	-	-	-	-	-
0.3052	224	2.3178	-	-	-	-	-	-	-
0.3065	225	2.4639	-	-	-	-	-	-	-
0.3079	226	1.9902	-	-	-	-	-	-	-
0.3093	227	2.2004	-	-	-	-	-	-	-
0.3106	228	2.1586	-	-	-	-	-	-	-
0.3120	229	2.1834	-	-	-	-	-	-	-
0.3134	230	2.4140	-	-	-	-	-	-	-
0.3147	231	2.2707	-	-	-	-	-	-	-
0.3161	232	2.4095	-	-	-	-	-	-	-
0.3174	233	2.3388	-	-	-	-	-	-	-
0.3188	234	2.1020	-	-	-	-	-	-	-
0.3202	235	2.1115	-	-	-	-	-	-	-
0.3215	236	2.2724	-	-	-	-	-	-	-
0.3229	237	2.0170	-	-	-	-	-	-	-
0.3243	238	2.0427	-	-	-	-	-	-	-
0.3256	239	2.1623	-	-	-	-	-	-	-
0.3270	240	2.2005	-	-	-	-	-	-	-
0.3283	241	2.2860	-	-	-	-	-	-	-
0.3297	242	2.3482	-	-	-	-	-	-	-
0.3311	243	2.0765	-	-	-	-	-	-	-
0.3324	244	2.2380	-	-	-	-	-	-	-
0.3338	245	2.1407	-	-	-	-	-	-	-
0.3351	246	2.0575	-	-	-	-	-	-	-
0.3365	247	2.2492	-	-	-	-	-	-	-
0.3379	248	1.9443	-	-	-	-	-	-	-
0.3392	249	2.4679	-	-	-	-	-	-	-
0.3406	250	1.9008	-	-	-	-	-	-	-
0.3420	251	2.2967	-	-	-	-	-	-	-
0.3433	252	2.5148	-	-	-	-	-	-	-
0.3447	253	2.3991	-	-	-	-	-	-	-
0.3460	254	2.4203	-	-	-	-	-	-	-
0.3474	255	2.1369	-	-	-	-	-	-	-
0.3488	256	2.3870	-	-	-	-	-	-	-
0.3501	257	2.6039	-	-	-	-	-	-	-
0.3515	258	2.2899	-	-	-	-	-	-	-
0.3529	259	2.0916	-	-	-	-	-	-	-
0.3542	260	2.2044	-	-	-	-	-	-	-
0.3556	261	1.9944	-	-	-	-	-	-	-
0.3569	262	2.5242	-	-	-	-	-	-	-
0.3583	263	2.2430	-	-	-	-	-	-	-
0.3597	264	2.3481	-	-	-	-	-	-	-
0.3610	265	2.3132	-	-	-	-	-	-	-
0.3624	266	2.1954	-	-	-	-	-	-	-
0.3638	267	2.3599	-	-	-	-	-	-	-
0.3651	268	2.1727	-	-	-	-	-	-	-
0.3665	269	2.1973	-	-	-	-	-	-	-
0.3678	270	2.1254	-	-	-	-	-	-	-
0.3692	271	2.1877	-	-	-	-	-	-	-
0.3706	272	2.2401	-	-	-	-	-	-	-
0.3719	273	2.2340	-	-	-	-	-	-	-
0.3733	274	2.4150	-	-	-	-	-	-	-
0.3747	275	1.8598	-	-	-	-	-	-	-
0.3760	276	2.1595	-	-	-	-	-	-	-
0.3774	277	2.3997	-	-	-	-	-	-	-
0.3787	278	2.2813	-	-	-	-	-	-	-
0.3801	279	2.1888	-	-	-	-	-	-	-
0.3815	280	2.3886	-	-	-	-	-	-	-
0.3828	281	2.2756	-	-	-	-	-	-	-
0.3842	282	2.0469	-	-	-	-	-	-	-
0.3856	283	2.1666	-	-	-	-	-	-	-
0.3869	284	2.0312	-	-	-	-	-	-	-
0.3883	285	2.1354	-	-	-	-	-	-	-
0.3896	286	2.1032	-	-	-	-	-	-	-
0.3910	287	2.1454	-	-	-	-	-	-	-
0.3924	288	2.2448	-	-	-	-	-	-	-
0.3937	289	2.0035	-	-	-	-	-	-	-
0.3951	290	2.0297	-	-	-	-	-	-	-
0.3965	291	2.1220	-	-	-	-	-	-	-
0.3978	292	1.9975	-	-	-	-	-	-	-
0.3992	293	2.1936	-	-	-	-	-	-	-
0.4005	294	1.9374	-	-	-	-	-	-	-
0.4019	295	2.1295	-	-	-	-	-	-	-
0.4033	296	2.1893	-	-	-	-	-	-	-
0.4046	297	2.0841	-	-	-	-	-	-	-
0.4060	298	1.9163	-	-	-	-	-	-	-
0.4074	299	2.1985	-	-	-	-	-	-	-
0.4087	300	2.0377	11.6451	0.3291	-	-	-	-	-
0.4101	301	2.0648	-	-	-	-	-	-	-
0.4114	302	1.9697	-	-	-	-	-	-	-
0.4128	303	2.0732	-	-	-	-	-	-	-
0.4142	304	2.1077	-	-	-	-	-	-	-
0.4155	305	2.0870	-	-	-	-	-	-	-
0.4169	306	1.9957	-	-	-	-	-	-	-
0.4183	307	2.5347	-	-	-	-	-	-	-
0.4196	308	2.2885	-	-	-	-	-	-	-
0.4210	309	2.1144	-	-	-	-	-	-	-
0.4223	310	2.2093	-	-	-	-	-	-	-
0.4237	311	1.8915	-	-	-	-	-	-	-
0.4251	312	2.1871	-	-	-	-	-	-	-
0.4264	313	1.9350	-	-	-	-	-	-	-
0.4278	314	2.1651	-	-	-	-	-	-	-
0.4292	315	2.2124	-	-	-	-	-	-	-
0.4305	316	2.3180	-	-	-	-	-	-	-
0.4319	317	2.2554	-	-	-	-	-	-	-
0.4332	318	2.1139	-	-	-	-	-	-	-
0.4346	319	2.1924	-	-	-	-	-	-	-
0.4360	320	2.2069	-	-	-	-	-	-	-
0.4373	321	1.8523	-	-	-	-	-	-	-
0.4387	322	2.1917	-	-	-	-	-	-	-
0.4401	323	2.1502	-	-	-	-	-	-	-
0.4414	324	2.3009	-	-	-	-	-	-	-
0.4428	325	1.9152	-	-	-	-	-	-	-
0.4441	326	2.1992	-	-	-	-	-	-	-
0.4455	327	2.0896	-	-	-	-	-	-	-
0.4469	328	2.4201	-	-	-	-	-	-	-
0.4482	329	2.1941	-	-	-	-	-	-	-
0.4496	330	1.9147	-	-	-	-	-	-	-
0.4510	331	2.0940	-	-	-	-	-	-	-
0.4523	332	1.9271	-	-	-	-	-	-	-
0.4537	333	2.1263	-	-	-	-	-	-	-
0.4550	334	1.9206	-	-	-	-	-	-	-
0.4564	335	1.8646	-	-	-	-	-	-	-
0.4578	336	2.1363	-	-	-	-	-	-	-
0.4591	337	2.0075	-	-	-	-	-	-	-
0.4605	338	2.0966	-	-	-	-	-	-	-
0.4619	339	2.0636	-	-	-	-	-	-	-
0.4632	340	2.0917	-	-	-	-	-	-	-
0.4646	341	2.1554	-	-	-	-	-	-	-
0.4659	342	1.7886	-	-	-	-	-	-	-
0.4673	343	2.0093	-	-	-	-	-	-	-
0.4687	344	2.0364	-	-	-	-	-	-	-
0.4700	345	2.0864	-	-	-	-	-	-	-
0.4714	346	2.3067	-	-	-	-	-	-	-
0.4728	347	2.0413	-	-	-	-	-	-	-
0.4741	348	1.8104	-	-	-	-	-	-	-
0.4755	349	1.8667	-	-	-	-	-	-	-
0.4768	350	2.0065	-	-	-	-	-	-	-
0.4782	351	2.0968	-	-	-	-	-	-	-
0.4796	352	1.9879	-	-	-	-	-	-	-
0.4809	353	2.2470	-	-	-	-	-	-	-
0.4823	354	2.1065	-	-	-	-	-	-	-
0.4837	355	2.2464	-	-	-	-	-	-	-
0.4850	356	2.1306	-	-	-	-	-	-	-
0.4864	357	2.1439	-	-	-	-	-	-	-
0.4877	358	2.3876	-	-	-	-	-	-	-
0.4891	359	2.1987	-	-	-	-	-	-	-
0.4905	360	2.0984	-	-	-	-	-	-	-
0.4918	361	1.9936	-	-	-	-	-	-	-
0.4932	362	1.8873	-	-	-	-	-	-	-
0.4946	363	1.8510	-	-	-	-	-	-	-
0.4959	364	2.1752	-	-	-	-	-	-	-
0.4973	365	2.0736	-	-	-	-	-	-	-
0.4986	366	2.3679	-	-	-	-	-	-	-
0.5	367	2.0347	-	-	-	-	-	-	-
0.5014	368	2.0108	-	-	-	-	-	-	-
0.5027	369	2.1860	-	-	-	-	-	-	-
0.5041	370	2.1617	-	-	-	-	-	-	-
0.5054	371	1.9222	-	-	-	-	-	-	-
0.5068	372	2.1139	-	-	-	-	-	-	-
0.5082	373	2.1473	-	-	-	-	-	-	-
0.5095	374	2.0438	-	-	-	-	-	-	-
0.5109	375	1.8796	-	-	-	-	-	-	-
0.5123	376	2.3586	-	-	-	-	-	-	-
0.5136	377	1.9794	-	-	-	-	-	-	-
0.5150	378	2.0138	-	-	-	-	-	-	-
0.5163	379	1.9307	-	-	-	-	-	-	-
0.5177	380	2.0385	-	-	-	-	-	-	-
0.5191	381	1.8926	-	-	-	-	-	-	-
0.5204	382	1.9191	-	-	-	-	-	-	-
0.5218	383	1.8955	-	-	-	-	-	-	-
0.5232	384	1.9496	-	-	-	-	-	-	-
0.5245	385	1.8697	-	-	-	-	-	-	-
0.5259	386	2.1003	-	-	-	-	-	-	-
0.5272	387	1.9338	-	-	-	-	-	-	-
0.5286	388	2.0523	-	-	-	-	-	-	-
0.5300	389	1.9691	-	-	-	-	-	-	-
0.5313	390	2.0548	-	-	-	-	-	-	-
0.5327	391	1.9817	-	-	-	-	-	-	-
0.5341	392	2.0298	-	-	-	-	-	-	-
0.5354	393	2.1958	-	-	-	-	-	-	-
0.5368	394	1.7758	-	-	-	-	-	-	-
0.5381	395	1.9399	-	-	-	-	-	-	-
0.5395	396	1.8805	-	-	-	-	-	-	-
0.5409	397	2.1010	-	-	-	-	-	-	-
0.5422	398	1.8378	-	-	-	-	-	-	-
0.5436	399	1.8905	-	-	-	-	-	-	-
0.5450	400	1.8815	11.2060	0.3277	-	-	-	-	-
0.5463	401	2.1247	-	-	-	-	-	-	-
0.5477	402	2.1008	-	-	-	-	-	-	-
0.5490	403	1.9697	-	-	-	-	-	-	-
0.5504	404	1.9233	-	-	-	-	-	-	-
0.5518	405	1.9048	-	-	-	-	-	-	-
0.5531	406	2.1716	-	-	-	-	-	-	-
0.5545	407	1.7416	-	-	-	-	-	-	-
0.5559	408	2.1333	-	-	-	-	-	-	-
0.5572	409	2.0244	-	-	-	-	-	-	-
0.5586	410	1.7340	-	-	-	-	-	-	-
0.5599	411	1.9839	-	-	-	-	-	-	-
0.5613	412	1.6663	-	-	-	-	-	-	-
0.5627	413	1.7062	-	-	-	-	-	-	-
0.5640	414	1.6888	-	-	-	-	-	-	-
0.5654	415	1.9451	-	-	-	-	-	-	-
0.5668	416	1.9624	-	-	-	-	-	-	-
0.5681	417	2.0927	-	-	-	-	-	-	-
0.5695	418	2.3091	-	-	-	-	-	-	-
0.5708	419	1.9053	-	-	-	-	-	-	-
0.5722	420	1.7858	-	-	-	-	-	-	-
0.5736	421	2.1890	-	-	-	-	-	-	-
0.5749	422	2.1475	-	-	-	-	-	-	-
0.5763	423	2.1070	-	-	-	-	-	-	-
0.5777	424	2.0707	-	-	-	-	-	-	-
0.5790	425	2.1197	-	-	-	-	-	-	-
0.5804	426	2.1200	-	-	-	-	-	-	-
0.5817	427	2.2154	-	-	-	-	-	-	-
0.5831	428	2.0721	-	-	-	-	-	-	-
0.5845	429	1.9294	-	-	-	-	-	-	-
0.5858	430	2.0615	-	-	-	-	-	-	-
0.5872	431	1.8233	-	-	-	-	-	-	-
0.5886	432	2.0925	-	-	-	-	-	-	-
0.5899	433	2.0686	-	-	-	-	-	-	-
0.5913	434	2.2190	-	-	-	-	-	-	-
0.5926	435	1.8144	-	-	-	-	-	-	-
0.5940	436	2.0964	-	-	-	-	-	-	-
0.5954	437	2.2258	-	-	-	-	-	-	-
0.5967	438	1.9573	-	-	-	-	-	-	-
0.5981	439	2.1186	-	-	-	-	-	-	-
0.5995	440	1.9568	-	-	-	-	-	-	-
0.6008	441	1.6988	-	-	-	-	-	-	-
0.6022	442	1.8325	-	-	-	-	-	-	-
0.6035	443	2.0409	-	-	-	-	-	-	-
0.6049	444	2.2048	-	-	-	-	-	-	-
0.6063	445	1.8539	-	-	-	-	-	-	-
0.6076	446	2.1122	-	-	-	-	-	-	-
0.6090	447	2.0135	-	-	-	-	-	-	-
0.6104	448	1.7166	-	-	-	-	-	-	-
0.6117	449	1.9002	-	-	-	-	-	-	-
0.6131	450	2.0630	-	-	-	-	-	-	-
0.6144	451	2.2063	-	-	-	-	-	-	-
0.6158	452	1.9474	-	-	-	-	-	-	-
0.6172	453	1.7995	-	-	-	-	-	-	-
0.6185	454	1.8752	-	-	-	-	-	-	-
0.6199	455	1.8314	-	-	-	-	-	-	-
0.6213	456	1.9715	-	-	-	-	-	-	-
0.6226	457	2.0093	-	-	-	-	-	-	-
0.6240	458	2.0183	-	-	-	-	-	-	-
0.6253	459	1.8633	-	-	-	-	-	-	-
0.6267	460	1.8368	-	-	-	-	-	-	-
0.6281	461	1.9607	-	-	-	-	-	-	-
0.6294	462	2.0700	-	-	-	-	-	-	-
0.6308	463	2.2223	-	-	-	-	-	-	-
0.6322	464	1.4965	-	-	-	-	-	-	-
0.6335	465	2.0539	-	-	-	-	-	-	-
0.6349	466	1.8858	-	-	-	-	-	-	-
0.6362	467	1.7968	-	-	-	-	-	-	-
0.6376	468	1.7847	-	-	-	-	-	-	-
0.6390	469	2.0254	-	-	-	-	-	-	-
0.6403	470	2.1478	-	-	-	-	-	-	-
0.6417	471	2.0867	-	-	-	-	-	-	-
0.6431	472	1.9708	-	-	-	-	-	-	-
0.6444	473	2.1471	-	-	-	-	-	-	-
0.6458	474	1.9555	-	-	-	-	-	-	-
0.6471	475	1.8963	-	-	-	-	-	-	-
0.6485	476	1.8706	-	-	-	-	-	-	-
0.6499	477	1.9314	-	-	-	-	-	-	-
0.6512	478	2.1749	-	-	-	-	-	-	-
0.6526	479	2.2334	-	-	-	-	-	-	-
0.6540	480	1.5540	-	-	-	-	-	-	-
0.6553	481	1.8927	-	-	-	-	-	-	-
0.6567	482	2.1292	-	-	-	-	-	-	-
0.6580	483	2.2297	-	-	-	-	-	-	-
0.6594	484	2.0329	-	-	-	-	-	-	-
0.6608	485	1.8981	-	-	-	-	-	-	-
0.6621	486	2.0926	-	-	-	-	-	-	-
0.6635	487	1.8557	-	-	-	-	-	-	-
0.6649	488	2.0754	-	-	-	-	-	-	-
0.6662	489	1.8098	-	-	-	-	-	-	-
0.6676	490	1.8887	-	-	-	-	-	-	-
0.6689	491	1.9659	-	-	-	-	-	-	-
0.6703	492	2.1589	-	-	-	-	-	-	-
0.6717	493	1.9188	-	-	-	-	-	-	-
0.6730	494	1.9179	-	-	-	-	-	-	-
0.6744	495	1.7912	-	-	-	-	-	-	-
0.6757	496	1.6912	-	-	-	-	-	-	-
0.6771	497	1.8042	-	-	-	-	-	-	-
0.6785	498	2.1336	-	-	-	-	-	-	-
0.6798	499	1.8140	-	-	-	-	-	-	-
0.6812	500	2.2092	11.2911	0.3514	-	-	-	-	-
0.6826	501	1.8917	-	-	-	-	-	-	-
0.6839	502	1.6998	-	-	-	-	-	-	-
0.6853	503	1.9427	-	-	-	-	-	-	-
0.6866	504	1.8354	-	-	-	-	-	-	-
0.6880	505	1.8718	-	-	-	-	-	-	-
0.6894	506	1.7392	-	-	-	-	-	-	-
0.6907	507	1.9486	-	-	-	-	-	-	-
0.6921	508	2.0640	-	-	-	-	-	-	-
0.6935	509	1.7439	-	-	-	-	-	-	-
0.6948	510	2.0738	-	-	-	-	-	-	-
0.6962	511	1.9561	-	-	-	-	-	-	-
0.6975	512	2.0381	-	-	-	-	-	-	-
0.6989	513	1.9892	-	-	-	-	-	-	-
0.7003	514	1.8207	-	-	-	-	-	-	-
0.7016	515	1.9467	-	-	-	-	-	-	-
0.7030	516	1.9587	-	-	-	-	-	-	-
0.7044	517	1.8267	-	-	-	-	-	-	-
0.7057	518	1.8500	-	-	-	-	-	-	-
0.7071	519	2.2125	-	-	-	-	-	-	-
0.7084	520	2.0397	-	-	-	-	-	-	-
0.7098	521	1.9400	-	-	-	-	-	-	-
0.7112	522	1.8753	-	-	-	-	-	-	-
0.7125	523	2.0385	-	-	-	-	-	-	-
0.7139	524	2.0365	-	-	-	-	-	-	-
0.7153	525	2.2615	-	-	-	-	-	-	-
0.7166	526	1.8104	-	-	-	-	-	-	-
0.7180	527	1.7855	-	-	-	-	-	-	-
0.7193	528	1.8222	-	-	-	-	-	-	-
0.7207	529	2.3293	-	-	-	-	-	-	-
0.7221	530	1.9503	-	-	-	-	-	-	-
0.7234	531	2.2242	-	-	-	-	-	-	-
0.7248	532	1.9047	-	-	-	-	-	-	-
0.7262	533	2.1315	-	-	-	-	-	-	-
0.7275	534	2.3465	-	-	-	-	-	-	-
0.7289	535	1.6882	-	-	-	-	-	-	-
0.7302	536	2.1036	-	-	-	-	-	-	-
0.7316	537	2.0365	-	-	-	-	-	-	-
0.7330	538	2.3878	-	-	-	-	-	-	-
0.7343	539	2.4062	-	-	-	-	-	-	-
0.7357	540	1.8239	-	-	-	-	-	-	-
0.7371	541	1.9770	-	-	-	-	-	-	-
0.7384	542	1.7179	-	-	-	-	-	-	-
0.7398	543	1.8086	-	-	-	-	-	-	-
0.7411	544	1.4876	-	-	-	-	-	-	-
0.7425	545	2.0294	-	-	-	-	-	-	-
0.7439	546	1.5364	-	-	-	-	-	-	-
0.7452	547	1.8511	-	-	-	-	-	-	-
0.7466	548	2.2621	-	-	-	-	-	-	-
0.7480	549	1.8094	-	-	-	-	-	-	-
0.7493	550	1.9640	-	-	-	-	-	-	-
0.7507	551	2.1765	-	-	-	-	-	-	-
0.7520	552	1.8695	-	-	-	-	-	-	-
0.7534	553	2.0451	-	-	-	-	-	-	-
0.7548	554	2.0232	-	-	-	-	-	-	-
0.7561	555	1.8545	-	-	-	-	-	-	-
0.7575	556	1.8301	-	-	-	-	-	-	-
0.7589	557	2.1014	-	-	-	-	-	-	-
0.7602	558	1.9559	-	-	-	-	-	-	-
0.7616	559	1.8454	-	-	-	-	-	-	-
0.7629	560	2.0682	-	-	-	-	-	-	-
0.7643	561	2.0796	-	-	-	-	-	-	-
0.7657	562	1.9840	-	-	-	-	-	-	-
0.7670	563	2.1964	-	-	-	-	-	-	-
0.7684	564	1.7040	-	-	-	-	-	-	-
0.7698	565	2.0675	-	-	-	-	-	-	-
0.7711	566	1.9507	-	-	-	-	-	-	-
0.7725	567	2.0867	-	-	-	-	-	-	-
0.7738	568	2.0394	-	-	-	-	-	-	-
0.7752	569	1.8570	-	-	-	-	-	-	-
0.7766	570	1.8720	-	-	-	-	-	-	-
0.7779	571	2.2958	-	-	-	-	-	-	-
0.7793	572	1.6687	-	-	-	-	-	-	-
0.7807	573	2.0030	-	-	-	-	-	-	-
0.7820	574	2.1554	-	-	-	-	-	-	-
0.7834	575	2.1252	-	-	-	-	-	-	-
0.7847	576	2.1188	-	-	-	-	-	-	-
0.7861	577	2.0241	-	-	-	-	-	-	-
0.7875	578	1.7107	-	-	-	-	-	-	-
0.7888	579	1.9787	-	-	-	-	-	-	-
0.7902	580	1.9117	-	-	-	-	-	-	-
0.7916	581	1.9882	-	-	-	-	-	-	-
0.7929	582	2.0346	-	-	-	-	-	-	-
0.7943	583	2.0276	-	-	-	-	-	-	-
0.7956	584	1.9577	-	-	-	-	-	-	-
0.7970	585	2.0884	-	-	-	-	-	-	-
0.7984	586	1.8276	-	-	-	-	-	-	-
0.7997	587	1.9217	-	-	-	-	-	-	-
0.8011	588	1.9906	-	-	-	-	-	-	-
0.8025	589	1.4051	-	-	-	-	-	-	-
0.8038	590	2.0875	-	-	-	-	-	-	-
0.8052	591	1.5603	-	-	-	-	-	-	-
0.8065	592	2.1195	-	-	-	-	-	-	-
0.8079	593	1.7710	-	-	-	-	-	-	-
0.8093	594	2.0018	-	-	-	-	-	-	-
0.8106	595	1.9722	-	-	-	-	-	-	-
0.8120	596	1.5888	-	-	-	-	-	-	-
0.8134	597	1.9500	-	-	-	-	-	-	-
0.8147	598	1.7978	-	-	-	-	-	-	-
0.8161	599	1.7421	-	-	-	-	-	-	-
0.8174	600	2.2193	11.3593	0.3553	-	-	-	-	-
0.8188	601	2.1397	-	-	-	-	-	-	-
0.8202	602	2.2487	-	-	-	-	-	-	-
0.8215	603	2.0582	-	-	-	-	-	-	-
0.8229	604	1.8363	-	-	-	-	-	-	-
0.8243	605	2.0783	-	-	-	-	-	-	-
0.8256	606	1.8499	-	-	-	-	-	-	-
0.8270	607	2.1881	-	-	-	-	-	-	-
0.8283	608	1.9396	-	-	-	-	-	-	-
0.8297	609	1.8631	-	-	-	-	-	-	-
0.8311	610	1.7273	-	-	-	-	-	-	-
0.8324	611	2.0882	-	-	-	-	-	-	-
0.8338	612	1.9253	-	-	-	-	-	-	-
0.8351	613	2.0465	-	-	-	-	-	-	-
0.8365	614	2.1520	-	-	-	-	-	-	-
0.8379	615	1.9532	-	-	-	-	-	-	-
0.8392	616	1.8759	-	-	-	-	-	-	-
0.8406	617	2.1780	-	-	-	-	-	-	-
0.8420	618	2.0435	-	-	-	-	-	-	-
0.8433	619	2.2467	-	-	-	-	-	-	-
0.8447	620	1.6342	-	-	-	-	-	-	-
0.8460	621	2.1642	-	-	-	-	-	-	-
0.8474	622	1.9904	-	-	-	-	-	-	-
0.8488	623	2.1406	-	-	-	-	-	-	-
0.8501	624	1.7405	-	-	-	-	-	-	-
0.8515	625	1.6236	-	-	-	-	-	-	-
0.8529	626	2.0281	-	-	-	-	-	-	-
0.8542	627	1.8210	-	-	-	-	-	-	-
0.8556	628	2.0766	-	-	-	-	-	-	-
0.8569	629	2.1171	-	-	-	-	-	-	-
0.8583	630	2.0518	-	-	-	-	-	-	-
0.8597	631	1.8610	-	-	-	-	-	-	-
0.8610	632	1.6426	-	-	-	-	-	-	-
0.8624	633	2.0160	-	-	-	-	-	-	-
0.8638	634	1.9798	-	-	-	-	-	-	-
0.8651	635	1.8205	-	-	-	-	-	-	-
0.8665	636	2.1837	-	-	-	-	-	-	-
0.8678	637	2.2531	-	-	-	-	-	-	-
0.8692	638	2.1098	-	-	-	-	-	-	-
0.8706	639	1.6472	-	-	-	-	-	-	-
0.8719	640	1.9857	-	-	-	-	-	-	-
0.8733	641	1.9248	-	-	-	-	-	-	-
0.8747	642	2.1199	-	-	-	-	-	-	-
0.8760	643	1.7253	-	-	-	-	-	-	-
0.8774	644	2.0370	-	-	-	-	-	-	-
0.8787	645	1.7325	-	-	-	-	-	-	-
0.8801	646	2.1499	-	-	-	-	-	-	-
0.8815	647	1.8849	-	-	-	-	-	-	-
0.8828	648	1.8569	-	-	-	-	-	-	-
0.8842	649	2.1557	-	-	-	-	-	-	-
0.8856	650	1.8378	-	-	-	-	-	-	-
0.8869	651	2.0249	-	-	-	-	-	-	-
0.8883	652	2.0020	-	-	-	-	-	-	-
0.8896	653	1.6973	-	-	-	-	-	-	-
0.8910	654	1.9207	-	-	-	-	-	-	-
0.8924	655	2.0978	-	-	-	-	-	-	-
0.8937	656	1.9925	-	-	-	-	-	-	-
0.8951	657	2.3711	-	-	-	-	-	-	-
0.8965	658	1.7138	-	-	-	-	-	-	-
0.8978	659	2.1374	-	-	-	-	-	-	-
0.8992	660	1.6448	-	-	-	-	-	-	-
0.9005	661	1.7745	-	-	-	-	-	-	-
0.9019	662	1.7290	-	-	-	-	-	-	-
0.9033	663	1.9564	-	-	-	-	-	-	-
0.9046	664	2.0760	-	-	-	-	-	-	-
0.9060	665	2.0595	-	-	-	-	-	-	-
0.9074	666	1.9363	-	-	-	-	-	-	-
0.9087	667	1.7733	-	-	-	-	-	-	-
0.9101	668	2.0236	-	-	-	-	-	-	-
0.9114	669	1.5634	-	-	-	-	-	-	-
0.9128	670	2.0639	-	-	-	-	-	-	-
0.9142	671	2.0204	-	-	-	-	-	-	-
0.9155	672	2.2900	-	-	-	-	-	-	-
0.9169	673	1.8201	-	-	-	-	-	-	-
0.9183	674	2.1656	-	-	-	-	-	-	-
0.9196	675	2.0076	-	-	-	-	-	-	-
0.9210	676	1.9645	-	-	-	-	-	-	-
0.9223	677	1.8221	-	-	-	-	-	-	-
0.9237	678	2.0237	-	-	-	-	-	-	-
0.9251	679	1.9136	-	-	-	-	-	-	-
0.9264	680	1.9702	-	-	-	-	-	-	-
0.9278	681	1.8147	-	-	-	-	-	-	-
0.9292	682	2.1164	-	-	-	-	-	-	-
0.9305	683	2.0116	-	-	-	-	-	-	-
0.9319	684	2.0340	-	-	-	-	-	-	-
0.9332	685	1.9375	-	-	-	-	-	-	-
0.9346	686	2.2812	-	-	-	-	-	-	-
0.9360	687	1.8680	-	-	-	-	-	-	-
0.9373	688	1.8893	-	-	-	-	-	-	-
0.9387	689	2.2570	-	-	-	-	-	-	-
0.9401	690	2.1660	-	-	-	-	-	-	-
0.9414	691	2.0101	-	-	-	-	-	-	-
0.9428	692	1.9484	-	-	-	-	-	-	-
0.9441	693	2.0350	-	-	-	-	-	-	-
0.9455	694	2.1707	-	-	-	-	-	-	-
0.9469	695	1.8573	-	-	-	-	-	-	-
0.9482	696	1.9730	-	-	-	-	-	-	-
0.9496	697	1.9259	-	-	-	-	-	-	-
0.9510	698	1.4627	-	-	-	-	-	-	-
0.9523	699	2.4841	-	-	-	-	-	-	-
0.9537	700	1.9361	11.3187	0.3530	-	-	-	-	-
0.9550	701	2.1124	-	-	-	-	-	-	-
0.9564	702	2.1921	-	-	-	-	-	-	-
0.9578	703	1.8938	-	-	-	-	-	-	-
0.9591	704	2.1081	-	-	-	-	-	-	-
0.9605	705	1.8599	-	-	-	-	-	-	-
0.9619	706	2.0760	-	-	-	-	-	-	-
0.9632	707	2.1696	-	-	-	-	-	-	-
0.9646	708	1.9780	-	-	-	-	-	-	-
0.9659	709	1.8767	-	-	-	-	-	-	-
0.9673	710	1.9442	-	-	-	-	-	-	-
0.9687	711	2.0872	-	-	-	-	-	-	-
0.9700	712	2.1241	-	-	-	-	-	-	-
0.9714	713	1.8670	-	-	-	-	-	-	-
0.9728	714	2.3039	-	-	-	-	-	-	-
0.9741	715	1.9972	-	-	-	-	-	-	-
0.9755	716	2.2666	-	-	-	-	-	-	-
0.9768	717	1.7745	-	-	-	-	-	-	-
0.9782	718	2.1228	-	-	-	-	-	-	-
0.9796	719	2.0808	-	-	-	-	-	-	-
0.9809	720	2.0337	-	-	-	-	-	-	-
0.9823	721	1.9328	-	-	-	-	-	-	-
0.9837	722	1.8424	-	-	-	-	-	-	-
0.9850	723	1.7553	-	-	-	-	-	-	-
0.9864	724	1.9440	-	-	-	-	-	-	-
0.9877	725	1.7839	-	-	-	-	-	-	-
0.9891	726	2.1347	-	-	-	-	-	-	-
0.9905	727	1.7486	-	-	-	-	-	-	-
0.9918	728	1.9341	-	-	-	-	-	-	-
0.9932	729	1.9954	-	-	-	-	-	-	-
0.9946	730	2.3272	-	-	-	-	-	-	-
0.9959	731	2.0899	-	-	-	-	-	-	-
0.9973	732	2.0678	-	-	-	-	-	-	-
0.9986	733	1.7371	-	-	-	-	-	-	-
1.0	734	1.8810	11.2500	0.3522	-	-	-	-	-
-1	-1	-	-	0.3522	0.3522	0.3300	0.3191	0.3081	0.2529

Training Time

Training: 5.0 hours
Evaluation: 35.6 minutes
Total: 5.6 hours

Framework Versions

Python: 3.12.3
Sentence Transformers: 5.4.1
Transformers: 5.5.4
PyTorch: 2.11.0+cu130
Accelerate: 1.13.0
Datasets: 4.8.4
Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}