Hugging Face's logo

anhtuansh
/
gte-multilingual-legal-1e

Sentence Similarity
sentence-transformers
Safetensors
new
feature-extraction
Generated from Trainer
dataset_size:63130
loss:MultipleNegativesRankingLoss
custom_code
Eval Results (legacy)
text-embeddings-inference
Model card Files
xet
 Community

SentenceTransformer based on Alibaba-NLP/gte-multilingual-base

This is a sentence-transformers model finetuned from Alibaba-NLP/gte-multilingual-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: Alibaba-NLP/gte-multilingual-base
  • Maximum Sequence Length: 8192 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("anhtuansh/gte-multilingual-legal-1e")
# Run inference
sentences = [
    'người tiếp_nhận hồ_sơ có trách_nhiệm gì trong quá_trình chứng_thực hợp_đồng , giao_dịch ?',
    'điều 20 . chứng_thực hợp_đồng , giao_dịch tại bộ_phận tiếp_nhận và trả kết_quả theo cơ_chế một cửa , một cửa liên_thông \n 1 . trường_hợp người yêu_cầu chứng_thực hợp_đồng , giao_dịch nộp hồ_sơ trực_tiếp tại bộ_phận tiếp_nhận và trả kết_quả theo cơ_chế một cửa , một cửa liên_thông , thì các bên phải ký trước mặt người tiếp_nhận hồ_sơ . trường_hợp người giao_kết_hợp_đồng , giao_dịch là đại_diện của tổ_chức tín_dụng , doanh_nghiệp đã đăng_ký chữ_ký mẫu tại cơ_quan thực_hiện chứng_thực , thì người đó có_thể ký trước vào hợp_đồng , giao_dịch . người tiếp_nhận hồ_sơ có trách_nhiệm đối_chiếu chữ_ký trong hợp_đồng , giao_dịch với chữ_ký mẫu . nếu thấy chữ_ký trong hợp_đồng , giao_dịch khác chữ_ký mẫu , thì yêu_cầu người đó ký trước mặt người tiếp_nhận hồ_sơ . người tiếp_nhận hồ_sơ phải chịu trách_nhiệm về việc các bên đã ký trước mặt mình . \n 2 . người tiếp_nhận hồ_sơ có trách_nhiệm kiểm_tra giấy_tờ , hồ_sơ .',
    'điều 8 . trị_giá tính thuế , thời_điểm tính thuế \n 1 . trị_giá tính thuế_xuất_khẩu , thuế_nhập_khẩu là trị_giá hải_quan theo quy_định của luật hải_quan . \n 2 . thời_điểm tính thuế_xuất_khẩu , thuế_nhập_khẩu là thời_điểm đăng_ký tờ khai hải_quan . đối_với hàng_hóa xuất_khẩu , nhập_khẩu thuộc đối_tượng không chịu thuế , miễn thuế_xuất_khẩu , thuế_nhập_khẩu hoặc áp_dụng thuế_suất , mức thuế tuyệt_đối trong hạn_ngạch thuế_quan nhưng được thay_đổi về đối_tượng không chịu thuế , miễn thuế , áp_dụng thuế_suất , mức thuế tuyệt_đối trong hạn_ngạch thuế_quan theo quy_định của pháp_luật thì thời_điểm tính thuế là thời_điểm đăng_ký tờ khai hải_quan mới . thời_điểm đăng_ký tờ khai hải_quan thực_hiện theo quy_định của pháp_luật về hải_quan .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

Metric Value
cosine_accuracy 0.9997

Training Details

Training Dataset

Unnamed Dataset

  • Size: 63,130 training samples
  • Columns: query, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    query positive negative
    type string string string
    details
    • min: 19 tokens
    • mean: 50.81 tokens
    • max: 138 tokens
    • min: 141 tokens
    • mean: 345.89 tokens
    • max: 614 tokens
    • min: 148 tokens
    • mean: 342.45 tokens
    • max: 560 tokens
  • Samples:
    query positive negative
    bộ tài_chính quy_định thế_nào về chi_phí cho cán_bộ , công_chức , viên_chức đi công_tác nước_ngoài để kiểm_tra tình_hình phát_triển của trẻ_em việt_nam được nhận làm con_nuôi ở nước_ngoài ? c ) chi công_tác_phí cho cán_bộ , công_chức , viên_chức đi công_tác nước_ngoài để kiểm_tra tình_hình phát_triển của trẻ_em việt_nam được nhận làm con_nuôi ở nước_ngoài ( nếu có ) thực_hiện theo quy_định tại thông_tư số 102 / 2012 / tt - btc ngày 21 / 6 / 2012 của bộ tài_chính quy_định_chế_độ công_tác_phí cho cán_bộ , công_chức nhà_nước đi công_tác ngắn_hạn ở nước_ngoài do ngân_sách nhà_nước bảo_đảm kinh_phí ;
    d ) chi tập_huấn nghiệp_vụ cho văn_phòng con_nuôi nước_ngoài tại việt_nam được thực_hiện theo quy_định tại thông_tư số 139 / 2010 / tt - btc ngày 21 / 9 / 2010 của bộ tài_chính quy_định việc lập dự_toán , quản_lý và sử_dụng kinh_phí từ ngân_sách nhà_nước dành cho công_tác đào_tạo , bồi_dưỡng cán_bộ , công_chức ;    		 điều 15 . nhiệm_vụ , quyền_hạn của bộ tài_chính
    1 . là cơ_quan đầu_mối giúp chính_phủ thống_nhất quản_lý nhà_nước về tài_sản công .
    2 . chủ_trì xây_dựng , trình cơ_quan , người có thẩm_quyền ban_hành_văn_bản quy_phạm_pháp_luật về :
    a ) chế_độ quản_lý , sử_dụng tài_sản công tại cơ_quan , tổ_chức , đơn_vị ; việc phân_cấp thẩm_quyền quyết_định trong quản_lý , sử_dụng tài_sản công ;
    b ) tiêu_chuẩn , định mức sử_dụng trụ_sở làm_việc , xe ô_tô , tài_sản công của cơ_quan đại_diện ngoại_giao , cơ_quan đại_diện lãnh_sự , cơ_quan đại_diện tại tổ_chức quốc_tế theo quy_định của pháp_luật về cơ_quan đại_diện của việt_nam ở nước_ngoài và cơ_quan , tổ_chức , đơn_vị khác của việt_nam ở nước_ngoài ( sau đây gọi là cơ_quan việt_nam ở nước_ngoài ) , máy_móc , thiết_bị và các tài_sản công được sử_dụng phổ_biến tại cơ_quan , tổ_chức , đơn_vị , trừ nhà ở công_vụ và tài_sản đặc_biệt tại đơn_vị lực_lượng vũ_trang nhân_dân ;
    khi thuê đất để xây_dựng cơ_sở hạ_tầng , xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng bao_gồm những chi_phí nào ? a ) giá đất được trừ để tính thuế giá_trị gia_tăng được quy_định cụ_thể như sau : - trường_hợp được nhà_nước giao đất để đầu_tư cơ_sở hạ_tầng xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng bao_gồm tiền_sử_dụng đất phải nộp ngân_sách nhà_nước ( không kể tiền_sử_dụng đất được miễn , giảm ) và chi_phí bồi_thường , giải_phóng mặt_bằng theo quy_định của pháp_luật ; - trường_hợp đấu_giá quyền sử_dụng đất thì giá đất được trừ để tính thuế giá_trị gia_tăng là giá đất trúng đấu_giá ; - trường_hợp thuê đất để xây_dựng cơ_sở hạ_tầng , xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng là tiền thuê đất phải nộp ngân_sách nhà_nước ( không bao_gồm tiền thuê đất được miễn , giảm ) và chi_phí đền_bù , giải_phóng mặt_bằng theo quy_định của pháp_luật ; - trường_hợp cơ_sở kinh_doanh nhận chuyển_nhượng quyền sử_dụng đất của các tổ_chức , cá_nhân thì giá đất được trừ để tính thuế giá_trị gia_tăng là giá đất tại thời_điểm nhận chuyển_nhượng quyền sử_dụng đất bao_gồm c... 5 . phối_hợp với cơ_quan bảo_hiểm xã_hội trả sổ bảo_hiểm xã_hội cho người lao_động , xác_nhận thời_gian đóng bảo_hiểm xã_hội khi người lao_động chấm_dứt hợp_đồng lao_động , hợp_đồng làm_việc hoặc thôi_việc theo quy_định của pháp_luật .
    6 . cung_cấp chính_xác , đầy_đủ , kịp_thời thông_tin , tài_liệu liên_quan đến việc đóng , hưởng bảo_hiểm xã_hội theo yêu_cầu của cơ_quan quản_lý nhà_nước có thẩm_quyền , cơ_quan bảo_hiểm xã_hội .
    7 . định_kỳ 06 tháng , niêm_yết công_khai_thông_tin về việc đóng bảo_hiểm xã_hội cho người lao_động ; cung_cấp thông_tin về việc đóng bảo_hiểm xã_hội của người lao_động khi người lao_động hoặc tổ_chức công_đoàn yêu_cầu .
    8 . hằng năm , niêm_yết công_khai_thông_tin đóng bảo_hiểm xã_hội của người lao_động do cơ_quan bảo_hiểm xã_hội cung_cấp theo quy_định tại khoản 7 điều 23 của luật này .
    điều 22 . quyền của cơ_quan bảo_hiểm xã_hội
    1 . tổ_chức quản_lý nhân_sự , tài_chính và tài_sản theo quy_định của pháp_luật .
    2 . từ_chối yêu_cầu trả bảo_hiểm xã_hội ,...
    nếu tôi vừa có số tiền thuế đủ điều_kiện hoàn , vừa có số tiền thuế tiền chậm nộp , tiền phạt bị truy_thu thì cơ_quan thuế sẽ xử_lý như thế_nào ? trường_hợp tại biên_bản kiểm_tra trước hoàn thuế xác_định người nộp thuế vừa có số tiền thuế đủ điều_kiện hoàn , vừa có số tiền thuế tiền chậm nộp , tiền phạt bị truy_thu thì cơ_quan thuế_ban_hành quyết_định xử_lý vi_phạm_pháp_luật về thuế và bù_trừ số tiền thuế được hoàn của người nộp thuế tại quyết_định hoàn thuế_kiêm bù_trừ thu ngân_sách nhà_nước theo mẫu_số 02 / qđ - ht ban_hành kèm theo phụ_lục i thông_tư này .
    d ) đối_với hồ_sơ hoàn nộp thừa của người nộp thuế có khoản nộp thừa tại tỉnh nơi được hưởng khoản thu_phân_bổ , cơ_quan thuế quản_lý trực_tiếp chủ_trì tổng_hợp nghĩa_vụ thuế , số thuế đã nộp ngân_sách nhà_nước tại trụ_sở chính và các tỉnh nơi được hưởng khoản thu_phân_bổ .    		 điều 59 . quản_lý nhà_nước về kinh_doanh casino
    1 . chính_phủ thống_nhất quản_lý nhà_nước về kinh_doanh casino và ban_hành chính_sách điều_chỉnh hoạt_động_kinh_doanh casino theo thẩm_quyền .
    2 . thủ_tướng chính_phủ
    a ) phê_duyệt chủ_trương , chính_sách , ban_hành các văn_bản quy_phạm_pháp_luật và biện_pháp cần_thiết theo thẩm_quyền để quản_lý hoạt_động_kinh_doanh casino theo quy_định tại nghị_định này và quy_định của pháp_luật có liên_quan ;
    b ) chấp_thuận số_lượng máy trò_chơi , bàn trò_chơi và điều_chỉnh số_lượng máy trò_chơi , bàn trò_chơi tối_đa đối_với dự_án khu dịch_vụ , du_lịch và vui_chơi giải_trí tổng_hợp có casino theo quy_định tại điều 7 và điều 8 nghị_định này ;
    c ) quyết_định các nội_dung khác có liên_quan đến hoạt_động_kinh_doanh casino theo thẩm_quyền quy_định tại nghị_định này và quy_định của pháp_luật .
    3 . bộ tài_chính chịu trách_nhiệm trước chính_phủ thực_hiện quản_lý nhà_nước về kinh_doanh casino , bao_gồm :
    a ) nghiên_cứu , xây_dựng trình cấp có thẩm_...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Evaluation Dataset

Unnamed Dataset

  • Size: 7,015 evaluation samples
  • Columns: query, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    query positive negative
    type string string string
    details
    • min: 20 tokens
    • mean: 50.59 tokens
    • max: 103 tokens
    • min: 168 tokens
    • mean: 345.73 tokens
    • max: 559 tokens
    • min: 166 tokens
    • mean: 344.68 tokens
    • max: 557 tokens
  • Samples:
    query positive negative
    cục y_tế dự_phòng có vai_trò gì trong việc xây_dựng và phát_triển các kế_hoạch hoạt_động phối_hợp trong phòng , chống bệnh lây_truyền từ động_vật sang người ? điều 13 . trách_nhiệm của cục y_tế dự_phòng - bộ y_tế
    1 . đầu_mối của bộ y_tế phối_hợp với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn triển_khai các hoạt_động phối_hợp phòng , chống bệnh lây_truyền từ động_vật sang người .
    2 . chỉ_đạo toàn_bộ các hoạt_động về phối_hợp giữa ngành y_tế và nông_nghiệp trong phòng , chống bệnh lây_truyền từ động_vật sang người đối_với các đơn_vị trong ngành y_tế .
    3 . phối_hợp với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn xây_dựng , đề_xuất sửa_đổi các hướng_dẫn giám_sát bệnh lây_truyền từ động_vật sang người ; xây_dựng và phát_triển các kế_hoạch hoạt_động phối_hợp trong phòng , chống bệnh lây_truyền từ động_vật sang người .
    4 . định_kỳ 6 tháng_một lần , tổ_chức họp giao_ban với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn và các đơn_vị liên_quan để đánh_giá hoạt_động phối_hợp trong giám_sát phòng , chống bệnh lây_truyền từ động_vật sang người .    		 khoản 1 . chi thường_xuyên :
    a ) chi thanh_toán cá_nhân : tiền_lương , tiền công , phụ_cấp lương , các khoản đóng_góp theo lương ( bảo_hiểm xã_hội , bảo_hiểm y_tế , bảo_hiểm_thất_nghiệp ( nếu có ) , kinh_phí công_đoàn ) ; tiền khen_thưởng thành_tích theo danh_hiệu thi_đua và các khoản thanh_toán khác cho cá_nhân ;
    b ) chi quản_lý hành_chính : chi thanh_toán dịch_vụ công_cộng ; vật_tư văn_phòng ; thông_tin tuyên_truyền , liên_lạc ; hội_nghị ; chi công_tác_phí ; chi thuê_mướn ; sửa_chữa , bảo_trì , bảo_dưỡng thường_xuyên tài_sản cố_định và các khoản chi hành_chính khác ;
    c ) chi hoạt_động nghiệp_vụ : mua_sắm vật_tư , hàng_hóa dùng cho chuyên_môn , nghiệp_vụ ; thiết_bị an_toàn kho_quỹ , thiết_bị kiểm_đếm ; ấn chỉ các loại ; trang_phục , bảo_hộ lao_động ; các khoản nghiệp_vụ kiểm_đếm , đảo kho , điều_chuyển , bảo_vệ an_toàn kho , tiền , vàng_bạc , đá_quý , ngoại_tệ và các chứng_chỉ có_giá ; bảo_quản , lưu_trữ tài_liệu , chứng_từ ; các khoản nghiệp_vụ khác ;
    d ) chi_phối_hợp tổ_chức...
    theo quy_định , tay_vịn phải được lắp_đặt như thế_nào ở khu_vực cạnh cửa ra vào trên xe_khách thành_phố để người khuyết_tật tiếp_cận ? trong bất_kỳ khu_vực nào không phải lối đi dọc mà hành_khách có_thể đứng : 2.3.4.1.3 . từ khu_vực cạnh cửa ra vào liền kề ngay cửa ra vào ưu_tiên đến ít_nhất một ghế ưu_tiên , tay_vịn có độ cao từ 800 mm đến 900 mm so với sàn xe ; hoặc ở khu_vực không phù_hợp với những yêu_cầu đó , tay_vịn không cần phải bố_trí liên_tục , nhưng khoảng trống giữa các tay_vịn không được lớn hơn 1050 mm , và phải có một tay_vịn thẳng_đứng bố_trí tại ít_nhất một phía của khoảng trống giữa các tay_vịn nói trên với chiều dài nằm trong khoảng từ độ cao 1200 mm đến độ cao không nhỏ hơn 1500 mm so với sàn xe . 2.3.4.1.4 . tay_vịn được bố_trí ở cả hai bên của khu_vực phía trong cửa vào hoặc cửa ra : 2.3.4.2 . điều 15 .
    1 . hội_đồng quản_trị thực_hiện chức_năng quản_lý hoạt_động của tổng_công_ty , chịu trách_nhiệm về sự phát_triển của tổng_công_ty theo nhiệm_vụ nhà_nước giao .
    2 . hội_đồng quản_trị có các quyền_hạn và nhiệm_vụ sau :
    a ) nhận vốn ( kể_cả nợ ) , đất_đai , tài_nguyên và các nguồn_lực khác do nhà_nước giao cho tổng_công_ty .
    b ) xem_xét , phê_duyệt phương_án do tổng_giám_đốc đề_nghị về việc phân giao vốn và các nguồn_lực khác cho các đơn_vị thành_viên và phương_án điều_hoà_vốn và các nguồn_lực khác giữa các đơn_vị thành_viên ; kiểm_tra , giám_sát việc thực_hiện các phương_án đó ;
    c ) kiểm_tra , giám_sát mọi hoạt_động trong tổng_công_ty ; trong đó có việc sử_dụng , bảo_toàn , phát_triển vốn và các nguồn_lực được giao ; việc thực_hiện các nghị_định và quyết_định của hội_đồng quản_trị , các quy_định của luật_pháp ; việc thực_hiện nghĩa_vụ đối_với nhà_nước .
    ngày 01 tháng 01 năm 2018 có ý_nghĩa gì đối_với nghị_định về trình_tự , thủ_tục , mức tiền pháp_nhân thương_mại phải nộp để bảo_đảm thi_hành án ? chương iv. điều_khoản thi_hành
    điều 10 . hiệu_lực thi_hành . nghị_định này có hiệu_lực thi_hành từ ngày 01 tháng 01 năm 2018 .
    điều 11 . trách_nhiệm thi_hành . các bộ_trưởng , thủ_trưởng cơ_quan ngang bộ , thủ_trưởng cơ_quan thuộc chính_phủ , chủ_tịch ủy_ban nhân_dân các tỉnh , thành_phố trực_thuộc trung_ương và các đối_tượng áp_dụng của nghị_định chịu trách_nhiệm thi_hành nghị_định này . / nơi nhận : - ban bí_thư trung_ương đảng ; - thủ_tướng , các phó_thủ_tướng chính_phủ ; - các bộ , cơ_quan ngang bộ , cơ_quan thuộc chính_phủ ; - hđnd , ubnd các tỉnh , thành_phố trực_thuộc trung_ương ; - văn_phòng trung_ương và các ban của đảng ; - văn_phòng tổng_bí_thư ; - văn_phòng chủ_tịch nước ; - hội_đồng dân_tộc và các ủy_ban của quốc_hội ; - văn_phòng quốc_hội ; - tòa_án nhân_dân tối_cao ; - viện kiểm_sát_nhân_dân tối_cao ; - kiểm_toán nhà_nước ; - ủy_ban giám_sát tài_chính quốc_gia ; - ngân_hàng chính_sách xã_hội ; - ngân_hàng phát_triển việt_nam ;    		 viên_chức đăng_ký dự_thi thăng_hạng được miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp. viên_chức đăng_ký dự_xét thăng_hạng thuộc đối_tượng được miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp được xác_nhận đáp_ứng tiêu_chuẩn về ngoại_ngữ , tin_học khi đăng_ký dự_xét thăng_hạng . trường_hợp không thuộc đối_tượng miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp thì trong hồ_sơ dự xét phải có minh chứng đáp_ứng yêu_cầu về tiêu_chuẩn ngoại_ngữ , tin_học của chức_danh nghề_nghiệp đăng_ký dự_xét thăng_hạng .
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 2
  • per_device_eval_batch_size: 2
  • learning_rate: 2e-05
  • num_train_epochs: 1
  • warmup_ratio: 0.05
  • bf16: True
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 2
  • per_device_eval_batch_size: 2
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.05
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss public_administrative_cosine_accuracy
0 0 - 0.9946
0.0032 100 0.1097 -
0.0063 200 0.0885 -
0.0095 300 0.0852 -
0.0127 400 0.0465 -
0.0158 500 0.0196 -
0.0190 600 0.0273 -
0.0222 700 0.0262 -
0.0253 800 0.0354 -
0.0285 900 0.0071 -
0.0317 1000 0.0177 -
0.0348 1100 0.0262 -
0.0380 1200 0.0259 -
0.0412 1300 0.0231 -
0.0444 1400 0.0259 -
0.0475 1500 0.0163 -
0.0507 1600 0.0142 -
0.0539 1700 0.0176 -
0.0570 1800 0.0118 -
0.0602 1900 0.0195 -
0.0634 2000 0.0215 -
0.0665 2100 0.0238 -
0.0697 2200 0.0092 -
0.0729 2300 0.0091 -
0.0760 2400 0.0079 -
0.0792 2500 0.0184 -
0.0824 2600 0.0277 -
0.0855 2700 0.016 -
0.0887 2800 0.0057 -
0.0919 2900 0.0061 -
0.0950 3000 0.0084 -
0.0982 3100 0.0097 -
0.1014 3200 0.0186 -
0.1045 3300 0.0055 -
0.1077 3400 0.0188 -
0.1109 3500 0.0047 -
0.1141 3600 0.0089 -
0.1172 3700 0.0114 -
0.1204 3800 0.0163 -
0.1236 3900 0.0092 -
0.1267 4000 0.0178 -
0.1299 4100 0.0044 -
0.1331 4200 0.0117 -
0.1362 4300 0.005 -
0.1394 4400 0.0129 -
0.1426 4500 0.0095 -
0.1457 4600 0.0032 -
0.1489 4700 0.0119 -
0.1521 4800 0.0067 -
0.1552 4900 0.0152 -
0.1584 5000 0.0085 -
0.1616 5100 0.007 -
0.1647 5200 0.0101 -
0.1679 5300 0.0024 -
0.1711 5400 0.0034 -
0.1742 5500 0.0074 -
0.1774 5600 0.0067 -
0.1806 5700 0.0136 -
0.1837 5800 0.0046 -
0.1869 5900 0.0068 -
0.1901 6000 0.0238 -
0.1933 6100 0.0175 -
0.1964 6200 0.0045 -
0.1996 6300 0.0198 -
0.2028 6400 0.0081 -
0.2059 6500 0.0015 -
0.2091 6600 0.0093 -
0.2123 6700 0.0051 -
0.2154 6800 0.0028 -
0.2186 6900 0.0058 -
0.2218 7000 0.0047 -
0.2249 7100 0.0091 -
0.2281 7200 0.0052 -
0.2313 7300 0.0109 -
0.2344 7400 0.0101 -
0.2376 7500 0.0106 -
0.2408 7600 0.0065 -
0.2439 7700 0.017 -
0.2471 7800 0.0054 -
0.2503 7900 0.0029 -
0.2534 8000 0.0113 -
0.2566 8100 0.0084 -
0.2598 8200 0.0137 -
0.2629 8300 0.0141 -
0.2661 8400 0.0027 -
0.2693 8500 0.0024 -
0.2725 8600 0.0057 -
0.2756 8700 0.0068 -
0.2788 8800 0.0329 -
0.2820 8900 0.0021 -
0.2851 9000 0.0125 -
0.2883 9100 0.0027 -
0.2915 9200 0.0155 -
0.2946 9300 0.0036 -
0.2978 9400 0.036 -
0.3010 9500 0.0112 -
0.3041 9600 0.0035 -
0.3073 9700 0.0056 -
0.3105 9800 0.0028 -
0.3136 9900 0.0179 -
0.3168 10000 0.0056 -
0.3200 10100 0.0085 -
0.3231 10200 0.0251 -
0.3263 10300 0.0101 -
0.3295 10400 0.0086 -
0.3326 10500 0.0019 -
0.3358 10600 0.0031 -
0.3390 10700 0.0171 -
0.3422 10800 0.0018 -
0.3453 10900 0.0058 -
0.3485 11000 0.0058 -
0.3517 11100 0.0044 -
0.3548 11200 0.0234 -
0.3580 11300 0.0029 -
0.3612 11400 0.0014 -
0.3643 11500 0.0085 -
0.3675 11600 0.0042 -
0.3707 11700 0.0047 -
0.3738 11800 0.017 -
0.3770 11900 0.0047 -
0.3802 12000 0.0024 -
0.3833 12100 0.0065 -
0.3865 12200 0.0161 -
0.3897 12300 0.009 -
0.3928 12400 0.0015 -
0.3960 12500 0.0044 -
0.3992 12600 0.0028 -
0.4023 12700 0.0084 -
0.4055 12800 0.0094 -
0.4087 12900 0.0161 -
0.4118 13000 0.0022 -
0.4150 13100 0.0046 -
0.4182 13200 0.0032 -
0.4214 13300 0.0026 -
0.4245 13400 0.0182 -
0.4277 13500 0.0035 -
0.4309 13600 0.0082 -
0.4340 13700 0.004 -
0.4372 13800 0.0038 -
0.4404 13900 0.0026 -
0.4435 14000 0.0037 -
0.4467 14100 0.0025 -
0.4499 14200 0.0016 -
0.4530 14300 0.0012 -
0.4562 14400 0.0036 -
0.4594 14500 0.0011 -
0.4625 14600 0.0048 -
0.4657 14700 0.0058 -
0.4689 14800 0.0049 -
0.4720 14900 0.0029 -
0.4752 15000 0.0028 -
0.4784 15100 0.0104 -
0.4815 15200 0.0077 -
0.4847 15300 0.0027 -
0.4879 15400 0.0049 -
0.4911 15500 0.0065 -
0.4942 15600 0.0044 -
0.4974 15700 0.0076 -
0.5006 15800 0.0072 -
0.5037 15900 0.0027 -
0.5069 16000 0.0011 -
0.5101 16100 0.0183 -
0.5132 16200 0.0005 -
0.5164 16300 0.0035 -
0.5196 16400 0.0065 -
0.5227 16500 0.0182 -
0.5259 16600 0.0022 -
0.5291 16700 0.0041 -
0.5322 16800 0.0074 -
0.5354 16900 0.002 -
0.5386 17000 0.0013 -
0.5417 17100 0.0012 -
0.5449 17200 0.0064 -
0.5481 17300 0.0029 -
0.5512 17400 0.0058 -
0.5544 17500 0.0027 -
0.5576 17600 0.0051 -
0.5607 17700 0.01 -
0.5639 17800 0.005 -
0.5671 17900 0.0083 -
0.5703 18000 0.0009 -
0.5734 18100 0.0034 -
0.5766 18200 0.0015 -
0.5798 18300 0.0012 -
0.5829 18400 0.0034 -
0.5861 18500 0.0012 -
0.5893 18600 0.0027 -
0.5924 18700 0.0176 -
0.5956 18800 0.0019 -
0.5988 18900 0.0032 -
0.6019 19000 0.0028 -
0.6051 19100 0.0014 -
0.6083 19200 0.0015 -
0.6114 19300 0.0013 -
0.6146 19400 0.009 -
0.6178 19500 0.0053 -
0.6209 19600 0.0029 -
0.6241 19700 0.0219 -
0.6273 19800 0.0018 -
0.6304 19900 0.0023 -
0.6336 20000 0.0011 -
0.6368 20100 0.0421 -
0.6399 20200 0.007 -
0.6431 20300 0.0025 -
0.6463 20400 0.0125 -
0.6495 20500 0.0018 -
0.6526 20600 0.0023 -
0.6558 20700 0.0024 -
0.6590 20800 0.0013 -
0.6621 20900 0.0029 -
0.6653 21000 0.008 -
0.6685 21100 0.0008 -
0.6716 21200 0.0008 -
0.6748 21300 0.0013 -
0.6780 21400 0.0017 -
0.6811 21500 0.0016 -
0.6843 21600 0.0028 -
0.6875 21700 0.0006 -
0.6906 21800 0.0107 -
0.6938 21900 0.0048 -
0.6970 22000 0.0118 -
0.7001 22100 0.0203 -
0.7033 22200 0.0014 -
0.7065 22300 0.0024 -
0.7096 22400 0.0152 -
0.7128 22500 0.0026 -
0.7160 22600 0.0056 -
0.7192 22700 0.0031 -
0.7223 22800 0.0009 -
0.7255 22900 0.0008 -
0.7287 23000 0.0013 -
0.7318 23100 0.0054 -
0.7350 23200 0.0096 -
0.7382 23300 0.0018 -
0.7413 23400 0.0063 -
0.7445 23500 0.0018 -
0.7477 23600 0.0045 -
0.7508 23700 0.0013 -
0.7540 23800 0.0022 -
0.7572 23900 0.0023 -
0.7603 24000 0.0037 -
0.7635 24100 0.0092 -
0.7667 24200 0.0013 -
0.7698 24300 0.0033 -
0.7730 24400 0.0039 -
0.7762 24500 0.0035 -
0.7793 24600 0.0015 -
0.7825 24700 0.0058 -
0.7857 24800 0.0016 -
0.7888 24900 0.0076 -
0.7920 25000 0.0024 -
0.7952 25100 0.0009 -
0.7984 25200 0.0059 -
0.8015 25300 0.0004 -
0.8047 25400 0.0046 -
0.8079 25500 0.0017 -
0.8110 25600 0.0025 -
0.8142 25700 0.0072 -
0.8174 25800 0.0025 -
0.8205 25900 0.007 -
0.8237 26000 0.0111 -
0.8269 26100 0.0019 -
0.8300 26200 0.0106 -
0.8332 26300 0.0015 -
0.8364 26400 0.0019 -
0.8395 26500 0.0038 -
0.8427 26600 0.0051 -
0.8459 26700 0.0033 -
0.8490 26800 0.0058 -
0.8522 26900 0.0011 -
0.8554 27000 0.0023 -
0.8585 27100 0.0015 -
0.8617 27200 0.0041 -
0.8649 27300 0.0008 -
0.8681 27400 0.0013 -
0.8712 27500 0.0022 -
0.8744 27600 0.0031 -
0.8776 27700 0.0017 -
0.8807 27800 0.0005 -
0.8839 27900 0.0008 -
0.8871 28000 0.0019 -
0.8902 28100 0.0018 -
0.8934 28200 0.0071 -
0.8966 28300 0.0031 -
0.8997 28400 0.0015 -
0.9029 28500 0.0009 -
0.9061 28600 0.0029 -
0.9092 28700 0.0017 -
0.9124 28800 0.0008 -
0.9156 28900 0.0193 -
0.9187 29000 0.0006 -
0.9219 29100 0.0063 -
0.9251 29200 0.007 -
0.9282 29300 0.0006 -
0.9314 29400 0.0038 -
0.9346 29500 0.0032 -
0.9377 29600 0.001 -
0.9409 29700 0.0028 -
0.9441 29800 0.0004 -
0.9473 29900 0.0024 -
0.9504 30000 0.0005 -
0.9536 30100 0.0014 -
0.9568 30200 0.0007 -
0.9599 30300 0.0013 -
0.9631 30400 0.0016 -
0.9663 30500 0.0009 -
0.9694 30600 0.002 -
0.9726 30700 0.0075 -
0.9758 30800 0.0025 -
0.9789 30900 0.002 -
0.9821 31000 0.0009 -
0.9853 31100 0.0022 -
0.9884 31200 0.0063 -
0.9916 31300 0.0073 -
0.9948 31400 0.0014 -
0.9979 31500 0.0008 -
1.0 31565 - 0.9997

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 3.3.1
  • Transformers: 4.49.0.dev0
  • PyTorch: 2.5.1+cu121
  • Accelerate: 1.2.1
  • Datasets: 3.2.0
  • Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
10
Safetensors
Model size
0.3B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for anhtuansh/gte-multilingual-legal-1e

Base model

Alibaba-NLP/gte-multilingual-base
Finetuned
(101)
this model
Finetunes
1 model

Papers for anhtuansh/gte-multilingual-legal-1e

Evaluation results