--- tags: - sentence-transformers - sentence-similarity - feature-extraction - generated_from_trainer - dataset_size:8000 - loss:MatryoshkaLoss - loss:CachedMultipleNegativesRankingLoss base_model: yklymchuk-rztk/multilingual-e5-base-matryoshka2d-cached-mnr-multiple-datasets-large-1 widget: - source_sentence: 'query: цвітні олівці' sentences: - 'passage: Новорічна дерев''яна ялинкова іграшка "Дракон в рожевій шапці з подарунком 2024" 10х6,5х0,5 см Зелений (60005) Ялинкові іграшки Без бренда Колір Зелений Висота фігурки 10 см Матеріал Дерево Кількість предметів, шт 1 Країна-виробник товару Україна Теги ялинкові іграшки недорого Кріплення На нитці' - 'passage: Підводка-фломастер для очей Luxvisage Matt tatoo waterproof 24H smudgeproof (4811329031387) Підводка для очей Luxvisage Клас косметики Натуральна Стать Для жінок Країна-виробник товару Білорусь Сфера застосування Обличчя Призначення Для смокі-айс Ефект Матова Колір Чорний' - 'passage: Олівці кольорові Marco Superb Writer Gold 24 кольори (4100G-24CB) Кольорові олівці Marco Гарантія 14 днів Кількість кольорів 24 Матеріал корпусу олівця Дерево Кількість вантажних місць 1 Країна реєстрації бренда Україна Країна-виробник товару Китай Тип гарантійного талона Без гарантійного талона Доставка Premium Доставка Готовий до відправлення Доставка Доставка в магазини ROZETKA' - source_sentence: 'query: блок живлення 12в' sentences: - 'passage: Блок живлення COLARIX AKV-PSU-002 12В 2А Аксесуари для відеоспостереження COLARIX Вид Блоки живлення Країна реєстрації бренда Україна Теги Аксесуари для систем відеоспостереження Теги недорогі' - 'passage: Сумка тактична повсякденна EDC A1S bag Protector Plus black Кобури Protector Plus Гарантія 14 днів Вид Кобура-сумка Спосіб носіння Оперативна кобура Система кріплення MOLLE' - 'passage: Шусть і Шуня. Спритний самокат - Шеффлер Аксель (9786177395934) Дитяча література Artbooks Видавництво Артбукс Мова Українська Кількість вантажних місць 1 Палітурка Тверда Папір Офсет Стать дитини Хлопчик Стать дитини Дівчинка Розділ Художні книги Розділ Книги для дошкільнят Розділ Пізнавальні та розвивальні книги Країна реєстрації бренда Україна Країна-виробник товару Україна Дитячий вік 9 місяців Дитячий вік 8 місяців Дитячий вік 7 місяців Дитячий вік 6 місяців Дитячий вік 10 місяців Дитячий вік 0 місяців Дитячий вік 4 роки Дитячий вік 1 місяць Дитячий вік 4 місяці Дитячий вік 3.5 роки Дитячий вік 11 місяців Дитячий вік 2 місяці Дитячий вік 1 рік Дитячий вік 3 місяці Дитячий вік 1.5 року Дитячий вік 2 роки Дитячий вік 3 роки Дитячий вік 5 місяців Дитячий вік 2.5 роки Ставка ПДВ 0% Доставка Доставка в магазини ROZETKA Доставка Готовий до відправлення' - source_sentence: 'query: ортопедичний коврхик' sentences: - 'passage: Наушники с микрофоном для компьютера гарнитура для ПК MDR MT-808 Наушники MDR Гарантия 14 дней Тип подключения Проводные Цвет Black Назначение Для Skype Кабель Односторонний Форма штекера Прямой Теги недорогие Теги для плеера Теги До 500 грн Теги В кредит Длина шнура, м 1' - 'passage: Ортопедический массажный Коврик Микс 8 элементов Пазлы Ortek(Ортек) детский коврик в коробке Игровые коврики Ortek Цвет Разноцветный Страна регистрации бренда Украина Страна-производитель товара Украина Детский возраст 10 месяцев Детский возраст 3 года Детский возраст 2 года Детский возраст 2.5 года Детский возраст 11 месяцев Детский возраст 1 год Детский возраст 1.5 года Тип Игровые Доставка Доставка в магазины ROZETKA' - 'passage: Мужские резиновые сапоги низкие зимние Realpaks Профи ETBM-11 VS-8 44 (28.5 см) Черные (ROZ6300000166) Мужские резиновые сапоги Realpaks Цвет Черный Материал верха EVA (этиленвинилацетат) Материал подкладки Войлок Материал подошвы EVA (этиленвинилацетат) Размер 44 Сезон Зимний Сезон Весенний Сезон Осенний Сезон Демисезонный Количество грузовых мест 1 Страна регистрации бренда Украина Страна-производитель товара Украина Назначение Для повседневной носки Назначение Для рыбалки Назначение Для охоты Высота изделия Низкие Застежка Без застежки Доставка Premium Доставка Доставка в магазины ROZETKA' - source_sentence: 'query: нофорічна ялинка' sentences: - 'passage: Игрушка антистресс вечная пупырка Pop It Квадрат (2000992408134) Антистрессы Pop It! Гарантия 14 дней Количество грузовых мест 1 Страна регистрации бренда Китай Количество предметов, шт 1 Страна-производитель товара Китай Тип Поп ит Материал Силикон Цвет Разноцветный Тип гарантийного талона Гарантия по чеку Доставка Доставка в магазины ROZETKA' - 'passage: Елка «Новогодняя» зеленая 1,2м (120см) зеленый Искусственные елки Материал хвои ПВХ Цвет Зеленый Теги искусственные елки недорого Высота, см 120' - 'passage: Спортивный костюм Timbo K063973 152 см Лиловый (2000000064024) Спортивные костюмы для девочек Timbo Сезон Осенний Сезон Весенний Сезон Демисезонный Количество грузовых мест 1 Страна регистрации бренда Украина Страна-производитель товара Украина Стиль Повседневный (casual) Назначение Для повседневной носки Назначение Для школы Цвет Фиолетовый Материал Велюр Рост 152 см Детский возраст 12 лет Принт Однотонный Доставка Доставка в магазины ROZETKA' - source_sentence: 'query: зеркало для мейка с подсветкой' sentences: - 'passage: Складное двостороннє косметичне дзеркало Magic Makeup для макіяжу гримерное збільшувальне 10X з LED підсвічуванням Дзеркала косметичні Гарантія 1 місяць Країна-виробник товару Китай Вид Настільне Форма Кругле Особливості Подвійне Особливості Зі збільшенням Особливості З підсвіткою' - 'passage: Акумулятор Panasonic NCR18650B 3400 mAh 18650 Li-ion Захист Акумулятори та батарейки Panasonic Теги дешеві Теги літієві Номінальна напруга, В 3.75 Особливості Із захистом від перезаряду' - 'passage: Відеокарта MSI PCI-Ex GeForce RTX 4070 Gaming X Slim 12GB GDDR6X (192bit) (2625/21000) (HDMI, 3 x DisplayPort) (RTX 4070 GAMING X SLIM 12G) Відеокарти MSI Гарантія 36 місяців Графічний чип GeForce RTX 4070 Інтерфейс PCI Express 4.0 x16 Максимально підтримувана роздільна здатність 7680x4320 Підтримувані 3D API DirectX 12 Ultimate, OpenGL 4.6 Обсяг пам''яті 12 ГБ Сімейство графічного процесора NVidia RTX Розрядність шини пам''яті 192 біт Тип системи охолодження Активна Призначення Ігрові Підтримка DirectX 11 Є Тип пам''яті GDDR6X Роз''єми DisplayPort Роз''єми HDMI Додаткове живлення 16 pin Кількість вантажних місць 1 Країна реєстрації бренда Китай (Тайвань) Країна-виробник товару Китай теги потужні теги У кредит теги для GTA 5 теги Хороші теги Для стриму теги RTX теги Для рендерингу теги RX Форм-фактор Дискретна (Стандартна) Особливості Підтримка VR Особливості Підтримка UHD 8K Особливості З бекплейтом Особливості Підтримка від 3 моніторів Особливості З підсвіткою Тип гарантійного талона Гарантійний талон магазина Кількість вентиляторів 3 Довжина відеокарти, мм 307 Зайнятих слотів 2.3 Виробник графічного процесора nVidia Доставка Доставка в магазини ROZETKA' pipeline_tag: sentence-similarity library_name: sentence-transformers metrics: - dot_accuracy@10 - dot_precision@10 - dot_recall@10 - dot_ndcg@10 - dot_mrr@10 - dot_map@60 model-index: - name: RZTKSentenceTransformer based on yklymchuk-rztk/multilingual-e5-base-matryoshka2d-cached-mnr-multiple-datasets-large-1 results: - task: type: information-retrieval name: Information Retrieval dataset: name: 'test core uk matryoshka dim 768 ' type: test-core-uk--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 0.9921259842519685 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.402755905511811 name: Dot Precision@10 - type: dot_recall@10 value: 0.4790804795233929 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.599688674233464 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.8987621338999292 name: Dot Mrr@10 - type: dot_map@60 value: 0.4309445991968187 name: Dot Map@60 - task: type: information-retrieval name: Information Retrieval dataset: name: 'test core ru matryoshka dim 768 ' type: test-core-ru--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 0.9934383202099738 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.40275590551181106 name: Dot Precision@10 - type: dot_recall@10 value: 0.4794346019247594 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.6011492872857404 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.8988668083156274 name: Dot Mrr@10 - type: dot_map@60 value: 0.43298615186536105 name: Dot Map@60 - task: type: information-retrieval name: Information Retrieval dataset: name: 'typos uk matryoshka dim 768 ' type: typos-uk--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 0.9724409448818898 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.38346456692913394 name: Dot Precision@10 - type: dot_recall@10 value: 0.45519830854476523 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.5603339981099429 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.8384311336082991 name: Dot Mrr@10 - type: dot_map@60 value: 0.39889596717888554 name: Dot Map@60 - task: type: information-retrieval name: Information Retrieval dataset: name: 'typos ru matryoshka dim 768 ' type: typos-ru--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 0.9763779527559056 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.3809711286089239 name: Dot Precision@10 - type: dot_recall@10 value: 0.45344748573095023 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.5576777101925224 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.8357252218472689 name: Dot Mrr@10 - type: dot_map@60 value: 0.3979690284194279 name: Dot Map@60 - task: type: information-retrieval name: Information Retrieval dataset: name: 'transliterations uk matryoshka dim 768 ' type: transliterations-uk--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 0.8429610611895593 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.19794608472400516 name: Dot Precision@10 - type: dot_recall@10 value: 0.38779367116979446 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.4689830934527895 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.7534757455970555 name: Dot Mrr@10 - type: dot_map@60 value: 0.3586187856349942 name: Dot Map@60 - task: type: information-retrieval name: Information Retrieval dataset: name: 'transliterations ru matryoshka dim 768 ' type: transliterations-ru--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 0.8480958493795464 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.19910141206675228 name: Dot Precision@10 - type: dot_recall@10 value: 0.3907096246714347 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.4733132151063623 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.7601083501436527 name: Dot Mrr@10 - type: dot_map@60 value: 0.3628110633317572 name: Dot Map@60 - task: type: information-retrieval name: Information Retrieval dataset: name: 'options uk matryoshka dim 768 ' type: options-uk--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 0.9951456310679612 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.3393203883495146 name: Dot Precision@10 - type: dot_recall@10 value: 0.4850424757281553 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.5754311792342823 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.8889495685005392 name: Dot Mrr@10 - type: dot_map@60 value: 0.4155063286471065 name: Dot Map@60 - task: type: information-retrieval name: Information Retrieval dataset: name: 'options ru matryoshka dim 768 ' type: options-ru--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 0.9927184466019418 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.3405339805825243 name: Dot Precision@10 - type: dot_recall@10 value: 0.4860942556634304 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.5754815076749632 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.8825204191709047 name: Dot Mrr@10 - type: dot_map@60 value: 0.4155437503228611 name: Dot Map@60 - task: type: information-retrieval name: Information Retrieval dataset: name: 'rusisms uk matryoshka dim 768 ' type: rusisms-uk--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 1.0 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.7252747252747253 name: Dot Precision@10 - type: dot_recall@10 value: 0.3787780478650384 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.8292463278748027 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.9652014652014653 name: Dot Mrr@10 - type: dot_map@60 value: 0.4759284584016334 name: Dot Map@60 - task: type: information-retrieval name: Information Retrieval dataset: name: 'rusisms ru matryoshka dim 768 ' type: rusisms-ru--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 1.0 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.7274725274725276 name: Dot Precision@10 - type: dot_recall@10 value: 0.3794179017086738 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.8291269750230967 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.9542124542124542 name: Dot Mrr@10 - type: dot_map@60 value: 0.47537466501489184 name: Dot Map@60 - task: type: information-retrieval name: Information Retrieval dataset: name: 'jargonisms uk matryoshka dim 768 ' type: jargonisms-uk--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 0.9743589743589743 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.6282051282051282 name: Dot Precision@10 - type: dot_recall@10 value: 0.4175795981287973 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.7586242128347274 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.901098901098901 name: Dot Mrr@10 - type: dot_map@60 value: 0.44004619209370444 name: Dot Map@60 - task: type: information-retrieval name: Information Retrieval dataset: name: 'jargonisms ru matryoshka dim 768 ' type: jargonisms-ru--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 0.9743589743589743 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.6153846153846154 name: Dot Precision@10 - type: dot_recall@10 value: 0.40796328851248764 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.7456236376148996 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.8952991452991454 name: Dot Mrr@10 - type: dot_map@60 value: 0.43053013067186624 name: Dot Map@60 - task: type: information-retrieval name: Information Retrieval dataset: name: 'vespa uk matryoshka dim 768 ' type: vespa-uk--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 0.9130434782608695 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.6858695652173914 name: Dot Precision@10 - type: dot_recall@10 value: 0.2394267615150962 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.7686399855634083 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.8641304347826086 name: Dot Mrr@10 - type: dot_map@60 value: 0.5724795153965255 name: Dot Map@60 - task: type: information-retrieval name: Information Retrieval dataset: name: 'vespa ru matryoshka dim 768 ' type: vespa-ru--matryoshka_dim-768-- metrics: - type: dot_accuracy@10 value: 0.9239130434782609 name: Dot Accuracy@10 - type: dot_precision@10 value: 0.691304347826087 name: Dot Precision@10 - type: dot_recall@10 value: 0.23597022129031064 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.7659189610978123 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.8540760869565216 name: Dot Mrr@10 - type: dot_map@60 value: 0.5637191455131668 name: Dot Map@60 --- # RZTKSentenceTransformer based on yklymchuk-rztk/multilingual-e5-base-matryoshka2d-cached-mnr-multiple-datasets-large-1 This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [yklymchuk-rztk/multilingual-e5-base-matryoshka2d-cached-mnr-multiple-datasets-large-1](https://huggingface.co/yklymchuk-rztk/multilingual-e5-base-matryoshka2d-cached-mnr-multiple-datasets-large-1) on the core_uk and core_ru datasets. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [yklymchuk-rztk/multilingual-e5-base-matryoshka2d-cached-mnr-multiple-datasets-large-1](https://huggingface.co/yklymchuk-rztk/multilingual-e5-base-matryoshka2d-cached-mnr-multiple-datasets-large-1) - **Maximum Sequence Length:** 512 tokens - **Output Dimensionality:** 768 dimensions - **Similarity Function:** Dot Product - **Training Datasets:** - core_uk - core_ru ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` RZTKSentenceTransformer( (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) (2): Normalize() ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("sentence_transformers_model_id") # Run inference sentences = [ 'query: зеркало для мейка с подсветкой', 'passage: Складное двостороннє косметичне дзеркало Magic Makeup для макіяжу гримерное збільшувальне 10X з LED підсвічуванням Дзеркала косметичні Гарантія 1 місяць Країна-виробник товару Китай Вид Настільне Форма Кругле Особливості Подвійне Особливості Зі збільшенням Особливості З підсвіткою', 'passage: Акумулятор Panasonic NCR18650B 3400 mAh 18650 Li-ion Захист Акумулятори та батарейки Panasonic Теги дешеві Теги літієві Номінальна напруга, В 3.75 Особливості Із захистом від перезаряду', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 768] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [3, 3] ``` ## Evaluation ### Metrics #### Information Retrieval * Datasets: `test-core-uk--matryoshka_dim-768--`, `test-core-ru--matryoshka_dim-768--`, `typos-uk--matryoshka_dim-768--`, `typos-ru--matryoshka_dim-768--`, `transliterations-uk--matryoshka_dim-768--`, `transliterations-ru--matryoshka_dim-768--`, `options-uk--matryoshka_dim-768--`, `options-ru--matryoshka_dim-768--`, `rusisms-uk--matryoshka_dim-768--`, `rusisms-ru--matryoshka_dim-768--`, `jargonisms-uk--matryoshka_dim-768--`, `jargonisms-ru--matryoshka_dim-768--`, `vespa-uk--matryoshka_dim-768--` and `vespa-ru--matryoshka_dim-768--` * Evaluated with [InformationRetrievalEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) with these parameters: ```json { "truncate_dim": 768, "query_prompt_name": "query", "corpus_prompt_name": "text" } ``` | Metric | test-core-uk--matryoshka_dim-768-- | test-core-ru--matryoshka_dim-768-- | typos-uk--matryoshka_dim-768-- | typos-ru--matryoshka_dim-768-- | transliterations-uk--matryoshka_dim-768-- | transliterations-ru--matryoshka_dim-768-- | options-uk--matryoshka_dim-768-- | options-ru--matryoshka_dim-768-- | rusisms-uk--matryoshka_dim-768-- | rusisms-ru--matryoshka_dim-768-- | jargonisms-uk--matryoshka_dim-768-- | jargonisms-ru--matryoshka_dim-768-- | vespa-uk--matryoshka_dim-768-- | vespa-ru--matryoshka_dim-768-- | |:-----------------|:-----------------------------------|:-----------------------------------|:-------------------------------|:-------------------------------|:------------------------------------------|:------------------------------------------|:---------------------------------|:---------------------------------|:---------------------------------|:---------------------------------|:------------------------------------|:------------------------------------|:-------------------------------|:-------------------------------| | dot_accuracy@10 | 0.9921 | 0.9934 | 0.9724 | 0.9764 | 0.843 | 0.8481 | 0.9951 | 0.9927 | 1.0 | 1.0 | 0.9744 | 0.9744 | 0.913 | 0.9239 | | dot_precision@10 | 0.4028 | 0.4028 | 0.3835 | 0.381 | 0.1979 | 0.1991 | 0.3393 | 0.3405 | 0.7253 | 0.7275 | 0.6282 | 0.6154 | 0.6859 | 0.6913 | | dot_recall@10 | 0.4791 | 0.4794 | 0.4552 | 0.4534 | 0.3878 | 0.3907 | 0.485 | 0.4861 | 0.3788 | 0.3794 | 0.4176 | 0.408 | 0.2394 | 0.236 | | **dot_ndcg@10** | **0.5997** | **0.6011** | **0.5603** | **0.5577** | **0.469** | **0.4733** | **0.5754** | **0.5755** | **0.8292** | **0.8291** | **0.7586** | **0.7456** | **0.7686** | **0.7659** | | dot_mrr@10 | 0.8988 | 0.8989 | 0.8384 | 0.8357 | 0.7535 | 0.7601 | 0.8889 | 0.8825 | 0.9652 | 0.9542 | 0.9011 | 0.8953 | 0.8641 | 0.8541 | | dot_map@60 | 0.4309 | 0.433 | 0.3989 | 0.398 | 0.3586 | 0.3628 | 0.4155 | 0.4155 | 0.4759 | 0.4754 | 0.44 | 0.4305 | 0.5725 | 0.5637 | ## Training Details ### Training Datasets #### core_uk * Dataset: core_uk * Size: 5,000 training samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:---------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:-----------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: le katrin | passage: Спортивний костюм жіночий Le'Katrin 5174-4M Чорний Жіночі спортивні костюми Le Katrin Сезон Зимовий Сезон Демісезонний Країна-виробник товару Україна Розмір M Колір Чорний Матеріал Двонитка | | query: вдохновляясь сиренью | passage: Картина за номерами. Надихаючись бузком ©alonka_good. 40х50. KHO5619. Ідейка Картини за номерами Ideyka Гарантія 36 місяців Країна реєстрації бренда Україна Країна-виробник товару Україна Розмір картини, см 40 x 50 Тематика Натюрморти Особливості Без коробки Основа Полотно Кількість кольорів 24 Рівень складності картини 5 | | query: майнкрафт лего | passage: Конструктор LEGO Minecraft Фортеця «Залізний голем» 868 деталей (21250) Дитячі конструктори LEGO Матеріал Пластик Вид Конструктори Колір Різнобарвний Стать дитини Дівчинка Стать дитини Хлопчик Кількість вантажних місць 1 Країна реєстрації бренда Данія Країна-виробник товару Угорщина Дитячий вік 14 років Дитячий вік 9 років Дитячий вік 11 років Дитячий вік 13 років Дитячий вік 10 років Дитячий вік 12 років Тема набору Minecraft Можливість доставки Почтомати Тип з'єднання Блоковий | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ``` #### core_ru * Dataset: core_ru * Size: 3,000 training samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: перехідник на польський газовий балон | passage: Переходник из Польского баллона переходник на баллон Газовые баллоны и комплектующие Без бренда Страна-производитель товара Польша Вид Переходник | | query: northland | passage: Брюки женские Northland 114715-91 48 Серые (0990048690540_2990026155656) Женские брюки Northland Посадка Высокая Количество грузовых мест 1 Страна регистрации бренда Австрия Страна-производитель товара Бангладеш Размер 48 Стиль Повседневный (casual) Цвет Серый Особенности модели На молнии Материал Хлопок Сегмент Спорт Застежка Молния Модели Regular Fit Управление новой коллекцией май 2023 Принт Однотонный Доставка Доставка в магазины ROZETKA | | query: мяч резиновый | passage: Мяч резиновый "Динозаврики" (красный) Игрушки для малышей Цвет Красный | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ``` ### Evaluation Datasets
core_uk #### core_uk * Dataset: core_uk * Size: 3,220 evaluation samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:---------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: лампочка е27 | passage: Світлодіодна лампа Osram LED Star+ DIM A60 9W (806Lm) Е27 (4058075430754) Лампи OSRAM Гарантія 36 місяців Виробник світлодіодів Osram Тип світлодіодів SMD Тип цоколя E27 Колір світіння / Температура кольорів RGB (різнокольоровий) Колір світіння / Температура кольорів Теплий білий Світловий потік 806 Лм Еквівалент потужності лампи розжарювання 60 Вт Робоча напруга, в 230 Тип Світлодіодні лампи Форма колби Стандартна (груша) Колір колби Матовий Кількість вантажних місць 1 Країна реєстрації бренда Німеччина Кількість предметів, шт 1 Країна-виробник товару Китай Особливості З дистанційним управлінням Особливості З регулюванням яскравості (димер) Строк служби лампи, год 25000 теги лампи недорого Тип гарантійного талона Гарантія по чеку Потужність, Вт 9 Можливість доставки Почтомати Доставка Premium Доставка Доставка в магазини ROZETKA | | query: лампочка е27 | passage: Світлодіодна лампа Philips Ecohome LED Bulb 11 W E27 3000 K 1PF/20RCA (929002299567R) 2 шт. Лампи Philips Гарантія 24 місяці Тип цоколя E27 Колір світіння / Температура кольорів Теплий Світловий потік 1150 Лм Еквівалент потужності лампи розжарювання 95 Вт Робоча напруга, в 170-240 Тип Світлодіодні лампи Форма колби Стандартна (груша) Колір колби Білий Кількість вантажних місць 1 Країна реєстрації бренда Нідерланди Кількість предметів, шт 2 Країна-виробник товару Китай Строк служби лампи, год теги лампи недорого Тип гарантійного талона Гарантійний талон магазина Потужність, Вт 11 Застосування Побутові Призначення Для настільної лампи Призначення Для люстри Призначення Для стельових світильників Температура світіння 3000 К Матеріал колби Пластик Доставка Premium Доставка Доставка в магазини ROZETKA | | query: лампочка е27 | passage: Набір світлодіодних ламп Евросвет 12 W 4200 K Е27 (56702) 4 шт. Лампи Євросвітло Гарантія 12 місяців Тип світлодіодів SMD Тип цоколя E27 Колір світіння / Температура кольорів Нейтральний-білий Світловий потік 1200 Лм Еквівалент потужності лампи розжарювання 120 Вт Робоча напруга, в 220-240 Тип Світлодіодні лампи Форма колби Стандартна (груша) Кількість вантажних місць 1 Країна реєстрації бренда Україна Кількість предметів, шт 4 Країна-виробник товару Китай Строк служби лампи, год 15000 теги лампи недорого Тип гарантійного талона Гарантія по чеку Потужність, Вт 12 Застосування Побутові Призначення Для настільної лампи Призначення Для люстри Призначення Для стельових світильників Температура світіння 4200К Матеріал колби Пластик Доставка Готовий до відправлення Доставка Доставка в магазини ROZETKA | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
core_ru #### core_ru * Dataset: core_ru * Size: 3,220 evaluation samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:---------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: лампочка е27 | passage: Светодиодная лампа Osram LED Star+ DIM A60 9W (806Lm) Е27 (4058075430754) Лампы OSRAM Гарантия 36 месяцев Производитель светодиодов Osram Тип светодиодов SMD Тип цоколя E27 Цвет свечения / Цветовая температура RGB (разноцветный) Цвет свечения / Цветовая температура Теплый белый Световой поток 806 Лм Эквивалент мощности лампы накаливания 60 Вт Рабочее напряжение, В 230 Тип Светодиодные лампы Форма колбы Стандартная (груша) Цвет колбы Матовый Количество грузовых мест 1 Страна регистрации бренда Германия Количество предметов, шт 1 Страна-производитель товара Китай Особенности С дистанционным управлением Особенности С регулировкой яркости (диммер) Срок службы лампы, ч 25000 теги лампы недорого Тип гарантийного талона Гарантия по чеку Мощность, Вт 9 Возможность доставки Почтоматы Доставка Premium Доставка Доставка в магазины ROZETKA | | query: лампочка е27 | passage: Светодиодная лампа Philips Ecohome LED Bulb 11W E27 3000К 1PF/20RCA (929002299567R) 2 шт. Лампы Philips Гарантия 24 месяца Тип цоколя E27 Цвет свечения / Цветовая температура Теплый Световой поток 1150 Лм Эквивалент мощности лампы накаливания 95 Вт Рабочее напряжение, В 170-240 Тип Светодиодные лампы Форма колбы Стандартная (груша) Цвет колбы Белый Количество грузовых мест 1 Страна регистрации бренда Нидерланды Количество предметов, шт 2 Страна-производитель товара Китай Срок службы лампы, ч 6000 теги лампы недорого Тип гарантийного талона Гарантийный талон магазина Мощность, Вт 11 Применение Бытовые Назначение Для настольной лампы Назначение Для люстры Назначение Для потолочных светильников Температура свечения 3000К Материал колбы Пластик Доставка Premium Доставка Доставка в магазины ROZETKA | | query: лампочка е27 | passage: Набор светодиодных ламп ЕВРОСВЕТ 12W 4200к Е27 (56702) 4 шт Лампы Євросвітло Гарантия 12 месяцев Тип светодиодов SMD Тип цоколя E27 Цвет свечения / Цветовая температура Нейтральный-белый Световой поток 1200 Лм Эквивалент мощности лампы накаливания 120 Вт Рабочее напряжение, В 220-240 Тип Светодиодные лампы Форма колбы Стандартная (груша) Количество грузовых мест 1 Страна регистрации бренда Украина Количество предметов, шт 4 Страна-производитель товара Китай Срок службы лампы, ч 15000 теги лампы недорого Тип гарантийного талона Гарантия по чеку Мощность, Вт 12 Применение Бытовые Назначение Для настольной лампы Назначение Для люстры Назначение Для потолочных светильников Температура свечения 4200К Материал колбы Пластик Доставка Готов к отправке Доставка Доставка в магазины ROZETKA | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
typos_uk #### typos_uk * Dataset: typos_uk * Size: 3,220 evaluation samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:--------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: лампочка е7 | passage: Світлодіодна лампа Osram LED Star+ DIM A60 9W (806Lm) Е27 (4058075430754) Лампи OSRAM Гарантія 36 місяців Виробник світлодіодів Osram Тип світлодіодів SMD Тип цоколя E27 Колір світіння / Температура кольорів RGB (різнокольоровий) Колір світіння / Температура кольорів Теплий білий Світловий потік 806 Лм Еквівалент потужності лампи розжарювання 60 Вт Робоча напруга, в 230 Тип Світлодіодні лампи Форма колби Стандартна (груша) Колір колби Матовий Кількість вантажних місць 1 Країна реєстрації бренда Німеччина Кількість предметів, шт 1 Країна-виробник товару Китай Особливості З дистанційним управлінням Особливості З регулюванням яскравості (димер) Строк служби лампи, год 25000 теги лампи недорого Тип гарантійного талона Гарантія по чеку Потужність, Вт 9 Можливість доставки Почтомати Доставка Premium Доставка Доставка в магазини ROZETKA | | query: лампочка е7 | passage: Світлодіодна лампа Philips Ecohome LED Bulb 11 W E27 3000 K 1PF/20RCA (929002299567R) 2 шт. Лампи Philips Гарантія 24 місяці Тип цоколя E27 Колір світіння / Температура кольорів Теплий Світловий потік 1150 Лм Еквівалент потужності лампи розжарювання 95 Вт Робоча напруга, в 170-240 Тип Світлодіодні лампи Форма колби Стандартна (груша) Колір колби Білий Кількість вантажних місць 1 Країна реєстрації бренда Нідерланди Кількість предметів, шт 2 Країна-виробник товару Китай Строк служби лампи, год теги лампи недорого Тип гарантійного талона Гарантійний талон магазина Потужність, Вт 11 Застосування Побутові Призначення Для настільної лампи Призначення Для люстри Призначення Для стельових світильників Температура світіння 3000 К Матеріал колби Пластик Доставка Premium Доставка Доставка в магазини ROZETKA | | query: лампочка е7 | passage: Набір світлодіодних ламп Евросвет 12 W 4200 K Е27 (56702) 4 шт. Лампи Євросвітло Гарантія 12 місяців Тип світлодіодів SMD Тип цоколя E27 Колір світіння / Температура кольорів Нейтральний-білий Світловий потік 1200 Лм Еквівалент потужності лампи розжарювання 120 Вт Робоча напруга, в 220-240 Тип Світлодіодні лампи Форма колби Стандартна (груша) Кількість вантажних місць 1 Країна реєстрації бренда Україна Кількість предметів, шт 4 Країна-виробник товару Китай Строк служби лампи, год 15000 теги лампи недорого Тип гарантійного талона Гарантія по чеку Потужність, Вт 12 Застосування Побутові Призначення Для настільної лампи Призначення Для люстри Призначення Для стельових світильників Температура світіння 4200К Матеріал колби Пластик Доставка Готовий до відправлення Доставка Доставка в магазини ROZETKA | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
typos_ru #### typos_ru * Dataset: typos_ru * Size: 3,220 evaluation samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:--------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: лампочка е7 | passage: Светодиодная лампа Osram LED Star+ DIM A60 9W (806Lm) Е27 (4058075430754) Лампы OSRAM Гарантия 36 месяцев Производитель светодиодов Osram Тип светодиодов SMD Тип цоколя E27 Цвет свечения / Цветовая температура RGB (разноцветный) Цвет свечения / Цветовая температура Теплый белый Световой поток 806 Лм Эквивалент мощности лампы накаливания 60 Вт Рабочее напряжение, В 230 Тип Светодиодные лампы Форма колбы Стандартная (груша) Цвет колбы Матовый Количество грузовых мест 1 Страна регистрации бренда Германия Количество предметов, шт 1 Страна-производитель товара Китай Особенности С дистанционным управлением Особенности С регулировкой яркости (диммер) Срок службы лампы, ч 25000 теги лампы недорого Тип гарантийного талона Гарантия по чеку Мощность, Вт 9 Возможность доставки Почтоматы Доставка Premium Доставка Доставка в магазины ROZETKA | | query: лампочка е7 | passage: Светодиодная лампа Philips Ecohome LED Bulb 11W E27 3000К 1PF/20RCA (929002299567R) 2 шт. Лампы Philips Гарантия 24 месяца Тип цоколя E27 Цвет свечения / Цветовая температура Теплый Световой поток 1150 Лм Эквивалент мощности лампы накаливания 95 Вт Рабочее напряжение, В 170-240 Тип Светодиодные лампы Форма колбы Стандартная (груша) Цвет колбы Белый Количество грузовых мест 1 Страна регистрации бренда Нидерланды Количество предметов, шт 2 Страна-производитель товара Китай Срок службы лампы, ч 6000 теги лампы недорого Тип гарантийного талона Гарантийный талон магазина Мощность, Вт 11 Применение Бытовые Назначение Для настольной лампы Назначение Для люстры Назначение Для потолочных светильников Температура свечения 3000К Материал колбы Пластик Доставка Premium Доставка Доставка в магазины ROZETKA | | query: лампочка е7 | passage: Набор светодиодных ламп ЕВРОСВЕТ 12W 4200к Е27 (56702) 4 шт Лампы Євросвітло Гарантия 12 месяцев Тип светодиодов SMD Тип цоколя E27 Цвет свечения / Цветовая температура Нейтральный-белый Световой поток 1200 Лм Эквивалент мощности лампы накаливания 120 Вт Рабочее напряжение, В 220-240 Тип Светодиодные лампы Форма колбы Стандартная (груша) Количество грузовых мест 1 Страна регистрации бренда Украина Количество предметов, шт 4 Страна-производитель товара Китай Срок службы лампы, ч 15000 теги лампы недорого Тип гарантийного талона Гарантия по чеку Мощность, Вт 12 Применение Бытовые Назначение Для настольной лампы Назначение Для люстры Назначение Для потолочных светильников Температура свечения 4200К Материал колбы Пластик Доставка Готов к отправке Доставка Доставка в магазины ROZETKA | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
transliterations_uk #### transliterations_uk * Dataset: transliterations_uk * Size: 13,144 evaluation samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:--------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: апиэу | passage: Зволожувальний лактокрем для обличчя A'pieu Lactobacillus 50 мл (8809643517201) Крем для обличчя A'pieu Клас косметики Мідл-маркет Час застосування Ніч Вік Від 18 Стать Для жінок Кількість вантажних місць 1 Країна реєстрації бренда Республіка Корея (Південна Корея) Кількість предметів, шт 1 Країна-виробник товару Республіка Корея (Південна Корея) Об'єм 50 мл Вид Крем Сфера застосування Обличчя Тип шкіри Суха Тип шкіри Нормальна Призначення Відновлююче Призначення Зволожувальне Доставка Доставка в магазини ROZETKA | | query: апиэу | passage: Тональний засіб A'pieu Клас косметики Мідл-маркет | | query: апиэу | passage: Емульсія мінеральна A'pieu Aqua Marine 180 мл (8809530043608) Засіб для вмивання A'pieu Клас косметики Натуральна Час застосування Універсально Вік Від 20 Стать Для жінок Кількість вантажних місць 1 Країна реєстрації бренда Республіка Корея (Південна Корея) Кількість предметів, шт 1 Серія Aqua Marine Країна-виробник товару Республіка Корея (Південна Корея) Об'єм 180 мл Вид Емульсія Дія Тонізує Дія Зволожує Дія Очищає Тип шкіри Для всіх типів Призначення Зволожувальне Тип гарантійного талона Без гарантійного талона Можливість доставки Почтомати | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
transliterations_ru #### transliterations_ru * Dataset: transliterations_ru * Size: 13,144 evaluation samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:--------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: апиэу | passage: Увлажняющий лакто-крем для лица A'pieu Lactobacillus 50 мл (8809643517201) Крем для лица A'pieu Класс косметики Миддл-маркет Время применения Ночь Возраст От 18 Пол Для женщин Количество грузовых мест 1 Страна регистрации бренда Республика Корея (Южная Корея) Количество предметов, шт 1 Страна-производитель товара Республика Корея (Южная Корея) Объем 50 мл Вид Крем Область применения Лицо Тип кожи Сухая Тип кожи Нормальная Назначение Восстанавливающее Назначение Увлажняющее Доставка Доставка в магазины ROZETKA | | query: апиэу | passage: Воздушный хлопковый кушон с матовым финишем. Air-Fit A'pieu Cushion PPOSONG SPF50+/PA+++ 13,5g A'pieu Тональное средство A'pieu Класс косметики Миддл-маркет | | query: апиэу | passage: Эмульсия минеральная A'pieu Aqua Marine 180 мл (8809530043608) Средство для умывания A'pieu Класс косметики Натуральная Время применения Универсально Возраст От 20 Пол Для женщин Количество грузовых мест 1 Страна регистрации бренда Республика Корея (Южная Корея) Количество предметов, шт 1 Серия Aqua Marine Страна-производитель товара Республика Корея (Южная Корея) Объем 180 мл Вид Эмульсия Действие Тонизирует Действие Увлажняет Действие Очищает Тип кожи Для всех типов Назначение Увлажняющее Тип гарантийного талона Без гарантийного талона Возможность доставки Почтоматы | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
options_uk #### options_uk * Dataset: options_uk * Size: 1,442 evaluation samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:---------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: спортивные шорты женские | passage: Спортивні шорти жіночі Traum 2410-17 M (44-46) Чорні (4820024101721) Жіночі спортивні шорти Traum Сезон Осінній Сезон Літній Сезон Весняний Сезон Демісезонний Кількість вантажних місць 1 Довжина Коротка Країна реєстрації бренда Україна Країна-виробник товару Україна Декор З лампасами Розмір 46 Розмір 44 Стиль Спортивний Колір Чорний Матеріал Трикотаж Тип гарантійного талона Гарантія по чеку Можливість доставки Почтомати Доставка Premium Принт Однотонний Тип шортів Прості шорти Доставка Доставка в магазини ROZETKA | | query: спортивные шорты женские | passage: Спортивні шорти жіночі ISSA PLUS 11377 S Чорні (issa2000239538884) Жіночі спортивні шорти ISSA PLUS Кількість вантажних місць 1 Країна реєстрації бренда Україна Країна-виробник товару Україна Розмір S Стиль Спортивний Колір Чорний Матеріал Поліестер Матеріал Поліамід Тип гарантійного талона Гарантія по чеку Можливість доставки Почтомати Доставка Premium Принт Однотонний Доставка Доставка в магазини ROZETKA | | query: спортивные шорты женские | passage: Спортивні шорти жіночі ISSA PLUS 7770 L Чорні (issa2000260293349) Жіночі спортивні шорти ISSA PLUS Кількість вантажних місць 1 Довжина Подовжена Країна реєстрації бренда Україна Країна-виробник товару Україна Розмір L Стиль Спортивний Колір Чорний Матеріал Поліестер Тип гарантійного талона Гарантія по чеку Доставка Premium Принт Напис Тип шортів Прості шорти Доставка Доставка в магазини ROZETKA | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
options_ru #### options_ru * Dataset: options_ru * Size: 1,442 evaluation samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:---------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: спортивные шорты женские | passage: Спортивные шорты женские Traum 2410-17 M (44-46) Черные (4820024101721) Женские спортивные шорты Traum Сезон Осенний Сезон Летний Сезон Весенний Сезон Демисезонный Количество грузовых мест 1 Длина Короткая Страна регистрации бренда Украина Страна-производитель товара Украина Декор С лампасами Размер 46 Размер 44 Стиль Спортивный Цвет Черный Материал Трикотаж Тип гарантийного талона Гарантия по чеку Возможность доставки Почтоматы Доставка Premium Принт Однотонный Тип шорт Простые шорты Доставка Доставка в магазины ROZETKA | | query: спортивные шорты женские | passage: Спортивные шорты женские ISSA PLUS 11377 S Черные (issa2000239538884) Женские спортивные шорты ISSA PLUS Количество грузовых мест 1 Страна регистрации бренда Украина Страна-производитель товара Украина Размер S Стиль Спортивный Цвет Черный Материал Полиэстер Материал Полиамид Тип гарантийного талона Гарантия по чеку Возможность доставки Почтоматы Доставка Premium Принт Однотонный Доставка Доставка в магазины ROZETKA | | query: спортивные шорты женские | passage: Спортивные шорты женские ISSA PLUS 7770 L Черные (issa2000260293349) Женские спортивные шорты ISSA PLUS Количество грузовых мест 1 Длина Удлинённая Страна регистрации бренда Украина Страна-производитель товара Украина Размер L Стиль Спортивный Цвет Черный Материал Полиэстер Тип гарантийного талона Гарантия по чеку Доставка Premium Принт Надпись Тип шорт Простые шорты Доставка Доставка в магазины ROZETKA | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
rusisms_uk #### rusisms_uk * Dataset: rusisms_uk * Size: 1,061 evaluation samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: блок безперебійного пітанія | passage: Блок безперебійного живлення LogicPower LPM-525VA-P (лінійно-інтерактивний, plastik case) Джерела безперебійного живлення LogicPower Гарантія 12 місяців Тип архітектури Лінійно-інтерактивні (line-interactive) Форма вихідної напруги Апроксимована (ступінчаста) синусоїда Акумуляторна батарея Вбудована Час роботи за повного навантаження, хв 10 ТЕГИ У кредит | | query: блок безперебійного пітанія | passage: Блок безперебійного живлення EnerGenie EG-UPS-B650 650VA Джерела безперебійного живлення EnerGenie Гарантія 12 місяців Акумуляторна батарея Вбудована Час роботи за повного навантаження, хв 20 ТЕГИ У кредит | | query: блок безперебійного пітанія | passage: Блок безперебійного живлення EnerGenie EG-UPS-031 (LCD дисплей, 650VA, Black) Джерела безперебійного живлення EnerGenie Гарантія 12 місяців Тип архітектури Лінійно-інтерактивні (line-interactive) Форма вихідної напруги Апроксимована (ступінчаста) синусоїда Акумуляторна батарея Вбудована Особливості З дисплеєм Час роботи за повного навантаження, хв 8 ТЕГИ У кредит Доставка Доставка в магазини ROZETKA | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
rusisms_ru #### rusisms_ru * Dataset: rusisms_ru * Size: 1,061 evaluation samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: блок безперебійного пітанія | passage: Блок безперебійного живлення LogicPower LPM-525VA-P (лінійно-інтерактивний, plastik case) Источники бесперебойного питания LogicPower Гарантия 12 месяцев Тип архитектуры Линейно-интерактивные (line-interactive) Форма выходного напряжения Аппроксимированная (ступенчатая) синусоида Аккумуляторная батарея Встроенная Время работы при полной нагрузке, мин 10 ТЕГИ В кредит | | query: блок безперебійного пітанія | passage: Блок безперебійного живлення EnerGenie EG-UPS-B650 650VA Источники бесперебойного питания EnerGenie Гарантия 12 месяцев Аккумуляторная батарея Встроенная Время работы при полной нагрузке, мин 20 ТЕГИ В кредит | | query: блок безперебійного пітанія | passage: Блок безперебійного живлення EnerGenie EG-UPS-031 (LCD дисплей, 650VA, Black) Источники бесперебойного питания EnerGenie Гарантия 12 месяцев Тип архитектуры Линейно-интерактивные (line-interactive) Форма выходного напряжения Аппроксимированная (ступенчатая) синусоида Аккумуляторная батарея Встроенная Особенности С дисплеем Время работы при полной нагрузке, мин 8 ТЕГИ В кредит Доставка Доставка в магазины ROZETKA | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
jargonisms_uk #### jargonisms_uk * Dataset: jargonisms_uk * Size: 338 evaluation samples * Columns: query and text * Approximate statistics based on the first 338 samples: | | query | text | |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:--------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: сумка для лептопа | passage: Сумка для ноутбука 2E 16" Grey (2E-CBN116GR) Сумки, рюкзаки та чохли для ноутбуків 2E Гарантія 14 днів Діагональ ноутбука 15.6"-16" Матеріал Нейлон Колір Grey Тип Сумка Спосіб закриття Змійка Кількість вантажних місць 1 Країна реєстрації бренда Україна Країна-виробник товару Китай Діагональ сумки/рюкзака 15.6" Тип гарантійного талона Гарантія по чеку Можливість доставки Почтомати Особливості Відділення для аксесуарів | | query: аккумуляторка | passage: Акумуляторна ланцюгова пила Greenworks G24CS25 (2000007) Акумуляторні пилки Greenworks Гарантія 36 місяців Кількість вантажних місць 1 Країна реєстрації бренда США Країна-виробник товару Китай Теги недорогі Теги туристичні Теги професійні Для прив'язки тегів Неймовірно тихий Для прив'язки тегів Потужний двигун Для прив'язки тегів Швидкий запуск Довжина шини, мм 250 Особливості Автоматичне змащування ланцюга Особливості Блокування кнопки увімкнення Вага, кг 2.7 Розташування двигуна в пилі Поперечний (бічний) Швидкість обертання ланцюга, м/сек 4.2 Тип гарантійного талона Гарантійний талон магазина Доставка Premium Напруга акумулятора, В 24 Акумулятор у комплекті Ні Доставка Доставка в магазини ROZETKA | | query: аккумуляторка | passage: Акумуляторна ланцюгова пила Stark BCS-3610 (310100101) Акумуляторні пилки Stark Гарантія 12 місяців Кількість вантажних місць 1 Країна реєстрації бренда Німеччина Країна-виробник товару Китай Теги недорогі Теги туристичні Довжина шини, мм 250 Особливості SDS система Особливості Гальмо ланцюга Особливості Блокування кнопки увімкнення Особливості Легкий запуск Особливості Автоматичне змащування ланцюга Вага, кг 3.2 Розташування двигуна в пилі Поперечний (бічний) Тип гарантійного талона Гарантійний талон магазина Тип двигуна Безщітковий Акумулятор у комплекті Ні Доставка Доставка в магазини ROZETKA | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
jargonisms_ru #### jargonisms_ru * Dataset: jargonisms_ru * Size: 338 evaluation samples * Columns: query and text * Approximate statistics based on the first 338 samples: | | query | text | |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:--------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: сумка для лептопа | passage: Сумка для ноутбука 2E 16" Grey (2E-CBN116GR) Сумки, рюкзаки и чехлы для ноутбуков 2E Гарантия 14 дней Диагональ ноутбука 15.6"-16" Материал Нейлон Цвет Grey Тип Сумка Способ закрытия Молния Количество грузовых мест 1 Страна регистрации бренда Украина Страна-производитель товара Китай Диагональ сумки/рюкзака 15.6" Тип гарантийного талона Гарантия по чеку Возможность доставки Почтоматы Особенности Отделение для аксессуаров | | query: аккумуляторка | passage: Аккумуляторная цепная пила Greenworks G24CS25 (2000007) Аккумуляторные пилы Greenworks Гарантия 36 месяцев Количество грузовых мест 1 Страна регистрации бренда США Страна-производитель товара Китай Теги недорогие Теги туристические Теги профессиональные Для привязки тегов Невероятно тихий Для привязки тегов Мощный двигатель Для привязки тегов Быстрый запуск Длина шины, мм 250 Особенности Автоматическая смазка цепи Особенности Блокировка кнопки включения Вес, кг 2.7 Расположение двигателя в пиле Поперечное (боковое) Скорость вращения цепи, м/сек 4.2 Тип гарантийного талона Гарантийный талон магазина Доставка Premium Напряжение аккумулятора, В 24 Аккумулятор в комплекте Нет Доставка Доставка в магазины ROZETKA | | query: аккумуляторка | passage: Аккумуляторная цепная пила Stark BCS-3610 (310100101) Аккумуляторные пилы Stark Гарантия 12 месяцев Количество грузовых мест 1 Страна регистрации бренда Германия Страна-производитель товара Китай Теги недорогие Теги туристические Длина шины, мм 250 Особенности SDS система Особенности Тормоз цепи Особенности Блокировка кнопки включения Особенности Легкий запуск Особенности Автоматическая смазка цепи Вес, кг 3.2 Расположение двигателя в пиле Поперечное (боковое) Тип гарантийного талона Гарантийный талон магазина Тип двигателя Бесщеточный Аккумулятор в комплекте Нет Доставка Доставка в магазины ROZETKA | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
vespa_uk #### vespa_uk * Dataset: vespa_uk * Size: 5,315 evaluation samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:---------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------| | query: шланга диаметром 32 мм для викачки брудної води з басейну | passage: Перехідники для шлангу басейну Intex з 32 мм на 38 мм (IP-175136) Обладнання для басейнів Intex Вид Комплектувальні | | query: шланга диаметром 32 мм для викачки брудної води з басейну | passage: З'єднання для шланга Peraqua діаметр 32 мм Аксесуари для басейнів Вид Інструменти для прибирання басейнів | | query: шланга диаметром 32 мм для викачки брудної води з басейну | passage: З'єднання для шлангу Peraqua діаметр 32/38 мм Аксесуари для басейнів Вид Інструменти для прибирання басейнів | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
vespa_ru #### vespa_ru * Dataset: vespa_ru * Size: 5,315 evaluation samples * Columns: query and text * Approximate statistics based on the first 1000 samples: | | query | text | |:--------|:---------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | query | text | |:------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------| | query: шланга диаметром 32 мм для викачки брудної води з басейну | passage: Переходники для шланга бассейна Intex с 32 мм на 38 мм (IP-175136) Оборудование для бассейнов Intex Вид Комплектующие | | query: шланга диаметром 32 мм для викачки брудної води з басейну | passage: Соединение для шланга Peraqua диаметр 32 мм Аксессуары для бассейнов Вид Инструменты для уборки бассейнов | | query: шланга диаметром 32 мм для викачки брудної води з басейну | passage: Соединение для шланга Peraqua диаметр 32/38 мм Аксессуары для бассейнов Вид Инструменты для уборки бассейнов | * Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: ```json { "loss": "CachedMultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128 ], "matryoshka_weights": [ 1, 1, 1, 1 ], "n_dims_per_step": -1 } ```
### Training Hyperparameters #### Non-Default Hyperparameters - `eval_strategy`: steps - `per_device_train_batch_size`: 2048 - `per_device_eval_batch_size`: 16 - `learning_rate`: 2e-05 - `num_train_epochs`: 1.0 - `warmup_ratio`: 0.05 - `bf16`: True - `tf32`: True - `dataloader_drop_last`: True - `optim`: adafactor - `prompts`: {'query': 'query: ', 'text': 'passage: '} - `batch_sampler`: no_duplicates #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: steps - `prediction_loss_only`: True - `per_device_train_batch_size`: 2048 - `per_device_eval_batch_size`: 16 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 1 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 2e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1.0 - `num_train_epochs`: 1.0 - `max_steps`: -1 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.05 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: True - `fp16`: False - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: True - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: True - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: False - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `tp_size`: 0 - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adafactor - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: None - `hub_always_push`: False - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `include_for_metrics`: [] - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `dispatch_batches`: None - `split_batches`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `eval_use_gather_object`: False - `average_tokens_across_devices`: False - `prompts`: {'query': 'query: ', 'text': 'passage: '} - `batch_sampler`: no_duplicates - `multi_dataset_batch_sampler`: proportional - `ddp_static_graph`: False - `ddp_comm_hook`: bf16 - `gradient_as_bucket_view`: False - `num_proc`: 20
### Training Logs | Epoch | Step | Training Loss | core uk loss | core ru loss | typos uk loss | typos ru loss | transliterations uk loss | transliterations ru loss | options uk loss | options ru loss | rusisms uk loss | rusisms ru loss | jargonisms uk loss | jargonisms ru loss | vespa uk loss | vespa ru loss | test-core-uk--matryoshka_dim-768--_dot_ndcg@10 | test-core-ru--matryoshka_dim-768--_dot_ndcg@10 | typos-uk--matryoshka_dim-768--_dot_ndcg@10 | typos-ru--matryoshka_dim-768--_dot_ndcg@10 | transliterations-uk--matryoshka_dim-768--_dot_ndcg@10 | transliterations-ru--matryoshka_dim-768--_dot_ndcg@10 | options-uk--matryoshka_dim-768--_dot_ndcg@10 | options-ru--matryoshka_dim-768--_dot_ndcg@10 | rusisms-uk--matryoshka_dim-768--_dot_ndcg@10 | rusisms-ru--matryoshka_dim-768--_dot_ndcg@10 | jargonisms-uk--matryoshka_dim-768--_dot_ndcg@10 | jargonisms-ru--matryoshka_dim-768--_dot_ndcg@10 | vespa-uk--matryoshka_dim-768--_dot_ndcg@10 | vespa-ru--matryoshka_dim-768--_dot_ndcg@10 | |:------:|:----:|:-------------:|:------------:|:------------:|:-------------:|:-------------:|:------------------------:|:------------------------:|:---------------:|:---------------:|:---------------:|:---------------:|:------------------:|:------------------:|:-------------:|:-------------:|:----------------------------------------------:|:----------------------------------------------:|:------------------------------------------:|:------------------------------------------:|:-----------------------------------------------------:|:-----------------------------------------------------:|:--------------------------------------------:|:--------------------------------------------:|:--------------------------------------------:|:--------------------------------------------:|:-----------------------------------------------:|:-----------------------------------------------:|:------------------------------------------:|:------------------------------------------:| | 0.3333 | 1 | 6.1834 | 0.0787 | 0.0787 | 0.2444 | 0.2674 | 1.2762 | 1.2317 | 0.1921 | 0.1806 | 0.2473 | 0.2189 | 0.7623 | 0.8599 | 0.6362 | 0.6366 | 0.5993 | 0.5997 | 0.5573 | 0.5574 | 0.4728 | 0.4764 | 0.5761 | 0.5759 | 0.8279 | 0.8282 | 0.7588 | 0.7489 | 0.7712 | 0.7650 | | 0.6667 | 2 | 5.786 | 0.0769 | 0.0764 | 0.2359 | 0.2582 | 1.3188 | 1.2726 | 0.1938 | 0.1840 | 0.2430 | 0.2051 | 0.7655 | 0.8542 | 0.6336 | 0.6348 | 0.6000 | 0.6012 | 0.5612 | 0.5585 | 0.4683 | 0.4727 | 0.5760 | 0.5770 | 0.8288 | 0.8280 | 0.7602 | 0.7412 | 0.7678 | 0.7630 | | 1.0 | 3 | 6.1835 | 0.0757 | 0.0759 | 0.2358 | 0.2582 | 1.3149 | 1.2667 | 0.1926 | 0.1852 | 0.2439 | 0.2084 | 0.7733 | 0.8717 | 0.6361 | 0.6367 | 0.5997 | 0.6011 | 0.5603 | 0.5577 | 0.4690 | 0.4733 | 0.5754 | 0.5755 | 0.8292 | 0.8291 | 0.7586 | 0.7456 | 0.7686 | 0.7659 | ### Framework Versions - Python: 3.11.10 - Sentence Transformers: 4.0.1 - Transformers: 4.50.3 - PyTorch: 2.6.0+cu124 - Accelerate: 1.5.2 - Datasets: 3.1.0 - Tokenizers: 0.21.1 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### MatryoshkaLoss ```bibtex @misc{kusupati2024matryoshka, title={Matryoshka Representation Learning}, author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi}, year={2024}, eprint={2205.13147}, archivePrefix={arXiv}, primaryClass={cs.LG} } ``` #### CachedMultipleNegativesRankingLoss ```bibtex @misc{gao2021scaling, title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup}, author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan}, year={2021}, eprint={2101.06983}, archivePrefix={arXiv}, primaryClass={cs.LG} } ```