Updated model version

README.md

@@ -8,40 +8,39 @@ tags:
 - loss:CosineSimilarityLoss
 base_model: dangvantuan/sentence-camembert-large
 widget:
-- source_sentence: Lors de l’exploration, est trouvée une masse kystique développée
-    aux dépens de la surrénale.
+- source_sentence: Le toucher rectal est normal.
   sentences:
-  - Une fibroscopie digestive avait objectivé des varices oesophagiennes stade II.
-  - Il n’y avait pas de foyer tumoral (Figure 5).
-  - La paroi a été refermée sur un drainage type Mickulicz.
-- source_sentence: Les suites post-opératoires étaient simples.
+  - Devant la réticence initiale, une symptomatologie délirante est suspectée, mais
+    elle ne sera jamais verbalisée par la patiente.
+  - Le toucher vaginal était normal.
+  - 'Sur le plan biologique , ce patient présente à l''admission :'
+- source_sentence: Une résection endoscopique de la tumeur a été réalisée.
   sentences:
-  - Elle ne présente aucun autre antécédent médical pertinent.
-  - Les suites opératoires étaient simple.
-  - Le bilan d’extension comprenait une tomodensitométrie (TDM) thoraco-abdomino-pelvienne.
-- source_sentence: La T.D.M (Figure 2) montrait une tumeur surrénalienne surrénalien
-    bilatérale de densité hétérogène.
-  sentences:
-  - L’évolution était favorable avec un recul de 12 mois.
-  - L’exploration découvrait une tumeur surrénalienne sphérique de la taille d’une
-    mandarine.
   - Une mise à plat avec ligature de l’artère hypogastrique a été réalisée.
-- source_sentence: La patiente ne fume pas, ne prend pas d’alcool et ne souffre d’aucune
-    allergie médicamenteuse.
+  - La figure 1 présente la chronologie des événements et de la prise des médicaments.
+  - L'ECBU était stérile.
+- source_sentence: La quadrithérapie est poursuivie douze jours sans qu’aucune amélioration
+    clinique ou biologique ne soit entrevue.
   sentences:
+  - Un double abord abdominal et périnéal permit de réaliser une uréthro-cystectomie
+    avec colpohystérectomie suivie d’une poche iléocaecale continente périombilicale.
+  - Aucune récidive tumorale n’a été retrouvée par cytologie urinaire, urétéro-pyélographie
+    rétrograde et urétéroscopie souple.
   - La patiente ne fume pas, ne prend que très rarement de l’alcool et n’a pas d’allergie
     aux médicaments.
-  - Le reste de l’examen somatique était sans particularité.
-  - Celle-ci semblait occuper grossièrement la forme des cavités rénales (Figure 1).
-- source_sentence: Le bilan étiologique, comprenant le dosage des acides à chaînes
-    très longues, des arylsulfatases A, B et C, des hexoaminidases, de la galactosidase
-    et de l’acide lactique sérique, était négatif.
+- source_sentence: La cystographie se révéla normale.
+  sentences:
+  - La cystographie rétrograde était normale.
+  - Le reste de l’urètre était normal.
+  - L’examen anatomo-pathologique conclut à un carcinome indifférencié, de stade pT
+    1 grade 3.
+- source_sentence: Le patient a été mis sous antibiothérapie adaptée (pénicilline
+    A + aminoside).
   sentences:
-  - L’examen clinique trouvait un nodule sous-cutané, solide, mobile, sur la face
-    dorsale du fourreau du pénis d’environ 1,5 cm de diamètre.
-  - L’examen clinique révélait une déformation et une augmentation du volume du genou
-    droit, un globe vésical et une fuite d’urine à la palpation de la région hypogastrique.
-  - Une cystoprostatectomie totale avec dérivation selon Bricker est réalisée.
+  - Les prélèvements de sang et d'urine sont effectués 10 heures plus tard.
+  - En octobre 2003, la patiente était en excellent état général.
+  - L’étude anatomopathologique de la biopsie était en faveur d’un adénocarcinome
+    à cellules claires.
 pipeline_tag: sentence-similarity
 library_name: sentence-transformers
 ---
@@ -92,12 +91,12 @@ Then you can load this model and run inference.
 from sentence_transformers import SentenceTransformer
 
 # Download from the 🤗 Hub
-model = SentenceTransformer("mnaguib/sentence-camembert-large-finetuned-clister")
+model = SentenceTransformer("sentence_transformers_model_id")
 # Run inference
 sentences = [
-    'Le bilan étiologique, comprenant le dosage des acides à chaînes très longues, des arylsulfatases A, B et C, des hexoaminidases, de la galactosidase et de l’acide lactique sérique, était négatif.',
-    'L’examen clinique trouvait un nodule sous-cutané, solide, mobile, sur la face dorsale du fourreau du pénis d’environ 1,5 cm de diamètre.',
-    'Une cystoprostatectomie totale avec dérivation selon Bricker est réalisée.',
+    'Le patient a été mis sous antibiothérapie adaptée (pénicilline A + aminoside).',
+    'En octobre 2003, la patiente était en excellent état général.',
+    "Les prélèvements de sang et d'urine sont effectués 10 heures plus tard.",
 ]
 embeddings = model.encode(sentences)
 print(embeddings.shape)
@@ -175,19 +174,19 @@ You can finetune this model on your own dataset.
 
 #### Unnamed Dataset
 
-* Size: 200 evaluation samples
+* Size: 400 evaluation samples
 * Columns: <code>id_1</code>, <code>id_2</code>, and <code>label</code>
-* Approximate statistics based on the first 200 samples:
+* Approximate statistics based on the first 400 samples:
   |         | id_1                                                                              | id_2                                                                              | label                                                          |
   |:--------|:----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:---------------------------------------------------------------|
   | type    | string                                                                            | string                                                                            | float                                                          |
-  | details | <ul><li>min: 8 tokens</li><li>mean: 22.58 tokens</li><li>max: 97 tokens</li></ul> | <ul><li>min: 7 tokens</li><li>mean: 21.83 tokens</li><li>max: 81 tokens</li></ul> | <ul><li>min: 0.0</li><li>mean: 2.21</li><li>max: 5.0</li></ul> |
+  | details | <ul><li>min: 8 tokens</li><li>mean: 23.05 tokens</li><li>max: 97 tokens</li></ul> | <ul><li>min: 7 tokens</li><li>mean: 22.45 tokens</li><li>max: 88 tokens</li></ul> | <ul><li>min: 0.0</li><li>mean: 2.25</li><li>max: 5.0</li></ul> |
 * Samples:
-  | id_1                                                               | id_2                                                                                                | label            |
-  |:-------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------|:-----------------|
-  | <code>Le taux de PSA était de 218 ng/ml (normale ≤ 4ng/ml).</code> | <code>Le taux de PSA post-irradiation était de 1.8ng/ml et était resté stable pendant 5 ans.</code> | <code>1.0</code> |
-  | <code>Morphine 1 à 2 mg IV</code>                                  | <code>Morphine perfusion IV x x x x x</code>                                                        | <code>2.0</code> |
-  | <code>Le reste de l’examen était sans particularité.</code>        | <code>Le reste de l’examen est sans particularité.</code>                                           | <code>5.0</code> |
+  | id_1                                                     | id_2                                                               | label            |
+  |:---------------------------------------------------------|:-------------------------------------------------------------------|:-----------------|
+  | <code>L’examen clinique était sans particularité.</code> | <code>La formule sanguine était sans particularité.</code>         | <code>2.0</code> |
+  | <code>Le bilan biologique était correct.</code>          | <code>Le geste était complet.</code>                               | <code>0.0</code> |
+  | <code>La sérologie VIH était négative.</code>            | <code>La cytologie urinaire pyélique droite était négative.</code> | <code>1.0</code> |
 * Loss: [<code>CosineSimilarityLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosinesimilarityloss) with these parameters:
   ```json
   {
@@ -202,7 +201,7 @@ You can finetune this model on your own dataset.
 - `per_device_train_batch_size`: 16
 - `per_device_eval_batch_size`: 16
 - `learning_rate`: 2e-05
-- `num_train_epochs`: 5
+- `num_train_epochs`: 10
 - `warmup_ratio`: 0.1
 - `fp16`: True
 - `batch_sampler`: no_duplicates
@@ -227,7 +226,7 @@ You can finetune this model on your own dataset.
 - `adam_beta2`: 0.999
 - `adam_epsilon`: 1e-08
 - `max_grad_norm`: 1.0
-- `num_train_epochs`: 5
+- `num_train_epochs`: 10
 - `max_steps`: -1
 - `lr_scheduler_type`: linear
 - `lr_scheduler_kwargs`: {}
@@ -331,7 +330,20 @@ You can finetune this model on your own dataset.
 ### Training Logs
 | Epoch  | Step | Training Loss | Validation Loss |
 |:------:|:----:|:-------------:|:---------------:|
-| 2.6316 | 100  | 5.1271        | 4.4980          |
+| 0.7895 | 30   | -             | 4.3935          |
+| 1.5789 | 60   | -             | 4.3560          |
+| 2.3684 | 90   | -             | 4.3697          |
+| 2.6316 | 100  | 5.1713        | -               |
+| 3.1579 | 120  | -             | 4.3491          |
+| 3.9474 | 150  | -             | 4.3335          |
+| 4.7368 | 180  | -             | 4.3450          |
+| 5.2632 | 200  | 4.8927        | -               |
+| 5.5263 | 210  | -             | 4.3487          |
+| 6.3158 | 240  | -             | 4.3535          |
+| 7.1053 | 270  | -             | 4.3496          |
+| 7.8947 | 300  | 4.811         | 4.3402          |
+| 8.6842 | 330  | -             | 4.3467          |
+| 9.4737 | 360  | -             | 4.3389          |
 
 
 ### Framework Versions

config.json

@@ -1,5 +1,5 @@
 {
-  "_name_or_path": "models/trial1/final",
+  "_name_or_path": "dangvantuan/sentence-camembert-large",
   "architectures": [
     "CamembertModel"
   ],

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:0ea520d9a9dba4ea2fc6db2a43601051bad09b65794da8d722911a0b8b7dee26
+oid sha256:69195b5de992592ebf6c5517c64e85a51c7e62b0988b96b4b9563b1e3f4dda75
 size 1346690896

special_tokens_map.json

@@ -3,27 +3,9 @@
     "<s>NOTUSED",
     "</s>NOTUSED"
   ],
-  "bos_token": {
-    "content": "<s>",
-    "lstrip": false,
-    "normalized": false,
-    "rstrip": false,
-    "single_word": false
-  },
-  "cls_token": {
-    "content": "<s>",
-    "lstrip": false,
-    "normalized": false,
-    "rstrip": false,
-    "single_word": false
-  },
-  "eos_token": {
-    "content": "</s>",
-    "lstrip": false,
-    "normalized": false,
-    "rstrip": false,
-    "single_word": false
-  },
+  "bos_token": "<s>",
+  "cls_token": "<s>",
+  "eos_token": "</s>",
   "mask_token": {
     "content": "<mask>",
     "lstrip": true,
@@ -31,25 +13,7 @@
     "rstrip": false,
     "single_word": false
   },
-  "pad_token": {
-    "content": "<pad>",
-    "lstrip": false,
-    "normalized": false,
-    "rstrip": false,
-    "single_word": false
-  },
-  "sep_token": {
-    "content": "</s>",
-    "lstrip": false,
-    "normalized": false,
-    "rstrip": false,
-    "single_word": false
-  },
-  "unk_token": {
-    "content": "<unk>",
-    "lstrip": false,
-    "normalized": false,
-    "rstrip": false,
-    "single_word": false
-  }
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "unk_token": "<unk>"
 }

tokenizer_config.json

@@ -67,17 +67,10 @@
   "eos_token": "</s>",
   "extra_special_tokens": {},
   "mask_token": "<mask>",
-  "max_length": 514,
-  "model_max_length": 514,
-  "pad_to_multiple_of": null,
+  "model_max_length": 1000000000000000019884624838656,
   "pad_token": "<pad>",
-  "pad_token_type_id": 0,
-  "padding_side": "right",
   "sep_token": "</s>",
   "sp_model_kwargs": {},
-  "stride": 0,
   "tokenizer_class": "CamembertTokenizer",
-  "truncation_side": "right",
-  "truncation_strategy": "longest_first",
   "unk_token": "<unk>"
 }