File size: 2,685 Bytes
e14b0f3 89794e5 0a35c12 755bf60 0a35c12 755bf60 ecd0b81 755bf60 79752e0 c048fc5 755bf60 0a35c12 f06be02 b6734e9 f53771a 79752e0 0a35c12 58c92da 0a35c12 3c06ced f53771a 0a35c12 f06be02 b6734e9 f53771a aa3e8b6 f53771a 0a35c12 f06be02 0a35c12 b605852 aa3e8b6 0a35c12 58c92da 0a35c12 3c06ced b605852 0a35c12 f06be02 b6734e9 b605852 576aaa5 b605852 0a35c12 576aaa5 aa3e8b6 576aaa5 4f9631c 576aaa5 6e6c80c 576aaa5 aa3e8b6 576aaa5 f06be02 576aaa5 b605852 576aaa5 aa3e8b6 b605852 aa3e8b6 f06be02 576aaa5 b605852 aa3e8b6 576aaa5 b605852 0a35c12 b605852 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 | ---
license: apache-2.0
language:
- fi
base_model:
- LumiOpen/Viking-7B
datasets:
- ArttuPakarinen/AI-chat-Summarization-FIN
---
Full fine-tune on LumiOpen's viking 7B, 4bit kvantization - for testing.
Around 3-4 million tokens full fine tune to make the model produce summarization.
Around 2-6 hours of compute on A100 GPU.
Partial dataset provided on the model card - other datasets used were Diagsum and Samsum, which were autotranslated to finnish.
Model works fine for it's purpose, even in this low-parameter and low kvantization mode.
Model has been trained to start "first prompt" with "Ihminen aloittaa keskustelun AI-botin kanssa\n\n". I call this 'First summanry'. Without adding the first summanry, some weird behaviour may occur.
**Examples**
*Example1*
***INPUT***
```text
Ihminen aloittaa keskustelun AI-botin kanssa.
Ihminen: Hei mitä kuuluu?
AI-botti: Hyvää kuuluu, kuinka voi palvellla?
###TIIVISTELMÄ###
```
***OUTPUT***
```text
Ihminen ja AI-botti tervehtivät toisiaan ja AI-botti kysyy kuinka voi palvella.
```
---------------
The idea is to summarize the chat context, and to be able to continue chatting, by using the produced summarization in the begigning of the next prompt.
---------------
*Example2*
***INPUT***
```text
Ihminen ja AI-botti tervehtivät toisiaan ja AI-botti kysyy kuinka voi palvella.
Ihminen: Kuinka paljon ihmisiä Suomessa asuu?
AI-botti: Suomessa asuu n. 5,5 miljoonaa ihmistä.
###TIIVISTELMÄ###
```
***OUTPUT***
```text
Ihminen ja AI-botti tervehtivät toisiaan, jonka jälkeen ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä.
```
---------------
In theory, the model can be used to produce AI responses, but the model will always produce
\#\#\#TIIVISTELMÄ\#\#\#
\<summarization\>
This means, if you want to produce AI answer, it is completely possible by ending the prompt with "\nAI-botti: ", but you need to parse the summarization part away from the response.
---------------
*Example3*
***INPUT***
```text
Ihminen ja AI-botti tervehtivät toisiaan, jonka jälkeen ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä.
Ihminen: Ahaa, mutta entäs Ruotsissa?
AI-botti:
```
***OUTPUT***
```text
Ruotsissa asuu lähes tuplasti väkeä Suomeen verrattuna, reilut 10 miljoonaa asukasta.
###TIIVISTELMÄ###
Ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä. Ihminen kysyi paljonko Ruotsissa asuu ihmisiä, johon AI-botti vastasi että lähes tuplasti Suomeen verrattuna, päälle 10 miljoonaa ihmistä.
``` |