license: apache-2.0
language:
- fi
base_model:
- LumiOpen/Viking-7B
datasets:
- ArttuPakarinen/AI-chat-Summarization-FIN
Full fine-tune on LumiOpen's viking 7B, 4bit kvantization - for testing.
Around 3-4 million tokens full fine tune to make the model produce summarization.
Around 2-6 hours of compute on A100 GPU.
Partial dataset provided on the model card - other datasets used were Diagsum and Samsum, which were autotranslated to finnish.
Model works fine for it's purpose, even in this low-parameter and low kvantization mode.
Model has been trained to start "first prompt" with "Ihminen aloittaa keskustelun AI-botin kanssa\n\n". I call this 'First summanry'. Without adding the first summanry, some weird behaviour may occur.
Examples
Example1
INPUT
Ihminen aloittaa keskustelun AI-botin kanssa.
Ihminen: Hei mitä kuuluu?
AI-botti: Hyvää kuuluu, kuinka voi palvellla?
###TIIVISTELMÄ###
OUTPUT
Ihminen ja AI-botti tervehtivät toisiaan ja AI-botti kysyy kuinka voi palvella.
The idea is to summarize the chat context, and to be able to continue chatting, by using the produced summarization in the begigning of the next prompt.
Example2
INPUT
Ihminen ja AI-botti tervehtivät toisiaan ja AI-botti kysyy kuinka voi palvella.
Ihminen: Kuinka paljon ihmisiä Suomessa asuu?
AI-botti: Suomessa asuu n. 5,5 miljoonaa ihmistä.
###TIIVISTELMÄ###
OUTPUT
Ihminen ja AI-botti tervehtivät toisiaan, jonka jälkeen ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä.
In theory, the model can be used to produce AI responses, but the model will always produce
###TIIVISTELMÄ###
<summarization>
This means, if you want to produce AI answer, it is completely possible by ending the prompt with "\nAI-botti: ", but you need to parse the summarization part away from the response.
Example3
INPUT
Ihminen ja AI-botti tervehtivät toisiaan, jonka jälkeen ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä.
Ihminen: Ahaa, mutta entäs Ruotsissa?
AI-botti:
OUTPUT
Ruotsissa asuu lähes tuplasti väkeä Suomeen verrattuna, reilut 10 miljoonaa asukasta.
###TIIVISTELMÄ###
Ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä. Ihminen kysyi paljonko Ruotsissa asuu ihmisiä, johon AI-botti vastasi että lähes tuplasti Suomeen verrattuna, päälle 10 miljoonaa ihmistä.