--- license: apache-2.0 language: - fi base_model: - LumiOpen/Viking-7B datasets: - ArttuPakarinen/AI-chat-Summarization-FIN --- Full fine-tune on LumiOpen's viking 7B, 4bit kvantization - for testing. Around 3-4 million tokens full fine tune to make the model produce summarization. Around 2-6 hours of compute on A100 GPU. Partial dataset provided on the model card - other datasets used were Diagsum and Samsum, which were autotranslated to finnish. Model works fine for it's purpose, even in this low-parameter and low kvantization mode. Examples: *Example1* ***INPUT*** Ihminen: Hei mitä kuuluu? AI-botti: Hyvää kuuluu, kuinka voi palvellla? ***OUTPUT*** \_\_\_TIIVISTELMÄ\_\_\_ Ihminen ja AI-botti tervehtivät toisiaan ja AI-botti kysyi kuinka voi palvella. --------------- The idea is to summarize the chat context, and to be able to continue chatting, by using the produced summarization in the begigning of the next prompt. --------------- *Example2* ***INPUT*** Ihminen ja AI-botti tervehtivät toisiaan ja AI-botti kysyi kuinka voi palvella. Ihminen: Kuinka paljon ihmisiä Suomessa asuu? AI-botti: Suomessa asuu n. 5,5 miljoonaa ihmistä. ***OUTPUT*** \_\_\_TIIVISTELMÄ\_\_\_ Ihminen ja AI-botti tervehtivät toisiaan, jonka jälkeen ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä. --------------- In theory, the model can be used to produce AI.chat responses, but the model will always produce \_\_\_TIIVISTELMÄ\_\_\_ \ This means, if you want to produce AI answer, it is completely possible, but you need to parse the summarization part away from the response. --------------- *Example3* ***INPUT*** Ihminen ja AI-botti tervehtivät toisiaan, jonka jälkeen ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä. Ihminen: Ahaa, mutta entäs Ruotsissa? ***OUTPUT*** AI-botti: Ruotsissa asuu lähes tuplasti väkeä Suomeen verrattuna, reilut 10 miljoonaa asukasta. \_\_\_TIIVISTELMÄ\_\_\_ Ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä. Ihminen kysyi paljonko Ruotsissa asuu ihmisiä, johon AI-botti vastasi että lähes tuplasti Suomeen verrattuna, päälle 10 miljoonaa ihmistä.