전이 학습을 진행하려고 하는데
#1
by 3838seungsheon - opened
generation_config.json, special_tokens_map.json, tokenizer_config.json, tokenizer.json 이 필요한가요?
안녕하세요. tokenizer 와 관련된 파일로 학습에 필요합니다.
This comment has been hidden
답변 감사합니다. 혹시 llama를 이용해서 text summarization을 진행해본 경험이 있으신가요? 있으시다면 절차에 대해 간략하게 설명해주시면 정말 감사하겠습니다.
제가 생각한건 pdf 파일을 OCR을 이용하여 TEXT로 변환 후 -> 섹션 나뉘어서 LLAMA 모델로 요약하려고 하는데 요약할 때 어떤 식으로 사용해야하는지 감이 좀 안 잡히네요.
안녕하세요 요약에 대한 경험이 있진않아서 크게 도움이 되진 못할 것 같습니다.
제 생각엔 말씀하신 프로세스로 진행하셔도 무방할 것 같고, 라마 모델 외에도 Bart 모델도 충분한 성능이 나오는 것으로 알고 있어서 한번 고려해보시면 좋을 것 같습니다.