Instructions to use sonoisa/clip-vit-b-32-japanese-v1 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use sonoisa/clip-vit-b-32-japanese-v1 with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("feature-extraction", model="sonoisa/clip-vit-b-32-japanese-v1")# Load model directly from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained("sonoisa/clip-vit-b-32-japanese-v1") model = AutoModel.from_pretrained("sonoisa/clip-vit-b-32-japanese-v1", device_map="auto") - Notebooks
- Google Colab
- Kaggle
日本語版CLIPモデル
This is a CLIP text/image encoder model for Japanese.
英語版CLIPモデルのテキストエンコーダーを一種の蒸留を用いて日本語化したモデルです。 作り方や精度、使い方、サンプルコードは下記の解説記事をご参照ください。
解説記事:
- 概要: 【日本語モデル付き】2022年にマルチモーダル処理をする人にお勧めしたい事前学習済みモデル
- 使い方の解説: 【日本語CLIP】画像とテキストの類似度計算、画像やテキストの埋め込み計算、類似画像検索
- (公開準備中) 応用解説: いらすとや画像のマルチモーダル検索(ゼロショット編)
- (公開準備中) 応用解説: いらすとや画像のマルチモーダル検索(ファインチューニング編)
- (公開準備中) 応用解説: 画像とテキストの両方を用いたマルチモーダル分類
サンプルコードのリポジトリ: https://github.com/sonoisa/clip-japanese
デモ:
- Downloads last month
- 192