slp-hu/cadence-cv_r1

cadence CV-298 (cv_r1) — 日本語多話者 TTS / 声道リズム仮名化研究モデル

Common Voice 日本語（CC0）のみで学習した、完全公開・完全再現可能な日本語多話者音声合成モデルです。 Style-Bert-VITS2 (JP-Extra) の fork に、韻律リズム（cadence）を timbre から分離して扱う拡張を加えた アーキテクチャで学習しています（リズム仮名化研究のベースライン。通常の TTS としてそのまま使えます — 推論時は cadence 非注入で、話者の弾き分けは speaker embedding によります）。

• 話者数: 298（Common Voice 日本語話者、cv_0001〜cv_0298）
• 学習データ: Zenodo: DOI 10.5281/zenodo.21119791（CC0 / wav 18,015 / 44.1 kHz mono）
• 学習コード: slp-hu/Style-Bert-VITS2 (branch layer-b-cadence-seq) — Colab ノート一式で誰でもゼロから再学習できます
• 底モデル: litagin/Style-Bert-VITS2-2.0-base-JP-Extra（AGPL-3.0）からの warm-start（10 epoch / batch 16）

🔊 デモ

話者マップ（x-vector UMAP）から話者を選んで合成・複数話者の混合（virtual 話者）ができる インタラクティブデモ: https://huggingface.co/spaces/slp-hu/cadence-cv_r1-demo

Colab で試す場合は fork の README の Colab バッジ（合成ノート cv_r1_synth_colab.ipynb）から。

使い方（Python）

from style_bert_vits2.tts_model import TTSModel
from style_bert_vits2.nlp import bert_models
from style_bert_vits2.constants import Languages
from huggingface_hub import hf_hub_download

repo = "slp-hu/cadence-cv_r1"
model_file  = hf_hub_download(repo, "model_name_e10_s9019.safetensors")
config_file = hf_hub_download(repo, "config.json")
style_file  = hf_hub_download(repo, "style_vectors.npy")

bert_models.load_model(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm")
bert_models.load_tokenizer(Languages.JP, "ku-nlp/deberta-v2-large-japanese-char-wwm")

model = TTSModel(model_path=model_file, config_path=config_file,
                 style_vec_path=style_file, device="cuda")
sr, audio = model.infer(text="音声合成のテストです。", speaker_id=0)

※ コード側は fork（layer-b-cadence-seq）を使ってください（cadence 拡張層を含む state dict のため）。

同梱ファイル

ファイル	内容
model_name_e10_s9019.safetensors	推論用モデル（10 epoch / 9,019 step）
config.json / style_vectors.npy	合成に必要な設定・スタイルベクトル
speaker_map.json	話者 x-vector の UMAP 2次元座標（デモの話者マップ用）
reference_clips/	各話者の元音声サンプル 1 発話（Opus、CC0。合成音との聴き比べ用）

評価（30 話者サブセットでの参考値）

• 合成音 → 原音話者テンプレートの top-1 話者識別率: **76.7〜83.3%**（chance 10%）
• x-vector cos 類似度: 話者内 ≈ 0.43 / 話者間 ≈ 0.10
• UTMOS: 原音 2.37 / 合成 2.40（Common Voice はクラウド収録のため原音の UTMOS 自体が低めです）

評価は fork の colab/cv_r1_eval_speaker.ipynb で再現できます。

ライセンス

• 本モデル（重み）: AGPL-3.0 — 底モデル（AGPL-3.0、継承元 Stardust-minus/Bert-VITS2-Japanese-Extra も AGPL-3.0）の派生物として同一ライセンスで公開します。商用利用・改変可。ただし派生モデルは AGPL-3.0 を継承し、ネットワークサービスとして提供する場合はソース開示義務があります
• 学習データ加工物: CC0（Zenodo DOI 10.5281/zenodo.21119791）
• コード: AGPL-3.0 / LGPL-3.0（fork リポジトリの LICENSE を参照）

利用上の注意

本モデルを、実在の人物になりすます目的、詐欺・なりすまし電話・ディープフェイク等の欺瞞的用途、 その他他者の権利を侵害する用途に使用しないでください。話者は Common Voice に CC0 で音声を提供した 方々であり、その意図を尊重した利用をお願いします。

研究背景・引用

本モデルは、話者の韻律リズム（cadence）を鍵付きで仮名化する研究（cadence プロジェクト）の 公開サブトラックとして構築されました。論文は準備中です。それまでの引用は本リポジトリと Zenodo データセット（DOI 10.5281/zenodo.21119791）をご利用ください。

Maintained by SLP Lab, Hosei University.