Upload BERTc-165M-CSC

BERTc-Tokenizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8ecc3774ba1afc0225c22147e4ff719acfa1aa9df8616befcb6c12f730ac6e07
+size 249668

README.md

@@ -34,17 +34,35 @@ library_name: pytorch
 from csc_model import BERTcForCSC
 
 model = BERTcForCSC.from_pretrained(".")
-print(model.correct("我今天很稿兴"))     # 我今天很高兴
+print(model.correct("他平时喜欢锻练身体"))   # 他平时喜欢锻炼身体
+print(model.correct(["句子一", "句子二"]))   # 也接列表
 ```
 
+## 评测口径
+
+指标在 **SIGHAN-15 官方 707 条**上测(`shibing624/pycorrector` 里
+`pycorrector/data/sighan2015_test.tsv` 那一版)。注意 CTCDataset 里还有个
+1100 条的 `sighan15_test.jsonl`,不是同一个东西。
+
+判定是**整句**级:整句完全一致才算对,改对一半不给分。
+
 ## 阈值
 
 `correct(..., threshold=0.7)`:纠错置信度低于阈值就保留原字。调低提召回、
 调高提精确率。0.7 是与 MacBERT4CSC 对齐的默认值,报告的指标都基于它。
 
+## 一个反直觉的行为
+
+`correct()` **只用纠错头,不用检测头**。检测头是训练时的辅助信号,推理不参与。
+
+所以会出现"模型知道这里有错、但选不出正确的字"的情况。比如「我今天很稿兴」,
+`稿` 位置的检测分是 0.98,但纠错头的 top-1 仍是 `稿` 本身(0.22),
+`高` 只排第 4(0.11)—— 这种时候**调低阈值没有任何用**,阈值只能否决改动,
+不能凭空造出改动。
+
 ## Tokenizer
 
-字级 SentencePiece,词表 12536(pad=12531,mask=12535)。**必须用 `dict="no"`
+字级 SentencePiece,`BERTc-Tokenizer.pt`,词表 12536(pad=12531,mask=12535)。**必须用 `dict="no"`
 加载**(字模式,不挂分词词典)——挂了词典编码结果会跟训练时不一致,而且不报错。
 
 ```bash

tokenizer.py

@@ -3,6 +3,9 @@
 这份代码会**随模型一起发到 HF**,所以只能依赖 piece_tokenizer 本身,
 不能 import 仓库里的任何东西。
 
+词表文件 BERTc-Tokenizer.pt 与 PieceTokenizer 仓库 save/ 下的那份逐字节相同 ——
+同名是为了让来源一目了然。
+
 装 tokenizer:
     pip install git+https://github.com/Ismantic/PieceTokenizer
 """
@@ -18,16 +21,17 @@ class PieceCharTokenizer:
     训练时不一致,而且不会报错。
     """
 
+    MODEL_NAME = "BERTc-Tokenizer.pt"
+
     def __init__(self, model_dir="."):
         model_dir = Path(model_dir)
         self._tok = _pt.Tokenizer()
-        self._tok.load(str(model_dir / "piece.model"), dict="no")
+        self._tok.load(str(model_dir / self.MODEL_NAME), dict="no")
 
         self.pad_token_id = self._tok.piece_to_id("<pad>")
         self.unk_token_id = 0
-        mask_path = model_dir / "mask_token_id.txt"
-        self.mask_token_id = (int(mask_path.read_text().strip())
-                              if mask_path.exists() else self._tok.vocab_size())
+        # [MASK] 追加在 piece 词表之后,id 就等于词表大小 —— 不需要单独存一个文件
+        self.mask_token_id = self._tok.vocab_size()
         self.vocab_size = self._tok.vocab_size() + 1
         self._cache = {}