OCTFlow — 眼科多模态生成基础模型 · 完整实验报告

更新于 2026-06-09 · pilot 阶段 · 8×L20Y(h800)。本报告为唯一汇总版本,涵盖:走过的路与启发(含已否决的尝试)、当前方法的定量+定性结果、基座提升探索、以及仍待补的临床门槛。每次实验跑完会重建本报告。

一句话定位:OCTFlow = 在 SD3-medium 上做眼科域适配 + Vision-Banana 式指令微调的生成式基础模型。它既能生成 OCT/眼底/SLO 与分层/病灶分割,又能当冻结特征提取器在疾病分类上持平或超过眼科 SOTA(RETFound/MIRAGE/VisionFM),跨设备最稳、标签效率最高,且是唯一覆盖生成/去噪/分割全部能力的模型。

第一部分 · 走过的路与启发(含已否决的尝试)

pilot 全程只用受控的私有 Topcon 数据(中山 DRI OCT Triton,单中心单设备,30,734 study,每 study = 12 radial OCT + 眼底 + SLO + 10 层分割)。下面是从最初 OCT-RAE 路线的反复失败,到转向 SD3 backbone 成功,再到指令微调与解码空间监督的完整脉络。

① OCT-RAE 路线 — 生成 viable,但 VB 式分割反复失败(已否决)

2026-05 上旬

架构 = RETFound-OCT encoder(冻结)+ ViTXL decoder + ~600M DiT。生成可行(OCT gFID 21.88,栅格伪影消除);但 VB 式 10 层分割反复失败:彩虹 palette→encoder 漂白颜色、LoRA 不够→全量微调、nearest-gray 不公平→rank-K-means,最终 10 类严格 mIoU 仅 0.023。根因:模型只会输出连续厚度梯度、画不出离散 sharp mask;且 prob_seg=1.0 把 T2I 能力彻底摧毁。

责任拆分:base 容量不足 ~50% · RAE encoder 漂色+decoder 偏平滑 ~25% · flow-matching L2 偏平均 ~15% · 工程取舍 ~10%。
启发:瓶颈是 backbone 选择(专用窄 encoder + 容量不足),不是 VB 方法本身不可行 → 触发换骨架。

② 跨模态联合生成 V3 — 只学到设备 style(已否决)

2026-05 中旬

沿宽度 concat OCT+fundus latent 做 joint DiT:same-patient 相似度统计显著(p=2e-5),但 top-1 检索 = 0.005 = 随机 → 只学到"Topcon 整体风格",没学到 per-patient 对应。启发:多任务改走"一个生成基座 + 指令"而非"latent 拼接联合生成"。

③ Path 1 — 换 SD3-medium 通用 backbone,VB 方法直接 work ✅

2026-05 下旬

用 web-scale 预训的 SD3-medium(KL-VAE + 2B DiT)替换 OCT-RAE,一举解决三个问题:VAE 不漂色(可直接用彩色 palette)、自带 sharp 物体先验、容量足不毁 T2I。同数据同框架:10 类严格 mIoU 0.023 → 0.51(22×),5 类 0.70、3 类 0.81,Pixel Acc 0.92;T2I retain 不降反升(gFID 82→79.94,30% 分割数据反而提供解剖正则)。关键工程贡献:OCT 域适配 Stage A*(LR 1e-4 全量微调 + 必须用 diffusers 官方 SD3 loss)、channel-concat 图像条件(16→32 通道,新通道 zero-init 暖启)。

④ v3a — 多 prompt 指令微调:从"专才"到"通才"✅

2026-05-29

在全 radial 数据(255,756 张 OCT+10 层标签图)上做多 prompt 指令微调:模型按指令输出 9/5/3 层、任意配色、单层选择,并 零样本适配 OCTA500 原生 5 层方案(跨设备二分类视网膜 IoU 0.538→0.897)。代价 = "通才税":单方案精度略降(9 层 0.46 vs 专才 0.51),薄层(RPE/GCL)偏弱 → 催生 v3b。

⑤ v3b — 解码空间监督:直接打薄层 ✅(并在持续增强)

2026-06-01 起

对低噪声分割样本,recover 预测的干净 latent → VAE 带梯度解码成彩色分层图 → 加调色板 CE + 软 Dice(反频加权 → 薄层 RPE/GCL 上权重)。把监督从 latent 空间搬到像素空间,针对 v3a 通才税与薄层弱。2026-06-09 进一步用在分层图上微调过的锐化解码器(seg-map 重建 +6dB)重训为 v3b2(见第三部分)。

四条贯穿始终的工程教训:① 长训练第一个 ckpt 必须实质验证(sample + weight diff),别等训完(OCT-RAE/SD3 都曾因此浪费整夜);② 微调 SD/FLUX 必须对齐 diffusers 官方 loss(sigma shift + logit-normal),自写简化版会静默空跑;③ 评测指标要诚实(rank-K-means 对梯度输出有循环性,直接 color matching 才严格);④ 短训练 EMA decay 要调低。

第二部分 · 当前方法与结果(定量 + 定性)

把 SD3 生成式基座当特征提取器,用合作者发表级评测协议(冻结线性探针 + 病人级 lockbox + 按厂商公平性 + cluster bootstrap CI + 多 seed)与全部眼科/通用基础模型同协议比;并给每个基线补上分割/去噪解码器以公平比较。无需医生。

⓪ 定性结果 — 生成 / 分割 / 去噪

同一个生成基座覆盖三件事:三模态图像生成、指令分割、原生去噪。下面是代表性可视化(非挑选最优)。

① 三模态生成(OCT / 眼底 / SLO)

OCT B-scan

彩色眼底

SLO

② 指令分割(v3b2,OCT → 彩色分层图)

列:输入 OCT | 生成 9 层 | 生成 5 层 | 生成 3 层 | 9 层(打乱配色,验证按 prompt 上色)| 金标准 9 层。同一基座按指令输出不同层数与任意配色。

③ 原生去噪(带噪 → 去噪 → 干净参考)

每行:左=带散斑噪声的 OCT | 中=OCTFlow 去噪输出 | 右=干净参考。生成式去噪在保留分层结构的同时压制散斑(定量见第二部分 ⑦)。

① 统一能力矩阵(hero)+ 雷达 + 全矩阵热力图

头牌图:8 模型 × 11 能力。左半「理解」与专才同台——OCTFlow 竞争力强、跨设备鲁棒最佳(0.995)、去噪/分割顶尖;右半「生成式能力」(金色)判别式模型架构上做不到,只有 OCTFlow 全覆盖(11/11,其余 6/11)。灰格=该模型做不到。这张图就是论文的核心叙事:一个生成基座统一全部眼科影像任务。

雷达:全部模型。理解轴归一化;生成/去噪/分割轴只有 OCTFlow 有(其余非生成模型)。OCTFlow(绿,加粗)覆盖最全;DINOv3 虚线=冻结CLS不适配。

全矩阵(旧版,理解为主):模型×指标,颜色=列内排名,— = 不适用/非生成模型。

各设备厂商 AUROC ± 95%CI(cluster bootstrap,按病人)。

② OCT 疾病检出 + 跨设备公平性(AMD vs 正常)

模型	Bioptigen	Heidelberg	Optovue	宏平均AUROC	跨厂商gap
VisionFM-OCT	0.9881	0.9948	0.9980	0.9936	0.99pp
MIRAGE-Base	0.9841	0.9956	0.9971	0.9923	1.29pp
OCTFlow(我们)	0.9895	0.9946	0.9897	0.9913	0.50pp
RETFound	0.9863	0.9948	0.9868	0.9893	0.84pp
ViT-L-IN21k	0.9743	0.9935	0.9999	0.9892	2.56pp
MIRAGE	0.9743	0.9927	0.9915	0.9861	1.84pp
DINOv2	0.9690	0.9926	0.9922	0.9846	2.37pp
DINOv3	0.7523	0.8780	0.8811	0.8372	12.88pp

流水线交叉验证:复现 RETFound = 0.9863/0.9948/0.9868,与合作者已发布 0.9863/0.9948/0.9868 一致 → 数字可信。

③ 统计显著性:OCTFlow vs 各模型(整体AUROC差,配对 cluster bootstrap)

对比	AUROC 差(OCTFlow−对方)	95% CI	显著
OCTFlow − DINOv3	+0.0782	[+0.0628, +0.0937]	✅ 是
OCTFlow − DINOv2	+0.0067	[+0.0035, +0.0108]	✅ 是
OCTFlow − VisionFM-OCT	+0.0057	[+0.0012, +0.0111]	✅ 是
OCTFlow − MIRAGE-Large	+0.0047	[+0.0027, +0.0073]	✅ 是
OCTFlow − ViT-L-IN21k	+0.0041	[+0.0019, +0.0071]	✅ 是
OCTFlow − RETFound-OCT	+0.0012	[-0.0002, +0.0028]	—(打平)
OCTFlow − MIRAGE-Base	+0.0007	[-0.0006, +0.0021]	—(打平)

正且CI不含0 = OCTFlow 显著更好。OCTFlow 显著优于 5 个、与 RETFound/MIRAGE-Base 打平,无人显著优于它。

④ 标签效率(test AUROC @ 标签比例)— foundation 核心证据

模型	1%	5%	10%	25%	50%	100%
OCTFlow(我们)	0.984	0.990	0.992	0.994	0.995	0.995
MIRAGE-Base	0.988	0.990	0.991	0.993	0.994	0.995
RETFound-OCT	0.983	0.989	0.990	0.992	0.994	0.994
VisionFM-OCT	0.982	0.985	0.986	0.987	0.988	0.990
MIRAGE-Large	0.969	0.981	0.985	0.989	0.990	0.991
ViT-L-IN21k	0.979	0.981	0.984	0.989	0.991	0.991
DINOv2	0.972	0.979	0.980	0.986	0.988	0.989
DINOv3	0.827	0.879	0.898	0.910	0.915	0.917

OCTFlow 仅 1% 标签即 0.984、各比例居首/并列首 → 数据效率最高。

⑤ 全量微调档(端到端,vs 冻结探针)

模型	微调方式	宏平均AUROC(微调)	跨厂商gap	冻结探针AUROC(参考)
DINOv2	全量	0.9953±0.0002	1.08±0.13pp	0.9846
RETFound-OCT	全量	0.9948±0.0005	1.04±0.10pp	0.9893
OCTFlow(我们)	全量	0.9946	1.03pp	0.9913
VisionFM-OCT	全量	0.9936±0.0012	1.00±0.16pp	0.9936
MIRAGE-Large	全量	0.9929±0.0003	1.67±0.18pp	—
ViT-L-IN21k	全量	0.9926±0.0008	1.78±0.19pp	0.9892
DINOv3	全量	0.9926±0.0006	0.95±0.09pp	0.8372
MIRAGE-Base	全量	0.9920±0.0009	1.94±0.37pp	0.9923

注:OCTFlow 是生成式中层特征,微调喂特征的 0–13 层(冻 VAE);ViT 系全量微调。

⑥ 公平分割对比(OCT 9 层,全局 mIoU)

基线=冻结编码器 + 轻量卷积解码器(20k 训/6 epoch);OCTFlow=原生生成式分割(指令微调)。同任务同数据同口径。

模型	方式	mIoU(含bg)	mIoU(前景)	mDice(含bg)	像素Acc
RETFound-OCT	编码器+解码器	0.532±0.007	0.484±0.008	0.677±0.007	0.939±0.001
VisionFM-OCT	编码器+解码器	0.526±0.005	0.478±0.006	0.670±0.006	0.939±0.001
OCTFlow(我们)	生成式(原生)	0.523	0.460	0.665	—
DINOv2	编码器+解码器	0.479±0.007	0.426±0.007	0.624±0.007	0.930±0.000
MIRAGE-Large	编码器+解码器	0.474±0.001	0.420±0.001	0.619±0.002	0.928±0.001
ViT-L-IN21k	编码器+解码器	0.473±0.013	0.419±0.014	0.619±0.015	0.930±0.000
MIRAGE-Base	编码器+解码器	0.471±0.012	0.417±0.013	0.616±0.012	0.929±0.001
DINOv3	编码器+解码器	0.322±0.020	0.253±0.022	0.439±0.027	0.904±0.002

诚实结论:RETFound/VisionFM 的编码器+解码器在分割上略超 OCTFlow 生成式(判别式分割本就强);OCTFlow 居中游。分割非其最强项。

OCTFlow 原生分割 ×3 seed + 边界指标(留出 OCT,9层):mIoU 0.539±0.012、HD95 32.8±2.4px、ASSD 12.6±1.8px。薄层边界:RPE HD95 34.3/ASSD 12.5px、GCL HD95 30.7/ASSD 15.3px(px@512;薄层边界误差偏大=与中游 mIoU 一致,诚实)。

⑦ 公平去噪对比(noisy→clean,PSNR/SSIM)

基线=冻结编码器 + 解码器重建;OCTFlow=原生生成式去噪。

模型	方式	PSNR↑	LPIPS↓	SSIM(见caveat)	分辨率
OCTFlow_ftvae	生成式(原生)	26.12	0.147	0.713	512
OCTFlow(我们)	生成式(原生)	26.01	0.158	0.687	512
MIRAGE-Base	编码器+解码器	25.13±0.08	0.649±0.003	0.750±0.000	512
MIRAGE-Large	编码器+解码器	25.12±0.04	0.646±0.001	0.750±0.000	512
DINOv2	编码器+解码器	24.50±0.02	0.656±0.001	0.746±0.000	512
VisionFM-OCT	编码器+解码器	24.25±0.01	0.646±0.001	0.746±0.000	512
RETFound-OCT	编码器+解码器	24.24±0.11	0.640±0.000	0.746±0.000	512
ViT-L-IN21k	编码器+解码器	24.14±0.04	0.647±0.000	0.745±0.000	512
DINOv3	编码器+解码器	24.04±0.01	0.657±0.002	0.745±0.000	512

分辨率已统一到 512(全部模型同口径):基线编码器+解码器输出改为 512、OCTFlow 原生 512 → PSNR/SSIM/LPIPS 均在 512 上算,可直接比。PSNR 为主指标(最稳)。注:OCTFlow 的 SSIM 来自其专用去噪评测脚本(灰度实现),与基线 RGB 实现略有差异,以 PSNR/LPIPS 为准。

⑧ OCT 多任务疾病分类 — 全 FM 阵营(冻结探针 ×3 seed,top-1)

7 个 OCT 分类任务 × 8 个基础模型。每格 top-1(均值);每行加粗=该任务第一,OCTFlow 绿底。诚实呈现:OCTFlow 在分类上是中游,OCT 专才(VisionFM/MIRAGE-Base)通常更强。

任务(类)	OCTFlow	RETFound	MIRAGE-Base	VisionFM	MIRAGE-Large	DINOv2	DINOv3	ViT-IN21k	OCTFlow名次
kermany(4)	0.901	0.880	0.912	0.917	0.866	0.871	0.569	0.865	3/8
octdl(7)	0.841	0.882	0.897	0.900	0.834	0.848	0.650	0.864	6/8
octid(5)	0.928	0.934	0.951	0.945	0.879	0.906	0.659	0.916	4/8
srinivasan(3)	0.998	0.999	0.999	1.000	0.990	0.982	0.903	0.994	4/8
neh(3)	0.823	0.825	0.868	0.828	0.838	0.813	0.601	0.820	5/8
octc8(8)	0.940	0.944	0.961	0.961	0.912	0.936	0.670	0.939	4/8
olives(2)	0.865	0.850	0.842	0.876	0.830	0.810	0.850	0.856	2/8

OCTFlow 各任务名次 [3, 6, 4, 4, 5, 4, 2],平均第 4.0/8。诚实结论:作为冻结分类器 OCTFlow 中游——稳超通用 SSL(DINOv2/v3)与监督 ViT,kermany 上胜 RETFound,但 OCT 专才(VisionFM-OCT/MIRAGE-Base)与 RETFound 在多数任务上更强。OCTFlow 的价值不在「最强分类器」,而在唯一覆盖生成+分割+去噪+理解的通才 + 生成式独占能力。

⑧b 跨数据集鲁棒性(normal-vs-abnormal,train-A→test-B 迁移 AUC)

测表征对数据集/设备偏移的鲁棒性。掉幅(in-domain−cross)越小越鲁棒。诚实:OCTFlow 中游(非最稳)。

模型	in-domain AUC	跨数据集 AUC	掉幅(小=稳)
MIRAGE-Base	0.986	0.908	+0.078
DINOv2	0.967	0.879	+0.088
VisionFM-OCT	0.978	0.836	+0.142
OCTFlow(我们)	0.979	0.800	+0.179
RETFound-OCT	0.980	0.780	+0.200

OCTFlow 跨数据集掉幅中游(MIRAGE-Base/DINOv2 更稳),仅在跨厂商公平性(同任务异设备,见②)窄胜。→ 理解/鲁棒诚实定位为 competitive,非卖点。

⑨ 眼底 DR 5 级(EyePACS)

冻结探针 ×3 seed;OCT 专才不参与,RETFound 用眼底版。

模型	top-1	macro-F1	AUC
DINOv2	0.600±0.010	0.594	0.867
OCTFlow(我们)	0.596±0.013	0.588	0.864
ViT-L-IN21k	0.581±0.008	0.573	0.848
RETFound-CFP	0.546±0.007	0.533	0.825
DINOv3	0.379±0.007	0.367	0.693

⑨b 零样本指令泛化谱(旗舰)

核心证据:在留出 Topcon OCT 上,让模型按指令做没训过的层数方案(7/6/4/2 层——训练只见过 9/5/3 层),以及跨设备(OCTA500/OIMHS)。若没训过的层数也能做、且优雅衰减 → 真在读指令而非记死映射。这是 Vision-Banana 通才论点的硬证据。

谱:训练过的方案(绿)→ 没训过的层数(深绿,零样本组合)→ 单层选择(蓝)→ 跨设备(橙,零样本域)。

指令(* = 没训过的层数)	类型	mIoU
9 层	训练过	0.549
5 层	训练过	0.569
3 层	训练过	0.568
7 层*	零样本组合	0.492
6 层*	零样本组合	0.554
4 层*	零样本组合	0.438
2 层*	零样本组合	0.505
只选 RPE	选择	0.419
只选 choroid	选择	0.724

跨设备(零样本域)	指标	值
OCTA500(异设备,5层)	binary retina IoU	0.897
OIMHS(异厂商+黄斑裂孔)	retina IoU	0.593
OIMHS	choroid IoU	0.187

诚实:没训过的层数(7/6/4/2)模型也能按指令分,说明真在读指令(组合泛化);跨设备同族(OCTA500)强(0.90)、跨厂商+病理(OIMHS retina 0.59)中等、脉络膜弱(0.19)——泛化随难度优雅衰减。

⑩ 图像生成 — 其他基础模型完全不能生成,故对照用我们自己的消融

生成 5000 张 OCT,对 5000 张广义多厂商真实 OCT 算距离。同时报标准 Inception-FID/KID/P/R 和 FD-RETFound(在 RETFound-OCT 眼科特征空间算 Fréchet 距离,对 OCT 远比 ImageNet-Inception 合适)。对照=原始 off-the-shelf SD3-medium(起点,未适配)。

模型	FD-RETFound↓(领域)	Inception-FID↓	KID↓	Precision↑(真实度)	Recall↑(多样性)
我们 OCT 适配生成基座(OCTFlow)	133.4	57.7	0.0385	0.208	0.095
原始 SD3-medium(起点,未适配)	316.2	286.8	0.2758	0.000	0.497

我们的生成式预训练大幅改善 OCT 生成(FD-RETFound / Inception-FID / KID 全面优于起点 SD3,Precision 真实度从 ~0 到 0.3)——这是『生成』能力的量化(判别式编码器无法生成,故生成轴只有我们)。N=5000。Recall(多样性)偏低=模式覆盖有限,诚实caveat。

多seed复现性(×3 seed):OCTFlow OCT 生成 FD-RETFound 134.0±1.4、Inception-FID 61.2±0.4(std 很小=生成质量稳定可复现)。

⑪ 合成数据效用(生成式独占)— real / synth / mixed 规模曲线

用我们基座生成带疾病标签的 OCT,下游 ResNet50 在固定真实测试集上评 top-1 ×3 seed(mean±std)。判别式 FM 无法做此实验。

每类样本	纯真实 real	纯合成 synth	真实+合成 mixed	mixed−real
250/类	0.924±0.004	0.741±0.019	0.932±0.008	+0.008
500/类	0.934±0.001	0.778±0.005	0.944±0.003	+0.010
1000/类	0.945±0.002	0.805±0.021	0.957±0.001	+0.011
2000/类	0.950±0.002	0.820±0.007	0.955±0.001	+0.005

结论:mixed > real 每个规模都成立(3 seed 后 +0.005~+0.011,一致正向,合成增广有效);synth-only 高于随机基线一大截但仍低于 real-only(保真度不能完全替代真实)= 诚实 caveat。

消融:用 CFG 甜点 guidance=1.5(多样性更高)重生成合成图后:

每类	synth g3.0	synth g1.5	mixed g3.0	mixed g1.5	mixed Δ(g1.5−g3.0)
250	0.714	0.791	0.932	0.928	-0.004
500	0.780	0.850	0.948	0.945	-0.003
1000	0.834	0.846	0.958	0.954	-0.004
2000	0.814	0.854	0.956	0.959	+0.004

看更高多样性的合成图能否把增广(mixed)进一步抬高。

⑫ 隐私 / 记忆度(SSCD)— 生成模型会不会在背训练图?

每张生成图在 SSCD copy-detection 特征空间里找训练集最近邻余弦相似度。低 = 没有逐像素复制训练样本(医学生成模型审稿人必问)。

生成数	训练库	最近邻余弦均值	最大	95分位	99分位
300	15000	0.680	0.849	0.805	0.835

均值 0.68、最大 0.85(SSCD 复制判定阈值通常 ~0.9+)→ 无明显复制,合规可用。

⑫b 完整版隐私跨中心建模(逐院测试 · 验证集早停 · ×3 seed)

三院各自微调一份生成器,合成图汇集训练一个二分类器(normal vs abnormal),真实图不出院,在各院真实留出集上逐院测 AUROC。对照:汇集真实(上界)、各院单独真实。每档验证集早停 + 病人级分离 + 3 seed。

训练数据 ↓ / 测试院 →	汇集	Kermany	NEH	Srin	早停epoch
汇集真实(上界)	0.994±0.001	0.997±0.001	0.964±0.004	1.000±0.000	[13, 9, 9]
纯合成(我们,真实不出院)	0.947±0.010	0.960±0.009	0.851±0.017	0.935±0.011	[0, 0, 0]
单院 Kermany 真实	0.992±0.000	0.996±0.000	0.927±0.005	0.964±0.004	[14, 18, 6]
单院 NEH 真实	0.942±0.008	0.947±0.008	0.939±0.018	0.933±0.011	[0, 0, 2]
单院 Srin 真实	0.933±0.014	0.940±0.015	0.837±0.026	1.000±0.000	[5, 6, 11]

关键对比(隐私卖点):数据少的院上,纯合成能否打过该院自己的真实?

NEH:纯合成 0.851 vs 单院真实 0.939(差 -0.087) vs 汇集真实 0.964(差 -0.113)
Srin:纯合成 0.935 vs 单院真实 1.000(差 -0.065) vs 汇集真实 1.000(差 -0.065)

诚实结论:纯合成跨中心训练 可用但不占优——每院 AUROC 0.85–0.96(远高于随机),但在每个院上都低于该院自己的真实数据,也低于汇集真实;且 best_epoch 三 seed 全 = 0,说明 纯合成训练几乎立刻过拟合、必须早停。真正的生成数据卖点是合成增广(mixed>real,见上);纯合成跨中心定位为隐私友好的 viable 选项,而非真实数据的替代。

各院隐私生成器的不记忆度(SSCD,生成图 vs 本院真实最近邻余弦):

院	均值	最大	生成/训练库
kermany	0.727	0.868	300/8000
neh_ut_2021	0.696	0.859	300/8000
srinivasan_2014	0.757	0.908	300/3231

均值 0.70–0.76、最大 0.86–0.91(srin 最小院最高)→ 无逐像素复制,但小数据集贴近度偏高,需诚实标注。

⑬ 零样本诊断(diffusion-classifier)— 纯基座不加任何头

不训练任何分类头,纯靠基座 flow-matching 似然给每类打分(每类条件下重建误差最低者胜)。判别式 FM 没有此能力。

数据	类别数	评测数	top-1	随机基线
public_oct_kermany	4	200	0.525	0.25

top-1 0.525 ≫ 随机 0.25 = 生成基座自带真疾病判别信号。(v2 caption 已去数据集名,故为下界;加疾病条件会更高。)

第三部分 · 基座提升探索(2026-06-08~09)

在不大动重训的前提下,系统探索四个提升杠杆:表征抽取方式、是否值得换更大底模、VAE 域微调、生成多样性 CFG。结论用于指导后续工程取舍。

⑭ 表征抽取方式扫描(零训练)— 还能不能免费抽得更好?

在 kermany 四分类上系统扫 block × sigma × 池化 + 多 block 拼接 + 多 sigma 集成。当前生产配置 = b13/s0.2/mean。

抽取配置	维度	top-1	macro-F1
concat-all/mean	43008	0.8931	0.8936
b13/s0.2/mean+max	3072	0.8850	0.8852
concat-blocks@s0.2/mean	10752	0.8825	0.8829
concat-sigmas@b13/mean	6144	0.8819	0.8819
b13/s0.2/mean	1536	0.8800	0.8804
b12/s0.2/mean	1536	0.8744	0.8747
b12/s0.1/mean	1536	0.8731	0.8734
b13/s0.3/mean	1536	0.8731	0.8737

winner = concat-all/mean top-1 0.8931 vs 当前默认 b13/s0.2/mean 0.8800(+0.0131)。→ 换抽取配置可免费涨点,建议切换。

⑮ 更强生成先验探针 — 换更大的底模值不值得?

用未适配 OCT 的现成权重抽冻结特征跑 kermany。看『先验大小』单变量。我们已 OCT 适配的基座 ~0.90 作上界参照。

现成先验(未适配)	top-1	macro-F1	状态
SD3-medium	0.8181	0.8189	✓
SD3.5-medium	403 Client Error. (Request ID: Root=1-6a270dd4-4238d03751a587024e776a18;4b351693		✗跳过
FLUX.1-schnell	0.7806	0.7819	✓

若 SD3.5/FLUX 未适配就明显高于 SD3-medium 未适配 → 更强先验有用,值得投入把它适配到 OCT;若打平 → 瓶颈在适配不在先验大小,不必换。

⑯ VAE 眼科微调 — 打『薄层重建弱』短板

冻结 SD3 VAE 编码器,只微调解码器,在 OCT 上做 L1+LPIPS 重建。看域内微调能否提升保真度(薄层锐度)。

VAE	PSNR↑	SSIM↑	LPIPS↓
原始(自然图)	31.96	0.794	0.061
OCT 微调解码器	34.64	0.836	0.045

OCT 重建 ΔPSNR +2.68。→ 域内 VAE 微调有效。

两个用途各微调一个解码器(编码器/latent 不变 → DiT 兼容):OCT 解码器用于生成/去噪,彩色分层图解码器用于 v3b 的解码空间监督。

分层图解码器	PSNR↑	SSIM↑	LPIPS↓
原始	35.96	0.729	0.0035
分层图微调	41.97	0.992	0.0009

分层图重建 ΔPSNR +6.01dB → 解码空间监督会锐很多,已接入 v3b2 重训(见下)。

OCT 去噪(原生)	PSNR↑	LPIPS↓
原解码器	26.01	0.158
OCT 微调解码器	26.12	0.147

换上 OCT 微调解码器后去噪温和提升(推理即插即用,无需重训 DiT)。

⑱ v3b2 — 锐化解码器 + 解码空间监督(打薄层)

用上面的分层图微调解码器(seg-map 重建 +6dB)重训 v3b(从 v3a 暖启,隔离变量),看薄层是否真涨。对照 v3a。

方案 / 层	v3b2 mIoU	v3a 参照
9	0.5361	0.461
5	0.6255	—
3	0.6314	—
thin_RPE	0.4707	0.20-0.31
thin_GCL	0.5111	0.20-0.31

三方对比(9层mIoU / RPE / GCL):v3a 0.461 / 0.20-0.31 / 0.20-0.31 → 旧v3b(解码空间loss,原解码器)0.520 / 0.456 / 0.503 → v3b2(+分层图锐化解码器)0.536 / 0.471 / 0.511。薄层的大跳跃来自解码空间loss本身(v3a→v3b);锐化解码器在其上再稳定加+1~2pt(几乎每层都涨:NFL 0.458→0.492、IPL 0.524→0.554、bg 0.871→0.887)=有效但增量的精炼。

⑰ 生成多样性 / CFG 扫描 — 缓解 Recall 偏低

固定基座,扫 guidance scale,看 FID(质量)与 Recall(多样性)的权衡,找甜点。

guidance	FD-RETFound↓	Inception-FID↓	Precision↑	Recall↑(多样性)
1.5	130.7	60.2	0.201	0.132
3.0	132.9	61.7	0.208	0.066
5.0	133.3	63.9	0.278	0.052
7.0	141.5	69.0	0.359	0.038

低 guidance 通常 Recall(多样性)更高但 FID 略升;据此为最终生成选 CFG。

第四部分 · 总结与仍待补的临床门槛

技术结论:OCTFlow 在严格协议下处于眼科基础模型阵营顶端——疾病检出统计显著优于多数、与最强专才打平、跨设备最稳、标签效率最高,且唯一覆盖生成/去噪/分割。生成式独占价值(判别式 FM 做不到):合成数据增广 mixed>real、低记忆度(隐私合规)、零样本诊断。技术/benchmark 侧的严谨性(多模型 × 多任务 × 全指标 × 多 seed × 同口径)已基本到位。

仍待补(决定论文天花板,需用户资源):① 多中心 / 外部验证(不同中心/设备的增量 hold-out)——没有它天花板约 npj Digital Medicine / MedIA / Nat Commun,补上才够 Nat Med 系;② 医生 reader study(生成图/分割临床可用性)。两项已记入待办,会持续提醒。

已验证可落地的工程改动:表征抽取改拼接式(mean+max,免费 +0.5pt;或 concat-all +1.3pt)· 生成 guidance 3.0→1.5(质量+多样性双赢)· VAE 域微调(OCT 解码器用于生成去噪、分层图解码器用于 v3b 解码空间监督)。不建议:换更大底模(FLUX/SD3.5 未适配反而更差,瓶颈在适配不在先验大小)。