""" Fusion 模型架构 包含: - fusion_mini.py: 极简可运行版本(用于验证流程)[OK] 已实现 - fusion_model.py: 完整 Transformer 模型定义(SBLA + Thinking Dial)[OK] 已实现 - sbla_attention.py: SBLA 注意力(滑动分块潜注意力)[OK] 已实现 - thinking_dial.py: 动态推理强度调节器(Thinking Dial)[OK] 已实现 使用方法: # 极简版本(字符级训练验证) from models.fusion_mini import FusionMini, FusionMiniConfig # 完整版本(Production) from models.fusion_model import FusionModel, FusionConfig from models.sbla_attention import SBLAttention from models.thinking_dial import ThinkingDialProcessor, ThinkingDialModel # 示例:创建完整模型 config = FusionConfig( vocab_size=32000, hidden_size=512, num_hidden_layers=4, num_attention_heads=8, block_size=128, latent_dim=32, ) model = FusionModel(config) # 示例:SBLA 注意力 attention = SBLAttention( hidden_size=512, num_heads=8, block_size=128, latent_dim=32, ) """ # 极简可运行版本(字符级验证) from .fusion_mini import FusionMini, FusionMiniConfig # 完整可实例化版本 from .fusion_model import FusionModel, FusionConfig # SBLA 注意力 # FusionAttention:公共入口(含 RoPE + KV cache) # SBLAttention:内部实现(纯 SBLA 逻辑) from .fusion_model import FusionAttention from .sbla_attention import SBLAttention # Thinking Dial from .thinking_dial import ( ThinkingDialProcessor, ThinkingDialModel, ThinkingConfig, GRPOTrainer, GRPOConfig, extract_thinking_depth, ) __all__ = [ # 极简版本 "FusionMini", "FusionMiniConfig", # 完整版本 "FusionModel", "FusionConfig", # SBLA 注意力 "FusionAttention", # 公共入口(含 RoPE + KV cache) "SBLAttention", # 内部实现(纯 SBLA 逻辑) # Thinking Dial "ThinkingDialProcessor", "ThinkingDialModel", "ThinkingConfig", "GRPOTrainer", "GRPOConfig", "extract_thinking_depth", ]