 ViperEkura
|
50488bd659
|
chore: 简化格式并更新文档
|
2026-03-31 00:28:58 +08:00 |
|
ViperEkura
|
426af2d75f
|
style: 使用ruff 工具优化代码风格
|
2026-03-30 23:32:28 +08:00 |
|
ViperEkura
|
0e7fc623b4
|
fix: 修复部分已知问题
|
2026-03-30 21:42:00 +08:00 |
|
ViperEkura
|
3e33c14376
|
reafactor: 统一并增强项目中的工厂模式实现
|
2026-03-30 01:33:14 +08:00 |
|
ViperEkura
|
c01791ff54
|
feat: 增加推理部分工厂模式
|
2026-03-30 00:55:15 +08:00 |
|
ViperEkura
|
62fba9a298
|
refactor: 优化接口设置， 去除冗余代码
|
2026-03-18 15:07:35 +08:00 |
|
ViperEkura
|
99ef8fda71
|
feat(inference): 增加cuda_graph 装饰器
|
2026-02-07 21:14:39 +08:00 |
|
ViperEkura
|
dbd57e30e5
|
feat(inference): 增加cuda graph 设置
|
2026-02-07 15:42:41 +08:00 |
|
ViperEkura
|
eba99e1f5e
|
feat(model): 添加QK归一化和门控注意力支持
|
2026-01-05 16:14:44 +08:00 |
|
ViperEkura
|
d9ff662e3a
|
fix(model): 调整 KV Cache 的维度顺序以匹配新的索引逻辑
|
2025-11-19 18:26:15 +08:00 |
|
ViperEkura
|
e12ed0a72b
|
fix(khaosz): 为其他模组添加init文件
|
2025-11-19 18:25:51 +08:00 |
|
ViperEkura
|
7e5ecf3b7d
|
refactor(config): 重命名 TransformerConfig 为 ModelConfig
|
2025-11-07 07:31:12 +08:00 |
|
ViperEkura
|
66a551217e
|
refactor(generator): 优化生成逻辑
|
2025-11-07 07:24:00 +08:00 |
|
ViperEkura
|
877669b799
|
feat(inference): 添加generate_loop方法并优化KVCacheManager初始化
|
2025-10-31 21:15:15 +08:00 |
|
ViperEkura
|
d94fc5a87a
|
feat(data, inference): 使用chatML格式
|
2025-10-29 12:02:43 +08:00 |
|
ViperEkura
|
38b2725cd1
|
feat(KVCacheManager): 优化KV缓存结构为元组形式以提升性能
|
2025-10-29 12:01:28 +08:00 |
|
ViperEkura
|
e72e244df6
|
feat(inference): 实现采样策略并优化生成器逻辑
|
2025-10-20 13:00:41 +08:00 |
|
ViperEkura
|
c51b203fde
|
refactor(khaosz): 重构项目结构
|
2025-10-18 13:56:59 +08:00 |