 ViperEkura
|
3ee84b31a0
|
feat(data): 重构数据集加载逻辑，修复计数错误
|
2025-11-28 20:59:24 +08:00 |
|
ViperEkura
|
567c55685e
|
docs(data/dataset): 更新 load_mmap_files 函数的文档
|
2025-11-28 20:27:57 +08:00 |
|
ViperEkura
|
1f5cba889b
|
fix(data): 修复数据加载模块中的拼写错误并优化内存映射加载逻辑
|
2025-11-28 20:21:53 +08:00 |
|
ViperEkura
|
019bfe4e05
|
fix(data/sampler): 修正拼写错误并增强采样器功能
|
2025-11-27 19:43:36 +08:00 |
|
ViperEkura
|
36b410384b
|
fix(data/sampler): 增加sampler边界情况处理
|
2025-11-27 19:32:40 +08:00 |
|
ViperEkura
|
09963a3beb
|
refactor(data): 重构数据模块结构并优化可恢复采样器实现
|
2025-11-27 18:16:35 +08:00 |
|
ViperEkura
|
e86328b753
|
fix(tokenizer): 修复stop_ids属性返回错误的token ID列表
|
2025-10-31 19:19:38 +08:00 |
|
ViperEkura
|
5d3799b715
|
refactor(data): 修改变量命名方式
|
2025-10-30 16:32:25 +08:00 |
|
ViperEkura
|
6a3135f401
|
fix(data_util): 修复数据集索引计算逻辑并提取通用方法
|
2025-10-29 20:58:33 +08:00 |
|
ViperEkura
|
d94fc5a87a
|
feat(data, inference): 使用chatML格式
|
2025-10-29 12:02:43 +08:00 |
|
ViperEkura
|
622982364b
|
fix(trainer): 修复检查点加载逻辑
|
2025-10-18 21:45:23 +08:00 |
|
ViperEkura
|
c51b203fde
|
refactor(khaosz): 重构项目结构
|
2025-10-18 13:56:59 +08:00 |