Commit Graph

234 Commits

Author SHA1 Message Date
ViperEkura 0f518473af fix: 修复强化学习算法问题 2026-03-19 22:23:51 +08:00
ViperEkura a5574f92e2 feat: 初步实现grpo 算法逻辑 2026-03-19 20:56:53 +08:00
ViperEkura abcedf892e feat: 增加 MLA 模块 2026-03-18 16:41:46 +08:00
ViperEkura abc3a06266 chore: 增加ppl计算工具并优化代码格式 2026-03-18 16:16:02 +08:00
ViperEkura 62fba9a298 refactor: 优化接口设置, 去除冗余代码 2026-03-18 15:07:35 +08:00
ViperEkura e23a5ca426 fix: 修复metric 保存时机的问题 2026-03-16 20:07:36 +08:00
ViperEkura e55b57d771 fix: 修复梯度平均问题 2026-03-13 23:00:26 +08:00
ViperEkura c4feab96fe fix: 统一state_dict 处理方式 2026-03-13 22:41:56 +08:00
ViperEkura e35cb0d84a feat: 增加 label smoothing 设置 2026-03-13 22:37:27 +08:00
ViperEkura 6d6ef6dbb6 refactor: 修改project logo 2026-03-06 12:15:49 +08:00
ViperEkura 493fe4e84b feat: 增加 label smothing 2026-03-06 11:41:14 +08:00
ViperEkura 82d22c5742 fix: 修复callback 时机不一致的问题 2026-03-06 10:51:22 +08:00
ViperEkura 96744ac2d2 refactor: 修改metric_util.py 2026-03-06 10:33:44 +08:00
ViperEkura 2331713fde refactor: 修改训练脚本 2026-03-05 14:40:26 +08:00
ViperEkura c74fbf84b7 build: 增加h5py 版本号 2026-03-04 21:29:37 +08:00
ViperEkura 5a8c442315 docs: 修改 README 2026-03-04 20:51:09 +08:00
ViperEkura c7d0448822 fix: 修复StepMonitorCallback序列化问题 2026-03-04 20:38:07 +08:00
ViperEkura 1d43a1785e build: 修改dependencies 以及版本号 2026-03-04 20:13:38 +08:00
ViperEkura 5713b55500 refactor: 修改 StepMonitorCallback, 分离职责 2026-03-04 19:45:39 +08:00
ViperEkura b53e10aac4 refactor: 修改metric 监测部分 2026-03-03 16:08:50 +08:00
ViperEkura dff58468d6 fix: 修复 load_h5 丢失文件的问题 2026-03-02 17:37:28 +08:00
ViperEkura 8a8d6369bc fix: 修复 dataset 和 checkpoint 的 bug 2026-03-02 11:12:21 +08:00
ViperEkura 80e17418b4 fix: 修复一些运行时问题 2026-03-01 15:47:07 +08:00
ViperEkura 6089a12cef fix: 修复参数传递问题并更新测试单元 2026-02-28 19:01:16 +08:00
ViperEkura b17cc6a6fb refactor: 修改参数传递方案 2026-02-28 18:09:00 +08:00
ViperEkura a33d086883 build: 修改build 方式 2026-02-27 17:52:28 +08:00
ViperEkura e9f42ec8b1 Change license from Apache 2.0 to GPL v3.0 2026-02-22 21:20:34 +08:00
ViperEkura 582d4ae9a7 refactor(data): 修改文件加载方案 2026-02-22 21:14:10 +08:00
ViperEkura 0ca4871e80 ci(spell-check): 修改检查流程 2026-02-11 16:01:53 +08:00
ViperEkura 99ef8fda71 feat(inference): 增加cuda_graph 装饰器 2026-02-07 21:14:39 +08:00
ViperEkura dbd57e30e5 feat(inference): 增加cuda graph 设置 2026-02-07 15:42:41 +08:00
ViperEkura a5869d89ba feat(trainer): 增加state_dict 存储设定 2026-02-04 19:47:21 +08:00
ViperEkura 7a9b9d0659 docs(architecture): 添加系统架构文档并修复KV缓存数学公式 2026-01-18 14:10:31 +08:00
ViperEkura 75758ead46 docs(data): 修改内存映射文件扩展名为.pt 2026-01-16 21:02:26 +08:00
ViperEkura 7dfa5cc0ac refactor(data): 重构MmapFileHandler类并改进数据加载机制 2026-01-11 19:37:28 +08:00
ViperEkura 9dab96c31f test(checkpoint): 添加多进程检查点测试功能 2026-01-08 22:04:39 +08:00
ViperEkura ff5c8a71f5 fix(trainer): 修复回调函数合并逻辑 2026-01-08 21:56:44 +08:00
ViperEkura 4da70785b5 refactor(tests): 重构测试文件目录结构 2026-01-08 21:34:52 +08:00
ViperEkura d407962ffa fix(trainer): 更新检查点保存和加载逻辑 2026-01-08 19:04:08 +08:00
ViperEkura 3d8047fa1b feat(trainer): 重构检查点系统支持分布式训练 2026-01-08 15:01:19 +08:00
ViperEkura d21682f97a fix(trainer): 修复检查点回调参数顺序和权重保存选项 2026-01-05 17:08:09 +08:00
ViperEkura eba99e1f5e feat(model): 添加QK归一化和门控注意力支持 2026-01-05 16:14:44 +08:00
ViperEkura fd7ee2895a refactor(paralell): 优化并行设备指定方法 2025-12-26 20:54:33 +08:00
ViperEkura cfa3cf7daa feat(train): 支持分布式训练的优化器与调度器工厂配置 2025-12-22 20:41:03 +08:00
ViperEkura 7623b1e5fd feat(khaosz/data/tokenizer): 优化BPE分词器的预处理和训练配置 2025-12-22 20:02:10 +08:00
ViperEkura 573f041c51 feat(trainer): 支持分布式训练配置与检查点加载优化 2025-12-19 19:34:39 +08:00
ViperEkura eab7a51bb6 feat(parallel): 改进设备策略注册表与并行设置功能 2025-12-19 15:25:31 +08:00
ViperEkura 3ac38a7ebc feat(parallel/device): 引入设备策略注册机制以支持多种后端 2025-12-15 13:58:59 +08:00
ViperEkura 831933fb66 fix(mmap): 修复样本数与键值计算逻辑并增强错误处理 2025-12-15 09:27:29 +08:00
ViperEkura 701fb9bf78 refactor(data): 将内存映射文件加载逻辑移至独立的 MmapFileHander 类 2025-12-15 09:12:42 +08:00