Home

Awesome

安装

更新详情

其他训练

目录

对抗训练就在配置里增加一个选项

'adv': {
    'mode': 'fgm', # None, fgm, fgsm_local, fgsm(不推荐), pgd, free_local, free(不推荐)
    'emb_name': 'embedding',
    'attack_iters': 2,  # pgd
    'minibatch_replays': 2,  # free
    'alpha': 0.5,  # pgd,fgsm
    'epsilon': 0.5,  # pgd,fgm
}

层次分解位置编码,让BERT可以处理超长文本

'hierarchical_position':  0.4 

导出onnx模型 通常只需要三步

第一步,参数配置 convert_onnx = True
第二步 加载权重例子
model = MyTransformer.load_from_checkpoint('./best.pt', config=config, model_args=model_args,
                                               training_args=training_args)
第三步 #导出onnx模型
model.convert_to_onnx('./best.onnx')

多卡训练策略 strategy , 通常只需要一步

修改参数配置 devices = N 

# Available names: bagua, colossalai, ddp, ddp_find_unused_parameters_false, ddp_fork,
# ddp_fork_find_unused_parameters_false, ddp_fully_sharded,
# ddp_notebook, ddp_notebook_find_unused_parameters_false, ddp_sharded,
# ddp_sharded_find_unused_parameters_false, ddp_sharded_spawn,
# ddp_sharded_spawn_find_unused_parameters_false,
# ddp_spawn, ddp_spawn_find_unused_parameters_false,
# deepspeed, deepspeed_stage_1, deepspeed_stage_2, deepspeed_stage_2_offload,
# deepspeed_stage_3, deepspeed_stage_3_offload, deepspeed_stage_3_offload_nvme,
# dp, fsdp, fsdp_native, fsdp_native_full_shard_offload, horovod, hpu_parallel,
# hpu_single, ipu_strategy, single_device, single_tpu, tpu_spawn, tpu_spawn_debug"

大模型Lora训练

[chatyuan_finetuning](https://github.com/ssbuild/chatyuan_finetuning)
[prompt_finetuning](https://github.com/ssbuild/prompt_finetuning)

愿景

创建一个模型工厂, 轻量且高效的训练程序,让训练模型更容易,更轻松上手。

交流

QQ交流群:185144988