使用colossalai原生的fp16是否会导致clip_grad_norm无效？

[yhcc]

如题，根据下面的代码，似乎原生的fp16无法clip gradient？

ColossalAI/colossalai/amp/naive_amp/naive_amp.py

Lines 42 to 43 in 8897b8f

	def clip_grad_norm(self, model: nn.Module, max_norm: float):
	pass

[1SAA]

@yhcc

直接使用NaiveAMPOptimizer的clip_grad_norm函数是不正确的行为。如果要使用grad_clipping功能，需要在amp_config中特别标出。如下面这部分展示的代码：

    naive_amp_config = dict(initial_scale=128, clip_grad_norm=1.0)
    naive_amp_model, naive_amp_optimizer = convert_to_naive_amp(naive_amp_model, naive_amp_optimizer, naive_amp_config)

在之后的代码中并不需要调用clip_grad_norm函数，FP16Optimizer会自己在step()函数中调用。

[yhcc]

好的，谢谢。我后来在step中也找到了对应的调用。