K-Fold 하이퍼 파라미터 세팅

[ilovemyminutes]

SATRN

• Augmentations: SSR(p=0.3) > GD(p=0.3) > Norm(IMGNET)

• Learning Rate: 5e-4 (기존과 동일)

• LR Scheduler: Custom Cosine

  total_steps = len(train_data_loader) * options.num_epochs  # 전체 스텝 수
        t_0 = total_steps // 1  # 주기를 3으로 설정
        t_up = int(t_0 * 0.1)  # 한 주기에서 10%의 스텝을 warm-up으로 사용
  
        lr_scheduler = CustomCosineAnnealingWarmUpRestarts(
            optimizer,
            T_0=t_0,
            T_mult=1,
            eta_max=options.optimizer.lr,
            T_up=t_up,
            gamma=0.8,
        )

• Teacher Forcing Scheduler

  tf_max: 0.8 # yaml 파일 수정
  tf_min: 0.3 # train.py 약 490번째 줄 tf_min 수정
  
  class TeacherForcingScheduler:
    def __init__(self, num_steps: int, tf_max: float = 1.0, tf_min: float = 0.4):
        linspace = self._get_arctan(num_steps, tf_max, tf_min)
        self.__scheduler = iter(linspace)
        self.tf_max = tf_max
        self.tf_min = tf_min
  
    def step(self):
        try:
            return next(self.__scheduler)
        except:
            warnings.warn(
                f"Teacher forcing scheduler has been done. Return just tf_min({self.tf_min}) for now."
            )
            return self.tf_min
  
    @staticmethod
    def _get_arctan(num_steps, tf_max, tf_min): # NOTE: 이 부분을 이와 같이 작성
        diff = tf_max - tf_min
        inflection = int(num_steps * 0.1)
        x = np.linspace(-5, 5, num_steps) 
        x = -np.arctan(x)
        x -= x[-1]
        x *= diff / x[0]
        x += tf_min
        x = x[inflection:]
        return x