| 후속 연구 28 , 29 에서는 유사하게 초기화된 모델이 동일한 분지로 수렴하는 경향이 있어 가중치를 평균화해도 거의 또는 전혀 저하되지 않는다는 사실이 밝혀졌습니다.
서로 다른 초기화를 갖는 모델의 경우, 최근 접근 방식 30 , 31은 순열 불변성을 활용하여 뉴런을 정렬함으로써 보간에 대한 장벽을 효과적으로 줄입니다. 초기 경험적 증거는 이러한 이론적 통찰력을 뒷받침했습니다. 폴리악 평균화 32 및 그 확장은 동일한 확률적 경사 하강 궤적을 따라 체크포인트를 결합하면 손실 곡면의 더 평평한 영역에 위치한 모델이 생성되어 일반화 및 훈련 변동에 대한 견고성이 향상됨을 보여주었습니다. 이즈마일로프 외 33은 궤적을 따라 확률적 가중치 평균화를 수행하면 일관적으로 더 나은 최소값을 생성한다는 것을 보여줌으로써 이를 더욱 강조했습니다. 이러한 개념을 확장하여 워츠만 16 은 동일한 초기 모델에서 파생되었지만 서로 다른 하이퍼파라미터로 훈련된 가중치를 평균화하는 "모델 수프" 개념을 도입했습니다. |
(
안마119닷컴 > 고객설치후기 > 설치후기
후속 연구
제목:
이전글
다음글
