← 모든 태그

#model-loading

1개의 글.

from_config 모델 로딩이 30초 걸린 이유, 어차피 덮어쓸 난수 초기화

from_config 모델 로딩이 30초 걸린 이유, 어차피 덮어쓸 난수 초기화

from_config 로 뼈대를 만들고 load_state_dict 로 가중치를 채우면 로딩 30초 중 23초를 곧바로 덮어쓰일 난수 초기화에 씁니다. no_init_weights() 로 초기화를 끄면 0.8초까지 줄어듭니다.

2026-10-12 · 4 min read

#pytorch#transformers#model-loading#performance