분류 전체보기2 [2022 NIPS] On the Representation Collapse of Sparse Mixture of Experts 안녕하세요 이번에 소개해드릴 논문도 Mixture of Experts(MoE) 분야와 관련된 연구입니다. 최근 MoE의 내용을 정리하면서, 이 구성 요소 중 라우팅(router) 핵심적인 역할을 한다는 점을 파악하게 되었습니다. 그러나 많은 선행 연구들에서 라우터가 MoE 학습의 성능과 효율성에 있어 가장 중요한 역할을 한다고 언급되고 있으나, 정작 라우터가 왜 중요한지, 그리고 학습 과정에 어떤 구체적인 영향을 미치는지에 대해서는 충분히 이해하지 못한 부분이 있었습니다. 따라서 본 리뷰에서는 MoE 학습 중 발생할 수 있는 구조적 문제점, 특히 Representation Collapse 현상에 대해 살펴보고, 그 원인 및 분석 결과를 통해 방향성을 얻고자 합니다. 그럼 바로 논문 리뷰를 시작하겠습니다... 2025. 4. 11. [논문 리뷰][2022 NIPS] Multimodal Contrastive Learning with LIMoE: the Language-Image Mixture of Experts 안녕하세요, 오늘은 최근에 읽었던 [2022 NIPS] Multimodal Contrastive Learning with LIMoE: the Language-Image Mixture of Experts 논문에 대해 리뷰를 작성해 보려고 합니다. 이 논문은 언어와 이미지를 결합하여 두 모달리티를 동시에 학습하는 Mixture of Experts (MoE) 모델을 제안하고, 그에 따른 Contrastive Learning 방법을 다룬 논문입니다. 본 리뷰는 Multimodal Learning에 관심이 있는 분들께 매우 유익한 내용이 될 거라 생각합니다.그럼 바로 리뷰를 시작하겠습니다.BackgroundMixture of Experts(MoE)는 원래 앙상블 기법 중 하나입니다. 이 개념은 복잡한 문제를 해결.. 2025. 4. 7. 이전 1 다음 반응형
