qwen2.5 (1) 썸네일형 리스트형 Qwen2.5에 대해서 최근에 VLM에 대해 현업에서 여기저기 검토할 일이 많아졌다.상용 타겟을 하다보니 가벼운 모델에 특히 관심이 많은데, 원래는 Moondream 2B 모델을 갖고 이거저거 실험을 했었다.근데 성능이 제한적이라고 느껴져서,이에 대한 대안을 찾았고 아직 답을 내린 것은 아니지만 좀더 많은 파라미터를 가진 좋은 툴로 쓰기에 Qwen2.5가 좋아보인다고 어느 정도 답을 내렸다. 꽤 간단해보이는 Qwen2.5의 구조도.비전 인코더로 ViT를 사용했고, LLM으로 Qwen2.5 LLM을 사용했다.이런거보면 근래의 비전 인코더는 ViT가 통일한 것처럼 보이기도 하는데, 대안 모델이 언제쯤 나올까?학습은 pretraining -> SFT -> DPO 순이라고 하는데,DPO( Direct Preference Optimi.. 이전 1 다음
