| Qwen | |
|
|
|
| <colbgcolor=#ddd,#000> 분류 | 소형 언어 모델 |
| 개발사 | 알리클라우드 |
| 출시일 |
Qwen-1
2023년
8월 3일Qwen-1.5
2024년
2월 4일Qwen-2
2024년
6월 7일Qwen-2.5
2024년
9월 19일
|
| 버전 | 2.5 |
| 링크 |
|
[clearfix]
1. 개요
Qwen은 알리클라우드의 오픈소스 언어 모델이다.2. 제품
2.1. Qwen-1
1.8B, 7B, 14B, 72B 4가지 모델로 출시 되었다.2023년 8월 3일부터 7B가, 9월 25일에 14B가, 11월 30일에 1.8B와 72B가 출시되었다.
GPT-3.5와 GPT-4에 근접하는 성능을 보여주는것으로 자체적인 평가데이터가 공개되었다.
2.2. Qwen-1.5
2024년 2월 4일에 공개되었으며, 0.5B, 1.8B, 4B, 7B, 14B, 72B 6가지 모델로 출시되었다.GPT-3.5 대비 언어를 이해하는 능력이 월등하다고 평가데이터가 공개되었다.
2024년 4월 2일에 32B가, 4월 25일에 110B 모델이 추가로 공개되었다.
2.3. Qwen-2
2024년 6월 7일에 공개되었으며, 0.5B, 1.5B, 7B, 57B-A14B, 72B 5가지 모델로 출시되었다.72B 모델의 경우, 밴치마크에서 LLaMA3-70B, Mixtral-8x22B와 Qwen 1.5-110B 모델을 완전히 제압하는 성능을 과시했다.
2024년 8월 8일에 Qwen2를 기반으로한 수학 특화 모델인 "Qwen2-Math" 모델을 발표했다.[1]
2024년 8월 9일에 Qwen2를 기반으로한 음성 분석 특화 모델인 "Qwen2-Audio" 모델을 발표했다.[2]
2024년 8월 29일에 Qwen2를 기반으로한 이미지 분석 특화 모델인 "Qwen2-VL" 모델을 발표했다.[3][4]
2.4. Qwen-2.5
2024년 9월 19일에 Qwen2를 개선한 2.5 모델을 발표했다.0.5B, 1.5B, 3B, 7B, 14B, 32B, 72B 로 구성되어있으며, 이중 3B와 72B를 제외하고 나머지 모델들을 모두 Apache 2.0 라이센스를 적용해 오픈소스화 시켰다.
2024년 9월 19일에 기존 Math 모델을 업그레이드한 "Qwen2.5-Math" 모델을 발표했다.[5]
2024년 9월 19일에 코딩 특화 모델인 "Qwen2.5-Coder" 모델을 발표했다.[6]
3. 실험 모델
3.1. QwQ
AI의 추론 능력을 향상하기 위해 개발 중인 실험적 연구 모델이다. 모델의 크기는 32.5B 하나다.3.2. QvQ
AI의 시각적 추론 능력을 향상하기 위해 개발 중인 실험적 연구 모델이다. 모델의 크기는 72B 하나다.공개된 벤치 데이터에 의하면 OpenAI o1-2024-12-17에 근접한 성능을 보여주고 있다.[7]
[1]
1.5B, 7B, 72B
[2]
7B
[3]
2B, 7B, 72B
[4]
GPT-4o-0513과
Claude 3.5-Sonnet을 압도적으로 앞서는 성능을 보여줬다.[8]
[5]
1.5B, 7B, 72B
[6]
7B
[7]
https://modelscope.cn/models/Qwen/QVQ-72B-Preview