|
OpenELM Open Efficient Language Models |
|
| <colbgcolor=#333><colcolor=#fff> 개발 | Apple |
| 기능 | 언어 모델 |
| 공개 | 2024년 4월 |
| 라이선스 | 오픈 소스 소프트웨어[1] |
| 링크 |
|
[clearfix]
1. 개요
Apple에서 개발한 오픈 소스 소형 언어 모델(sLM).2. 종류
M, B는 파라미터 수를 의미하며 각각 million, billion 단위이다.Instruct는 사용자의 명령형 프롬프트에 대응하도록 학습된 모델이다.
MLX[2] 포팅도 가능하다.
- OpenELM-270M
- OpenELM-450M
- OpenELM-1_1B
- OpenELM-3B
- OpenELM-270M-Instruct
- OpenELM-450M-Instruct
- OpenELM-1_1B-Instruct
- OpenELM-3B-Instruct
3. 특징
소형 언어모델인 sLM 중에서도 작은 편에 속한다. 그렇기 때문에 다른 모델에 비해 성능은 떨어지지만 운영에 필요한 비용이 저렴하고 휴대폰이나 PC 등에서도 온디바이스로 비교적 잘 작동한다.트랜스포머의 각 레이어에서의 파라미터 수를 변화시킴으로써 모델 전체의 파라미터를 효율적으로 배분하는 'layer-wise scaling'이라고 하는 기술을 채용했다.
구체적으로는, 입력에 가까운 레이어에서는 어텐션이나 피드 포워드를 위한 잠재 파라미터의 차원을 작게 하고, 출력에 가까워짐에 따라 서서히 레이어를 넓혀 간다. 이를 통해 제한된 파라미터 수에서 각 레이어에 적절한 수의 파라미터를 할당할 수 있다. 기존 언어 모델에서는 모든 레이어에서 같은 설정을 가지는 것이 일반적이었지만, 이 layer-wise scaling에 의해서 레이어 마다 다른 설정을 실시해, 파라미터를 보다 효과적으로 활용하는 것이 가능하게 된다. #
[1]
정확히는
Apple Sample Code License를 사용한다.
[2]
애플 실리콘용 딥러닝 프레임워크