[1] 허깅페이스 - apple/OpenELM
[링크 사용은 로그인 시 가능 합니다.]
[링크 사용은 로그인 시 가능 합니다.]apple/OpenELM · Hugging Facehuggingface.coWe’re on a journey to advance and democratize artificial intelligence through open source and open science.
[2] MacRumors 기사 - Apple Releases Open Source AI Models That Run On-Device
[링크 사용은 로그인 시 가능 합니다.]
(Claude 3 Opus 번역)
애플이 오늘 클라우드 서버를 통하지 않고 기기상에서 직접 실행되도록 개발한 여러 개의 오픈 소스 대형 언어 모델(LLM)을 공개했습니다.
OpenELM(Open-source Efficient Language Models)이라는 이름이 붙여진 이 LLM들은 AI 코드 공유 커뮤니티인 Hugging Face Hub에서 찾아볼 수 있습니다.
백서 [3]에 명시된 대로, OpenELM 모델은 총 8개인데, 이 중 4개는 CoreNet 라이브러리를 활용해 사전 학습되었으며, 나머지 4개는 지침에 맞게 튜닝된 모델이라고 합니다. 애플은 정확도와 효율성 개선을 위해 레이어 단위 스케일링 전략을 적용하고 있습니다.
[3]
[링크 사용은 로그인 시 가능 합니다.]
[링크 사용은 로그인 시 가능 합니다.]OpenELM: An Efficient Language Model Family with Open-source Training and Inference Frameworkarxiv.orgThe reproducibility and transparency of large language models are crucial for advancing open research, ensuring the trustworthiness of results, and enabling investigations into data and model biases, as well as potential risks. To this end, we release OpenELM, a state-of-the-art open language model. OpenELM uses a layer-wise scaling strategy to efficiently allocate parameters within each layer of the transformer model, leading to enhanced accuracy. For example, with a parameter budget of approximately one billion parameters, OpenELM exhibits a 2.36% improvement in accuracy compared to OLMo while requiring $2\times$ fewer pre-training tokens. Diverging from prior practices that only provide model weights and inference code, and pre-train on private datasets, our release includes the complete framework for training and evaluation of the language model on publicly available datasets, including training logs, multiple checkpoints, and pre-training configurations. We also release code to convert models to MLX library for inference and fine-tuning on Apple devices. This comprehensive release aims to empower and strengthen the open research community, paving the way for future open research endeavors. Our source code along with pre-trained model weights and training recipes is available at \url[웹주소 정보 : 로그인 시 확인 가능]}. Additionally, \model models can be found on HuggingFace at: \url[웹주소 정보 : 로그인 시 확인 가능]}.
애플은 단순히 최종 훈련된 모델만 제공하는 것이 아니라 코드, 훈련 로그, 그리고 다양한 버전을 함께 공개했습니다. 프로젝트를 진행한 연구자들은 이번 공개가 자연어 AI 분야에서 더욱 빠른 발전과 '보다 신뢰성 높은 결과'를 얻을 수 있기를 바라고 있습니다.
애플은 '개방형 연구 커뮤니티에 힘을 실어주고 풍성하게 만들기 위해' 최신 OpenELM 언어 모델을 공개한다고 밝혔습니다. 오픈 소스 모델을 공유하면 연구자들이 모델의 취약점과 데이터, 모델의 편향성을 조사하는 방법을 제공합니다. [중략]
애플은 AI 기능을 자사 기기에 아직 도입하지 않았습니다. 하지만 iOS 18에는 다양한 새 AI 기능이 포함될 것으로 예상하며, 소문으로는 애플이 개인정보 보호를 위해 대규모 언어 모델을 기기 내에서 실행할 계획이라고 합니다.