Cogito - 성능 극대화한 오픈 소스 LLM...라마4·딥시크 증류 모델보다 우수

반복적인 '증류(distillation)'로 성능을 극대화한 추론-비추론 하이브리드 대형언어모델(LLM)이 등장했다. 벤치마크 테스트에서 비추론 모델인 '라마 4'와 추론 모델인 '딥시크-R1'을 모두 능가하는 성능을 보였다는 설명이다.

미국의 인공지능(AI) 스타트업 딥 코기토(Deep Cogito)는 8일(현지시간) X(트위터)를 통해 새로운 비추론-추론 통합 모델인 ‘코기토 v1(Cogito v1)’을 오픈 소스로 출시했다고 발표했다.

이 회사는 구글의 전 수석 소프트웨어 엔지니어로 LLM 개발을 이끈 드리샨 아로하가 창립했다. 목표는 역시 일공일반지능(AGI) 개발이라고 밝혔다.

이번에 공개된 코기토 v1은 메타의 '라마'와 알리바바의 '큐원'을 미세조정한 것이다. 3B, 8B, 14B, 32B, 70B 등 총 다섯가지 매개변수 크기로 제공됐다.

하이브리드 모델로 일반 LLM의 반응성과 추론 모델의 정밀성을 모두 갖췄다. 사용자는 프롬프트에 따라 빠른 응답을 선택하거나, 깊이 있는 추론이 필요한 응답을 요청할 수 있다.

출처 : AI타임스(https://www.aitimes.com)

---

Cogito v1 Preview
 

Introducing IDA as a path to general superintelligence

8th April, 2025

Takeaways

• We are releasing the strongest LLMs of sizes 3B, 8B, 14B, 32B and 70B under open license. Each model outperforms the best available open models of the same size, including counterparts from LLaMA, DeepSeek, and Qwen, across most standard benchmarks. In particular, the 70B model also outperforms the newly released Llama 4 109B MoE model.
• The LLMs are trained using Iterated Distillation and Amplification (IDA) - a scalable and efficient alignment strategy for general superintelligence using iterative self-improvement.
• Each model can answer directly (standard LLM), or self-reflect before answering (like reasoning models).1
• We plan to release larger models, including 109B, 400B, 671B, in the coming weeks / months, as well as improved checkpoints for each of these model sizes.

You can download the models on Huggingface or Ollama, or use them directly through the API on Fireworks AI or Together AI.

(상세한 내용은:  Introducing Cogito Preview 참조) 

 ---

** 아래는 Cogito:8b를 활용한 User embedding Query 한 사례로 Llama보다 나은 답..
(계속 Test해봐야 겠지만…)