LLM 속 지식 저장 위치를 찾아내는 방법 발견

(2024년 04월 03일 (수) 기사 내용입니다. 간단한 일차 함수를 사용, 대형 언어 모델(LLM) 내에서 특정 지식이 어디에 저장돼 있는지를 확인할 수 있다는 연구 결과가 나왔다. 이를 통해 LLM의 환각 현상을 줄일 수 있다는 설명이다. MIT 뉴스는 25일(현지시간) MIT 연구진이 간단한 선형 함수를 사용해 LLM에 저장된 사실을 복구하고 ...

초보자와 전문가를 위한 자연어 생성(NLG) 이해하기

초보자와 전문가를 위한 자연어 생성(NLG) 이해하기오늘날 빠르게 진화하는 디지털 환경에서 자연어 생성(NLG)의 출현은 인간화 기술을 향한 혁명적인 진전을 의미합니다. 이 정교한 인공 지능(AI) 분야는 인간과 기계 간의 상호 작용을 향상시킬 뿐만 아니라 데이터가 해석되고 전달되는 방식을 재 정의합니다. 기본적으로 NLG는 컴퓨터 언어학을 활용하여 ...

NLU, NLG and LLM

NLP, NLU, NLG의 간단한 이해

NLP, NLU, NLG의 간단한 이해 1. NLPNatural Language Process자연어를 컴퓨터에 입력하기 위한 전처리, 자연어를 이해하는 과정, 자연어를 생성하는 과정을 모두 통틀어 이르는 말기계가 인간의 언어를 이해하고 처리할 수 있도록 하는 인공지능 분야입니다. 대량의 텍스트 및 음성 데이터를 분석하고 패턴을 식별하며 지능형 응답을 ...

대규모 언어 모델을 위한 검색-증강 생성(RAG) 기술 현황

(아래 내용은 파이 토치 유저 모임에서 가져온 내용입니다) 검색-증강 생성(RAG) 기술 소개 RAG 기술의 발전 - 타임라인 / A timeline of existing RAG research1376×919 159 KB 대규모 언어 모델(LLM)은 뛰어난 능력을 보이지만, 실제 사용을 위해서는 환각이나 느린 지식의 업데이트, 답변의 투명성 부족 등과...

LLM.활용을 위한 임베딩이란?

임베딩(Embeddings)은 무엇이고 왜 중요한가임베딩이란? • "임베딩"은 콘텐츠를 "부동 소수점 숫자의 배열"로 변환하는 것 • 이 배열의 핵심은 "콘텐츠 내용의 길이"에 관계없이 "배열의 크기"가 항상 같다는 것 • 배열의 크기는 사용하는 임베딩 모델에 의해서 결정됨 300, 1000, 1536 등 • 이 숫자 배열을 생각하는 가장 좋은 방법은...

대규모 언어 모델의 다국어 학습 평가 논문

최근 몇 년 동안, 대규모 언어 모델(LLMs)은 자연어 처리(NLP) 분야에서 가장 중요한 발전 중 하나로 등장하여 연구와 개발을 근본적으로 변화 시켰습니다ChatGPT는 최근 개발된 가장 흥미로운 LLM 시스템 중 하나로, 언어 생성 및 고도의 기술을 선보이며 대중의 관심을 끌고 있습니다. ChatGPT는 다국어 훈련 데이터를 사용하기 때문에 영어...

Prompt Engineering-Tips and tricks for successful prompting with LLMs

Prompt Engineering-Tips and tricks for successful prompting with LLMs텍스트-텍스트 형식으로 인해 대규모 언어 모델(LLM)은 단일 모델로 다양한 작업을 해결할 수 있습니다. 이러한 기능은 원래 GPT-2 및 GPT-3과 같은 모델을 사용한 제로 및 퓨샷 학습을 통해 입증되었습니다[5, 6]. 그러...

트랜스포머 이해하기

트랜스포머 이해하기: 단계별 수학 예제 — 1부본 내용은 gopenai.com의 Fareed Khan 블로그에서 가져온 내용으로 일부 추가와 번역한 내용으로 많은 도움이 되기 바랍니다 트랜스포머 아키텍처가 무섭게 보일 수 있다는 것을 이해하며 YouTube나 블로그에서 다양한 설명을 접했을 수 있습니다. 그러나 내 블로그에서는 포괄적 인 수치 예제를 ...

생성형 AI AI 코딩 성능 테스트 (Google Bard, Open ai ChatGPT)

생성형 AIAI 코딩 성능 테스트(Google Bard, Open ai ChatGPT) 테스트 프롬프트-1)time series data "timeseries.csv" 에서는 DateTime column과 Value column이 있다. 이 csv파일을 읽고 Anomaly detection 하는 코드로. 알고리즘은 ISOLATION FOREST사용하...

벡터 데이터베이스란 무엇 입니까?

Roie Schwaber-Cohen(Developer Advocate) 벡터 데이터베이스란 무엇 입니까?우리는 AI 혁명의 중심에 있습니다. 그것은 영향을 미치는 모든 산업을 뒤엎고 위대한 혁신을 약속하지만 새로운 도전을 제시합니다. 효율적인 데이터 처리는 대규모 언어 모델, 생성 AI 및 시맨틱 검색을 포함하는 애플리케이션에서 그 어느 때보다 중요해...