Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
31 |
Tags
- 건전한 취미생활
- HTML
- 프로젝트
- 연결리스트
- 날씨
- A - B
- 과제
- 백준
- 알고리즘
- PyQT5
- 구현
- CSS
- 학습생활
- 텍스트 관련
- 독학
- A×B
- VOCALOID
- 메일
- 단계별로풀어보기
- OSAM
- 건전한
- 원소 삭제
- 원소 추가
- 취미생활
- *Luna
- 텍스트 관련 태그들
- c++
- GUI
- Python
- C언어
Archives
- Today
- Total
목록2024/03 (1)
언유상씨의 건전한 취미생활
[매일 논문 초록 읽기 : 61일차] knowledge-intensive task를 해결하기 위한 방안인 RAG
대규모 사전 훈련된 언어 모델은 매개변수에 사실적 지식을 저장할 수 있으며, downstream NLP task들에 대해 fine-tuned 할 때 SOTA를 달성함을 보였다. 그러나, 지식에 접근하고 정확하게 조작하는 능력은 여전히 제한적이며, 따라서 지식 집약적인 작업에서는 task-specific한 아키텍처에 비해 성능이 뒤처진다. 또한, 결정에 대한 출처를 제공하고 지식을 업데이트하는 것은 해결되지 않은 연구 문제이다. non-parametric memory에 대한 차별화 가능한 접근 메커니즘을 갖춘 사전 훈련된 모델은 지금까지 추출적 downstream task들에 대해서만 조사되었다. 우리는 검색-증강 생성(RAG)을 위한 일반적인 목적의 미세 조정 레시피를 탐구한다. RAG는 언어 생성을 위..
건전한 학습생활 - 매일 논문 초록 읽기
2024. 3. 24. 17:50