언유상씨의 건전한 취미생활

재태크를 하겠다고 마음 먹은 뒤,여러권의 책과 유튜브 영상을 찾아보았다. 다들 각자의 방법들이 있었지만 공통적인 부분이 몇가지가 있었다. 나의 상황을 명확하게 진단할 것- 나의 수입 / 소비를 파악하고, 불필요한 지출을 줄이자 (특히 정기적 지출) 내가 직접 돈을 만지는 일을 줄일 것- 통장 쪼개기를 통해 각 분야별 소비를 통제하고, 자동이체를 활용해서 내가 돈을 만지는 일이 없도록 하자 先저축, 後소비를 실천하는 것- 저축을 위한 수단들에 먼저 저축하고, 남은 금액에 맞춘 생활을 하자 1억을 모으는 것!- 1억은 부동산 투자를 하거나, 주식 투자를 하기 위한 최소한의 자금이다 (입장료)- 1억원을 모으는 과정을 통해, 돈을 모으는 습관과 돈이 나아가야 할 방안을 자연스럽게 체득하게 된다 그래서 내가 내..

주변에 결혼을 하는 사람들이 많다.주변에 집을 구하는 사람들이 많다. 그런 사람들과 대화를 하다보면 결국 귀결되는 것은 "돈"이다.집을 살 "돈"차를 끌 "돈"은퇴후의 "돈" 그래서 요즘은 다들 돈이야기만 한다. 돈으로 스트레스를 받는 것을 보면서 무작정 부자가 되고 싶어졌다.엄청 많은 재산이 있는 건 당연히 좋지만,그 정도까지는 아니더라도 큰 돈이 나갈때 생각을 한번쯤 덜 해도 되는 정도가 되고 싶어졌다. 우리가 부자가 되는 법은 여러가지가 있지만크게 3가지로 결정되는 것 같다. 1. 나의 가치를 끌어올려 더 많은 수입을 가져오는 것 (이직, 부업 등)2. 내가 가진 재산을 활용하여 추가적인 수입을 발생시키는 것 (투자, 창업 등)3. 운의 영역 (증여, 복권 등) 나의 상황에서는 부업을 할 수 없고현..

https://onutoa111.tistory.com/117 에서 이어집니다. [특수대학원 입시] 국민대학교 소프트웨어융합대학원 면접 후기앞의 글에서 이어집니다.https://onutoa111.tistory.com/116 여러가지 후보들 중 최종적으로 국민대학교 소프트웨어융합대학원을 지원하게 되었다. 한 곳만 지원한 점이 조금 마음에 걸리지만,공부를 더onutoa111.tistory.com 면접을 마치고, 최종 발표일자가 되었다. 특별히 문자로 안내가 오지는 않았고, 예정된 시간에 홈페이지 공지사항으로 발표가 났다. 그 결과는... 다행히 합격했다! 혹여나 떨어지면 어떻게 해야 하나 고민중이었는데, 다행히도 합격을 할 수 있었다. 하지만 신경쓰이는 부분은 학자금 대출과 관련된 부분이었는데,등록금 납부 일..

재태크와 관련된 포스팅을 시작하기로 마음먹었다.시리즈를 이어가기 전, 과거의 이야기를 잠깐 해보고 가면 좋을 것 같아첫 포스팅은 나의 잔혹사를 써보려고 한다.재태크 잔혹사 1 - 비트코인 (나의 욕심)한때 코인이 붐이던 때가 있었다.흔히들 "돈을 넣기만 하면 돈이 복사가 되는" 때였다. 주변에서 2배는 기본이고 5배를 만들어 가져가는 친구들도 있었다.나만 놓칠 수 없다는 마음으로 100만원을 투자했다.내 인생 최초의 위험상품을 활용한 재태크였다. 처음에는 많이 올라서 수익이 났지만,욕심이 점점 생기다보니 변동성이 큰 코인을 구매하게 되었다.결국 몇가지의 종목은 상장폐지를 당하고 번만큼 싹 까먹고 나왔다. 그 이후 투자에 대한 생각을 접고 있었는데....재태크 잔혹사 2 - 주식 (주변의 유혹)주변에 주식..

앞의 글에서 이어집니다.https://onutoa111.tistory.com/116 여러가지 후보들 중 최종적으로 국민대학교 소프트웨어융합대학원을 지원하게 되었다. 한 곳만 지원한 점이 조금 마음에 걸리지만,공부를 더 하고 싶은 목표가 있기에 떨어지더라도 내년에 지원할 계획이다. 우선 모집 요강은 다음과 같다. 학업 계획서와 기타 필수 서류들을 정리하여 우편으로 접수하였고,면접 일자가 결정되었다. 면접은 토요일 오전에 국민대학교 미래관에서 진행되었다. 모집 전공 / 수험번호별 입실 완료 시간이 정해져 있는데, 조금 기다려야 했다...입실 완료 시간 기준 앞번호는 면접 종료까지 여유롭게 1시간 반정도 걸린다고 생각하면 좋을 것 같다. 복장의 경우에는 특수대학원인걸 고려해서 정장까지는 아니고 깔끔하게 입고 ..

원래는 대학원을 진학하고 싶은 마음이 컸으나,갑작스럽게 취직에 성공하는 바람에 특수대학원을 알아보게 되었다. 학부시절 컴퓨터 공학과 수학을 복수전공하며 인공지능을 공부하였던 터이기에,공부한 내용과 연관이 있는 학과에 진학하고 싶었다. 대학원에 진학하기에 앞서, 현재 나의 상황을 정리해 보았다. 본가 : 서울(강서)직장 : 경상북도 김천시수업 가능 시간 : 금요일 오후 ~ 일요일 오전 분야(학과) : 인공지능 > 컴퓨터 공학추가사항 : 집에서 1시간 이내, 공공기관 장학금이 있었으면 좋겠음. 입시를 위해 전국대학원 홈페이지에서 많은 대학원을 알아보았으나대부분의 경우 평일에 수업을 하기에 접근성이 많이 떨어졌다. 최종적으로 남은 대학원은 3개가 남게 되었다. 1. 중앙대학교 보안대학원수업시간 : 토요일집과의..

대규모 사전 훈련된 언어 모델은 매개변수에 사실적 지식을 저장할 수 있으며, downstream NLP task들에 대해 fine-tuned 할 때 SOTA를 달성함을 보였다. 그러나, 지식에 접근하고 정확하게 조작하는 능력은 여전히 제한적이며, 따라서 지식 집약적인 작업에서는 task-specific한 아키텍처에 비해 성능이 뒤처진다. 또한, 결정에 대한 출처를 제공하고 지식을 업데이트하는 것은 해결되지 않은 연구 문제이다. non-parametric memory에 대한 차별화 가능한 접근 메커니즘을 갖춘 사전 훈련된 모델은 지금까지 추출적 downstream task들에 대해서만 조사되었다. 우리는 검색-증강 생성(RAG)을 위한 일반적인 목적의 미세 조정 레시피를 탐구한다. RAG는 언어 생성을 위..

RLHF에 대해 공부하다 어려운 부분이 있어 정리를 하게 되었다. Huggingface의 원문은 다음과 같다. RLHF : Reinforcement learning from Human Feedback RLHF's 3 core steps Pretraining a language model (LM) Gathering data and training a reward model Fine-tuning the LM with RL 1. Pretraining a language model 다양한 지시에 대답할 수 있는 PLM을 구축한다. 이때, PLM을 추가적인 text나 condition들로 fine-tuning을 진행해도 되지만, 필수적이지는 않다. 2. Gathering data and training a rew..

대규모 언어모델을 인간의 가치에 정렬하는 것은 LLM의 정교하게 조율할 수 있는 방법으로 매우 중요하게 되었다. 하지만, 이것은 상당한 인간의 시연과 피드백 또는 ChatGPT와 같은 독점적인 LLM으로부터의 정제를 요구한다. 이 논문에서, 우리는 많은 양의 인간 주석과 독점적인 LLM에 의존하지 않는 합성 피드백을 사용한 새로운 정렬 학습 프레임워크를 제안한다. 먼저, 우리는 여러가지 프롬프트를 여러가지 크기의 Vanilla LLM에 넣어 나온 결과를 비교해 생성된 합성 피드백으로 Reward Modeling을 수행한다. 그리고, 우리는 RM을 사용하여 고품질의 시연을 모방하여 감독 정책을 훈련하고, 강화학습으로 모델을 최적화한다. 우리의 최종 모델인 Aligned Language Model with ..

최근 언어모델이 input으로 긴 문맥을 입력받을 수 있는 능력을 가짐에도 불구하고, 언어모델이 더 긴 문맥을 얼마나 잘 활용하는지에 대해서는 상대적으로 잘 알려져 있지 않다. 우리는 입력된 문맥과 관련된 정보를 식별하는 능력을 요하는 2가지 task (multi-document question answering, key-value retrieval)를 통해 언어모델의 성능을 분석한다. 우리는 관련된 정보의 위치가 변경될 때 성능이 많이 떨어짐을 발견했다. 이는 현재의 언어모델들이 입력 받은 긴 문맥의 정보를 견고하게 활용하지 못함을 보인다. 특히, 우리는 관련된 내용이 입력된 문맥의 맨 앞 또는 맨 뒤에 존재할 때 성능이 종종 매우 높게 나오는 것을 발견하였고, 긴 문맥의 중간에 있을 때 성능이 상당히..