윈도우에 인공지능 GPT4ALL 설치하기

 ChatGPT3가 발표된지 반년만에 AI 업계에는 놀라운 일들이 연속적으로 일어나고 있다. 5개월 만에 ChatGPT4가 출시되 수많은 AI 기술들이 새로 발표되고 있다. ChatGPT에 대한 대항마도 여러가지가 나오고 있는데 구글의 바드를 차치하고라도 KoAlpaca, gpt4all, Vicuna등이 나오면서 거대 생성형 모델에서도 새로운 바람이 불고 있다. 특히 GPT4All의 경우에는 개인용 PC나 노트북에서도 작동되도록 소형화 경량화를 이루었다. 

 이번 시간에는 gpt4all을 windows PC에 직접 설치해 보고 시연해 보도록 하겠다. 맥이나 리눅스에서도 가능하니 맥을 가진 분들도 해보면 된다.

 

 먼저 github(https://github.com/nomic-ai/gpt4all)  사이트에 가서 전체 코드를 다운 받고 압축을 풀어 'C:\' 디렉토리에 옮겨 넣는다.

 

 

 위 사이트에서 아래로 좀 스크를을 내려보면 Try it yourself 항목이 나온다. 'Direct Link'를 클릭해 bin 파일을 다운 받고 위에서 다운 받아둔 GPT4ALL 소스 코드가 들어 있는 폴더에 bin 파일을 넣는다. bin 파일의 용량이 3.9GB에 달해 다운 시간이 꽤 걸린다. 20분 ~ 1시간 까지 걸리므로 사용자가 별로 없는 아침시간에 다운 받길 바란다. 'cd chat'이란 명령을 내리는 것으로 보아 bin 파일을 chat 폴더에 넣어 두란 의미로 보인다. 그 뒤에 실행해야할 명령어도 보인다.

 

 

github에서 다운받은 압축 파일을 풀어서  C:\ 디렉토리에 그대로 옮겨 넣었다. 'gpt4all-main' 폴더 안에 'chat' 폴더가 있는 것이 보인다.

 

 

 'chat' 폴더 안에 "Try it yourself -> Direct Link"에서 다운 받은 'bin' 파일을 넣었다. 'chat' 폴더안에 'gpt4all-lara-quantized-win64.exe' 실행 파일이 보인다.

 

 

 위의 과정이 순조롭게 진행 되었으면 윈도우 'PowerShell'을 연다. 바탕화면 좌 하단의 돋보기 모양 아이콘을 누르고 'PowerShell'이라고 입력하면 찾을 수 있다. 

 처음 'PowerShell'을 열면 사용자의 컴퓨터 상황에 따라 폴더의 위치가 다양하게 나올 수 있는데 "cd:\"라고 입력한다. 'C:\'의 루트 디렉토리로 가라는 명령이다. 여기서 "cd 폴더명"을 입력하면서 'gpt4all-main\chat'이 있는 디렉토리를 찾아 간다. 'chat'디렉토리까지 찾아 갔으면 "./gpt4all-lora-quantized-win64.exe" 명령을 내린다. 혹시 "./gpt4all-lora-quantized-win64.exe" 명령어로 에러가 나면 "./gpt4all-lora-quantized-win64.exe -m gpt4all-lora-unfiltered-quantized.bin" 전체 명령을 다시 내려 보기 바란다. 필자의 컴퓨터에서는 "./gpt4all-lora-quantized-win64.exe" 명령으로 바로 실행이 되었다.

 

 

 'gpt4all'의 설치가 성공적으로 끝났으면 '>' 뒤의 프람프터가 깜빡거리면서 명령을 기다린다. 간단한 대화를 입력해 본다. 채팅창에서 대화하듯 대화가 오고 간다.

 

 

 이제 'gpt4all'의 성능이 어느 정도인지 테스트를 해 볼 차례이다. 먼저 한글을 인식하는지 한글로 질문을 해봤다. 그런데 인식을 못하니 간단한 영어로 설명해 달라고 한다. 그래서 번역 프로그램의 도움을 받아 한글로 입력했던 말을 그대로 영어로 다시 질문을 했다. 영어로 질문을 하니 제대로 답변을 한다. 또 테이블로 답변을 정리해 달라고 하니 테이블을 제대로 만들지 못하는 것을 알 수 있다. GPT3.5 기반으로 학습을 했기 때문에 아직 GPT4에 비해 좀 성능이 떨어지는 것도 확인 할 수 있다.

 

 'gpt4all'을 필자의 PC에 설치해서 여러가지 성능 체크를 해 보았다. 아직 좀 아쉬운 점도 있긴 하지만 수천억 ~ 수조원이 투입되어 개발된 GPT 프로그램을 개인 PC에서도 쓸 수 있다는 것이 놀라운 점이다. 앞으로 이 기술들이 어디까지 발전할지 또 개인은 어디까지 이 기술을 활용 할 수 있을지 지켜보는 것도 흥미로울 것이다.