[namu-wiki-llm] sprint1 회고

1. 한 일 / 미룬 일

• 기간: 2024.01.09 ~ 2024.01.10
• 로컬에서 elastic search, kibana 를 docker로 켜기 - 명령어 정리 

명령어	설명
docker pull docker.elastic.co/elasticsearch/elasticsearch:8.7.0	elastic search image 가져오기
docker pull docker.elastic.co/kibana/kibana:8.7.0	kibana image 가져오기( elastic과 버전 일치 )
docker network create elastic	elastic과 kibana 통신하기 위한 network 생성
docker run --net elastic -p 9200:9200 --name es docker.elastic.co/elasticsearch/elasticsearch:8.7.0	elastic container 실행( network 를 run할 때 연결해야함!)
docker run --net elastic -p 5601:5601 --name ki docker.elastic.co/kibana/kibana:8.7.0	kibana container 실행( network 를 run할 때 연결해야함!)

• 검색엔진(elastic search, kibana) 활용
  
  • [ERROR] elastic search - TLS 에러 발생 및 해결
  • [ERROR] elastic search - kibana 연결 에러 발생 해결
  • [CHECK] 한글 형태소 분석이 잘 되지 않는 문제 ex) "디지몬은 우리의 친구야!" 에서 "디지몬"이라고 쿼리를 날랐을 때 검색되지 않고 정확하게 "디지몬은"이라고 검색해야했음. - 노리(nori) 한글 형태소 분석기 도입 → nori 분석기 도입했을 때 자연스러운 검색 가능해짐(elastic 8.x 버전에서 한글 분석기 도입 방법)
  • python - elasticsearch 연결: index-create, delete 작성 / insert, read 작성
• API
  • novelist API: 프론트로부터 질문(text)을 받았을 때 최종적으로는 답변(text)을 제공하는 API. 현재는 질문에 대해서 임의의 답변을 설정해 답변하는 것을 postman으로 확인
  • librarian API: 질문(text)에 대해서 elastic search 로 관련된 문서를 찾아서 novelist API에 넘겨주는 API. 현재는 질문에 대해서 임의의 문서를 답변하도록 했으면 postman으로 원하던 기능 작동 확인
• config.yaml 로 관리
  • 각종 URL
  • elastic search의 basic_auth
• 미룬 일
  • 확인할 수 있는 간단한 프론트엔드(gradio, streamlit) 작업

2. 회고

• elastic search에 대해서 사용을 했지만 원리에 대해서 정확하게 파악하고 사용하지는 않았다. 프로젝트 끝나고 어떤 원리로 작동되는지에 대해서 알아볼 필요가 있다. 그리고 elastic search 관련 레퍼런스가 정말 많이 부족했다. 그 부분도 정리할 필요성을 느꼈다.
• https://esbook.kimjmin.net/

Elastic 가이드 북 - Elastic 가이드북