scout

Scout

Eloquent 모델에 대해 full-text 검색 기능을 장착 할 수 있는 드라이버 기반의 라이브러리로 모델 옵저버를 사용해서 엘로퀀트 레코드와 동기화하여 검색 인덱스를 자동으로 유지한다.

기본적으로 Aloglia드라이버를 내장하며, 다른 드라이버를 이용하거나 커스텀 드라이버를 작성할 수 있다.

검색 방법

1. MySQL의 필드에 대해 like %~%구문을 통해 적절한 단어를 검색하기

2. MySQL의 full-text 엔진 이용하기

3. Scout라이브러리를 이용해서 full-text 검색엔진 이용하기

1.의 방법은 필드가 많을 수록, content가 길 수록 검색 시간이 너무 소요되며 2번의 방법은 Eloquent모델과 동기화가 힘들며 쿼리문을 작성해야함

따라서 이번 프로젝트에는 3번의 방법을 이용하기로 함!

검색 엔진 드라이버

1. Algolia Scout의 기본 드라이버이지만, 클라우드 기반의 검색엔진으로 이용하기 위해 회원가입과 앱에서 네트워크를 통한 접속이 필요하고 요금제이다. => 돈도 돈이지만 VDI내부에서 외부접속이 안되기 때문에 반려

2. Elastic Search 유명한 검색엔진이며 노리라는 한글 형태소 분석기를 기본 플러그인으로 내장되어 있어 한글을 저장하고 분석/탐색하는데도 적합

   권장 사양이 최소 2core이상의 cpu에 ram 4gb이상이 필요하며 이는 최소 사양이고 보통 마스터 노드와 데이터 노드/ 클라이언트 노드 등으로 나누어 구성하는데 이는 현재 환경과 기간내에는 빠듯 할 수도 있으며 과스펙이라고 판단하여 제외

   마스터 노드

   인덱스의 메타 데이터, 샤드(색인을 조각으로 분할)의 위치와 같은 클러스터 ㅅ상태 정보를 관리하는 역할 수행하며, 클러스터마다 하나의 마스터 노드가 존재하고 이 역할을 수행할 수 있는 노드가 없다면 작동이 정지

   데이터 노드

   실제로 색인된 데이터를 저장하고 있는 노드로 마스터노드에 데이터를 저장할 수도 있지만 분리하여 서로 각자의 역할에만 집중할 수 있게 분리하는게 일반적

3. Meili Search 오픈 소스 FTS로 Rust로 만들어져 별도의 의존성 없이 간단한 설정으로 검색엔진 서버 설정이 가능하다.

한글 형태소 사전이 탑재되지 않아서 한글 검색 품질은 낮다.

VDI내부로 설치파일을 가지고가서 설치 후 등록해 사용해야 하며 기본 DB사이즈를 100gb를 잡기 때문에 size설정을 해주어야 한다.

1. TNT Search 오픈소스 FTS로 PHP로 만들어졌다. 서버에 별다른 검색엔진서버 설치 없이 laravel에 의존성만 추가해주면 사용이 가능하다. ( php7, php pdo extension, sqlite extension, mbstring extension, laravel5.6 이상 )

제공 기능 - 퍼지 검색 (비슷한 단어 검색) - 텍스트 분류 - 형태소 분석 - 사용자 정의 토크나이저 - bool 검색

TNTSearch가 적용도 간단하며 검색엔진은 commit이 3개월, scout driver는 2개월 전 기록으로 비교적 최신까지 업데이트가 되어 있어 우선 TNT Search를 이용하여 프로젝트를 설계할 계획

tntsearch driver만 설치하면 별도의 scout의존성은 추가해주지 않아도 된다.

TNT Search 작동 방식

1. 인덱스 파일 생성

인덱스 파일은 내부적으로 SQLite를 이용하여 관리하는 것 같다. (자세한 설명이 안나와있어 추측이다.)

컨트롤러를 이용해 설정파일로 DB에 직접 접속해 인덱스 파일을 만들거나, scout 공식문서에 설명한대로 비어있는 인덱스를 생성하면 storage/ 밑에 *.index로 생성이된다.

2. 검색

scout를 이용하면 search()를 이용하면 쉽게 검색이 가능하며 검색수행시 인덱스 파일 내에서 일치하는 항목들을 찾고 DB 행의 기본키 모음을 반환한다.

그 후 get()메서드를 수행하면 기본키들을 바탕으로 select ~ where in()절을 수행하여 값의 정보를 조회한다. Collection으로 반환되는 것.

문제점 | 해결해야 할 점

이 프로젝트도 한글 형태소 분석기가 존재하지 않아 검색 결과 정확도가 떨어질 수도 있다.

별도의 한글 형태소 분석기중 오픈소스인 은전한 닢(mecab)을 이용해서 적용할 수 있는 방법을 후에 생각해보자. => elasticsearch를 사용하는 것이 성능이 더 좋을 수도?