구로구 아닌 부로구

# 키바나와 ES는 버전이 동일해야해요. 마이너 버전까지 동일해야하는지는 안해봐서 모르겠지만 여튼 그래요.

# 7버전 설치하려고 ES도 7버전으로 설치했어요.

# ES 7은 프로덕션모드로 실행하기 위해서 discovery.seed_hosts와 cluster.initial_master_nodes를 지정해야해요.

키바나는 아래 링크에 잘 설명되어 있어요.

https://www.elastic.co/kr/products/kibana

시각화 도구도 제공해주고 개발자 도구도 제공해 준답니다.

개발자 도구 완전 중요하죠! 콘솔에서 날리는것보다 훨씬 편하겠네요!~

자 그럼 설치는 어떻게 할까요?

https://www.elastic.co/kr/downloads/kibana

각 OS에 맞는 설치방법이 다양하게 존재 합니다만...

저는 DEB 64-BIT 라고 써있는걸 받아서 할예정이에요.

관련 문서는 

https://www.elastic.co/guide/en/kibana/current/deb.html

> wget https://artifacts.elastic.co/downloads/kibana/kibana-7.0.0-amd64.deb
> sudo dpkg -i kibana-7.0.0-amd64.deb
Selecting previously unselected package kibana.
(데이터베이스 읽는중 ...현재 61637개의 파일과 디렉터리가 설치되어 있습니다.)
Preparing to unpack kibana-7.0.0-amd64.deb ...
Unpacking kibana (7.0.0) ...
kibana (7.0.0) 설정하는 중입니다 ...
Processing triggers for ureadahead (0.100.0-16) ...

요렇게 하면 일단 설치는 완료!

간략하게 필요한 설정부분을 확인해볼게요!

kibana.yml이 설정파일 인듯 합니다.

파일을 열어보니 113줄로 되어있는데요. 활성화된 줄은 하나도 없고 전부 주석 처리 되어 있네요.

여기서 잠깐 간략 설치 과정 살펴 볼게요.

다른 설정은 몰라도 ES주소는 꼭 입력해야하나보군요!

해당 내용은 28번째 줄에 위치하고 있는데요. 저는 같은서버에 설치하는거라서 주석만 풀어주면 될거 같아요.

그리고 추가적으로 ES와 마찬가지로 외부접속이 가능하려면 host에 대한 내용도 수정해야해요.

위 내용도 마찬가지로 주석을 풀고 "0.0.0.0"으로 해주면 되겠죠?

기타 다른 설정에 대한 내용들은 아래 링크를 참고 하세요!

https://www.elastic.co/guide/en/kibana/current/settings.html

자 그럼 실행 해볼게요

> service kibana start
kibana started

짝짝짝! 실행완료!

키바나 실행관련 로그는 /var/log/kibana 에서 확인 가능해요.

tail -fn 100 /var/log/kibana/kibana.stdout

웹사이트를 돌아다니다보면 ㄱㄴㄷㄹ...순서로

뭔가를 필터 하는 기능이 가끔 있어요.

자음 ㄱ으로 시작하는 것에 대해서 나타내려면 어떻게 해야하지...고민을 하긴 개뿔 검색을 해보았죠.

내가 고민하고 생각하는건 이미 다 누군가가 만들어 놨을 테니까!!

그러다가 이 글을 보았어요.

https://blog.naver.com/PostView.nhn?blogId=tmondev&logNo=220918935030

와~ 너무 고마운거 있죠?

그리고 글 시작 부분에 아래와 같은 글도 있더라고요~. 넘흐 조하

(다 읽어보니 너무 유익해요! 저 같은 ES허접은 짱짱 유익해요!)

(1) 어떠한 검색어도 의미있는 추천을 
(2) 핫딜 검색순위 조절하기

[출처] ES플러그인 커스터마이징 (3)ㅎㅇㅇㅎ검색 대응하기|작성자 개발몬스터

결정적으로 초성검색이 가능한 플러그인을 만드는건데...

저는 초성검색이 가능하면 좋겠지만! 일단은 시작글자 초성기반 필터링을 목적으로 하는거라서요 ㅎㅎ(허접해)

그래서 고심끝에 아주 쉬운 방법으로 접근을...ㅎㅎ

목적 단어에서 시작 글자 초성을 뽑아내서 저장해서 걔로 필터링을 하면 되겠지 하고 생각을 했죠. 므흣.

import java.util.ArrayList;
import java.util.List;

public class ChosungTest {
	// 한글 소리 마디의 Unicode 시작 지점 (가)
	static char UNICODE_SYLLABLES_START_CODEPOINT = 0xAC00;
	
	// 한글의 Unicode 총 글자 수
	static int COUNT_IN_UNICODE = 11172;
	
	// 한글 중성의 Unicode 총 글자 수
	static int COUNT_JUNGSUNG_IN_UNICODE = 21;
	
	// 한글 종성의 Unicode 총 글자 수
	static int COUNT_JONGSUNG_IN_UNICODE = 28;
	
	// 한글 자모 분해의 계산 기본 값 (중성 글자 수 * 종성 글자 수)
	static int JAMO_SPLIT_VALUE = COUNT_JUNGSUNG_IN_UNICODE * COUNT_JONGSUNG_IN_UNICODE;

	protected final static char[] COMPATIBILITY_CHOSUNGs = {  
				            0x3131, 0x3132, 0x3134, 0x3137, 0x3138,     // ㄱ, ㄲ, ㄴ, ㄷ, ㄸ  
				            0x3139, 0x3141, 0x3142, 0x3143, 0x3145,     // ㄹ, ㅁ, ㅂ, ㅃ, ㅅ  
				            0x3146, 0x3147, 0x3148, 0x3149, 0x314A,     // ㅆ, ㅇ, ㅈ, ㅉ, ㅊ  
				            0x314B, 0x314C, 0x314D, 0x314E              // ㅋ, ㅌ, ㅍ, ㅎ  
				    };  
	
	public static char parse(String token) {
		char rtn = ' ';
		
		if(null == token) {
			return rtn;
		}
		
		token = token.trim();
		
		for (int i = 0, length = token.length(); i < length; i++) {
			char ch = token.charAt(i);
			
			// 이게 뭐하는거지 하고 보니까 한글 범위에 대한 값을 찾는 역할 이더라고요. 결과가 0~11172 사이의 값이 나오면 한글인거죠!
			char expectedKorean = (char) (ch - UNICODE_SYLLABLES_START_CODEPOINT);

			System.out.println(ch);
			System.out.println(expectedKorean);
			
			if (expectedKorean >= 0 && expectedKorean <= COUNT_IN_UNICODE) {  
				System.out.println("한글");
				
				int chosung = expectedKorean / JAMO_SPLIT_VALUE;
				
				System.out.println(COMPATIBILITY_CHOSUNGs[chosung]); 
				
				rtn = COMPATIBILITY_CHOSUNGs[chosung];
				break;
			}else {
				System.out.println("노한글");
				rtn = ch;
				break;
			}
		}
		return rtn;
	}
	
	public static void main(String[] args) {
		List<Character> ls = new ArrayList<>();
		
		ls.add(parse("한국"));
		ls.add(parse("korean"));
		ls.add(parse("韓國"));
		ls.add(parse("케이리그"));
		ls.add(parse("k리그"));
		ls.add(parse(""));
		
		System.out.println(ls);
        // 결과 : [ㅎ, k, 韓, ㅋ, k,  ]
	}

}

중간 중간 값이 궁금해서 출력문을 넣었어요.

그리고 ...중요한건 초성 분리 공식부분인데..

static int JAMO_SPLIT_VALUE = COUNT_JUNGSUNG_IN_UNICODE * COUNT_JONGSUNG_IN_UNICODE;
...
int chosung = expectedKorean / JAMO_SPLIT_VALUE;

이게 뭐하는거지~ 하고 잘 이해가 안갔어요.

그래서 글을 좀 찾아보았죠.

http://dream.ahboom.net/entry/%ED%95%9C%EA%B8%80-%EC%9C%A0%EB%8B%88%EC%BD%94%EB%93%9C-%EC%9E%90%EC%86%8C-%EB%B6%84%EB%A6%AC-%EB%B0%A9%EB%B2%95

이게 분리하는거부터 보면 이해가 어렵지만 위 포스팅 글 내용처럼 합치는걸 먼저 보니 아하! 하고 이해가 가더라고요!

대강 어떤 느낌인지 알았으니까 된거겠죠?

결과적으로 이렇게 나온 초성 첫글자 데이터를 저장해서 필터로 사용하면 문제가 안 될거 같아요!

굳이 뭐 ES가 아니어도 상관없는건데...검색기능도 만들어서 나중에 붙이려고 이렇게 하고 있네요.

그때는 위 링크들을 바탕으로 플러그인 만들어서 사용해야지~

도움주신분들 너무 감사합니다!

# ES 7은 프로덕션모드로 실행하기 위해서 discovery.seed_hosts와 cluster.initial_master_nodes를 지정해야해요.

오래된 글이긴한데, 검색을 하다 보았어요.

https://www.elastic.co/kr/blog/nori-the-official-elasticsearch-plugin-for-korean-language-analysis

왜 썸네일이 김이지...(베이비복스 팬인가...하하하)

관련된 다른 글들을 찾아보니, 일본어 형태소 분석기 엔진에 MeCab 사전을 바탕으로 만들었다고...

일단 ES 최신버전을 받아서 설치를 해봐야지

> wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.1.tar.gz
> tar -xvf elasticsearch-6.7.1.tar.gz
> chown -R search:search elasticsearch-6.7.1
> bin/elasticsearch-plugin install analysis-nori

너무 간단해...

추억의 아버지가방에들어갔다 테스트

> curl -X POST http://127.0.0.1:9200/_analyze?pretty -H 'Content-Type: application/json' -d '{
>  "analyzer":"nori",
>  "text":"아버지가방에들어갔다"
> }'
{
  "tokens" : [
    {
      "token" : "아버지",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "가방",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "들어가",
      "start_offset" : 6,
      "end_offset" : 9,
      "type" : "word",
      "position" : 3
    }
  ]
}


> curl -X POST http://127.0.0.1:9200/_analyze?pretty -H 'Content-Type: application/json' -d '{
>  "analyzer":"nori",
>  "text":"아버지가 방에 들어갔다"
> }'
{
  "tokens" : [
    {
      "token" : "아버지",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "방",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "들어가",
      "start_offset" : 8,
      "end_offset" : 11,
      "type" : "word",
      "position" : 4
    }
  ]
}

아버지가 방에 들어간건지 가방에 들어간건지..ㅎㅎ

한글은 띄어쓰기에 따라 뜻이 달라질수 있으니, 요래 복잡한가 봐요.

어쨋든 공식 플러그인 이다 보니, 설치가 너무 간편하네요.

개발모드와 운영모드에 대한건 뭐 동일할테고, 

인덱스 생성시 사용자 단어 사전 추가하는건 다른 분들의 글을 찾아보세요.