SO DATA

• 검색 시 동의어가 사용되는 이유 및 방법
• 아파치 루씬
• 순방향 신경망의 기초
• word2vec 알고리즘 사용
• word2vec 사용해 동의어 생성

동의어(synonyms): 정보 검색 시 쿼리에 따른 관련 결과 개수 늘리는데 사용하는 일반적인 기법

2.1 동의어 확장

동의어 확장(synonym expansion): 같은 정보 여러 가지 방법으로 표현할 수 있도록 하는 기술

2.1.1 왜 동의어인가?

동의어(synonyms): 철자와 발음은 다르지만 의미가 같거나 아주 비슷한 단어 (ex. aircraft(항공기)와 airplane(비행기)는 모두 'plane'이라는 단어의 동의어)

• 적절한 쿼리가 일치할 확률을 높임 -> 너무 적거나 아무런 결과도 나오지 않게 하는 쿼리 수 줄어듦
• 재현율 개선(recall) - 관련성 높음
• 색인화 시 동의어 확장하면 색인화 속도가 느려지고 색인디 더 커지지만 검색 속도는 빨라짐
  • 크기와 부하가 증가함에 따라 시스템의 성능에 현저한 영향 미침

2.1.2 어휘 기반 동의어 일치

ex. music is my aeroplane

1. 토크나이저가 토큰 생성(화이트 스페이스 기준) ('music', 'is', 'my', 'aeroplane')
2. 토큰 필터 사용해 수신된 각 토큰의 동의어 어휘를 살펴보고 키워드 있는지 확인

   • 용어	문서(위치)
     aeroplane	1(12, 17)
     aircraft	1(12, 17)
     airplane	1(12, 17)
     is	1(6, 8)
     music	1(0. 5)
     my	1(9, 11)
     plane	1(12, 17)

     • 특정 문서에서 해당 용어가 출현하는 위치에 대한 정보 기록
     • 'plane', 'airplane', 'aircraft'용어가 원래 용어인 'aeroplane'에 첨부된 정보와 동일한 위치로 색인 추가됨
     • 용어의 위치(position)를 역색인에 기록  - music is my aeroplane/aircraft/airplane/plane
       • music is my aeroplane
       • music is my aircraft
       • music is my airplane
       • music is my plane
         • 네 가지 다른 형태(form). 이 중 하나라도 일치하면 오직 하나의 문서만을 검색 엔진이 반환

아파치 루씬: 자바로 작성된 오픈 소스 검색 라이브러리

•  Document(문서): 색인화하고 검색할 수 있는 주요 실체. 사용 사례에 따라 페이지, 책, 단락 이미지 등
  • 다른 부분을 파악하는 데 사용할 수 있는 다수의 Field들로 구성(페이지 제목, 페이지 내용 등)
    • 필드별 텍스트 분석 파이프라인 구성 가능
    • 용어 위치 또는 각 용어가 참조하는 원본 텍스트의 값을 게시 목록에 저장할지 등의 색인화 옵션 구성 가능
•  Directory 통해 접근- 역색인이 유지되는 파일 목록 (역색인 저장)
• IndexReader: 검색 엔진의 대상 경로에서 디렉토리 열기
• IndexSearcher: 검색 및 결과 수집
• Analyzer: 텍스트 분석 작업 수행하는 API. Tokenizer 및 TokenFilter 컴포넌트로 구성 가능
• IndexWriter: IndexWriterConfig에 따라 역색인을 디렉토리의 디스크에 기록

동의어 확장을 통해 루씬 색인 설정

1. 색인 시간 및 찾기 시간에 텍스트 분석에 사용할 알고리즘 정의
   • 모두 동일한 토크나이저 사용하는 것이 대체로 더 좋으므로 텍스트는 동일한 알고리즘에 따라 분할
2. 설정
   • 화이트스페이스 토크나이저(whitespace tokenizer, 화이트스페이스 문자 마주쳤을 때 토큰 분할) 토크나이저 사용하는 찾기 시간 Analyzer
   • 화이트스페이스 토크나이저 및 동의어 필터를 사용하는 색인 시간 Analyzer
     • 쿼리 시간과 색인 시간 모두에 동의어 확장이 필요하지 않음

검색 엔진에서 대부분의 경우 가벼운 문서 구조를 유지하는 것이 좋음

• 각 속성(author, title, year, album, text)에 대한 필드 정의 가능
• 서로 다른 부분에 다른 Analyzer 사용해 보고, 데이터의 말뭉치에 대한 최적의 조합 찾기 전 여러번 변경이 일반적
• 시간이 지남에 따라 조정 필요

동의어 파일 작성 - 파일 변경되어도 코드 변경할 필요 없이 그대로 유지 가능 및 언제든 필요할 때 파일 갱신 가능

• WordNet프로젝트: 프린스턴 대학교의 영어 어휘 데이터페이스. 대규모 동의어 어휘집 이용 가능
  • 모든 언어에 사용 불가
  • 외연(denotation, 즉 외적 형식 또는 겉으로 드러난 의미)을 기반으로 하였기 때문에 단어가 문맥에 따라 정의되는 내포(connotation, 즉 내적 의미 및 함축된 의미)가 고려되지 않음 -> word2Vec 유용

2.2 맥락의 중요성

동의어 매핑(mapping, 즉 대응)의 한계: 정적이며, 색인화된 데이터에 구속되지 않음

• 단어 자체와 동시에 출현하는 인접 단어의 패턴 분석해 최근접 이웃(nearest neighbor) 추출
  • 문법적 관점에서 동의어가 아니더라도 동의어로 간주
• 분포 가설(distributional hypothesis): 같은 맥락에서 사용되고 발생하는 단어들이 유사한 의미를 갖는 경향이 있다는 생각이며, 텍스트 표현을 위한 많은 딥러닝 알고리즘의 기초가 됨
  • ex. 도시 이름은 'in' 이라는 단어 근처나 'live', 'visit' 등과 같은 동사에서 멀리 떨어지지 않고 사용됨
  • 데이터로부터 동의어 생성 가능

2.3 순방향 신경망

순방향 신경망(feed-forward neural network, 또는 전방전달 신경망, 피드 포워드 신경망)

• 정보가 입력 계층에서 은닉 계층으로 전달, 마지막으로 출력 계층으로 전달되며 루프 구조가 없어 뉴런 간에 순환 고리 형성되지 않음

뉴런: 망의 근분적인 구성 요소

• 어떤 계층에 속함
• 들어오는 가중치에 맞춰 입력 처리
• 활성 함수에 따라 출력 전파

• 두 번째 층의 뉴런으로 들어오는 모든 가중치를 0.3으로 설정하고 첫 번째 계층으로부터 0.4, 0.5, 0.6 입력치 받는다고 가정
• 각 가중치에 그 입력을 곱함 -> 0.3 * 0.4 + 0.3 * 0.5 + 0.3 * 0.6 = 0.45
• 활성 함수는 이 중간 결과에 적용된 후 뉴런의 나가는 연결선에 전파. 일반적으로 쓰이는 활성함수로 탄젠트(tanh), 시그모이드(sigmoid) 및 정류 선형 장치(ReLU)가 있음
• tanh함수 사용할 경우 tanh(0.45) = 0.4218990053 이므로, 세 번째 계츠의 뉴런은 유일한 수신 연결선을 통해 이 숫자를 수신해 자신의 입력치로 사용하여 똑같은 단계 수행

역전파: 신호가 신경망 내에서 순방향으로 전달된 뒤 다시 출력 계층에서 입력 계층으로 역방향으로 흐르게 함

• 입력치가 순방향 방식으로 출력 계층에 전달되면 출력 계층에서는 이 값을 활성 함수를 거치며 변형하는데, 이렇게 변형된 최종 출력치는 기대 출력치와 비교됨
• 비용 함수(cost function): 특정 사례에서 망이 얼마 잘못되었는지 나타내는 측도(measure)
• 오차는 출력 뉴런으로 들어오는 연결선을 통해 은닉 계층의 해당 유닛에 역방향으로 전달
• 유닛은 갱신 알고리즘(update algorithm)에 따라 가중치를 갱신하며, 이 가중치의 역방향 갱신은 입력 계층에 연결된 연결선이 나타내는 가중치까지 조정되어야 끝남
  • 각 가중치는 오차가 생기게 하는 원인 중 하나이므로, 역전파라는 과정을 통해 가중치 조정 시 입력과 출력으로 이뤄진 상이 만들어내는 오차 줄일 수 있음

2.4 word2vec 사용

word2vec: 텍스트의 한 부분을 가져다가 텍스트의 각 단어를 하나씩 일련의 벡터로 출력

• 출력 벡터가 2차원 그래프에 표시될 때, 서로 의미가 매우 유사한 단어 벡터가 매우 가깝게 놓이게 됨
• 단어의 동의어 찾기 가능

word2vec 같은 알고리즘에 의해 생성된 단어 벡터는 정적이고(static) 이산적이며(discrete), 고차원적인(high dimensional) 단어 표현을 차원이 더 낮으면서도 미분 가능한(연속적인) 벡터 공간에 사상(mapping)하기 때문에 단어 매장(word embedding)이라고 하는 경우가 많음

ex. i like pleasure spiked with pain and music is my aeroplane

• 텍스트를 word2vec에 입력할 시 각 단어에 대한 벡터 생성(주성분 분석, t-SNE와 같은 차원성 축소 알고리즘 사용해 2차원 출력)
• 각 벡터 사이의 거리 측정하기 위해 코사인 유도 사용 시 결과 중 일부는 좋고, 일부는 좋지 않음
  • music -> song, view
  • looking -> view, better
  • in -> the, like
  • sitting -> turning, could
    
    • 생성된 단어 벡터의 차원(2개 차원) 수가 너무 낮은 것으로 보임
    • 더 많은 예문 필요
• 더 많은 데이터셋 사용해 word2vec 모델 다시 만들 시
  • music -> song, sing
  • view -> visions, gaze
  • sitting -> hanging, lying
  • in -> with, into
  • looking -> lookin, lustin

검색 엔진이 자신이 취급하는 데이터에서 동의어를 생성하는 방법을 학습할 수 있기 때문에 최신 정보를 유지하기 위한 사전이나 어휘가 필요하지 않을 수 있음

word2vec의 단어 표현 학습 - 연속 단어 주머니(CBOW)와 연속 스킵그램(continuous skip-gram) 사용

• 신경망에 일정한 크기의 조각으로 쪼개지는 텍스트 한 조각이 주어지며, 모든 단편은 표적 단어(target word 또는 대상어, 목표 단어)와 문맥(context)로 구성된 쌍으로 망에 공급
  • 훈련 중 각 조각의 일부를 표적 단어로 사용하며, 나머지는 문맥으로 사용
  • 연속 단어 주머니 모델에서는 표적 단어를 망의 출력물로, 텍스트 조각(문맥)의 나머지 단어를 입력으로 사용
  • 연속 스킵그램 모델에서는 표적 단어는 입력으로, 문맥 단어는 출력으로 사용
  • 스킵그램이 자주 사용하지 않는 단어에서 약간 더 잘 작동하는 경우가 흔하므로 더 선호됨
  • ex. she keeps moet et chandon in her pretty cabinet let them eat cake she says (창: 5)
    • | she | keeps | moet | et | chandon | 5개의 텍스트 조각 표본
    • 입력: | she | keeps | et | chandon |
    • 출력: moet
• 망의 은닉 계층에는 각 단어에 대한 일련의 가중치가 들어가며, 이 벡터들은 학습이 끝날 때 단어 표현으로 사용됨
• 훈련 단계가 끝날 때 은닉 계층의 내부 상태 추출해 각 단어를 정확히 하나의 벡터 표현으로 산출
• 각 단어를 원핫인코딩 벡터로 표현
• 단어 주머니 모델
  • 
    • 입력 계층은 CxV의 차원성을 가지며, 여기서 C는 문맥의 길이(window 파라미터 1에 대응), V는 어휘의 크기
    • 은닉 계층에는 사용자가 정의한 N의 차원성 존재
    • 출력 계층은 V와 같은 차원성 가짐
  • 입력 단어의 원핫인코딩 벡터를 먼저 입력-은닉 사이에 있는 가중치들에 곱해 망을 통해 전파
  • 출력은 은닉-출력 가중치와 결합(다중)되어 출력 생성되며, 이 출력은 소프트맥스 함수 통과
  • 소프트맥스는 임의의 실제 값 k차원 벡터(출력 벡터)를 1까지 더하는 범위(0,1)의 k차원 벡터에 '스쿼시(squash)'하여 확률 분포 나타낼 수 있도록 함
  • 문맥(망 입력) 감안해 각 출력 단어가 선택될 확률 알려줌
  • 이 신경망의 가장 중요한 부분은 맥락에서 주어진 단어들을 예측하는 것이 아닌, 두 단어가 의미적으로 비슷한 경우를 결정할 수 있도록 은닉 계층의 가중치가 조정됨
• 스킵그램 모델
  • 
    
    • 입력 벡터는 원핫인코딩(각 단어마다 하나씩)되어 있으므로 입력 계층에는 입력 텍스트의 단어 수와 같은 수의 뉴런 존재
    • 은닉 계층은 원하는 결과 단어 벡터의 차원성을 가짐
    • 출력 계층은 window - 1에 단어 수를 곱한 숫자의 뉴런 가지고 있음
    • ex. she keeps moet et chandon in her pretty cabinet let htem eat cake she says
      • 입력: moet
      • 출력: | she | keeps | et | chandon |

2.4.1 Deeplearning4j에 word2vec 끼워쓰기

DL4J(Deeplearning4j): 자바 가상 머신을 위한 딥러닝 라이브러리

• 스킵그램 모델을 기반으로 word2vec 바로 구현 가능

2.4.2 Word2vec 기반 동의어 확장

WordNet 사용 시 제한된 동의어 집합을 가지고 있기 때문에 색인 부풀리기 불가

word2vec을 책임감 있게 사용하기 위한 전략

• 최근접 단어를 얻기 위해 투입할 단어의 종류 제한 (ex. PoS(품사)가 NC(보통명사) 또는 VERB(동사)인 단어에 대해서만 사용)
• 문서가 얼마나 유익한지 살펴보는 것 (ex. 긴 문서보다 짧은 문서들에 초점을 맞추면서 이 문서들의 동의어를 확장)
• 용어 가중치를 보고 낮은 가중치를 생략
• 유사도가 좋은 경우에만 word2vec 결과 사용

• word2vec을 기반 동의어 확장 과정
• 학습된 word2vec 모델을 사용해 필터링 중 용어 동의어를 예측할 수 있는 동의어 필터 생성 가능

2.5 평가 및 비교

쿼리 확장의 도입 전후에 정밀도, 재현율, 결과 0의 쿼리 등을 포함한 계량(metrics) 포착 가능하며, 신경망의 모든 파라미터를 최선의 구성 집합이 되게 정하는 것도 좋은 방법

교차 검증(cross validation): 머신러닝 모델이 훈련용 데이터와 훈련용이 아닌 데이터를 구분함으로써 훈련을 아주 잘 하게 하는 동시에 파라미터를 최적화 하는 방법

• 훈련 집합: 모델 훈련하는 데 쓸 데이터의 출처로 사용
• 교차 검증 집합: 가장 성능이 좋은 파라미터를 가진 모델을 선택하는데 사용
• 테스트 집합: 교차 검증 집합과 동일한 방식으로 사용되나, 교차 검증 집합에서 테스트를 통해 선택된 모델에서만 사용되는 것 제외

2.6 프로덕션 시스템에 대해 고려할 사항

대부분의 기존 프로덕션 시스템은 이미 많은 색인화된 문서를 포함하고 있으며, 그러한 경우 색인화되기 전 존재했던 원래의 데이터에 접근하는 것이 때때로 불가능

시간이 지나 데이터셋이 변할 경우 별도의 저장소에 이전 사본을 보관하지 않으면 나중에 모든 색인된 문서에 대해 word2vec 모델 작성 불가능

-> 검색 엔진을 주요 데이터 소스로 사용해 해결

2.6.1 동의어 대 반의어

보통 텍스트에 'hate', 'love'가 비슷한 맥락에서 나타나지만, 적절한 동의어가 아니라는 것을 말해 줄 충분한 정보가 있음

단어 벡터 간의 유사도는 충분히 비슷하지 않은 최근접 이웃을 배제하는데 도움

• 유사도의 절대값(ex. 0.6)을 기준으로 필터링

요약

• 동의어 확장 시 재현율이 개선되므로 검색 엔진 사용자를 더 행복하게 하는 기법이 될 수 있음
• 일반적인 동의어 확장 기법 적용 시 사용되는 데이터와 별 관계없는 정적인 사전이나 어휘집을 사용하게되고, 이로 인해 이러한 사전이나 어휘집을 일일이 수작업으로 정비 필요
• 순방향 신경망은 많은 신경망 아키텍처의 기초. 정보는 입력 계층에서 출력 계층으로 흐르며, 이 두 계층 사이에 하나 이상의 은닉 계층 있을 수 있음
• word2vec은 유사한 의미의 단어를 찾거나 유사한 문맥에 나타나는 단어를 찾기 위해 사용할 수 있는 단어들에 대한 벡터 표현을 학습하는 순방향 신경망 기반 알고리즘. 따라서 이 단어를 동의어 확장에도 사용하는 것이 합리적

• 검색에 관한 기초 내용
• 검색 시에 당면할 수 있는 중요 문제
• 신경망이 검색 엔진에 더 효과적일 수 있는 이유

이 책은 딥러닝(deep learning, DL)이라는 머신러닝의 하위 분야 기법을 이용해 검색 엔진의 동작에 영향을 줄 수 있는 모델과 알고리즘을 더 효과적으로 구축하는 데 필요한 내용을 담고 있다.

딥러닝 알고리즘이 로비가 하는 일을 담당하게 하면 검색 엔진은 더 나은 검색 엔진을 제공할 수 있을 테고, 따라서 최종 사용자에게 더 정확한 답을 제공할 수 있을 것이다.

인공지능 > 머신러닝 > 딥러닝

1.1 신경망과 딥러닝

딥러닝이란 머신러닝의 한 분야이며, 심층 신경망을 이용해 컴퓨터가 사물을 점진적으로 표현하고 인식할 수 있도록 머신이 학습할 수 있는 분야.

인공신경망(artificial neural network): 뇌의 신경세포가 그래프 꼴로 조직되는 방식에서 영감을 얻어 만든 연산 패러다임

• 입력 계층(input layer, 또는 입력층): 입력 내용을 받아들이는 첫번째 계층
• 은닉 계층(hidden layer, 또는 은닉층): 입력 - 출력 사이의 계층
• 출력 계층(output layer, 또는 출력층): 마지막 계층으로서 신경망의 결과 출력

1.2 머신러닝이란?

이전까지 쌓아온 경험(이전에 관측한 내용과, 이러한 관측치로부터 알고리즘이 추정해야 할 내용이 서로 쌍을 이룬 형태)을 바탕으로 최적해를 학습해 낼 수 있는 알고리즘을 기반으로 문제를 해결하는 자동화된 접근법

딥러닝은 머신러닝을 수행하는 방법 중 한 가지에 불과하며, 심층 신경망을 사용한다는 점이 여타 머신러닝 알고리즘과 다름

머신 러닝

지도학습(supervised learning, 또는 감독학습): 각 입력에 따른 적합한 출력을 지정

• 훈련 단계(training phase) 동안 머신러닝 알고리즘은 훈련 집합을 쪽쪽 씹으며 입력 텍스트를 출력 범주에 대응(map)시키는 일과 같은 방식을 배움
• 훈련 단계를 마치면 머신러닝 모델(machine learning model, 또는 기계학습 모델)을 사용해 일을 마무리하며, 출력 예측 시 활용

비지도학습(unsupervised learning, 또는 자율학습)

• 예상되는 출력에 대한 정보가 없는 데이터를 가지고도 학습 단계(learning phase)에서 패턴과 데이터 표현을 추출

1.3 검색 시에 딥러닝으로 할 수 있는 일

딥러닝 알고리즘을 적용한 검색엔진의 이점

• 최종 사용자에게 연관도가 더 높은 결과 제공
• 텍스트를 검색할 때와 같은 방법으로 이진 형식으로 된 내용 검색 가능(이미지 검색)
• 검색 내용에 쓰인 언어와 다른 언어를 사용하는 사용자에게도 내용 제공
• 데이터를 더 정교하게 처리

1.5 유용한 정보 꺼내기

검색 엔진이란?

• 사람들이 정보를 끄집어 내는 데 사용할 수 있는 시스템. '데이터'를 '정보'로 만들어 제공하는 역할
• 수직 검색 엔진(vertical search engine): 특정한 문서 형식이나 특정 주제에 특화 (ex. 구글 스칼라)

검색 엔진의 역할

• 색인화(indexing): 데이터를 효율적으로 수집하고 저장해 둠으로써 빠르게 검색
• 쿼리 처리(querying, 즉 질의처리): 최종 사용자가 정보를 찾아볼 수 있게 검색 기능 제공
• 순위지정(ranking): 사용자의 정보 요구를 가장 잘 충족하기 위해 특정 지표에 맞춰 순위 지정해 결과 표시

1.5.1 텍스트, 토큰, 용어, 검색에 관한 기초 지식

텍스트 분석(text analysis): 용어(term)라고 부르는 텍스트 조각을 추출하고 저장 (텍스트를 그 구성 요소인 단어별로 분해)

용어(terms): 텍스트 분석 알고리즘에 의해 생성된 최종 단위(단어 외 문장 그룹이나 단어의 일부일 수 있음). 검색 엔진이 데이터를 저장해 결과적으로 데이터를 검색하기 위해 사용하는 기본 단위

키워드 검색(keyword search): 사용자가 단어 세트를 입력하면 검색 엔진이 단어의 일부 또는 모든 용어를 포함하는 문서 모두 반환

쿼리(query, 질의 또는 질의어): 사용자가 무언가를 검색하기 위해 입력하는 텍스트

검색 단계를 빨리 계산할 수 있는 방법?

역색인(inverted indexes, 또는 역인덱스): 용어가 원래 들어 있던 텍스트에 용어를 매핑하는 데이터 구조 (책의 뒤편에 나오는 색인 구조와 같음)

텍스트 분석 파이프라인 구성의 두가지 유형 빌딩 블록

• 토크나이저(tokenizer, 즉 토큰화기 또는 토큰 생성 함수): 텍스트의 스트림을 단어나 구 또는 기호나 토큰(token)이라고 부르는 그 밖의 단위에 맞춰 분할하는 컴포넌트
  • ex. 화이트스페이스(whitespace) 문자를 만날 때마다 토큰 분할
• 토큰 필터(token filter): 토큰 스트림을 받아들여 새 토큰으로 수정, 삭제하거나 추가할 수 있는 컴포넌트
  • ex. 불용어 목록(stopword list, '정지어 목록', '사용하지 않을 블룩)이라는 일종의 블랙리스트에 일치하는 토큰 제거

색인화(indexing, 인덱싱): 텍스트의 스트림을 분석한 결과로 나온 용어들을 검색 엔진에 저장하는 전체 과정

문서(document): 색인화할 텍스트 조각

색인화 예제

• 'the brown fox jumped over the lazy dog' (문서 1)
• 'a quick brown fox jumps over the lazy dog' (문서 2)
• 역색인 표

  • 용어	문서 식별부호
    brown	1, 2
    fox	1, 2
    jumped	1
    over	1, 2
    lazy	1, 2
    dog	1, 2
    quick	2
    jumps	1

    • 불용어 기반의 토큰 필터로 인해 'the' 용어 항목 없음
    • 첫번째 열의 용어 사전과 각 행의 각 용어와 관련된 게시 목록(posting list), 즉 문서 식별자 집합 찾기 가능
    • 역색인을 사용해 특정 용어가 포함된 문서 아주 빠르게 검색 가능
      • ex. 'quick' 용어 검색 시 'quick'이라는 용어에 해당하는 게시 목록 살펴서 문서 2 반환
    • 실무에서는 문서의 서로 다른 부분들에 대한 색인들을 동일한 검색 엔진에서 모두 처리할 수 있게 역색인을 중복해서 갖춰둠

검색(retrieval)

쿼리 파서(query parser, 쿼리 구문분석기): 사용자가 입력한 검색 쿼리 텍스트를 검색 엔진이 찾아야 할 용어와 역색인에서 일치 항목을 찾을 때 사용하는 방법을 나타내는 일련의 절(clause)로 변환

• ex. 'deep + learning for search' 쿼리 예제에서 기호 +와 '를 이해하는 역할 (deep, learning 반드시 포함)
• 지능형 쿼리 파서의 경우 단어의 의미를 반영하는 절들 생성 가능

색인 시간 텍스트 분석(index-time text analysis): 색인화 하는 동안 텍스트 분석 파이프라인은 입력 텍스트를 색인에 저장할 용어로 분할

찾기 시간 텍스트 분석(search0time text analysis): 쿼리가 검색을 하는 동안 쿼리 문자열을 용어별로 분리하기 위해 텍스트 분석 적용

역색인

• 시스템이 텍스트 분석(토큰화 및 필터링)을 통해 사용자가 쿼리 시간에 입력할 것으로 예상되는 용어에 맞춰 텍스트를 분류함으로써 역색인이라고 부르는 데이터 구조에 배치하는 기술
• 저장 공간 측면 - 효율적으로 색인 작업 가능
• 검색 소요 시간 측면 -효율적으로 검색 가능

1.5.2 연관도 우선

연관도: 문서가 특정 검색 쿼리와 관련해 얼마나 중요한지 측정하는 기준

• 검색 모델(retrieval model)은 연관도의 개념을 가능한 한 정확하게 포착해야 함
• 연관도가 높은 결과일수록 검색 결과의 순위지정(rank) 점수 높음

1.5.3 고전적인 검색 모델

벡터 공간 모델(vector space mode., VSM)

• 각 문서와 쿼리는 벡터로 표현되며 문서 벡터와 쿼리 벡터가 가까울 수록 유사
• 가중치(weights): 검색 엔진의 나머지 문서와 관련해 해당 용어가 문서/쿼리에서 얼마나 중요한지를 나타내는 실제 수
• 용어빈도-역문서빈도(term frequency-inverse document frequency, TF-IDF, 또는 용어빈도/역문헌빈도)
  • 단일 문서에 용어가 자주 나타날수록(TF 클수록) 중요
  • 모든 문서에 걸쳐 어떤 용어가 흔하게 나타날수록(IDF 클수록) 중요성 떨어짐

Okapid BM25: 확률론적 모델. 문서가 특정 쿼리와 연관될 확률을 추정해 검색 결과 순위로 매김

1.5.4 정밀도와 재현율

정밀도(precision): 검색된 문서들 중 연관성이 있는 문서들의 비율을 분수로 나타냄

• 정밀도 높을수록 사용자는 검색 결과 목록의 맨 위에서 원하는 결과 대부분 찾을 수 있음

재현율(recall): 연관성이 있는 문서들 중 검색된 문서들의 비율을 분수로 나타낸 것

• 재현율 높을수록 검색 결과에서 모든 관련 결과 찾을 수 있지만, 관련 결과라고 해서 다 상위 차지는 못할 수 있음(랭킹 낮을 수 있음)

검색 엔진의 효과 측정 옵션: 공개된 데이터셋 사용

1.6 미해결 문제들

 필요한 모든 정보를 다 얻으려면 몇 번에 걸쳐 묻고 응답하는 과정이 반복될 수 있음

• 심층 신경망을 사용해 더 쉽게 사용 가능하고 더 발전한 검색 엔진을 만들고자 할 때 이러한 문제들 인식 필요

1.7 검색 엔진 블랙박스 열기

효과적인 검색 쿼리를 만들 때 중요한 문제 - 어떤 쿼리 언어를 사용하는가.

쿼리 언어에 따라 검색 결과가 많이 달라질 수 있으며, 실무에서 검색 결과의 순위를 수동으로 조정하는 것은 거의 불가능

• 딥러닝으로 그러한 문제를 해결하거나 최소한 완화시키는데 어떻게 도움이 될 수 있을까

1.8 구조의 손길을 펼치는 딥러닝

딥러닝: 심층 신경망을 사용해 일반적으로 텍스트나 이미지 또는 데이터의 깊은 표현을 배우는 데 초점을 맞춘, 머신 러닝의 하위 영역

• 적어도 두 개의 은닉 계층을 가지고 있을 때 심층(deep) 신경망으로 간주
• 심층 신경망은 특히 고도로 합성된 데이터(작지만 비슷한 성분들이 큰 물체 형성 시)에 사용할 때 큰 도움이 되며, 이미지와 텍스트가 이 경우에 해당

텍스트 문서 집함 내에서 단어 표현을 학습하기 위해 신경망 알고리즘 사용 시, 밀접하게 관련된 단어들은 벡터 공간에서 서로 인접

• word2vec신경망 알고리즘 사용해 단어 벡터(word vector) 학습

단어 매장(word embedding, 단어 임베딩)으로도 불리는 단어 벡터나 문서 매장(document embedding, 문서 임베딩)으로도 불리는 문서 벡터에 의존하는 검색 모델이 있으면 좋을 것이므로 이를 위해 최근접 이웃(nearest neighbor) 보며 문서 유사도나 단어 유사도를 효율적으로 계산하고 사용

단어나 문장이나 문서가 나타내는 맥락을 사용해 가장 적절한 표현을 추론함으로써 텍스트에 숨어 있는 의미를 잘 표현 가능하고, 검색엔진의 연관도 높일 수 있음

딥러닝 vs 심층 신경망

딥러닝은 주로 심층 신경망을 이용해 단어, 텍스트, 문서, 이미지의 표현을 배우는 일

심층 신경망: 더 넓게 응용. (ex. 언어 모델링, 기계 번역 등)

1.9 색인아, 뉴런을 만나 주지 않을래?

신경망과 검색 엔진을 통합하는 몇가지 방법

• 훈련 후 색인(train-then-index):
  1. 문서 모음(텍스트, 이미지)을 가지고 망을 훈련
  2. 훈련에 쓴 데이터와 동일한 데이터를 가지고 검색 엔진에서 색인
  3. 검색 시 검색 엔진과 신경망 사용
• 색인 후 훈련(index-then-train): 
  1. 검색 엔진에서 문서 모음 색인화
  2. 색인화된 데이터로 신경망을 훈련(때때로 데이터 변경 시 다시 훈련)
  3. 검색 시 검색 엔진과 신경망 함께 사용
• 훈련으로 색인 추출(train-extact-index):
  1. 문서 모음을 가지고 망을 훈련
  2. 훈련된 망을 사용해 데이터와 색인화될 유용한 자원 함께 생성
  3. 검색 엔진만 있으면 검색 가능

1.10 신경망 훈련

신경망 학습 알고리즘은 기대 출력과 실제 출력간의 차이를 취해 이를 바탕으로 각 계층의 가중치를 조정함으로써 다음 차례에 나올 출력 오차를 줄임

데이터가 충분할 시 오차율을 크게 줄일 수 있으며, 활성 함수는 예측을 수행하는 신경망의 능력과 학습 속도에 영향 미침

역전파 알고리즘: 기대 출력과 실제 출력이 주어지면 알고리즘은 각 뉴런의 오차(error)를 역전파하고 결과적으로 출력에서 입력까지 한 번에 한 계층씩 각 뉴런의 연결부에 대한 내부 상태 조정

정적모델(static model, 또는 정태모형)의 경우 훈련 집합을 갱신하려면 전체 과정을 순서대로 반복해야 하는데, 끊임없이 흘러 들어오는 신규 데이터를 처리해야 하는 검색 엔진과 같은 시스템에는 적절하지 않음

• 신경망에 재훈련이 필요하지 않은 온라인 학습(online learning) 도입?

1.11 신경 검색의 약속들

신경 검색 활용

• 의미를 깊이 파악하는 딥러닝의 능력을 통해 기초 데이터에 잘 적응하는 관련 모델과 순위지정 함수 얻을 수 있음
• 이미지 검색에서 좋은 결과를 주는 이미지 표현 학습 가능
• 의미적으로 유사한 단어나 문장 또는 단락등을 파악하기 위해 딥러닝이 생성한 데이터 표현에 적용 가능
• 텍스트 생성, 번역, 검색 엔진 최적화 등..

검색 시스템에 신경망 활용

• 색인화 시 역색인에 진입하기 전 데이터 보강 위한 신경망 사용
• 검색 쿼리 범위 확대하거나 지정해 더 많은 수의 결과나 정환한 결과 제공하는 일에 신경망 사용
• 사용자가 검색 쿼리를 입력할 수 있도록 돕거나, 검색 쿼리를 번역하는 일에 신경망 사용

한계

• 훈련 비용
• 모델 업그레이드 등..

요약

• 정보 검색에 대한 일반적인 접근 방식에는 한계점과 단점이 있음
• 텍스트 분석은 색인화와 검색 단계에서 모두 중요한 작업
• 연관도는 검색 엔진이 사용자의 정보 요구에 얼마나 잘 대응하는지 보여주는 기초 측도며, 사용자마다 맥락과 의견이 크게 다를 수 있으므로 연관도 측정 시 검색 엔지니어에게 지속적으로 초점 맞춰야 함
• 딥러닝은 심층 신경망을 이용해 의미적으로 목적에 적합한 유사성 측도를 포착할 수 있는 내용의 표현을 학습하는 머신러닝 분야
• 신경 검색은 딥러닝을 사용해 검색과 관련된 다양한 작업을 개선하는 것을 목표로함