[스마트인재개발원] NLP(자연어 처리)

NLP(Natural Language Processing) 자연어 처리

인간의 언어 현상을 컴퓨터와 같은 기계를 이용해서 묘사할 수 있도록 연구하고 이를 구현하는 인공지능의 주요 분야 중 하나다.

 

자연 언어 처리는 연구 대상이 언어 이기 때문에 당연하게도 언어 자체를 연구하는 언어학과 언어 현상의 내적 기재를 탐구하는 언어 인지 과학과 연관이 깊다.

 

구현을 위해 수학적 통계적 도구를 많이 활용하며 특히 기계학습 도구를 많이 사용하는 대표적인 분야이다. 정보검색, QA 시스템, 문서 자동 분류, 신문기사 클러스터링, 대화형 Agent 등 다양한 응용이 이루어지고 있다.

출처 : 위키백과

 

Natural Language Processing은 컴퓨터과학(Computer Science), 인공지능(Artificial Intelligence), 언어학(Human Language) 이 세 영역의 교집합이라고 할 수 있다.

 

 

NLP의 목표

유용한 업무 수행을 위해서 Natural Language(인간의 언어)를 컴퓨터가 처리하고 이해할 수 있도록 하는 것
즉, 컴퓨터와 인간을 이어주는 것

 

* Natural Language : 인간이 오랜 세월동안 사용하면서 자연적으로 만들어진 언어

 

 

NLP의 작동 원리

<기초적인 NLP 작업>

토큰화 및 구문 분석, 표제어 추출/어간 추출, 품사 표시, 언어 감지, 의미론적 관계 식별 등이 있습니다. 

 

일반적으로 NLP 작업은 언어를 더 짧은 기본 요소로 분해하고,각 요소 간의 관계를 이해하며, 요소들이 서로 어떻게 작용하여 의미를 이루는지 탐구한다.

 

<고급 NLP 작업>

• 콘텐츠 분류(Content categorization). : 언어 기반의 문서 요약 기술로, 검색과 색인, 콘텐츠 알림 복사 감지 등에 사용됨.
• 주제 발견 및 모델링(Topic discovery and modeling) : 텍스트 집합에서 의미와 주제를 정확히 포착하고, 최적화나 예측과 같은 고급 분석을 텍스트에 적용한다.
• 맥락 추출(Contextual extraction) : 텍스트 기반 소스에서 정형 정보를 자동으로 추출한다.
• 감정 분석(Sentiment analysis) : 대량의 텍스트에서 분위기나 주관적인 의견을 파악합니다.일반적인 감정 및 감성 분석이 이에 해당한다.
• 음성-텍스트(STT) 변환 및 텍스트-음성(TTS) 변환(Speech-to-text and text-to-speech conversion) : Trans음성 명령을 문자 텍스트로 변환하거나 문자 텍스트를 음성 명령으로 변환한다.
• 문서 요약(Document summarization) : 많은 양의 본문을 자동으로 요약한다.
• 머신 분석(Machine translation) : 텍스트나 음성을 한 언어에서 다른 언어로 자동 번역한다.

이러한 모든 작업에서 가장 중요한 목표는 가공되지 않은 언어 그대로를 입력하는 방식을 통해 언어학 및 알고리즘을 사용하여, 텍스트를 보다 분석에 가치 있는 형식으로 변환하거나 보강하는 것이다.

 

NLP 의 과거와 현재

출처 : https://sacko.tistory.com/2

 

www.smhrd.or.kr

스마트인재개발원