1. 자연어 처리 (NLP, Natural Language Processing) 이란?
ㅇ 컴퓨터가 인간의 자연어를 이해하고 해석하며 생성하는 기술
ㅇ 자연어 처리 모델
- 입력(자연어)이 특정 범주일 확률을 반환하는 함수
. 입력(자연어) 특성과 작업 목적(감성 분석 등)에 따라 최적이라고 판단되는 것을 선택
ㅇ 자연어 처리 모델 구분
- 전통적인 NLP 모델 (규칙 기반, 기계 학습 알고리즘 사용)
. Hidden Markov Models (HMM) 등
- 딥러닝 기반 NLP 모델
. Transformer 기반의 모델 (BERT, GPT)
.. BERT (Bidirectional Encoder Representations from Transformers)
.. GPT (Generative Pre-trained Transformer)
ㅇ NLP 주요 작업 종류
- 문장 분류 : 주어진 문장이 특정 카테고리에 속하는지 분류 (스팸 메일 분류 등)
- 기계 번역 : 한 언어의 텍스트를 다른 언어로 번역 (구글 번역 등)
- 문서 요약 : 긴 텍스트에서 중요한 정보를 추출하여 짧은 요약을 생성
- 질문 응답 (QA) : 주어진 질문에 대해 관련된 정보를 텍스트에서 추출하여 답변
- 감정 분석 : 텍스트에서 감정(긍정/중립/부정)을 분석
- 대화형 AI (Chatbots) : 사용자의 질문에 대해 자연스러운 대화를 이어감
ㅇ (편집중)