텍스트전처리1 텍스트 빅데이터 (1) - 자연어 처리 기술과 텍스트 전처리 1. 텍스트 처리와 자연어 처리텍스트는 인터넷의 등장 이후 숫자와 함께 가장 대표적인 데이터로 자리매김하였으며, SNS 확대의 영향으로 텍스트 분석의 중요성이 증가하고 있다. 텍스트는 순서가 없는 명목 데이터이지만, 요일, 빈도, 동의어/반의어 등은 비명목 데이터로 취급되기도 한다. 이러한 방식으로 텍스트를 활용하려면 텍스트 프로세싱을 통해 의미 있는 주요 단어를 찾아내는 과정을 수행해야 한다. 최근의 텍스트 프로세싱은 대부분 자연어 처리에 집중되어 있는데, 신경망 기반의 인공지능 알고리즘을 바탕으로 언어 모형이 구축되었다. 2. 자연어 처리 기술의 활용 1) 텍스트 요약자연어는 일상적으로 사용되는 언어로, 컴퓨터가 이해할 수 없기에 분석을 위한 별도 처리가 필요하다. 텍스트 요약은 많은 문서를 짧게 줄.. 2024. 8. 31. 이전 1 다음
