Методи інтелектуального аналізу тексту
Loading...
Date
2023
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Український державний університет науки і технологій, Дніпро
Abstract
UKR: Мета. Методики обробки природномовних текстів застосовують для вирішення широкого кола завдань. Одне з найважчих завдань під час роботи з природномовним текстом для різних мов полягає в пошуку певних показників для подальшого визначення його авторства. Проблема досі є актуальною через відсутність уніфі-кованого інструменту чи методу для роботи з текстами різних мов. Робота з текстами української мови вима-гає врахування її особливостей побудови слів та речень для отримання кращого результату. Основною метою представленої статті є аналіз наявних методів обробки текстів, їх особливостей та результативності в роботі з текстами різних мов. Методика. Методи обробки природномовних текстів систематизовано за ти-пами й форматом, згідно з використовуваним інструментарієм та підходами. Для кожного методу розглянуто його особливості, результативність, сферу застосування та обмеження. Використано засоби системного ана-лізу для формування остаточної характеристики методу з урахуванням його призначення та можливостей. Результати. У ході дослідження методів виявлено такі з них, які використовують для інтелектуального ана-лізу текстів різних мов, їх сферу застосування, результативність у роботі з різними мовами, сильні та слабкі сторони. Це дозволить обрати ефективний інструментарій для роботи з текстами української мови. Установ-лено, що інтелектуальна обробка текстів – складне завдання, яке потребує індивідуального підходу до кожної мови для врахування її особливостей та отримання кращого результату. Наукова новизна. Сформовано ос-нову для вибору ефективного методу в роботі з україномовними текстами, проаналізовано та систематизовано наявні методи інтелектуальної обробки тексту, їх особливості застосування, можливості та ефективність у роботі з текстами різних мов. Практична значимість. Робота дозволила визначити найбільш перспективні, ефективні та доцільні методи інтелектуального аналізу природномовних текстів, щоб у подальшому їх вико-ристати для обробки україномовних текстів.
ENG: Purpose. Natural language text processing techniques are used to solve a wide range of tasks. One of the most difficult tasks when working with natural language texts for different languages is to find certain indicators for further determining its authorship. The problem is still relevant due to the lack of a unified tool or method for working with texts in different languages. Working with texts in Ukrainian requires taking into account its peculiarities of word and sentence construction to obtain the best result. The main purpose of this article is to analyze the existing methods of text processing, their features and effectiveness in working with texts of different languages. Methodology. Natural language text processing methods are systematized by type and format, according to the tools and approaches used. For each method, its features, effectiveness, scope, and limitations are considered. The means of system analysis were used to form the final characterization of the method, taking into account its purpose and capabilities. Findings. The study of methods has revealed the following ones used for the intellectual analysis of texts in different languages, their scope, effectiveness in working with different languages, strengths and weaknesses. This will make it possible to choose an effective toolkit for working with Ukrainian texts. It has been established that intelligent text processing is a complex task that requires an individual approach to each language to take into account its peculiarities and obtain the best result. Originality. The basis for choosing an effective method for working with Ukrainian-language texts is formed, the existing methods of intellectual text processing, their application features, capabilities and efficiency in working with texts of different languages are analyzed and systematized. Practical value. The work allowed us to identify the most promising, effective and appropriate methods of intellectual analysis of natural language texts in order to use them for processing Ukrainian-language texts in the future.
ENG: Purpose. Natural language text processing techniques are used to solve a wide range of tasks. One of the most difficult tasks when working with natural language texts for different languages is to find certain indicators for further determining its authorship. The problem is still relevant due to the lack of a unified tool or method for working with texts in different languages. Working with texts in Ukrainian requires taking into account its peculiarities of word and sentence construction to obtain the best result. The main purpose of this article is to analyze the existing methods of text processing, their features and effectiveness in working with texts of different languages. Methodology. Natural language text processing methods are systematized by type and format, according to the tools and approaches used. For each method, its features, effectiveness, scope, and limitations are considered. The means of system analysis were used to form the final characterization of the method, taking into account its purpose and capabilities. Findings. The study of methods has revealed the following ones used for the intellectual analysis of texts in different languages, their scope, effectiveness in working with different languages, strengths and weaknesses. This will make it possible to choose an effective toolkit for working with Ukrainian texts. It has been established that intelligent text processing is a complex task that requires an individual approach to each language to take into account its peculiarities and obtain the best result. Originality. The basis for choosing an effective method for working with Ukrainian-language texts is formed, the existing methods of intellectual text processing, their application features, capabilities and efficiency in working with texts of different languages are analyzed and systematized. Practical value. The work allowed us to identify the most promising, effective and appropriate methods of intellectual analysis of natural language texts in order to use them for processing Ukrainian-language texts in the future.
Description
І. Демидович: ORCID 0000-0002-3644-184X
Keywords
природномовні тексти, інтелектуальна обробка текстів, частотний аналіз, стемінг, синтаксичний аналіз, нейронні мережі, natural language texts, intellectual text processing, frequency analysis, stemming, syntactic analysis, neural networks, КІТ
Citation
Демидович І. М. Методи інтелектуального аналізу тексту. Наука та прогрес транспорту. 2023. № 3 (103). С. 31–43. DOI: 10.15802/stp2023/295252.