Що таке обробка природної мови (NLP) та як вона може використовуватися у бізнесі
Обробка природної мови (Natural Language Processing, NLP) — технологія, яка активно розвивається та допомагає бізнесу отримати максимальну користь від використання штучного інтелекту. Аналітичні дослідження прогнозують збільшення глобального ринку обробки природної мови з 20.98 мільярдів доларів США у 2021 році до 127.26 мільярдів доларів США у 2027 році з сукупним середньорічним темпом зростання (CAGR) у 29,4%. Один із напрямів роботи R&D Центру Metinvest Digital пов’язаний з навчанням машин розуміти нас та зробити їх помічниками у вирішенні виробничих та бізнес-задач. Данило Цьвок, R&D Technology Lead розповідає про обробку природної мови, яким чином вона допомагає штучному інтелекту, для яких задач використовується та у яких напрямах впроваджується в нашій компанії.
Що таке NLP?
NLP (Natural Language Processing), або обробка природної мови – це окремий технологічний напрямок в частині штучного інтелекту, який присвячений тому, як машина розуміє, аналізує та відтворює природну мову, якою людина звертається до неї. В науковій сфері існує так званий тест Тюрінга, який говорить про те, що якщо людина, при спілкуванні з комп’ютером, не може визначити, що з нею спілкується машина, машина є штучним інтелектом. Це і стало точкою відліку розвитку NLP.
Сьогодні тяжко уявити галузь, у якій не застосовується технологія NLP.
NLP застосовується при щоденній взаємодії з мобільними пристроями, наприклад через Siri або Alexa, використанні розумних помічників, таких як Cortana в операційній системі Windows, в автоматичному визначенні спам-пошти у Gmail, при використанні онлайн-перекладачів, перевірці текстів на предмет помилок у Grammarly тощо.
Спробуймо розібратися, як це працює та яким чином машина розуміє природну мову людини?
Треба почати з того, що мовлення людини відрізняється від мовлення машини! Мова машин проста, логічна і структурована, своєю чергою людська мова є дуже різноманітна з точки зору побудови словесних конструкцій, використання багатозначних слів та контекстного значення розмови в цілому.
Люди спілкуються словами, а машини – числами. Будь-яке звернення людини до машини голосом або текстом потребує його перекладу на машинну мову чисел. Далі машина повинна зрозуміти, ідентифікувати та розпізнати сутність наміру людини, з яким вона до неї звертається. І після цього – прийняти певне рішення, виконати якусь функцію, чи відповісти. Цей процес ідентичний спілкуванню людей між собою, просто ми не придаємо значення, завдяки чому та яким чином ми вирізняємо той чи інший зміст у нашому спілкуванні. Машина ж потребує детальних пояснень на зрозумілій їй логічній мові. Власне для цього всього і призначена технологія NLP.
Як навчити машину розуміти природну мову?
Як і в будь-якому розділі штучного інтелекту, в NLP ми зустрічаємося з поняттям машинного навчання, суть якого говорить сам за себе – машину потрібно навчити. Цей підхід уподібнений до процесу вивчення мови людиною. Ключовою відмінністю полягає у здатності машини це робити швидко та навчатися на великій кількості даних.
Існує дві ключові вимоги для навчання машини:
· перша – велика кількість якісних даних (прикладів) друга – наявність
· високоефективної моделі NLP, адаптованої під конкретну потребу.
На практиці NLP-інженери здійснюють попередню підготовку даних для навчання моделі, розмічають їх та структурують. Очистивши й обробивши велику кількість даних, їх пропускають через NLP-модель, де відбувається процес навчання. Після цього модель вважається навченою й може бути інтегрованою у потрібні процеси. Наявність навченої моделі у системі, програмному продукті, дозволяє їм розуміти природну мову людини. З часом може виникнути потреба у доповненні, розумінні нових актуальних даних такою моделлю. У такому випадку – модель довчають.
Сьогодні на ринку присутня велика кількість попередньо навчених NLP-моделей на масивах великих даних, що дозволяє їх інтегрувати та адаптувати до конкретних тематик та напрямків застосування, економлячи час та зусилля.
Для розв'язання яких задач використовується NLP?
На перший погляд, може здаватися, що ця технологія призначена лише для розпізнавання голосу або тексту, але насправді це лише поверхневі завдання, які вона здатна вирішувати. Сама ж технологія призначена для набагато глибших та складніших завдань.
До типових завдань, які здатні вирішувати NLP-моделі можна віднести наступні:
Варто зазначити, що NLP-моделі можуть бути інтегровані у будь-які програмні комплекси та продукти. Це робить їх зручним інструментом для підвищення загальної операційної та виробничої ефективності, дозволяє економити гроші та час.
R&D Центр Metinvest Digital активно розробляє рішення з використанням технології NLP для Групи Metinvest. На сьогодні напрацьовано низка рішень, що знаходяться на стадії апробації та пілотування у ряді бізнес-процесів компанії. Переважно це рішення на базі NLP-моделей, що інтегруються у процеси компанії для автоматизації взаємодії з працівниками. Сьогодні у фокусі інтеграція таких моделей у внутрішньокорпоративні асистенти, якими щоденно користуються тисячі працівників для отримання необхідної довідкової інформації, чи відповідей на питання, що стосуються їх трудових відносин з працедавцем та виникають на щоденній основі в процесі роботи.
Ми прагнемо аби технологія NLP була центральною у трансформації та розробці розумних асистентів, які можуть функціонувати у компанії (IVA – Intelligent Virtual Assistant). Зокрема за допомогою таких асистентів може розвантажуватися робота операторів служби підтримки компанії, адже саме інтелектуальні помічники беруть на себе діалогову взаємодію з працівниками й, розуміючи їхні наміри, надають необхідну інформацію у режимі 24/7. Оператори ж включаються у взаємодію лише у тому випадку, коли віртуальні помічники не здатні задовольнити запит клієнта. Задача такого рішення достатньо логічна і проста – навчити й впровадити таку модель, яка б максимально швидко та повноцінно могла задовольнити запити клієнтів. Запуск такого рішення має стати точкою відліку для розвитку ряду похідних внутрішніх сервісів компанії, що базуватимуться на технології NLP.
