Data engineering solutions – найкращий варіант для оптимізації обробки та аналізу даних компаній
З метою оптимізації обробки та аналізу даних компанії впроваджують Data engineering solutions. У Метінвест Діджитал напрям Data Engineering забезпечує процес аналізу даних у компанії максимально зручно для аналітиків, а також забезпечує їх очищеними даними у належній кількості. Для досягнення цього інженери Метінвест Діджитал використовують передові технології для побудови ETL-процесів, Data lake, DWH – Azure Synapse. Про роботу напряму та реальні кейси розповіли Олександр Перхун, керівник Центру управління даними Метінвест Діджитал, та Віталій Свириденко, керівник відділу Data engineering Метінвест Діджитал.
Які переваги отримують компанії, коли впроваджують Data engineering solutions?
Data engineering solutions допомагає автоматизувати процеси збору, обробки та завантаження даних – це збільшує ефективність роботи співробітників та зменшує можливі помилки. Інструменти data engineering дозволяють стандартизувати та очищувати дані, що робить їх більш надійними та придатними для аналізу, тобто покращує якість даних. А вже за допомогою аналізу якісних даних компанії можуть приймати більш обґрунтовані стратегічні рішення, що робить їх більш конкурентоспроможними на ринку. Також Data engineering solutions дозволяє отримати цінні інсайти з великих обсягів даних, що своєю чергою, сприяє виявленню нових можливостей та трендів.
«Data engineering solutions включає заходи з організації безпеки даних та контролю доступу до них, що важливо для захисту конфіденційної інформації. Правильно побудовані рішення для обробки даних допомагають зберігати та передавати їх без ризику втрати або пошкодження. Загалом, впровадження data engineering solutions стає необхідністю для компаній, які прагнуть використовувати потенціал даних для свого розвитку та успіху на ринку», - зазначив Олександр Перхун.
Над чим працює команда Data engineering в Метінвест Діджитал?
Робота напряму Data engineering зосереджена на створенні та підтримці інфраструктури для обробки та управління даними підприємств, що входять до складу Групи Метінвест.
«Ми відповідаємо за розробку систем збору даних, які можуть походити з різних джерел, таких як бази даних, датчики, журнали, зовнішні сервіси тощо. Також наш Центр розробляє процеси для трансформації та підготовки даних. Потім ми обираємо та налаштовуємо системи зберігання цих даних, таких як бази даних, хмарні сховища або data warehouses, щоб забезпечити їхню безпеку та доступність. Експерти Центру взаємодіють з аналітичними, бізнес-аналітичними та іншими відділами, надаючи їм доступ до підготовлених даних для аналізу та прийняття рішень», - розповів Віталій Свириденко.
Представляємо напрацювання команди Data engineering в Метінвест Діджитал:
1. Проєкт «Дебіторська заборгованість»
Задача: розробити комплексний звіт розрахунку дебіторської заборгованості, який дозволить відстежувати дані в динаміці з деталізацією на кожен рахунок з урахуванням обліку лімітів.
Отримані переваги: доступність актуальної інформації по всім клієнтам одночасно, щоденне оновлення, можливість отримувати інформацію за будь-яку дату, потенційна річна економія $60 млн.
2. Проєкт «Документарні операції»
Задача: забезпечити консолідацію інформації всіх підприємств Групи Метінвест у хмарному сховищі та організувати оперативний доступ до неї відповідальних осіб. Автоматизувати процес заповнення таблиць з даними про проведені фінансові операції з документарних операцій з метою підвищення продуктивності.
Отримані переваги: автоматичне створення звіту з документарних операцій, підвищення продуктивності, отримання потенціалу для масштабування.
3. Проєкт «Фактичні операції»
Задача: підвищити ефективність та продуктивність підготовки консолідованої інформації про кількісні та якісні показники роботи відділів Єдиних розрахункових центрів підприємств Групи Метінвест в рамках укладених Договорів сервісного обслуговування.
Отримані переваги: зменшення ризиків спотворення даних, підвищення продуктивності, виникнення можливості автоматичного створення звіту з фактичних операцій, отримання потенціалу для масштабування.
4. Проєкт «Рух матеріальних потоків Dashboard: «ЗРС 1.0»
Задача: забезпечити аналіз руху основних матеріальних потоків на підприємствах Групи Метінвест.
Отримані переваги: оперативне надання необхідної інформації для ухвалення управлінських рішень, автоматизація створення звітів, вивільнення людського ресурсу, зменшення ризиків спотворення даних.
5. Проєкт «Рух матеріальних потоків Dashboard: «ЗРС 2.0»
Задача: додати інформацію про рух залізорудної сировини (ЗРС) на території Європи, починаючи від кордону України до закордонних терміналів та портів. Доопрацювати додаткові процеси аналітики попередньо розробленого рішення.
Отримані переваги: можливість відстежувати логістичні ланцюжки за межами України, удосконалення першої версії звіту.
6. Проєкт Global Lanterna
Задача: зібрати з іноземних підприємств Групи Метінвест дані про дебіторську заборгованість та кредитні ліміти.
Отримані переваги: створення додаткових можливостей для продажів у розмірі $ 30 млн шляхом використання консолідованої інформації доступних лімітів на підприємствах, контроль ризиків лімітів, стандартизація умов продажу під кожного покупця.
