Коли обробляєш великі обсяги даних, можна зіткнутися з різними викликами: як розподілити обробку на кілька етапів, паралелізація, механізм повторних спроб тощо. Після обробки даних, можливо, буде потрібно зберігати логи в реляційній базі даних для подальшого аналізу.
Для обробки великих обсягів даних можна використовувати Spring Batch — фреймворк для поділу обробки на частини, планування, повторних спроб і паралелізації обробки великих обсягів записів з можливістю збору статистики про виконання завдань через веб-інтерфейс адміністрування. У цьому матеріалі ми побачимо, як читати, обробляти і записувати дані з MongoDB за допомогою фреймворку Spring Batch. Також ми побачимо, як зберігати метадані обробки в таблиці Postgres для … Читати далі