Еволюція систем RAG для підприємств

Шлях впровадження Retrieval-Augmented Generation (RAG) та агентських систем на рівні підприємств відзначається постійним вдосконаленням. Підхід компанії Morningstar почався з базової обробки документів і поступово еволюціонував через систематичні експерименти з ембеддінгами, чанкінгом і стратегіями пошуку. Одним з найцікавіших проривів стало Contextual Retrieval, представлене компанією Anthropic у 2024 році, та Doc2query, опубліковане Ногуейро та іншими у 2019 році. Додаткові техніки, такі як включення перекриття даних між чанками, значно покращили збереження контексту, що призвело до покращення результатів.

Аравінд описує їхній процес повторного завантаження великої колекції документів кілька разів, що з кожним новим етапом покращувало техніки поглинання даних. Аравінд також обговорює використання перерозподільників для покращення якості відповідей.

Архітектура даних для масштабування

Створення надійних конвеєрів даних для AI-систем підприємств вимагає ретельного вибору інфраструктури. Morningstar обрала сервіси AWS, використовуючи теми SNS та черги SQS, доповнені Celery для ефективного управління чергами завдань. Ця архітектура забезпечує гнучкість, необхідну для обробки різних рівнів трафіку при збереженні надійності системи.

Особливо цікавою є інтеграція автоматизованих конвеєрів з їхньою CMS, що дозволяє планувати обробку контенту за допомогою механізму pub/sub. Ця автоматизація є ключовою для обробки значних обсягів контенту, що характерно для підприємницьких операцій.

Підхід до ринку інструментів

Одним з найінноваційніших аспектів Morningstar Intelligence Engine є їхній ринок інструментів. Ця функція дозволяє командам публікувати та споживати API-інтерфейси AI-здатностей по всій організації, забезпечуючи безшовну інтеграцію кастомних інструментів.

Однією з особливостей агентської системи є реалізація архітектури агента ReAct. В контексті API-орієнтованого ринку це дозволяє створювати "агентів в агентах" — потужну концепцію, коли один агент може використовувати можливості іншого через ринок інструментів. Дізнайтеся більше про Google Cloud Marketplace в подкасті Weaviate #95 з Дай Ву та Бобом ван Лейттом!

Text-to-SQL: Практичні уроки

Обговорення впровадження Text-to-SQL дало кілька практичних висновків. Morningstar досягла точності ~80–83% при Zero-Shot SQL генерації, отримавши кілька ключових уроків з проектування баз даних, таких як іменування стовпців та матеріалізовані представлення.

Іменування стовпців суттєво впливає на ефективність LLM. Наприклад, коли йдеться про рейтинги (золото, срібло, бронза), наявність окремих стовпців "ratingid" та "ratingtext" допомагає LLM розуміти, яке поле використовувати для обчислень.

По-друге, стратегічне використання представлень баз даних може спростити задачу LLM, зменшуючи складність об'єднань, які потрібно генерувати. Такий підхід "робити більше в базі даних" виявився особливо ефективним для складних запитів.

Перегляньте Self-Driving Database від Енді Павло та його команди!

Погляд у майбутнє: AutoGen і багатозадачні агентські системи

Аравінд поділився цінними інсайтами щодо їхнього дослідження AG2 від Google DeepMind, раніше Microsoft Autogen, для багатозадачних агентських систем. Хоча AutoGen пропонує більшу гнучкість порівняно з традиційними підходами, він створює труднощі для користувацьких додатків через підвищену латентність від численних взаємодій з інструментами. Їхній поточний підхід полягає в тому, щоб використовувати його переважно для бекенд-процесів, де час відповіді менш критичний.

Висновок

Розмова з Аравіндом висвітлила багато аспектів побудови передових агентських систем.
Сподіваюся, це надихне вас на перегляд Weaviate Podcast #111 з Аравіндом Кеширадою!

YouTube: https://www.youtube.com/watch?v=TWPR_CmDSFM

Spotify: https://spotifycreators-web.app.link/e/eyyjd6jCZPb

Перекладено з: Weaviate Podcast #111 — Aravind Kesiraju, Release Notes