Docker AI Каталог: Майбутнє Курованих Моделей ШІ та LLM - javascript.org.ua

TL ; DR

Штучний інтелект (AI) розвивається так швидко, що важко встигати за цим, не кажучи вже про підприємства.
Компанії не знають, які інструменти AI є безпечними або відповідають їхнім потребам.
Існує велика проблема довіри, коли йдеться про вибір інструментів AI для використання в бізнесі.
Кураторські каталоги AI спрощують це, пропонуючи попередньо перевірені, надійні варіанти.
AI Каталог Docker вирішує цю проблему, надаючи надійну бібліотеку моделей і інструментів AI.
Це дає компаніям сталий спосіб впроваджувати AI без здогадок.
Теги перевірки та статистика використання допомагають сформувати довіру до того, що можна безпечно використовувати.
Каталог не обмежується лише моделями — він включає також фреймворки, бази даних і інструменти оркестрації.
Легко доступний через Docker Hub і Docker Desktop.
Завдяки спрощенню використання AI і довірі до нього, каталог Docker допомагає компаніям швидше впроваджувати інновації.

Контекст

Штучний інтелект, і зокрема GenAI, розвивається неймовірними темпами; майже неможливо за ним встигати, навіть для тих, хто повністю присвячений цій екосистемі. Розсилки про AI переповнені новими даними про наступні LLM, SLM, AI оркестратори, AI шлюзи тощо.

Ці інновації в AI є дуже перспективними, але вони створюють новий виклик для більшості підприємств:

Як обробити всю цю інформацію і вирішити, який курс дій є правильним для них?

Підприємства не можуть дозволити собі експериментувати з кожним LLM чи бібліотекою, що з’являється, їм потрібен хтось, хто допоможе визначити, що є надійним, безпечним і дозволеним до використання в контексті екосистеми підприємства.

Корундум AI: Занадто багато вибору

Як частина команди з впровадження внутрішніх платформ у EY, коли я спілкуюся зі своїми корпоративними клієнтами, більшість питань щодо GenAI зводяться до теми:

"Чи дозволено використовувати цей LLM у моїй компанії?"

"Чи можна завантажувати LLM з HuggingFace, чи це дозволено?"

"Як я можу бути впевнений, що цей LLM не має вразливостей, чи можна використовувати дані моїх клієнтів з ним?"

Очевидно, що кожна команда рішень повинна провести свою перевірку того, що є безпечним або дозволеним у їхньому контексті, але є потреба в певних загальних рекомендаціях для підприємств, які допомогли б вибирати між тим, що дозволено, і тим, що заблоковано в межах самого підприємства.

Загалом, їм потрібен хтось, хто фільтруватиме цей постійно зростаючий каталог моделей AI, LLM, SLM, AI Оркестраторів, AI Шлюзів… і скаже їм, які:

є безпечними або мають не критичні вразливості
підтримуються відповідними постачальниками
надають стандартизований спосіб розгортання

Потреба в кураторстві в екосистемі AI

Екосистема AI зараз занадто розрізнена, щоб одна людина могла знати, що робити. Не кажучи вже про окремих людей, цілими портфелями або командами важко визначити, що використовувати, а що — ні.

У величезному та зростаючому ландшафті AI не всі моделі AI створені рівними. Бізнеси часто стикаються з труднощами у визначенні, які моделі AI відповідають їхнім потребам, забезпечують сумісність з існуючими системами та підтримують етичне та надійне виконання.

Кураторські моделі AI вирішують цю проблему, пропонуючи попередньо перевірені, високоякісні рішення, які:

Покращують надійність: Користувачі можуть бути впевнені, що моделі відповідають галузевим стандартам і були протестовані для реальних застосувань.
Економлять час: Розробники уникають тривалого процесу пошуку, перевірки та налаштування моделей.
Забезпечують етичне використання: Кураторські моделі часто містять документацію, що описує джерела даних та призначення моделей, зменшуючи ризик упередженості або неправильного використання.

З моєї точки зору, ось тут каталоги AI відіграють величезну роль.

Вони пропонують єдину точку доступу в контексті підприємства для споживачів, щоб вибирати з попередньо перевірених моделей / LLM, які мають бути більш безпечними та відповідними, ніж інші.
Це надає необхідну довіру, яку команди залучення потребують для початку роботи над завданням.

Docker AI Catalog

Docker — це надійне ім’я в індустрії, і вже довгий час Docker Hub є золотим стандартом для команд, щоб знаходити Docker-образи, helm-чарти, залежно від використання. З додаванням каталогу GenAI команди тепер можуть шукати в кураторському списку пропозицій, які вони можуть використовувати з повною довірою протягом усього життєвого циклу розробки GenAI-застосунків.

Docker AI Catalog — це кураторський репозиторій моделей AI та машинного навчання (ML), а також інших супутніх артефактів, призначених для спрощення процесу інтеграції передових можливостей AI в застосунки.

Розглянемо приклад:

Припустимо, що користувач з підприємства хоче почати використовувати Llama, розгортаючи його на приватному кластері компанії, але не знає, з чого почати, який найновіший безпечний образ LLM вони можуть використовувати і так далі.

Вони приходять на Docker Hub і тепер можуть шукати Llama:

Шукати модель в Docker AI Catalog

Після того, як вони знаходять те, що шукають, вони можуть отримати більше деталей:

Отримати більше деталей про певний артефакт в Docker AI Catalog

Як ви бачите, тут багато чого можна розглянути:

Тег Verified Publisher: це надає необхідну довіру, що цей образ був завантажений Meta, а не кимось іншим, хто маскується під Meta. У підприємницькому середовищі це критично важливо, оскільки під час проходження InfoSec-оглядів перед впровадженням у виробництво, всі ці аспекти будуть ретельно аналізуватися.
Також видно, що цей артефакт був оновлений два місяці тому. Це дає додаткову впевненість, що ви не використовуєте застарілу версію LLM, яка не оновлюється, може мати вразливості і так далі.
Ви також можете побачити, скільки користувачів вже завантажили цей артефакт і скільки поставили йому зірочок — це знову ж таки збільшує довіру підприємницького користувача до його використання.
Нарешті, ви маєте набір інструкцій для початку роботи з LLM, завантаживши та розгорнувши образ.
Ще один цікавий момент полягає в тому, що незалежно від того, хто є видавцем LLM, шаблон споживання завжди однаковий — це означає, що, як розробник, ви можете покладатися на те, як образ буде завантажено та розгорнуто; така послідовність у підході до споживання допомагає забезпечити стабільність для підприємства, замість того, щоб запам’ятовувати різні техніки тощо.

Отримати детальні інструкції щодо кроків розгортання

Docker AI Catalog : Різні типи артефактів

Docker вже давно займається управлінням, перевіркою та пропонуванням контейнеризованих навантажень, і Docker Hub до цього часу є де-факто репозиторієм образів для більшості з нас.

Тепер, коли в грі з'явився екосистема GenAI, це цілком природно, що Docker долучається до цього процесу, використовуючи всі існуючі інвестиції в цій сфері, щоб надати подібний досвід для активів GenAI.

Але це не тільки образи LLM моделей, для яких вони надають стандартний шаблон споживання, ви також можете шукати та споживати інші артефакти, які залучені до створення стеку GenAI, такі як:

Розгортання та обслуговування моделей, наприклад, ollama, localai, cuda
Пропозиції щодо оркестрації: kubeflow, langchain, mlflow
ML-фреймворки, такі як pytorch, tensorflow
Бази даних: Mongo Atlas, Neo4J, Redis, Milvus

Отже, фактично це є універсальним каталогом, що складається з кураторського та перевіреного набору компонентів, які можуть знадобитися для створення стеку GenAI, починаючи від моделей і закінчуючи оркестраційним шаром та кінцевим рушієм розгортання.

Де знайти Docker GenAI Catalog

Ви можете отримати доступ до Docker GenAI Catalog прямо з головної сторінки Docker Hub ( https://hub.docker.com/ ):

https://hub.docker.com/

Нещодавно він також був інтегрований в інтерфейс Docker Desktop, тому вам не потрібно переходити на Docker Hub з Docker Desktop, щоб знайти артефакти, пов’язані з GenAI — ви можете знайти їх безпосередньо в UI Desktop.

Висновок

Docker, Inc існує вже довгий час, так само, як і Docker Hub та інші супутні пропозиції від них.

До цього часу вони надавали простий у сприйнятті спосіб пошуку та споживання контейнерних артефактів, таких як Docker-образи, helm-чарти тощо. Тепер Docker підняв це на новий рівень і розширив свою платформу, щоб підтримувати активи GenAI (моделі LLM, оркестратори тощо), при цьому дотримуючись того ж шаблону споживання.

Надаючи кураторські AI моделі та LLM у зручному для користувача, безпечному та масштабованому форматі, Docker прокладає шлях для бізнесів, щоб повною мірою використати потенціал штучного інтелекту. Оскільки індустрія продовжує впроваджувати AI, платформи на зразок Docker AI Catalog без сумніву стануть невід'ємною частиною наступної хвилі інновацій.

Кожен, хто проводив час у підприємницькому середовищі, знає, як складно дійти згоди щодо чогось. Більшість команд просто хоче використовувати найновіше та найкраще, але не хоче витрачати час на дослідження різних варіантів тощо. Для таких випадків наявність надійного репозиторію, як Docker AI Catalog, має велике значення.

Якщо підприємство вже має угоду з Docker, Inc, то це питання стає ще менш спірним. У таких випадках команда безпеки вже перевірила Docker та схвалила його використання в організації, і тоді використання каталогу стає просто розширенням того ж процесу, що робить його ще простішим.

У будь-якому випадку, коли йдеться про AI, зараз у галузі є прогалина, яка не є технологічною прогалиною, а радше прогалиною довіри.

Оскільки так багато компаній представляють нові оркестратори, технології або векторні бази даних, чи LLM, чи SLM, то ніхто насправді не знає, кому можна довіряти свої дані клієнтів, а кому ні.
Будь-яка компанія рівня підприємства, яка намагається вирішити це питання, надаючи автентичність процесу споживання, завжди матиме мою підтримку.