Пост # 2: Переносимо Ollama в інтернет: досліджуємо веб-інтерфейси

Сьогодні ми зробимо крок уперед і дослідимо захоплюючий світ веб-інтерфейсів, які дозволяють підключатися та взаємодіяти з вашими моделями Ollama через зручний браузерний досвід.

Вбудована потужність Ollama: Точки доступу API

Ollama — це універсальний інструмент, і однією з ключових переваг його гнучкості є доступний REST API. Це означає, що ви можете взаємодіяти з Ollama програмно, відкриваючи широкі можливості для інтеграції та автоматизації.

Після успішної інсталяції Ollama, за замовчуванням, він слухає запити API за наступною адресою:

http://localhost:11434 ;

якщо ви працюєте на віддаленому вузлі, використовуйте IP-адресу цього вузла

Важлива примітка: Хоча технічно ви можете перейти за адресою http://localhost:11434 у вашому браузері, ви не побачите традиційний вебсайт. Ця точка доступу призначена для API-комунікацій, що означає, що вона очікує структуровані запити та повертає дані у певному форматі (наприклад, JSON).

Приклад: Генерація відповіді через API

Ось приклад того, як надіслати запит до Ollama API для генерації відповіді, використовуючи команду curl у вашому терміналі:

curl http://localhost:11434/api/generate \  
 -d '{  
 "model": "qwen:2.5",  
 "prompt": "Чому небо синє?"  
 "options": {  
 "seed": 123  
 }  
 }'

{  
 "model": "qwen2.5",  
 "created_at": "2023-11-03T15:36:02.583064Z",  
 "response": " Небо виглядає синім через явище, яке називається розсіюванням Релея.",  
 "done": true,  
 "total_duration": 8493852375,  
 "load_duration": 6589624375,  
 "prompt_eval_count": 14,  
 "prompt_eval_duration": 119039000,  
 "eval_count": 110,  
 "eval_duration": 1779061000  
}

Пояснення: Ви можете використовувати Postman, curl або інші інструменти для виклику API. Як генеруються відповіді, а також більше деталей про токени, насіння, температуру, контекст тощо ми розглянемо у майбутніх уроках. Для зараз залишимо це простим.

Знаходження повної документації API:

Повний список доступних точок доступу API Ollama та їхніх специфікацій ви можете знайти в офіційній документації Ollama. Добре почати з Ollama API Reference. Ми детальніше обговоримо ці API в майбутніх сесіях.

Крок до вебу: Веб-інтерфейси для Ollama

Чарівність API Ollama полягає в тому, що розробники можуть створювати веб-інтерфейси поверх нього, надаючи більш привабливий та інтуїтивно зрозумілий спосіб взаємодії з вашими моделями. Ось кілька популярних варіантів, які ви можете дослідити:

• AnythingLLM: Це більш комплексна платформа, яка може підключатися до різних постачальників LLM, включаючи Ollama. Вона часто включає функції для завантаження документів, що дозволяє спілкуватися з вашими даними.
• Ollama WebUI: Це ще один популярний, спеціалізований веб-інтерфейс, створений саме для Ollama, зазвичай з фокусом на простоту та зручність використання.
• Користувацькі веб-додатки: Ви можете створювати власні веб-додатки, використовуючи фреймворки, такі як React, Angular або Vue.js, які взаємодіють з Ollama через його REST API. Це дає вам повний контроль над інтерфейсом та інтеграцією.

Ми дослідимо всі ці варіанти докладно, а поки що почнемо з Ollama WebUI.

Глибокий занурення в Open WebUI

Тепер давайте розглянемо Open WebUI, один з найпопулярніших фронтендів для точок доступу Ollama. На момент написання цього матеріалу його репозиторій на GitHub має майже 54,4 тисячі зірок: https://github.com/open-webui/open-webui.

Нижче ми обговоримо інсталяцію Open WebUI та його основні функції.

Open WebUI за допомогою DOCKER:

У цьому підручнику ми пройдемо простий спосіб запуску Open WebUI.

Сьогодні ми зробимо крок уперед і заглибимося в захоплюючий світ веб-інтерфейсів, які дозволяють підключатися до моделей Ollama та взаємодіяти з ними через зручний браузерний інтерфейс.

Вбудована потужність Ollama: Точки доступу API

Ollama — це універсальний інструмент, і однією з ключових переваг його гнучкості є доступний REST API. Це означає, що ви можете програмно взаємодіяти з Ollama, відкриваючи широкий спектр можливостей для інтеграції та автоматизації.

Після успішної інсталяції Ollama за замовчуванням він слухає запити API за такою адресою:

http://localhost:11434 ;

якщо ви працюєте на віддаленому вузлі, використовуйте IP-адресу цього вузла

Важлива примітка: Хоча технічно ви можете перейти за адресою http://localhost:11434 у вашому браузері, ви не побачите традиційний вебсайт. Ця точка доступу призначена для API-комунікацій, що означає, що вона очікує структуровані запити та повертає дані у певному форматі (наприклад, JSON).

Приклад: Генерація відповіді через API

Ось приклад того, як надіслати запит до Ollama API для генерації відповіді, використовуючи команду curl у вашому терміналі:

curl http://localhost:11434/api/generate \  
 -d '{  
 "model": "qwen:2.5",  
 "prompt": "Чому небо синє?"  
 "options": {  
 "seed": 123  
 }  
 }'

{  
 "model": "qwen2.5",  
 "created_at": "2023-11-03T15:36:02.583064Z",  
 "response": " Небо виглядає синім через явище, яке називається розсіюванням Релея.",  
 "done": true,  
 "total_duration": 8493852375,  
 "load_duration": 6589624375,  
 "prompt_eval_count": 14,  
 "prompt_eval_duration": 119039000,  
 "eval_count": 110,  
 "eval_duration": 1779061000  
}

Пояснення: Ви можете використовувати Postman, curl або інші інструменти для виклику API. Як генеруються відповіді, а також більше деталей про токени, насіння, температуру, контекст тощо ми розглянемо в майбутніх підручниках. А поки що збережемо все простим.

Знаходження повної документації API:

Повний список доступних точок доступу API Ollama та їхніх специфікацій ви можете знайти в офіційній документації Ollama. Добре почати з Ollama API Reference. Ми детальніше обговоримо ці API в наступних уроках.

Крок до вебу: Веб-інтерфейси для Ollama

Чарівність API Ollama полягає в тому, що розробники можуть створювати веб-інтерфейси поверх нього, надаючи більш привабливий і інтуїтивно зрозумілий спосіб взаємодії з вашими моделями. Ось кілька популярних варіантів, які ви можете дослідити:

• AnythingLLM: Це більш комплексна платформа, яка може підключатися до різних постачальників LLM, включаючи Ollama. Вона часто включає функції для завантаження документів, що дозволяє спілкуватися з вашими даними.
• Ollama WebUI: Це ще один популярний веб-інтерфейс, спеціально створений для Ollama, який зазвичай зосереджений на простоті та зручності використання.
• Користувацькі веб-додатки: Ви можете створювати власні веб-додатки, використовуючи фреймворки, такі як React, Angular або Vue.js, які взаємодіють з Ollama через його REST API. Це дає вам повний контроль над інтерфейсом користувача та інтеграцією.

Ми дослідимо всі ці варіанти докладно, а поки що почнемо з Ollama WebUI.

Глибоке занурення в Open WebUI

Тепер давайте розглянемо Open WebUI, один з найпопулярніших фронтендів для точок доступу Ollama. На момент написання цього матеріалу його репозиторій на GitHub має майже 54,4 тисячі зірок: https://github.com/open-webui/open-webui.

Нижче ми обговоримо інсталяцію Open WebUI та його основні функції.

Open WebUI за допомогою DOCKER:

У цьому підручнику ми розглянемо простий спосіб запуску Open WebUI.
Як зазначено в документації продукту, існує кілька способів його встановлення та налаштування, але для простоти ми використаємо Docker-образ.

Швидкий посібник по установці Docker

Щоб почати використовувати Docker:

1. Перейдіть на docker.com, натисніть "Get Started" і завантажте Docker Desktop для вашої операційної системи.
2. Дотримуйтесь інструкцій в майстрі інсталяції, щоб встановити Docker Desktop на вашому комп'ютері.
3. Після інсталяції запустіть Docker Desktop. Ви повинні побачити інтерфейс Docker Desktop.

Примітка: Можливо, ви не побачите зображення так, як на скріншоті, і це цілком нормально. Ми завантажимо потрібні зображення по ходу процесу.

Завантажте останній образ onewebui:

Відкрийте термінал і виконайте наступну команду.

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Якщо у вас немає GPU, виконайте цю команду:

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Це займе деякий час, і після завершення завантаження ви повинні побачити зображення у Docker Desktop.

Наступні кроки після установки Docker:

Також слід коротко згадати, що користувач повинен зробити після виконання Docker-команди, наприклад:

• Перейти до Open WebUI у браузері (наприклад, http://localhost:3000).
• Виконати початкові налаштування в Open WebUI (наприклад, підключити інстанс Ollama).

Будь ласка, зверніть увагу: перед тим як продовжити, переконайтесь, що ваша інстанс Ollama працює у фоновому режимі. Якщо ви слідували попередньому посту, ймовірно, ви вже запустили Ollama в вашому терміналі. Ви можете перевірити, чи працює воно, відкривши нове вікно термінала та спробувавши просту команду Ollama,

ollama list

Ця команда повинна вивести список моделей, які ви завантажили. Переконайтесь, що модель qwen:2.5 (або та, яку ви завантажили в попередньому пості) є в списку. Якщо Ollama не працює або модель не відображається, вам потрібно буде запустити Ollama і, можливо, завантажити модель знову. Ознайомтесь з попереднім постом для інструкцій.

Давайте виберемо модель qwen2.5 та перевіримо відповідь.

Наступні кроки з Open WebUI: Дослідження розширених функцій

Інтеграція з веб-пошуком

Розширене генерування (RAG)

Авторизація та управління користувачами

Управління розмовами та історія:

Управління моделями

Налаштування, що настроюються

Залишайтеся з нами, щоб дізнатися, як підняти ваш веб-досвід з Ollama на новий рівень!

Як зазначено в документації продукту, існує кілька способів його встановлення та налаштування, але для простоти ми використаємо Docker-образ.

Швидкий посібник по установці Docker

Щоб почати використовувати Docker:

1. Перейдіть на docker.com, натисніть "Get Started" і завантажте Docker Desktop для вашої операційної системи.
2. Дотримуйтесь інструкцій у майстрі інсталяції, щоб встановити Docker Desktop на вашому комп'ютері.
3. Після інсталяції запустіть Docker Desktop. Ви повинні побачити інтерфейс Docker Desktop.

Примітка: Можливо, ви не побачите зображення так, як на скріншоті, і це цілком нормально. Ми завантажимо потрібні зображення по ходу процесу.

Завантажте останній образ onewebui:

Відкрийте термінал і виконайте наступну команду.

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Якщо у вас немає GPU, виконайте цю команду:

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Це займе деякий час, і після завершення завантаження ви повинні побачити зображення у Docker Desktop.

Наступні кроки після установки Docker:

Також слід коротко згадати, що користувач повинен зробити після виконання Docker-команди, наприклад:

• Перейти до Open WebUI у браузері (наприклад, http://localhost:3000).
• Виконати початкові налаштування в Open WebUI (наприклад, підключити інстанс Ollama).

Будь ласка, зверніть увагу: перед тим як продовжити, переконайтесь, що ваша інстанс Ollama працює у фоновому режимі. Якщо ви слідували попередньому посту, ймовірно, ви вже запустили Ollama в вашому терміналі. Ви можете перевірити, чи працює воно, відкривши нове вікно термінала та спробувавши просту команду Ollama,

ollama list

Ця команда повинна вивести список моделей, які ви завантажили. Переконайтесь, що модель qwen:2.5 (або та, яку ви завантажили в попередньому пості) є в списку. Якщо Ollama не працює або модель не відображається, вам потрібно буде запустити Ollama і, можливо, завантажити модель знову. Ознайомтесь з попереднім постом для інструкцій.

Давайте виберемо модель qwen2.5 та перевіримо відповідь.

Наступні кроки з Open WebUI: Дослідження розширених функцій

Інтеграція з веб-пошуком

Розширене генерування (RAG)

Авторизація та управління користувачами

Управління розмовами та історія:

Управління моделями

Налаштування, що настроюються

Залишайтеся з нами, щоб дізнатися, як підняти ваш веб-досвід з Ollama на новий рівень!

Перекладено з: Post # 2: Bringing Ollama to the Web: Exploring Web Interfaces