Температура, Top P, Max Tokens, Frequency Penalty, Presence Penalty — це всі параметри конфігурації, які можна налаштовувати під час взаємодії з великими мовними моделями (LLM). Вони використовуються для контролю результату роботи великих мовних моделей (LLM). Експериментуйте з ними без зусиль, використовуючи Oracle AI Microservices Sandbox.
Температура контролює випадковість або "креативність" виводу моделі. Спробуйте запит
“Опишіть сонячний день”
при різних налаштуваннях температури.
Top P, також відомий як ядерне вибірку, обмежує вибір токенів лише тими, що знаходяться в межах певного кумулятивного розподілу ймовірності. Хороший запит для демонстрації концепції Top P при використанні LLM — це попросити модель
“Продовжіть речення: Погода сьогодні”
при різних налаштуваннях Top P.
Запустіть чат-бота на штучному інтелекті швидко на ARM Mac'ах. ARM-процесори Apple, включаючи серії M1, M2, M3 та M4, мають значно покращені можливості для роботи з графічними процесорами. Це робить експериментування з різними моделями LLM простим.
OLLAMA
Ollama — це інструмент з відкритим кодом, який дозволяє користувачам запускати великі мовні моделі (LLM) локально на своїх власних машинах.
Перевірте успішність, запустивши команду в командному рядку
ollama --version
ollama version is 0.5.4
Запустіть його
ollama run llama3
Ця команда
- запускає вказану модель (llama3.2) на вашій локальній машині
- Якщо модель ще не завантажена, вона автоматично завантажується з репозиторію Ollama
- Після завантаження моделі запускається інтерактивна сесія, де ви можете вводити запити і отримувати відповіді від моделі
ollama run llama3.2
>>> /?
Доступні команди:
/set Встановити змінні сесії
/show Показати інформацію про модель
/load Завантажити сесію або модель
/save Зберегти поточну сесію
/clear Очистити контекст сесії
/bye Вийти
/?, /help Допомога по команді
/? shortcuts Допомога по гарячих клавішах
Використовуйте """ для початку багаторазового повідомлення.
>>> Надішліть повідомлення (/? для допомоги)
Запуск консолі AI Sandbox
Встановіть pyenv, менеджер версій Python.
Встановіть AI Sandbox
Запустіть консоль за допомогою Streamlit
streamlit run oaim-sandbox.py --server.port 8501
Тепер ви можете переглядати вашу програму Streamlit у браузері.
URL: http://localhost:8501
Для кращої продуктивності встановіть модуль Watchdog:
$ xcode-select --install
$ pip install watchdog
2025-01-08 09:52:38 - INFO - (oci.circuit_breaker): Стратегія Circuit breaker для стандартного клієнта Auth увімкнена
2025-01-08 09:52:38 - INFO - (db_config): Не вдалося ініціалізувати базу даних: DPY-4001: не вказано облікові дані
2025-01-08 09:52:38 - INFO - (model_config): ініціалізовано конфігурацію моделі Embedding
2025-01-08 09:52:38 - INFO - (model_config): ініціалізовано конфігурацію моделі мови
2025-01-08 09:52:38 - INFO - (model_config): ініціалізовано конфігурацію метрики відстані
2025-01-08 09:52:38 - INFO - (prompt_eng): ініціалізовано запит мови моделі
2025-01-08 09:52:38 - INFO - (prompt_eng): ініціалізовано запит контексту
2025-01-08 09:52:38 - INFO - (oci_config): ініціалізація конфігурації OCI
2025-01-08 09:52:38 - INFO - (modules.utilities): Імпортування конфігураційного файлу: ~/.oci/config
2025-01-08 09:52:38 - INFO - (modules.utilities): Конфігурацію OCI налаштовано
2025-01-08 09:52:38 - INFO - (modules.utilities): Отримання простору імен об'єктного сховища
2025-01-08 09:52:38 - INFO - (modules.utilities): Аутентифікація OCI як стандарт
2025-01-08 09:52:38 - INFO - (modules.utilities): Успішно - Простір імен = maacloud
2025-01-08 09:52:38 - INFO - (api_server): ініціалізовано конфігурацію API-сервера
Головна сторінка консолі AI
Налаштування LLM
Налаштування LLM
Чат
чат
Сподіваюся, що ця вступна інформація про налаштування LLM за допомогою Oracle AI Sandbox була корисною. Однак я лише торкнувся поверхні. Наступного разу, Retrieval Augmented Generation.
Перекладено з: Mastering LLM Configuration: A Hands-On Guide with Oracle AI Microservices Sandbox