Поки є захоплення від дослідження вражаючих заяв і захоплюючого потенціалу нещодавно запущеної моделі ШІ від High-Flyer, DeepSeek-R1, багато людей насторожені щодо її використання, особливо через те, що їхні дані будуть зберігатися на китайському сервері.
Добра новина — це модель з відкритим кодом, яку можна налаштувати для запуску локально, що значно зменшує дискомфорт від обміну приватними даними з віддаленим сервером. Однак розмір моделі, яку можна запустити, залежатиме від вашої локальної машини.
Ось як можна налаштувати очищену модель DeepSeek-R1 для локального запуску:
ПОТРІБНО:
Ollama : безкоштовний, відкритий інструмент, який дозволяє користувачам запускати, створювати та ділитися великими мовними моделями (LLMs) локально.DeepSeek-R1 : для цього експерименту ми будемо використовувати модель з 8 мільярдами параметрів.
Машина : Я використовую 4-ядерну 16 ГБ AMD машину. Без GPU.
1 : Завантажте Ollama та встановіть на локальну машину.
Кроки прості. Запустіть установник і — ось і все.
Щоб перевірити установку, відкрийте термінал і виконайте:
команда : ollama
2: Завантажте модель
Зважаючи на поточну конфігурацію машини, я вирішив використовувати модель з 8 мільярдами параметрів deepseek-r1:8b.
Щоб завантажити, просто виконайте:
ollama pull deepseek-r1:8b
Це має виглядати ось так:
команда : ollama pull deepseek-r1:8b
Тепер, щоб насправді запустити модель і ставити питання, введіть у вашому терміналі:
ollama run deepseek-r1:8b
Ви побачите запит. Починайте питати!
Але цього ж недостатньо, чи не так?
Ви хочете автоматизувати завдання, а не просто вести розмову. Тут на допомогу приходить Python.
Отримайте бібліотеку ollama для Python: pip install ollama
Ось приклад коду, щоб почати використовувати Python для запитів до DeepSeek:
import ollama
prompt='what is pyspark context' #your prompt
model='deepseek-r1:8b' #exact model you want to talk to
response=ollama.chat(model=model,messages=[
{
'role':'user',
'content':prompt,
},
])
response=response['message']['content']
print(response)
Ось і все. Насолоджуйтеся!
До речі, він відповів на запитання про Масакру на Тяньаньмень.
Відповідь здається сумнівною, так, але пам'ятайте, я використовую лише модель з 8 мільярдами параметрів. Найбільша модель, яку можна запустити локально на момент публікації цієї статті, має 671 мільярд параметрів.
Перекладено з: on Running DeepSeek on local machine