[Maximilian Schwarzmüller] Локальные LLM через Ollama и LM Studio - Практическое руководство (2025)

[uta567mail.ru]

Maximilian Schwarzmüller Udemy
Локальные LLM через Ollama и LM Studio - Практическое руководство (2025)

***Язык английский. Перевод на русский всех видео лекций с помощью ИИ***

Кому подойдёт этот материал?

• Beginner and advanced users of AI chatbots & LLMs
• Professionals that require a high degree of data privacy
• Tech enthusiasts and AI users that want to go beyond the basics
• Запускайте открытые большие языковые модели, такие как Gemma, Llama или DeepSeek, локально для выполнения AI-инференса на пользовательском оборудовании.

Это практический курс, который шаг за шагом обучает запуску современных больших языковых моделей (LLM) на вашем собственном компьютере с помощью инструментов Ollama и LM Studio.

Вот основные аспекты и навыки, которые вы получите:

• Изучение открытых LLM: Понимание, что такое открытые языковые модели, зачем они нужны и где их найти.
• Аппаратные требования: Разбор реальных требований к железу для локального запуска LLM.
• Квантование: Объяснение техники, которая позволяет запускать большие модели даже на обычных компьютерах.
• LM Studio: Практическая работа с установкой, настройкой, выбором, скачиванием и запуском моделей через LM Studio.
• Ollama: Установка, настройка и взаимодействие с моделями через Ollama.
• Реальные задачи: Использование LLM для OCR (распознавание текста на изображениях), суммирования PDF-документов, few-shot prompting, генерации креативного контента.
• Интеграция: Встраивание локальных моделей в собственные программы и приложения через API Ollama и LM Studio

Требования:

• Базовое понимание принципов работы и использования LLM
• НЕ требуются навыки программирования или продвинутые технические знания
• Если вы хотите запускать модели локально: потребуется не менее 8 ГБ (V)RAM

Откройте силу приватного и мощного ИИ на своем собственном ПК!
ChatGPT, Google Gemini и другие подобные AI-чат-боты стали стандартными инструментами на каждый день.
Но, как и любые инструменты, они подходят не для всех задач.
Когда важны приватность, стоимость, офлайн-доступ или глубокая кастомизация, запуск мощных открытых моделей локально на своем компьютере превосходит все проприетарные модели и сторонние AI-чат-боты.
Этот курс научит вас использовать открытые LLM, такие как Llama от Meta, Gemma от Google или DeepSeek, чтобы запускать AI-нагрузки и чат-ботов прямо на вашем устройстве — неважно, это мощный ПК или обычный ноутбук.

Почему локальные и открытые LLM?
В эпоху облачных AI и чат-ботов вроде ChatGPT локальный запуск современных моделей дает принципиальные преимущества.
Представьте, что вы используете передовой ИИ с такими возможностями:

• Нулевая или низкая стоимость: Забудьте о дорогих подписках — используйте мощные модели бесплатно.
• 100% приватность: Ваши запросы и данные всегда остаются на вашем компьютере.
• Оффлайн-доступ: Работайте с ИИ где угодно и когда угодно, даже без интернета.
• Свобода от привязки к поставщику: Доступ к разнообразной и быстрорастущей экосистеме открытых моделей.
• Потрясающие возможности: Откройте для себя, что такие открытые модели, как Gemma, Llama и DeepSeek, не просто альтернатива, а лидеры рейтингов и бенчмарков!
• Обзор курса

Этот курс — ваш подробный и практический путь в мир локальных LLM.
Мы упростим сложные моменты и проведём вас шаг за шагом — от установки до продвинутого использования.

Вы освоите:

• Мир открытых LLM: Что такое открытые модели, зачем они нужны и где их искать.
• Оборудование без секретов: Реальные требования к железу для локального запуска LLM.
• Квантование: Техника, позволяющая запускать большие модели на обычных компьютерах.
• LM Studio: Практика установки, настройки, выбора, скачивания и запуска моделей через LM Studio.
• Ollama: Установка, настройка и взаимодействие с моделями через Ollama.
• Реальные задачи: Применение знаний для OCR изображений, суммирования PDF-документов, few-shot prompting, генерации креативного контента.
• Интеграция в свои программы: Как подключать локальные модели к собственным скриптам и приложениям через API (LM Studio и Ollama).
• И многое другое! Постройте прочную базу и уверенность для самостоятельного освоения локального ИИ.

Курс идеально подойдет:

• Разработчикам, желающим интегрировать мощный и приватный ИИ в свои рабочие процессы или приложения.
• Техническим энтузиастам, стремящимся экспериментировать с передовым ИИ без ограничений облака.
• Людям, заботящимся о приватности данных при работе с ИИ.
• Всем, кто ищет мощные AI-решения без постоянных подписок.
• Студентам и профессионалам, желающим добавить востребованные практические навыки ИИ в свой арсенал.

Готовы взять под контроль своё AI-будущее?
Откройте для себя мир мощного, приватного и доступного искусственного интеллекта. Запишитесь на курс «Unlock Local AI Power» и начните запускать невероятные большие языковые модели прямо на своём компьютере уже сегодня!

Материалы курса:
5 разделов • 58 лекций • Общая продолжительность 3 ч 54 мин

Введение

1. Добро пожаловать на курс!
2. Что такое «открытые степени магистра права»?
3. Почему вам стоит проводить открытые программы LLM локально?
4. Популярные открытые программы LLM — некоторые примеры
5. Где найти открытые степени магистра права?
6. Локальное выполнение LLM — доступные варианты
7. Проверьте лицензии моделей!
8. Слайды курса

Понимание требований к оборудованию и квантования

1. Введение в модуль
2. Требования к оборудованию LLM — первые шаги
3. Вывод требований к оборудованию из параметров модели
4. Квантование спешит на помощь!
5. Работает ли он на вашем компьютере?

Глубокое погружение в LM Studio

1. Введение в модуль
2. Локальный и удаленный запуск
3. Установка и использование LM Studio
4. Поиск, загрузка и активация открытых LLM
5. Использование интерфейса чата LM Studio
6. Работа с системными подсказками и предустановками
7. Управление чатами
8. Возможности для опытных пользователей по управлению моделями и чатами
9. Использование мультимодальных моделей и извлечение контента из изображений (OCR)
10. Анализ и обобщение PDF-документов
11. Вперед к более продвинутым настройкам
12. Понимание температуры, top_k и top_p
13. Управление температурой, top_k и top_p в LM Studio
14. Управление базовой средой выполнения и конфигурацией оборудования
15. Управление длиной контекста
16. Использование мгновенного внимания
17. Работа со структурированными результатами
18. Использование локальных LLM для генерации кода
19. Генерация контента и подсказки с небольшим количеством кадров (инженерия подсказок)
20. Вперед к программному использованию
21. LM Studio и ее совместимость с OpenAI
22. Еще примеры кода!
23. Более глубокое изучение API LM Studio
24. Использование Python/JavaScript SDK

Глубокое погружение в Оллама

1. Введение в модуль
2. Установка и запуск Ollama
3. Поиск пригодных для использования открытых моделей
4. Локальное выполнение открытых LLM через Ollama
5. Добавление графического интерфейса с помощью Open WebUI
6. Работа с многострочными сообщениями и вводом изображений (мультимодальность)
7. Проверка моделей и извлечение информации о моделях
8. Редактирование системных сообщений и параметров модели
9. Сохранение и загрузка сессий и моделей
10. Управление моделями
11. Создание чертежей моделей с помощью Modelfiles
12. Создание моделей из файлов моделей
13. Понимание шаблонов моделей
14. Создание модели с нуля из файла GGUF
15. Начало работы с сервером Ollama (API)
16. Изучение API Ollama и программного доступа к модели
17. Получение структурированного вывода
18. Еще примеры кода!
19. Использование Python/JavaScript SDK

Обзор курса.

1. Округлять
2. Бонусная лекция

Скачать курс: