LLM для Python-разработчиков: от RAG до агентов

Что такое LLM? · Осознанное взаимодействие с LLM: промпты, параметры, security · Выбор между облачными API и локальными моделями · Первый запрос к LLM · Установка и запуск LLM локально с помощью Ollama · Base-модели и instruct-модели: в чём разница и почему это важно · Эксперименты с промптами: few-shot и chain-of-thought · Закрепление материала

• Что такое LLM?
• Осознанное взаимодействие с LLM: промпты, параметры, security
• Выбор между облачными API и локальными моделями
• Первый запрос к LLM
• Установка и запуск LLM локально с помощью Ollama
• Base-модели и instruct-модели: в чём разница и почему это важно
• Эксперименты с промптами: few-shot и chain-of-thought
• Закрепление материала

Что такое embeddings (эмбеддинги)? · Векторные базы данных: зачем они и как работают? · Создание и поиск по эмбеддингам с Chroma · Переход на Qdrant: запуск через Docker и интеграция · Полезные практики: чанкинг, метаданные, reranking · Расширенные стратегии чанкинга и реранкинга · Закрепление материала

• Что такое embeddings (эмбеддинги)?
• Векторные базы данных: зачем они и как работают?
• Создание и поиск по эмбеддингам с Chroma
• Переход на Qdrant: запуск через Docker и интеграция
• Полезные практики: чанкинг, метаданные, reranking
• Расширенные стратегии чанкинга и реранкинга
• Закрепление материала

RAG с нуля: архитектура и первый рабочий пайплайн · RAG в продакшене: переключение на Qdrant и асинхронность · Оценка качества RAG · Защита от галлюцинаций и фильтрация ответов · Введение в агентов: LLM + инструменты (tools) · Stateful-агенты с LangGraph · Подготовка к продакшену: логирование, мониторинг, безопасность · Закрепление: финальный мини-проект

• RAG с нуля: архитектура и первый рабочий пайплайн
• RAG в продакшене: переключение на Qdrant и асинхронность
• Оценка качества RAG
• Защита от галлюцинаций и фильтрация ответов
• Введение в агентов: LLM + инструментыtools
• Stateful-агенты с LangGraph
• Подготовка к продакшену: логирование, мониторинг, безопасность
• Закрепление: финальный мини-проект

Почему RAG ломается в продакшене? Типичные сценарии · Защита RAG: от индексации до ответа · Мониторинг RAG в продакшене: логи, метрики, алерты · Оптимизация поиска: reranking и multi-query · Метаданные: основа безопасности и персонализации · Закрепление материала

• Почему RAG ломается в продакшене? Типичные сценарии
• Защита RAG: от индексации до ответа
• Мониторинг RAG в продакшене: логи, метрики, алерты
• Оптимизация поиска: reranking и multi-query
• Метаданные: основа безопасности и персонализации
• Закрепление материала

Когда локальные LLM — не просто «можно», а «нужно» · Выбор модели под задачу: не параметры, а измеримые метрики · Ollama в продакшене: как обернуть демон в надёжный сервис · Прямой inference через llama-cpp-python · Мониторинг и алертинг для локальных LLM · Решение типичных проблем в продакшене · Закрепление материала

• Когда локальные LLM — не просто «можно», а «нужно»
• Выбор модели под задачу: не параметры, а измеримые метрики
• Ollama в продакшене: как обернуть демон в надёжный сервис
• Прямой inference через llama-cpp-python
• Мониторинг и алертинг для локальных LLM
• Решение типичных проблем в продакшене
• Закрепление материала

Зачем дообучать модель и когда это оправдано · Дообучение через LoRA на бесплатной GPU (Google Colab) · Интеграция LoRA-адаптера в локальные LLM · Закрепление материала

• Зачем дообучать модель и когда это оправдано
• Дообучение через LoRA на бесплатной GPUGoogle Colab
• Интеграция LoRA-адаптера в локальные LLM
• Закрепление материала

Введение в multi-agent системы · Архитектура и оркестрация · Реализация на CrewAI · Альтернативы и расширения (Autogen, кастомизация)

• Введение в multi-agent системы
• Архитектура и оркестрация
• Реализация на CrewAI
• Альтернативы и расширенияAutogen, кастомизация

Архитектура и требования · Подготовка окружения и компонентов · Реализация RAG-поиска (POST /search) · Реализация генерации и сохранения (POST /generate) · Инфраструктура и тестирование · Компромиссы и пути развития

• Архитектура и требования
• Подготовка окружения и компонентов
• Реализация RAG-поискаPOST /search
• Реализация генерации и сохраненияPOST /generate
• Инфраструктура и тестирование
• Компромиссы и пути развития

Глоссарий курса · Тесты 1 · Тесты 2

• Глоссарий курса
• Тесты 1
• Тесты 2

Рекомендации по железу · Заключение

• Рекомендации по железу
• Заключение