👨‍💻DEV [Вячеслав Колосков] [Stepik] Разработка LLM с нуля (2025)

[Odyvanchik]

[Вячеслав Колосков] [Stepik] Разработка LLM с нуля (2025)

Слив курса Разработка LLM с нуля [Stepik] [Вячеслав Колосков]

Этот практический курс погрузит студентов в создание современных языковых моделей (LLM) на примере GPT-архитектуры.

Участники с нуля реализуют все основные компоненты Трансформера: от токенизации (BPE) до механизмов Внимания и генерации текста.

Для разработки будем использовать только Python и низкоуровневый PyTorch, не полагаясь на какие-либо сторонние библиотеки.

Чему вы научитесь:

* Научитесь читать схемы архитектур основанных на Трансформерах.

* Изучите принципы проектирования современных LLM.

* Понимать алгоритм токенизации текста.

* Реализовывать ключевые компоненты GPT.

* Управлять креативностью модели.

* Собирать и подготавливать данные для обучения.

* Настраивать Pre-train цикл обучения LLM.

Для кого этот курс:

Курс предназначен для разработчиков, инженеров машинного обучения и исследователей, желающих глубоко разобраться в архитектуре современных языковых моделей (LLM).

Начальные требования:

Базовые знания Python, минимальный ООП (классы, функции).

Понимание основ машинного обучения (train/test, таргет, фичи, градиент, функции потерь, метрики и т.д.).

Базовые знания по PyTorch: линейные слои, активации, нормализация, дропаут, обратное распространение ошибки.

Желателен опыт реализации простой полносвязнной сети для задачи много-классовой классификации.

Преподаватель: Вячеслав Колосков:

Machine Learning Engineer (в телекоме)

В IT работаю более 15 лет. Последние 5 лет работаю Machine Learning Engineer (в телекоме). Много занимался большими табличками (Spark, Hadoop и пр.).

В последнее время в основном работаю с NLP и в частности разрабатываю RAG-систему на работе.

Программа курса:
Введение

* Инструкция

* Что такое LLM?

* Архитектура LLM

Токены и эмбединги

* Byte-Pair Encoding

* Эмбединги

Transformer

* «‎Внимание»‎

* Feed-Forward Network

* Decoder

LLM

* Собираем GPT

* Сэмплирование

Обучение

* Датасет

* Train/Eval

* Применение

Другие модели

* GPT-2

* LLama

* Mistral

* Mixtral

* Gemma



—————————————————————————

🔗 Продажник:

📥 СКАЧАТЬ КУРС:

Для просмотра содержимого вам необходимо Войти или Зарегистрироваться.

🔐 Хотите получить доступ?

Чтобы увидеть скрытые ссылки и ставить лайки, активируйте VIP-статус.

💎 ПОЛУЧИТЬ ДОСТУП Наш Telegram канал