Оригинал: Андрей был одним из основателей OpenAI (2015), затем старшим директором по ИИ в Tesla (2017-2022), а сейчас является основателем Eureka Labs, которая создает школу на базе ИИ. Его цель в этом видео — повысить знания и понимание современного состояния ИИ и дать людям возможность эффективно использовать последние достижения в своей работе. Подробнее на и **Главы** 00:00:00 Введение 00:01:00 Данные для предварительного обучения (интернет) 00:07:47 Токенизация 00:14:27 Ввод/вывод нейронной сети 00:20:11 Внутреннее устройство нейронной сети 00:26:01 Вывод (инференс) 00:31:09 GPT-2: обучение и вывод 00:42:52 Вывод базовой модели Llama 3.1 00:59:23 От предварительного обучения к пост-обучению 01:01:06 Данные пост-обучения (разговоры) 01:20:32 Галлюцинации, использование инструментов, знания/рабочая память 01:41:46 Знание о себе 01:46:56 Моделям нужны токены для мышления 02:01:11 Повторное рассмотрение токенизации: модели испытывают трудности с правописанием 02:04:53 Неравномерный интеллект 02:07:28 От контролируемой тонкой настройки к обучению с подкреплением 02:14:42 Обучение с подкреплением 02:27:47 DeepSeek-R1 02:42:07 AlphaGo 02:48:26 Обучение с подкреплением на основе обратной связи от людей (RLHF) 03:09:39 Предварительный обзор будущих разработок 03:15:15 Отслеживание развития LLM 03:18:34 Где найти LLM 03:21:46 Общее резюме **Ссылки** ChatGPT FineWeb (датасет предобучения): Tiktokenizer: 3D-визуализатор трансформеров: llm.c Воспроизведение GPT-2 Статья о Llama 3 от Meta: Hyperbolic, для вывода базовой модели: Статья InstructGPT о SFT: Playground для инференса на HuggingFace: Статья о DeepSeek-R1: TogetherAI Playground для инференса открытых моделей: Статья об AlphaGo (PDF): Видео о ходе 37 AlphaGo: • Lee Sedol vs AlphaGo реакция на ход 37... LM Arena для рейтинга моделей: Новостная рассылка по ИИ: LMStudio для локального инференса Визуализатор, использованный в видео: Конкретный файл Excalidraw, который мы создали: Discord-канал для Eureka Labs и этого видео: /discord