Регрессия и ИИ на практике
| English | Русский |
|---|---|
| regression/rɪˈɡreʃn/ | регрессию |
| classification/ˌklæsɪfɪˈkeɪʃn/ | классификация |
| linear regression/ˈlɪnɪə rɪˈɡreʃn/ | линейная регрессия |
| OCR/ˌəʊ siː ˈɑː/ | OCR (оптическое распознавание символов) |
Предсказание числа, а не имени
- Спросите у модели: «Это письмо спам?», и она должна выбрать ответ из фиксированного набора. Спросите: «За сколько продадут этот дом?», и фиксированного набора ответов нет: ответом является число, и отклонение на тысячу фунтов считается почти верным.
- Это две разные задачи, и их смешивание — самая частая ошибка в этой теме. Обе относятся к обучению с учителем; отличается только форма ответа.
- Этот урок посвящен регрессии по сравнению с классификацией, тому, как линейная регрессия выбирает свою прямую, и тому, как реальные продукты объединяют обученные модели в конвейер.
Регрессия и классификация
- Классификация предсказывает категорию из фиксированного набора: кошка или собака, спам или нет, какой из десяти цифр.
- Регрессия предсказывает число на непрерывной шкале: цену дома, температуру завтра, время пути.
- Обе задачи относятся к обучению с учителем: обе учатся на помеченных примерах. Выбор между ними определяется одним вопросом: является ли ответ меткой или числом?
- Различие влияет на то, как измерять успех. Классификатор либо прав, либо ошибается; регрессор имеет определенную ошибку (расстояние), поэтому их функции потерь различаются.
Разница между регрессией и классификацией заключается в том, что регрессия предсказывает:
Регрессия выдает непрерывное число (цена, температура); классификация выдает категорию.
Регрессия предсказывает непрерывное число (цену, температуру), тогда как классификация предсказывает категорию (кот против собаки).
Числовой вывод = регрессия; категорийный вывод = классификация — два основных вида надзорного предсказания.
Разбор примера: какая задача к какой
- Предсказание, к какому из пяти типов клиентов относится покупатель. Классификация: ответ — одна из фиксированного набора категорий.
- Предсказание, сколько тот же покупатель потратит в следующем месяце. Регрессия: ответ — число, и близкое значение считается почти правильным.
- Предсказание, сломается ли машина на следующей неделе. Классификация: да или нет. Предсказание, через сколько дней она сломается. Регрессия.
- Одни и те же исходные данные могут питать любую из этих моделей. Читайте вопрос, который задается, а не предметную область.
Соотнесите каждую задачу предсказания с ее типом.
Одни и те же данные могут подходить для обоих вариантов. Прочитайте вопрос: метка из фиксированного набора или число на шкале.
Линейная регрессия
- Линейная регрессия подбирает прямую линию, или плоскую поверхность, если входных данных несколько:
- Коэффициенты выбираются так, чтобы минимизировать сумму квадратов ошибок между предсказаниями линии и фактическими значениями из обучающих данных.
- Возведение в квадрат используется по двум причинам, которые принимаются на экзамене: ошибки выше и ниже линии больше не могут взаимно уничтожаться, и большая ошибка наказывается гораздо сильнее, чем несколько малых.
Прямая линия, оставляющая наименьшую суммарную квадратичную дистанцию
Построение регрессионной линии
Перетащите ползунки. Линейная регрессия строит прямую линию, которая делает квадраты расстояний до точек данных максимально малыми — затем она предсказывает число для любого нового входа.
Линейная регрессия выбирает свои коэффициенты, чтобы:
Она подгоняет линию/гиперплоскость, которая делает квадраты отклонений от точек данных максимально малыми.
Почему линейная регрессия минимизирует сумму КВАДРАТИРОВанных ошибок, а не сами ошибки?
Оба объяснения принимаются. Без возведения в квадрат линия могла бы иметь огромную ошибку выше и ниже, но все равно набрала бы ноль.
Когда прямая линия — подходящая модель
- Используйте линейную регрессию, когда зависимость выглядит приблизительно линейной и вам нужна модель, которую человек может интерпретировать: каждый коэффициент показывает, насколько важен данный входной параметр и в каком направлении.
- Когда данные имеют изгибы, та же идея применяется с другой моделью: полиномиальная регрессия, дерево решений или нейронная сеть. В каждом случае рецепт одинаков: выберите модель, определите функцию потерь, минимизируйте её.
- Именно этот рецепт связывает этот урок с предыдущим: градиентный спуск — это просто способ выполнения минимизации, когда нет формулы для решения.
Искусственный интеллект в реальном продукте
- Реальные системы редко используют одну модель. Они цепляют несколько обученных моделей в конвейер, где каждая выполняет один шаг.
- Идентификация лица на двери: камера фиксирует лицо, распознавание изображений преобразует его в числовое представление, которое затем сопоставляется с представлениями зарегистрированных людей.
- Озвучивание таблички для путешественника: распознавание изображений находит текст, OCR превращает пиксели в символы, машинный перевод конвертирует слова, а синтез речи создает аудио.
- На экзамене дается сценарий и спрашивается, какие модели используются и в каком порядке. Называйте этап и то, что он производит для следующего.
Соотнесите каждую идею ИИ с её значением.
Обучение подгоняет модель один раз; инференс — это быстрое предсказание каждый раз, когда пользователь взаимодействует с системой.
Функция «читай знак вслух» обычно соединяет какие модели?
Несколько обученных моделей образуют конвейер: найти текст, извлечь символы, перевести, затем озвучить.
Расставьте этапы приложения, которое читает иностранный знак вслух, в правильном порядке.
Несколько обученных моделей, соединенных последовательно, каждая передает свой результат следующей. Назовите этап и то, что он производит.
Разбор примера: обучение против инференса
- Приложение на телефоне мгновенно распознает растение по фотографии, но обучение его модели заняло недели на множестве машин. Объясните почему.
- Обучение многократно выполняет прямые и обратные проходы по очень большому помеченному набору данных, корректируя миллионы весов на протяжении множества эпох. Вот что заняло недели.
- Инференс (использование обученной модели) — это один прямой проход через сеть, веса которой теперь зафиксированы: умножение, сложение, активация, слой за слоем, один раз.
- Интеллект заключается в обученных весах, поэтому готовая модель достаточно мала и быстра, чтобы быть установленной на телефон.
Использование обученной модели для получения предсказания требует только одного ____ прохода.
Обучение многократно повторяет прямые и обратные проходы по большому набору данных; инференс запускает фиксированные веса один раз, поэтому он мгновенен.
Потерянные баллы
- Классификация выдает категорию, регрессия выдает число. Обе задачи являются задачами с учителем; именно это не является их различием.
- Линейная регрессия минимизирует сумму квадратов ошибок, а не «общее расстояние». Скажите слово «квадраты» и объясните почему.
- Ответ по конвейеру должен указывать этапы в правильном порядке и说明 что каждый из них передает следующему.
- Обучение — это многократные прямые и обратные проходы; инференс — это один прямой проход. Не описывайте процесс обучения, если в вопросе спрашивается об использовании.
Вы поняли
- Классификация предсказывает категорию, регрессия предсказывает число; обе являются задачами с учителем, а форма ответа в вопросе определяет выбор метода.
- Линейная регрессия подгоняет $y = m_1x_1 + \ldots + c$ путем минимизации суммы квадратов ошибок, благодаря чему ошибки не могут взаимно уничтожаться, а крупные ошибки сильно штрафуются.
- Кривым данным нужна другая модель, но рецепт тот же: выберите модель, определите функцию потерь, минимизируйте её.
- Реальные продукты цепляют модели вместе: распознавание изображений, OCR, перевод и синтез речи; обучение включает множество прямых и обратных проходов, инференс — один прямой проход.