Regression and AI in practice
Введено| English | Значение |
|---|---|
| regression/rɪˈɡreʃn/ | регрессия |
| classification/ˌklæsɪfɪˈkeɪʃn/ | Классификация |
| linear regression/ˈlɪnɪə rɪˈɡreʃn/ | линейная регрессия |
| OCR/ˌəʊ siː ˈɑː/ | распознавание оптических символов (OCR) |
Предсказание числа, а не имени
- Спросите у модели: «Это письмо спам?», и она должна выбрать ответ из фиксированного набора. Спросите: «За сколько продадут этот дом?», и фиксированного набора ответов нет: ответом является число, и отклонение на тысячу фунтов считается почти верным.
- Это две разные задачи, и их смешивание — самая частая ошибка в этой теме. Обе относятся к обучению с учителем; отличается только форма ответа.
- Этот урок посвящен регрессии по сравнению с классификацией, тому, как линейная регрессия выбирает свою прямую, и тому, как реальные продукты объединяют обученные модели в конвейер.
Регрессия и классификация
- Классификация предсказывает категорию из фиксированного набора: кошка или собака, спам или нет, какой из десяти цифр.
- Регрессия предсказывает число на непрерывной шкале: цену дома, температуру завтра, время пути.
- Обе задачи относятся к обучению с учителем: обе учатся на помеченных примерах. Выбор между ними определяется одним вопросом: является ли ответ меткой или числом?
- Различие влияет на то, как измерять успех. Классификатор либо прав, либо ошибается; регрессор имеет определенную ошибку (расстояние), поэтому их функции потерь различаются.
The difference between regression and classification is that regression predicts:
Сложность 1/5 · 100 монет + небольшой бонус за первое завершение сегодня
Regression outputs a continuous number (price, temperature); classification outputs a category.
Regression predicts a continuous number (a price, a temperature), while classification predicts a category (cat vs dog).
Сложность 1/5 · 100 монет + небольшой бонус за первое завершение сегодня
Number out = regression; category out = classification — the two main kinds of supervised prediction.
Разбор примера: какая задача к какой
- Предсказание, к какому из пяти типов клиентов относится покупатель. Классификация: ответ — одна из фиксированного набора категорий.
- Предсказание, сколько тот же покупатель потратит в следующем месяце. Регрессия: ответ — число, и близкое значение считается почти правильным.
- Предсказание, сломается ли машина на следующей неделе. Классификация: да или нет. Предсказание, через сколько дней она сломается. Регрессия.
- Одни и те же исходные данные могут питать любую из этих моделей. Читайте вопрос, который задается, а не предметную область.
Match each prediction task to its kind.
Сложность 2/5 · 140 монет + небольшой бонус за первое завершение сегодня
The same data can feed either. Read the question: a label from a fixed set, or a number on a scale.
Линейная регрессия
- Линейная регрессия подбирает прямую линию, или плоскую поверхность, если входных данных несколько:
- Коэффициенты выбираются так, чтобы минимизировать сумму квадратов ошибок между предсказаниями линии и фактическими значениями из обучающих данных.
- Возведение в квадрат используется по двум причинам, которые принимаются на экзамене: ошибки выше и ниже линии больше не могут взаимно уничтожаться, и большая ошибка наказывается гораздо сильнее, чем несколько малых.

Прямая линия, оставляющая наименьшую суммарную квадратичную дистанцию
Fitting a regression line
Drag the controls. Linear regression draws the straight line that makes the squared distances to the data points as small as possible — then it predicts a number for any new input.
Linear regression chooses its coefficients to:
Сложность 1/5 · 100 монет + небольшой бонус за первое завершение сегодня
It fits the line/hyperplane that makes the squared differences from the data points as small as possible.
Why does linear regression minimise the sum of the SQUARED errors rather than the errors themselves?
Сложность 1/5 · 100 монет + небольшой бонус за первое завершение сегодня
Both reasons are accepted. Without squaring, a line could have a huge error above and below and still score zero.
Когда прямая линия — подходящая модель
- Используйте линейную регрессию, когда зависимость выглядит приблизительно линейной и вам нужна модель, которую человек может интерпретировать: каждый коэффициент показывает, насколько важен данный входной параметр и в каком направлении.
- Когда данные имеют изгибы, та же идея применяется с другой моделью: полиномиальная регрессия, дерево решений или нейронная сеть. В каждом случае рецепт одинаков: выберите модель, определите функцию потерь, минимизируйте её.
- Именно этот рецепт связывает этот урок с предыдущим: градиентный спуск — это просто способ выполнения минимизации, когда нет формулы для решения.
Искусственный интеллект в реальном продукте
- Реальные системы редко используют одну модель. Они цепляют несколько обученных моделей в конвейер, где каждая выполняет один шаг.
- Идентификация лица на двери: камера фиксирует лицо, распознавание изображений преобразует его в числовое представление, которое затем сопоставляется с представлениями зарегистрированных людей.
- Озвучивание таблички для путешественника: распознавание изображений находит текст, OCR превращает пиксели в символы, машинный перевод конвертирует слова, а синтез речи создает аудио.
- На экзамене дается сценарий и спрашивается, какие модели используются и в каком порядке. Называйте этап и то, что он производит для следующего.
Match each AI idea to what it means.
Сложность 2/5 · 140 монет + небольшой бонус за первое завершение сегодня
Training fits the model once; inference is the quick prediction each time a user interacts.
A "read a sign aloud" feature typically chains which models?
Сложность 1/5 · 100 монет + небольшой бонус за первое завершение сегодня
Several trained models form a pipeline: find the text, extract characters, translate, then speak.
Put the stages of an app that reads a foreign sign aloud in order.
Сложность 3/5 · 200 монет + небольшой бонус за первое завершение сегодня
Several trained models chained together, each handing its output to the next. Name the stage and what it produces.
Разбор примера: обучение против инференса
- Приложение на телефоне мгновенно распознает растение по фотографии, но обучение его модели заняло недели на множестве машин. Объясните почему.
- Обучение многократно выполняет прямые и обратные проходы по очень большому помеченному набору данных, корректируя миллионы весов на протяжении множества эпох. Вот что заняло недели.
- Инференс (использование обученной модели) — это один прямой проход через сеть, веса которой теперь зафиксированы: умножение, сложение, активация, слой за слоем, один раз.
- Интеллект заключается в обученных весах, поэтому готовая модель достаточно мала и быстра, чтобы быть установленной на телефон.
Using a trained model to make a prediction requires only a single ____ pass.
Сложность 1/5 · 100 монет + небольшой бонус за первое завершение сегодня
Training repeats forward and backward passes over a huge dataset; inference runs the fixed weights once, which is why it is instant.
Потерянные баллы
- Классификация выдает категорию, регрессия выдает число. Обе задачи являются задачами с учителем; именно это не является их различием.
- Линейная регрессия минимизирует сумму квадратов ошибок, а не «общее расстояние». Скажите слово «квадраты» и объясните почему.
- Ответ по конвейеру должен перечислять этапы в правильном порядке и указывать, что каждый этап передаёт следующему.
- Обучение — это многократные прямые и обратные проходы; инференс — это один прямой проход. Не описывайте процесс обучения, если в вопросе спрашивается об использовании.
Вы поняли
- Классификация предсказывает категорию, регрессия предсказывает число; обе являются задачами с учителем, а форма ответа в вопросе определяет выбор метода.
- Линейная регрессия подгоняет $y = m_1x_1 + \ldots + c$ путем минимизации суммы квадратов ошибок, благодаря чему ошибки не могут взаимно уничтожаться, а крупные ошибки сильно штрафуются.
- Кривым данным нужна другая модель, но рецепт тот же: выберите модель, определите функцию потерь, минимизируйте её.
- Реальные продукты цепляют модели вместе: распознавание изображений, OCR, перевод и синтез речи; обучение включает множество прямых и обратных проходов, инференс — один прямой проход.