Отчет по лабораторной работе #1 выполнил(а):

• Давидчук Никита Олегович
• 2026564

Отметка о выполнении заданий (заполняется студентом):

знак "*" - задание выполнено; знак "#" - задание не выполнено;

Работу проверили:

• к.т.н., доцент Денисов Д.В.
• к.э.н., доцент Панов М.А.
• ст. преп., Фадеев В.О.

Структура отчета

• Данные о работе: название работы, фио, группа, выполненные задания.
• Цель работы.
• Задание 1.
• Код реализации выполнения задания. Визуализация результатов выполнения (если применимо).
• Задание 2.
• Код реализации выполнения задания. Визуализация результатов выполнения (если применимо).
• Задание 3.
• Код реализации выполнения задания. Визуализация результатов выполнения (если применимо).
• Выводы.
• ✨Magic ✨

Ознакомиться с основными операторами зыка Python на примере реализации линейной регрессии.

Установил нужный софт, вывел Hello world!

• Установил Unity Hub, затем установил Unity версии 2020.3.38f1
• Создал пустой объект
• Создал папку Scripts в Assets
• Создал файл C#

• Получил результат

Ход работы:

1. Произвести подготовку данных для работы с алгоритмом линейной регрессии. 10 видов данных были установлены случайным образом, и данные находились в линейной зависимости. Данные преобразуются в формат массива, чтобы их можно было вычислить напрямую при использовании умножения и сложения.

2. Определите связанные функции. Функция модели: определяет модель линейной регрессии wx+b. Функция потерь: функция потерь среднеквадратичной ошибки. Функция оптимизации: метод градиентного спуска для нахождения частных производных w и b.

3. Начать итерацию

• Шаг 1 Инициализация и модель итеративной оптимизации.

• Шаг 2 На второй итерации отображаются значения параметров, значения.

• Шаг 3 Третья итерация показывает значения параметров, значения потерь и визуализацию после итерации.

• Шаг 4 На четвертой итерации отображаются значения параметров, значения потерь и эффекты визуализации.

• Шаг 5 Пятая итерация показывает значение параметра, значение потерь и эффект визуализации после итерации.

• Шаг 6 10000-я итерация, показывающая значения параметров, потери и визуализацию после итерации.

При увеличении итераций в текущей модели величина loss должна стремиться к нулю, поскольку loss показывает количество ошибок/значение ошибки после определенного числа итераций относительно данных в выборке. Чем меньше loss, тем меньше ошибка, и, соответственно, точнее модель на обучающей выборке.

• Обновленные данные на выборку

• Первая итерация

• 10000-ая итерация

Lr (Learning rate) - коэффициент обучения модели. Чем выше коэффициент обучения (шаг обучения), тем быстрее модель приходит к более точному результату и тем меньше функция потерь (loss). Так происходит далеко не всегда и не везде, но в качестве модели, которая используется в этом задании, такое понятие допустимо.

• Шаг 1. lr = .000001

  • Первая итерация

  

  • 10000-ая итерация

  

• Шаг 2. lr = .0005

  • Первая итерация

  

  • 10000-ая итерация

  

• Шаг 3. lr = 0.01

  • Первая итерация

  

  • 10-ая итерация

  

Здесь явным образом показано, что при достаточно большом и статичном lr модель переобучается и не приходит к локальным минимумам. В случае, если мы хотим ускорить процесс обучения за счет сокращения числа итераций обучения и уменьшить loss, стоит применить другой оптимизатор, который будет уменьшать lr с увеличением итераций.

Ничего нового я не узнал, работал с этим и раньше.

BigDigital Team: Denisov | Fadeev | Panov