Обучение

Содержание курса

Общие сведения о методологии анализа данных

• Вводные понятия. Основные задачи Data Mining и методы их решения. Хранение данных. Файлы. Файловая система.
• Основные этапы анализа данных. Сбор и систематизация данных. Данные. Объекты исследования. Переменные (признаки объектов). Генеральная совокупность и выборка. Параметры и статистики. Измерения признаков. Дискретные и непрерывные данные. Шкалы. Номинальная шкала. Порядковая шкала. Интервальная шкала. Относительная шкала. Дихотомическая шкала.
• Виды данных.  Фактоиды. Ряды. Сырые данные (транзакции).
• Основные источники данных. Социологические опросы. Наблюдения. Документы. Результаты прямых измерений. Социальные сети. Внешние источники.
• Основные этапы подготовки данных. Загрузка данных. Разделение данных. Приведение к одинаковым единицам измерения. Заполнение отсутствующих значений.
• Очистка данных. Контроль диапазонов (визуальный и с применением методов математической статистики). Проверка орфографии. Сравнение с регулярными выражениями. Сочетание полей. Устранение дубликатов. Объединение данных из разных источников
• Описательные статистики. Мода. Медиана. Среднее. Средневзвешенное.
• Визуализация данных. 

Базы данных

• Информационные системы. БД, СУБД. Архитектура системы баз данных. Архитектура ANSI-SPARC.
• Моделирование и структурирование данных
• Хранение данных в реляционной модели
• Запросы к данным
• Индексы
• Оптимизация запросов
• Транзакции
• NoSQL модели

Литература: 

1. СУБД: язык SQL в примерах и задачах [Электронный ресурс] : учеб. пособие / И.Ф. Астахова [и др.]. — Электрон. дан. — Москва : Физматлит, 2009. — 168 с. — Режим доступа: https://e.lanbook.com/book/2101 
2. Брешенков, А.В. Практическое освоение основных возможностей СУБД Oracle Database 10g [Электронный ресурс] : метод. указ. / А.В. Брешенков, А.М. Губарь. — Электрон. дан. — Москва : МГТУ им. Н.Э. Баумана, 2015. — 17 с. — Режим доступа: https://e.lanbook.com/book/103556 
3. Анализ данных : учебник для академического бакалавриата / В. С. Мхитарян [и др.] ; под ред. В. С. Мхитаряна. — М. : Издательство Юрайт, 2018. — 490 с. — (Серия : Бакалавр. Академический курс). — ISBN 978-5-534-00616-2. — Режим доступа : www.biblio-online.ru/book/CC38E97A-CCE5-4470-90F1-3B6D35ACC0B4.
4. Миркин, Б. Г. Введение в анализ данных : учебник и практикум / Б. Г. Миркин. — М. : Издательство Юрайт, 2018. — 174 с. — (Серия : Авторский учебник). — ISBN 978-5-9916-5009-0. — Режим доступа : www.biblio-online.ru/book/46A41F93-BC46-401C-A30E-27C0FB60B9DE.