Файл: Расчетнографическая работа Обработка экспериментальных данных.pdf

Федеральное государственное автономное образовательное учреждение высшего образования
«СИБИРСКИЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ»
Департамент подготовки кадров высшей квалификации
РАСЧЕТНО-ГРАФИЧЕСКАЯ РАБОТА
«Обработка экспериментальных данных»
Подготовил: ФИО
Аспирант кафедры «…….»
Группа:
Проверила: к.т.н. доц Попова О.А
Красноярск 2018

2
Содержание
Введение………………………………………………………………………….3 1 Описание объекта исследования ………………..............................................4 1.1 Определение и функции высоковольтного выключателя…………..….. 4 1.2 Матрица признаков…………………………………………………….….5 1.3 Матрица данных……………………………………………………..…….6 2 Подготовка данных для работы в ПАП «DEDUCTOR»…………………….7 2.1 Общие сведения о ПАП «DEDUCTOR»…………………………………7 2.2 Подготовка базы данных к импорту в ПАП «DEDUCTOR»…………...
2.3 Анализ выполнения импорта, оценка качества данных на пригодность к анализу………………………………………………………………………..
8 13 3 Оценка качества данных и процедура очистки……………………………...14 3.1 Общие сведения…………………………………………...…………….… 14 3.2 Оценка качества данных………………………………………………….. 15 3.3 Выявление дубликатов и противоречий………………………………… 20 4 Первичный анализ данных………………….………………………………… 23 4.1 Основные понятия и определения………………...……………………... 23 4.1.1 Частотный анализ данных………………………………………….. 23 4.1.2 Частотные таблицы……...………………………………………….. 23 4.2 Корреляционный анализ данных………………………………………… 26 4.2.1 Матрицы парной корреляции и анализ зависимостей…………..... 26 5 Регрессионный анализ данных……………………………….………………. 31 5.1 Основные понятия и определения……………………………………….. 31 5.2 Линейная регрессия…………...………………….……………………….. 31 5.2.1 Построение линейно-регрессионной модели……..……………… 31
Заключение……………..……………………………………………………....... 38
Список использованных источников………………………..…………………. 39

3
Введение
Цели и задачи РГР,,,,,
В рамках изучения дисциплины необходимо провести обработку экспериментальных данных, под которой подразумевается преобразование данных к виду, удобному для использования, перевод ответов природы с языка измерения на язык уточняемой модели.
Данные – факты, сведения о реальных и абстрактных лицах, пред метах, объектах, явлениях и событиях, соответствующие определенной предметной области и представленные в графическом, символическом, звуковом, графическом и других форматах.
Информация – данные определенной области, организованные и имеющие смысловое значение, необходимые для принятия решения потребителем, а также для реализации других функций и действий.
Знание - вид информации, отражающий знание, опыт и восприятие эксперта в определенной области. Характеристики знания:
- внутренняя интерпретируемость;
- новизна;
- практическая значимость;
- структурируемость;
- связанность и др.
Задачи РГР:
- выбрать ОИ в соответствии с темой научного исследования;
- разработать матрицу признаков;
- создать матрицу данных;
- изучить основные принципы работы с ПАП Deductor;
- осуществить импорт данных;
- провести предобработку данных;
- провести процессинг данных, включая исследование корреляционных связей, моделирование зависимостей в данных;
- провести постобработку данных, включая интерпретацию и визуализацию результатов;
- сделать обзор полученных результатов с точки зрения полученных знаний и применения результатов в научных исследованиях.
1 Описание объекта исследования
1.1 Определение и функции высоковольтного выключателя
Объект исследования - выборка из 50 высоковольтных выключателей 110 кВ.
Национальный стандарт РФ ГОСТ Р 52565-2006 "Выключатели переменного тока на напряжения от 3 до 750 кВ. Общие технические условия" распространяется на выключатели (включая их приводы), предназначенные для коммутации электрических цепей при нормальных и аварийных режимах в сетях

4 трехфазного переменного тока частотой 50 Гц номинальным напряжением от 3 до
750 кВ включительно.
Выключатель - контактный коммутационный аппарат, способный включать, проводить и отключать токи при нормальных условиях в цепи, а также включать, проводить в течение нормированного времени и отключать токи при нормированных анормальных условиях в цепи, таких как короткое замыкание.
Выключатель газовый - выключатель, в котором дуга образуется в потоке газа, кроме воздуха.
Выключатель элегазовый - выключатель газовый, контакты которого размыкаются и замыкаются в элегазе (шестифтористой сере).
Выключатель вакуумный - выключатель, контакты которого размыкаются и замыкаются в оболочке с высоким вакуумом.
Выключатель воздушный - выключатель, в котором дуга образуется в потоке воздуха высокого давления.
Выключатель масляный - выключатель, контакты которого размыкаются и замыкаются в масле.
Выключатель электромагнитный - выключатель, в котором гашение дуги осуществляется за счет ее охлаждения при перемещении под действием электромагнитного поля.
Дугогасительное устройство - устройство, охватывающее дугогасительные контакты коммутационного аппарата, предназначенное для ограничения распространения дуги и облегчения ее гашения.
Выключатель баковый - выключатель, дугогасительные устройства которого расположены в металлическом заземленном корпусе (баке).
Полюс выключателя - часть коммутационного аппарата, связанная только с одной электрически независимой частью главной цепи тока и не включающая части, предназначенные для совместного монтажа и оперирования всеми полюсами.
!!!!Далее необходимо описать систему характеристик (признаков), которые составляют предмет научного интереса, обосновать их выбор для целей исследования!!!!!!.

5
1.2 Матрица признаков
!!!!Необходимо дать понятие матрицы признаков, обозначить ее целевое назначение.!!!!!
Матрица признаков, составленная для объекта исследования, представлена в таблице 1.
Таблица 1 - Таблица признаков для объекта исследования: высоковольтный выключатель 110 кВ
№
Наименование показателя
Обозначен ие
Шкала
Описание шкалы
1
Страна-производитель
P1
Порядковая
1 – Россия;
2- СНГ;
3- Китай, Япония;
4 – др. страны
2
Среда гашения дуги
P2
Номинальная
1- газовые - элегазовые, с другими газами или газовыми смесями;
2- вакуумные;
3- воздушные;
4- масляные;
3
Завод изготовитель
P3
Номинальная
1 – Контакт,
Электроаппарат, ЗЭТО,
Евроконтракт, Элвест;
2- CHINT, DESUN;
3- Siemens;
4- др. завод
4
Масса выключателя
P4
Количественная кг
5
Полное время отключения
P5
Количественная с
6
Номинальный ток отключения
P6
Количественная кА
7
Наибольшее рабочее напряжение
P7
Количественная кВ
8
Срок службы
P8
Количественная лет
9
Собственное время отключения
P9
Количественная с
10
Время короткого замыкания
P10
Количественная с
11
Ток электродинамической стойкости
P11
Количественная кА
12
Изоляторы
P12
Номинальные
1-Полимерные;
2-Фарфор;
13
Выдерживает температуру
-30°С
P13
Номинальная
«+» выдерживает;
«-» не выдерживает
14
Выдерживает температуру
+30°С
P14
Номинальная
«+» выдерживает;
«-» не выдерживает
15
Марка
P15
Номинальная
1 – ВГТ, ВТБ, ВРС, ВВН,
ВГТЗ, ВЭБ, ВВЭЛ, ВБО,
ВБП, ВВБМ, ВВБ, ВГБУ и т.п.;
2 – GL, LW, DT;
3 – др;
16
Конструктивная связь между полюсами
P16
Номинальная
«+» т рехполюсное исполнение
;
«-» однополюсное;

6
1.3 Матрица данных
!!!Описать источники данных !!!!
Исходя из проведенных исследований, была получена матрица данных, представленная в виде таблицы 2.
Таблица 2 - Матрица данных
№ P1 P2 P3
P4
P5
P6
P7
P8
P9
P10
P11
P12
P13
P14
P15
P16 1
1 1
1 1570 0,055 40 126 40 0,038 3
102 2
+
+
1
+
2 1
1 1
2690 0,055 40 126 40 0,032 3
102 2
+
+
1
+
3 1
2 1
1 645 0,047 40 126 40 0,032 3
102 2
+
+
1
+
4 1
3 1
2800 0,07 31,5 126 30 0,05 3
31,5 2
+
+
1
-
5 1
1 1
1740 0,055 40 126 40 0,035 3
40 2
+
+
1
+
6 3
1 4
3252 0,055 50 123 40 0,035 3
50 2
+
+
3
+
7 3
1 4
2600 0,055 40 145 40 0,035 3
40 2
+
+
3
+
8 3
1 4
2600 0,055 50 145 40 0,035 3
50 2
+
+
3
+
9 3
1 4
2600 0,055 63 145 40 0,035 3
63 2
+
+
3
+
10 3
1 4
3252 0,055 50 123 40 0,035 3
50 2
+
+
3
+
11 3
1 4
2600 0,055 40 123 40 0,035 3
40 2
+
+
3
+
12 3
1 4
2600 0,055 50 123 40 0,035 3
50 2
+
+
3
+
13 3
1 4
2600 0,055 63 123 40 0,035 3
63 2
+
+
3
+
14 3
1 4
2600 0,055 50 145 40 0,035 3
50 2
+
+
3
+
15 4
1 3
1500 0,057 40 145 40 0,035 3
102 2
+
+
3
+
16 1
1 1
2660 0,055 40 126 25 0,035 3
40 2
+
+
1
+
17 4
1 4
1360 0,04 40 145 40 0,025 3
40 2
+
+
3
+
18 4
1 3
5 120 0,08 63 145 30 0,04 3
80 1
+
+
3
-
19 4
1 3
1500 0,057 40 145 40 0,035 3
102 2
+
+
3
+
20 4
1 3
3530 0,057 40 145 40 0,034 3
40 2
+
+
3
+
21 4
1 4
3670 0,042 63 145 40 0,03 3
170 2
+
+
3
+
22 1
2 1
2000 0,075 31,5 126 40 0,05 3
80 2
+
+
1
+
23 1
2 1
2000 0,075 31,5 126 40 0,05 3
80 2
+
+
1
+
24 1
2 1
2600 0,065 31,5 126 40 0,05 3
80 2
+
+
1
-
25 4
1 4
2600 0,055 63 123 40 0,035 3
63 2
+
+
3
+
26 4
1 4
2600 0,055 63 123 40 0,035 3
63 2
+
+
3
+
27 1
1 4
1500 0,06 40 145 40 0,038 3
100 2
+
+
2
+
28 4
1 4
1900 0,05 40 123 40 0,035 3
108 2
+
+
2
+
29 4
1 4
4180 0,05 40 145 40 0,035 3
108 2
+
+
2
+
30 4
1 4
1409 0,05 40 126 40 0,028 3
40 2
+
+
2
+
31 4
1 4
1711 0,05 40 126 40 0,028 3
40 2
+
+
2
+
32 4
1 4
1409 0,05 40 126 40 0,028 3
40 2
+
+
2
+
33 3
1 2
1300 0,06 40 126 40 0,03 4
40 2
-
+
2
+
34 3
1 2
1300 0,06 40 126 40 0,03 4
40 2
-
+
2
+
35 3
1 2
1800 0,06 40 145 40 0,03 4
40 2
-
+
2
+
36 3
1 2
1800 0,06 40 145 40 0,03 4
40 2
-
+
2
+
37 3
1 2
1300 0,065 31,5 126 40 0,03 4
40 2
+
+
2
+
38 3
1 4
2400 0,055 63 145 40 0,035 3
63 2
+
+
3
+
39 3
1 4
2400 0,055 63 145 40 0,035 3
63 2
+
+
4
+
40 4
1 3
1612 0,05 125 126 45 0,03 3
125 2
+
+
3
+
41 1
4 4
25000 0,08 31,5 126 40 0,08 3
80 2
+
+
3
+
42 1
4 1
1700 0,065 25 126 40 0,035 3
40 2
+
+
1
+
43 1
4 1
27000 0,06 20 126 40 0,06 3
40 2
+
+
1
+
44 1
3 1
1410 0,08 31,5 126 40 0,06 3
50 2
+
+
1
+
45 1
3 1
7200 0,7 31,5 126 30 0,05 3
102 2
+
+
1
-
46 1
3 1
1730 0,3 31,5 126 40 0,045 3
50 2
+
+
1
+

7 47 1
1 1
3800 0,055 40 126 30 0,03 3
102 2
+
+
1
+
48 1
1 1
1500 0,05 20 126 40 0,03 3
40 2
+
+
1
+
49 1
3 1
7200 0,7 31,5 126 40 0,05 3
102 2
+
+
1
+
50 4
1 3
3601 0,05 63 145 45 0,03 3
160 2
+
+
2
+
2
Подготовка данных для работы в ПАП «DEDUCTOR»
2.1 Общие сведения о ПАП «DEDUCTOR»
«DEDUCTOR» является аналитической платформой - основой для создания законченных прикладных решений в области анализа данных. Реализованные в
ПАП «DEDUCTOR» технологии позволяют на базе единой архитектуры пройти все этапы построения аналитической системы: от создания хранилища данных до автоматического подбора моделей и визуализации полученных результатов.
ПАП «DEDUCTOR» состоит из шести частей:
- Deductor Warehouse – многомерное хранилище данных, аккумулирующее всю требуемую для анализа предметной области информацию. Использование единого хранилища позволяет обеспечить непротиворечивость данных и централизованное хранение, а также автоматически обеспечивает всю необходимую поддержку процесса анализа. Deductor Warehouse оптимизирован для решения именно аналитических задач, что положительно сказывается на скорости доступа к данным. В ряде случаев имеет смысл отказаться от традиционного хранилища и воспользоваться альтернативой - виртуальным хранилищем Virtual Warehouse;
- Deductor Studio – программа, реализующая функции импорта, обработки, визуализации и экспорта данных. Она может функционировать и без хранилища, получая информацию из любых других источников, но наиболее оптимальным является их совместное использование. В Deductor Studio включен полный набор механизмов, позволяющий получить информацию из произвольного источника данных, провести весь цикл обработки (очистку, трансформацию данных, построение моделей), отобразить полученные результаты наиболее удобным образом (OLAP, таблицы, диаграммы, деревья и т. д.) и экспортировать их в наиболее распространенные форматы;
- Deductor Viewer – программа, ориентированная на конечного пользователя и предназначенная для просмотра подготовленных при помощи Deductor Studio отчетов. Он позволяет минимизировать требования к пользователю системы, т. к. все требуемые операции выполняются автоматически при помощи подготовленных ранее сценариев обработки. Пользователю Deduсtor Viewer нужно только выбрать и настроить вариант отображения полученных результатов;
- Deductor Analytic Server – служба, обеспечивающая удаленную аналитическую обработку данных. Она позволяет автоматически обрабатывать данные и переобучать модели на сервере, оптимизирует выполнение сценариев за счет кэширования проектов и использования многопоточной обработки;

8
- Deductor Integration Server – служба, обеспечивающая интеграционное взаимодействие компонентов;
- Deductor Client – клиент доступа к Deductor Server. Он обеспечивает доступ к серверу из сторонних приложений и управление его работой. [3]
2.2 Подготовка базы данных к импорту в ПАП «DEDUCTOR»
Одним из возможных алгоритмов подготовки базы данных для работы в
ПАП «DEDUCTOR» является алгоритм, включающий следующие шаги:
1 Шаг - для импорта данных в ПАП «DEDUCTOR» таблицу базы данных из
MS Word переводим в формат MS Excel. Для этого таблицу выделяем, нажимаем
«Копировать» и в пустом листе MS Excel нажимаем
«Параметры вставки: использовать конечное форматирование». Далее данные из формата .xlsx переводим в формат .txt. Для этого нажимаем «Файл»-«Сохранить как» и в окне
«Тип файла» выбираем формат «Текст (MS-DOS), после чего вводим имя файла и назначаем место сохранения.
2 Шаг – для подключения файла к программе ПАП «DEDUCTOR», открываем программный продукт, нажимаем
«Мастер импорта» на панели
«Сценарии», выбираем формат импортируемого файла «Text» Текстовый файл
(Direct) и нажимаем «Далее» (рисунок 1).
Рисунок 1 - Импорт в ПАП «DEDUCTOR» (выбор формата импортируемого файла)
3 Шаг – в открывшемся окне выбираем файл и кодировку «ASCII (MS
DOS)», в окне «Просмотр выбранного файла» отразится база данных, нажимаем
«Далее» (рисунок 2).

9
Рисунок 2 - Импорт в ПАП «DEDUCTOR» (выбор текстового файла)
4 Шаг- в графе «Формат исходных данных» из предложенных вариантов выбираем «С разделителями (значения полей отделяются специальными символами)», нажимаем «Далее» (рисунок 3).
Рисунок 3 - Импорт в ПАП «DEDUCTOR» (настройка параметров импорта из файла)
5 Шаг - в поле «Символом-разделителем является» из предложенных вариантов выбираем «Символ-табуляции», в окне просмотра видим базу данных, нажимаем «Далее» (рисунок 4).

10
Рисунок 4 - Импорт в ПАП «DEDUCTOR» (настройка параметров импорта с разделителями)
6 Шаг – в открывшемся окне выбираем параметры столбцов. Для количественных показателей значения параметров «Тип данных» и «Вид данных» принимаем
«Вещественный» и
«Непрерывный» соответственно.
Для номинальных и порядковых показателей – «Строковый» и «Дискретный» соответственно. Параметр «Назначение» на данном этапе устанавливаем
«Информационное», нажимаем «Далее» (рисунок 5).
Рисунок 5 - Импорт в ПАП «DEDUCTOR» (параметры столбцов)
7 Шаг – в окне «Запуск процесса импорта данных из текстового файла» нажимаем «Пуск» и ждем, пока в графе «Название процесса» не отобразится

11
«Успешное завершение», а в графе «Процент выполнения текущего процесса» -
100%, после чего нажимаем «Далее» (рисунок 6).
Рисунок 6 - Импорт в ПАП «DEDUCTOR» (запуск процесса)
8 Шаг - в следующем окне выбираем способ отображения данных: для этого ставим галочки напротив «Таблица» и «Статистика», нажимаем «Далее» (рисунок
7).
Рисунок 7 - Импорт в ПАП «DEDUCTOR» (выбор способа отображения данных)
9 Шаг - на завершающем этапе импорта даем наименование полученному файлу и нажимаем «Готово» (рисунок 8).

12
Рисунок 8 - Импорт в ПАП «DEDUCTOR» (обозначение)
10 Шаг - во вкладке «Таблица» отображается база данных (рисунок 9), а во вкладке «Статистика» для каждого показателя значения минимального значения, максимального значения, среднего значения, стандартного отклонения, суммы, суммы квадратов, а также количество уникальных и количество пропущенных значений (рисунок 10).
Рисунок 9 - Отображение импортированной базы данных в ПАП «DEDUCTOR»

13
Рисунок 10 - Отображение вкладки «Статистика»
2.3 Анализ выполнения импорта, оценка качества данных на пригодность к анализу
При осуществлении импорта базы данных в ПАП «DEDUCTOR» не возникло каких-либо спорных моментов, платформа не выдавала каких-либо замечаний, следовательно, можно сделать вывод, что импорт был осуществлен качественно.
Оценка пригодности качества данных к анализу может быть следующей:
- данные полностью пригодны к анализу и не нуждаются в очистке;
- данные пригодны к анализу без очистки, но с определенными ограничениями;
- данные пригодны к анализу после применения методов очистки и предобработки;
- данные совершенно непригодны к анализу и никакие методы очистки ситуацию не исправят.
Исходя из приведенных выше вариантов оценки, можем сделать вывод, что на этапе импорта данные полностью пригодны к последующему анализу, однако, оценим качество данных и осуществим некоторые методы их очистки.

14
3 Оценка качества данных и процедура очистки
3.1 Общие сведения
Предобработка данных комплекс методов и алгоритмов, которые применяются в аналитическом приложении целью подготовить данные к решению конкретной задачи и приведения их в соответствие с требованиями, определенных спецификой задачи и способами ее решения.
Очистка данных определяет:
- противоречивость – информация, несоответствующая законам и т.д.
- аномальные значения – значения, которые сильно выбиваются из общего ряда;
- пропуски – незаполненные поля;
- несоответствие форматов;
- ошибки ввода или опечатки;
- дублирование.
Графически необходимость проведения очистки данных приведена на рисунке 11.
Рисунок 11 – Графическое представление необходимости проведения очистки данных
Этапы очистки данных включают:
- анализ данных;
- определение порядка и правил преобразования;
- подтверждение;
- преобразование;
- противоток очищенных данных.
Результаты очистки данных представлены на рисунке 12.