Файл: Основные положения метрологии программных продуктов.pptx

Метрология Программного Обеспечения (МПО)– изучает методы и средства оценивания качества Программных Продуктов (ПП) с целью их объективного сравнения путем сравнения метрик, характеризующих свойства ПП.

Свойства программы – это особенности присущие программе, которые проявляются в ее жизненном цикле (корректность, устойчивость. восстанавливаемость).

Характеристика программы – набор свойств, посредством которых описывается и оценивается его качество. Иначе говоря, характеристика – это проявляемый и измеримый атрибут свойства (обучаемость, переносимость, удобство).

Показатель качества ПП – характеристика качества, имеющая количественное значение.

Измерение (оценка) одной или нескольких характеристик программы дает представление о том, насколько программе присуще то или иное свойство. Каждому свойству соответствует одна или несколько характеристик ПО.

Для решения задачи количественной оценки характеристик ПО необходимо наличие системы измерений и методов оценки.

Основные термины и определения

Система измерений характеристик программного обеспечения – это совокупность измеряемых характеристик, единиц измерения, измерительных шкал и связей, установленных между ними.

Измерительная шкала устанавливает границы (диапазон) и точность измерений характеристик свойств в установленных единицах.

Результаты измерений в избранной измерительной шкале позволяют обнаружить сходство и различие в свойствах программного обеспечения с целью последующей оценки и классификации. Применительно к ПО используют главным образом следующие виды измерительных шкал:

1. Категорийные – характеризуются номинальной шкалой. Характеризуют только наличие или отсутствие свойства у ПП без численной градации

2. Ранжирующие – характеризуются порядковой шкалой. Позволяют упорядочивать свойства программ путем сравнения с опорными значениями

3. Числовые – характеризуются интервальной шкалой. Представляются реально измеряемыми физическими величинами

Выполнение процесса оценки программных продуктов,

отвечающего требованиям ISO/IEC 12207, регламентируется стандартом ISO/IEC 14598.

Стандарт описывает процесс оценивания в виде пошаговой процедуры, ориентированной на использование обобщенной модели качества, представленной в стандарте ISO/IEC 9126.

К проектированию

оценивания

От спецификации

оценивания

Основные положения метрологии программных продуктов

Измерения, выполняемые в процессе разработки ПП, помогают лучше оценить сам процесс разработки, принятый в организации, ход выполнения проекта и качество ПП. Измерения процесса производятся в целях его дальнейшего совершенствования, измерения проекта - для улучшения организации работ, а измерения ПП - для улучшения его качества.

В результате измерения определяется количественная характеристика какого-либо свойства объекта измерения - метрика. Все метрики можно разделить на три основные группы: метрики процесса, метрики проекта и метрики продукта

Метрики продукта – описывает характеристики продукта, такие как размер, сложность, особенности дизайна, производительность и уровень качества.
Метрики процесса – эти характеристики могут использоваться для улучшения деятельности по разработке и сопровождению программного обеспечения (результативность, эффективность).
Метрики проекта – эти метрики описывают характеристики и исполнение проекта.

Измерения помогают оценить как продукт, так и сам процесс его разработки. В результате измерений определяется мера - количественная характеристика какого-либо свойства объекта.

Как сказал Том ДеМарко, «вы не можете контролировать то, что не можете измерить».

Метрики качества позволяют судить о том, насколько близко соответствие программного изделия требованиям пользователя, т. е., судить о пригодности изделия к использованию.

Ме́трика програ́ммного обеспе́чения — это мера, позволяющая получить численное значение некоторого свойства программного обеспечения или его спецификаций.

Метрики, использующие номинальную и упорядоченную шкалы, применяются для оценки качественных показателей, которые нельзя измерить количественно.

Метрики, использующие числовые шкалы, применяются для оценки количественных показателей.

Поскольку количественные методы хорошо зарекомендовали себя в других областях, многие теоретики и практики информатики пытались и пытаются перенести данный подход и в разработку программного обеспечения.

Стандарт ISO/IEC 9126-2 определяет следующие типы мер:

мера размера ПО в разных единицах измерения (число функций, строк в программе, размер дисковой памяти и др.);
мера времени (функционирования системы, выполнения компонента и др.);
мера усилий (производительность труда, трудоемкость и др.);
мера учета (количество ошибок, число отказов, ответов системы и др.).

Качество ПС описывается совокупностью показателей критериев, для каждого из которых должны быть определены метрики и методы их измерения. В соответствии с принципиальными особенностями ПС выбираются номенклатура и значения показателей качества, которые отражаются в техническом задании и в спецификации требований на конечный продукт.

Кроме SLOC к количественным характеристикам относят также:

- количество пустых строк,

- количество комментариев,

- процент комментариев (отношение числа строк, содержащих комментарии к общему количеству строк, выраженное в процентах)

- среднее число строк для функций (классов, файлов),

- среднее число строк, содержащих исходный код для функций (классов, файлов),

- среднее число строк для модулей

Самой элементарной метрикой является количество строк кода (SLOC).

количество «физических» SLOC (используемые аббревиатуры: LOC, SLOC, KLOC, KSLOC, DSLOC) – общее число строк исходного кода, включая комментарии и пустые строки (25%)

количество «логических» SLOC (используемые аббревиатуры: LSI, DSI, KDSI, где SI – Source Instructions) – определяется как число команд и зависит от используемого языка программирования

Измерение в области программного обеспечения– это получение числовых значений определенных показателей программного продукта или процесса его разработки. Значения этих показателей сравнивают между собой и со стандартами, применяемыми в данной организации. На основе этих сравнений можно сделать выводы о качестве продукта или процесса разработки.

Измеряемые атрибуты могут быть внутренними и внешними. Внутренние атрибуты могут измеряться в терминах самого объекта, отдельно от его поведения. Внешние атрибуты оцениваются с учетом связи объекта с внешней средой.

Примеры внутренних атрибутов: показатель числа строк кода в программном продукте; продолжительность выполнения действия; величина трудозатрат; число неудачных тестовых испытаний; объем денежных затрат; уровень сложности и степень модульности.

Примеры внешних атрибутов: время выполнения (требуются программа и компьютер), полезность и удобство представления (требуются приложение и пользователь), надежность, эффективность, тестируемость, повторная применимость, переносимость и взаимодействие между операциями.

Измерения при разработке ПО

Измерения в разработке ПО

Измерения необходимы для оценки как самого программного продукта, так и процесса его разработки
Измерения при разработке ПО позволяют:

оценить производительность труда персонала, занятого разработкой
оценить выгоды (прибыль или доход), которые могут быть получены в результате разработки новых программных средств
сформировать основу (базовую линию) для последующих оценок
получить данные для обоснования запросов на дополнительные средства, обучение и т.п.

Виды измерений

Прямые измерения
трудозатраты и стоимость
число строк кода (LOC - lines-of-code)
размер требуемой памяти
скорость выполнения программы
число ошибок (дефектов), обнаруженных за определенный период времени

Косвенные измерения дают оценку

функциональных возможностей
показателей качества программного продукта

надежность
эффективность
пригодность к сопровождению
и т.п.

Результаты измерений процесса разработки и сопровождения ПС

Классификация метрик

По назначению метрик делят на 3 группы, стандарт ISO/IEC 9126 :

метрики производительности
метрики качества продукции
метрики технических характеристик продукта

Метрики производительности фокусируются на выходе процессов разработки ПО
Метрики качества позволяют судить о том, насколько близко соответствие программного изделия требованиям пользователя, т.е. пригодности изделия к использованию
Технические метрики в большей степени относятся к особенностям программного изделия, а не к процессу его разработки (например, логическая сложность изделия, модульность т.п.)

Классификация метрик по их ориентации:

размеро-ориентированные метрики, используются для сбора результатов прямых измерений программного продукта и его качества, а также процесса разработки
функционально-ориентированные метрики - косвенные меры, характеризующие функциональное назначение продукта и особенности его входных и выходных данных
человеко-ориентированные метрики, которые также являются косвенными мерами, позволяющими судить об отношении персонала (разработчиков и пользователей), об эффективности и качестве работы программного изделия, удобстве взаимодействия с ним, простоте обучения и т.д.

Размерно-ориентированные метрики

Размерно-ориентированные метрики основываются на LOC-оценках (количество строк в программном продукте)
В организациях, занятых разработкой программной продукции для каждого проекта принято регистрировать следующие показатели:

общие трудозатраты (в чел.-мес.)
объем программного изделия (в тысячах строк исходного кода -KLOC)
стоимость разработки (в тыс.рублей или в долларах $)
объем документации (в страницах документов - СД)
ошибки, обнаруженные в течение первого года эксплуатации (число ошибок - ЧО)
число людей, работавших над изделием (человек)
срок разработки (в календарных месяцах)

Размерно-ориентированные метрики прямо измеряют программный продукт и процесс его разработки. Они основываются на LOC-оценках (Lines of code). LOC-оценка – это количество строк в программном продукте.

Исходные данные для расчета этих метрик сводятся в таблицу. На основе таблицы вычисляются размерно-ориентированные метрики производительности и качества:

Пример применения размерно-ориентированной метрики

Исходные данные для расчета LOC- метрик

Таблица содержит данные о проектах за последние несколько лет. Например, запись о проекте А01 показывает: 12100 строк программы были разработаны за 24 чел.-мес. И стоили $168 000. Кроме того, по проекту было разработано 365 страниц документации, а в течение первого года эксплуатации было зарегистрировано 29 ошибок. Разрабатывали проект три человека.

Производительность = Длина / Затраты (тыс.LOC/чел.-мес.);

Качество = Ошибки / Длина (Единиц/тыс. LOC);

Удельная стоимость = Стоимость /Длина (тыс.$/LOC);

Документированность = Страниц_Документа / Длина (Страниц/тыс.LOC)

На основе таблицы вычисляются размерно-ориентированные метрики:

Достоинства размерно-ориентированных метрик:

1) широко распространены

2) просты и легко вычисляются

Недостатки размерно-ориентированных метрик:

1) зависимы от языка программирования

2) требуют исходных данных, которые трудно получить на начальной стадии проекта

3) не приспособлены к непроцедурным языкам программирования

Функционально-ориентированные

метрики

1. Количество внешних вводов. Подсчитываются все вводы пользователя, по которым поступают разные прикладные данные. Вводы должны быть отделены от запросов, которые подсчитываются отдельно.