Платформа тестовых шаблонов - Test Template Framework

В Платформа тестовых шаблонов (TTF) это модельное тестирование (MBT), предложенная Филом Стоксом и Дэвидом Кэррингтоном в (Акции и Каррингтон, 1996 г. ) с целью тестирование программного обеспечения. Хотя TTF должен был быть независимым от обозначений, исходное представление было сделано с использованием Формальная запись Z. Это один из немногих фреймворков MBT, приближающихся к модульное тестирование.

Вступление

TTF - это конкретное предложение модельное тестирование (ОБТ). Считает модели Z характеристики. Каждая операция в рамках спецификации анализируется для получения или генерации абстрактные тестовые примеры. Этот анализ состоит из следующих этапов:

Определить входное пространство (IS) каждой операции.
Вывести допустимое пространство ввода (VIS) из ЯВЛЯЕТСЯ каждой операции.
Применить один или несколько тактика тестирования,^[1] начиная с каждого ВИС, чтобы построить дерево тестирования для каждой операции. Деревья тестирования заполнены узлами, называемыми тестовые классы.
Чернослив каждый из полученных деревья тестирования.
Найдите один или несколько абстрактные тестовые примеры с каждого листа в каждом дерево тестирования.

Одним из основных преимуществ TTF является то, что все эти концепции выражены в одной и той же нотации спецификации, т.е. Обозначение Z. Следовательно, инженер должен знать только одну нотацию, чтобы выполнить анализ вплоть до генерации абстрактные тестовые примеры.

Важные понятия

В этом разделе описаны основные концепции, определенные TTF.

Входное пространство

Позволять ${ displaystyle Op}$ быть Z-операцией. Позволять ${ displaystyle x_ {1} dots x_ {n}}$ быть всеми входными и (незакрашенными) переменными состояния, указанными в ${ displaystyle Op}$ , и ${ displaystyle T_ {1} dots T_ {n}}$ их соответствующие типы. В Входное пространство (Имеет ${ displaystyle Op}$ , написано ${ displaystyle IS_ {Op}}$ , это блок схемы Z, определяемый ${ displaystyle [x_ {1}: T_ {1} dots x_ {n}: T_ {n}]}$ .

Допустимое пространство для ввода

Позволять ${ displaystyle Op}$ быть Z-операцией. Позволять ${ displaystyle { text {pre}} Op}$ быть предварительное условие из ${ displaystyle Op}$ . В Допустимое входное пространство (VIS) из ${ displaystyle Op}$ , написано ${ displaystyle VIS_ {Op}}$ , это блок схемы Z, определяемый ${ displaystyle [IS_ {Op} | { text {pre}} Op]}$ .

Тестовый класс

Позволять ${ displaystyle Op}$ - Z-операция, и пусть ${ displaystyle P}$ быть любым предикат в зависимости от одной или нескольких переменных, определенных в ${ displaystyle VIS_ {Op}}$ . Затем поле схемы Z ${ displaystyle [VIS_ {Op} | P]}$ это тестовый класс из ${ displaystyle Op}$ . Обратите внимание, что эта схема эквивалентна ${ displaystyle [IS_ {Op} | { text {pre}} Op land P]}$ . Это наблюдение можно обобщить, сказав, что если ${ displaystyle C_ {Op}}$ это тестовый класс ${ displaystyle Op}$ , то блок схемы Z, определяемый ${ displaystyle [C_ {Op} | P]}$ также является тестовым классом ${ displaystyle Op}$ . Согласно этому определению ВИС также является тестовым классом.

Если ${ displaystyle C_ {Op}}$ это тестовый класс ${ displaystyle Op}$ , то предикат ${ displaystyle P}$ в ${ displaystyle C '_ {Op} == [C_ {Op} | P]}$ считается характеристика предикат ${ displaystyle C '_ {Op}}$ или же ${ displaystyle C '_ {Op}}$ является характеризует к ${ displaystyle P}$ .

Классы тестирования также называют целями тестирования (Utting & Legeard 2007 ), тестовые шаблоны (Акции и Каррингтон, 1996 г. ) и спецификации испытаний.

Тактика тестирования

В контексте TTF a тактика тестирования^[1] это средство раздел любой тестовый класс любой операции. Однако некоторые тактики тестирования, используемые на практике, на самом деле не всегда создают раздел некоторых тестовых классов.

Некоторые тактики тестирования, первоначально предложенные для TTF, следующие:

Дизъюнктивная нормальная форма (ДНФ). Применяя эту тактику, операция записывается на Дизъюнктивная нормальная форма и тестовый класс делится на столько тестовых классов, сколько термов в предикате результирующей операции. Предикат, добавляемый в каждый новый тестовый класс, - это предварительное условие одного из терминов в предикате операции.
Стандартные перегородки (SP). Эта тактика использует заранее заданное разделение некоторого математического оператора (Акции 1993 г. ). Например, следующее является хорошим разделом для выражений вида ${ displaystyle S spadesuit T}$ куда ${ displaystyle spadesuit}$ один из ${ Displaystyle чашка}$ , ${ displaystyle cap}$ и ${ displaystyle setminus}$ (видеть Теория множеств ).
${ displaystyle { begin {array} {l | l} S = emptyset, T = emptyset & S neq emptyset, T neq emptyset, S subset T hline S = emptyset, T neq emptyset & S neq emptyset, T neq emptyset, T subset S hline S neq emptyset, T = emptyset & S neq emptyset, T neq emptyset, T = S hline S neq emptyset, T neq emptyset, S cap T = emptyset & S neq emptyset, T neq emptyset, S cap T neq emptyset, lnot (S substeq T) , lnot (T substeq S), S neq T end {array}}}$
Как можно заметить, стандартные разделы могут меняться в зависимости от того, сколько тестирования хочет выполнить инженер.
Распространение субдоменов (SDP). Эта тактика применяется к выражениям, содержащим:
1. Два или более математических оператора, для которых уже определены стандартные разбиения, или
2. Математические операторы, которые определены в терминах других математических операторов.
В любом из этих случаев стандартные разделы операторов, появляющиеся в выражении или в определении сложного, объединяются, чтобы создать раздел для выражения. Если тактика применяется ко второму случаю, то полученное разделение можно рассматривать как стандартное разделение для этого оператора. Акции и Кэррингтон в (Акции и Кэррингтон 1996 ) проиллюстрируем эту ситуацию с помощью ${ Displaystyle R oplus G = ({ text {dom}} G ntriangleleft R) чашка G}$ , куда ${ displaystyle ntriangleleft}$ средства антиограничение домена, предоставив стандартные перегородки для ${ displaystyle ntriangleleft}$ и ${ Displaystyle чашка}$ и распространяя их, чтобы вычислить разбиение для ${ displaystyle oplus}$ .
Спецификация Мутация (СМ). Первый шаг этой тактики состоит в создании мутант операции Z. Мутант операции Z похож по концепции на мутант программы, т.е. это модифицированный вариант операции. Модификация вносится инженером с целью обнаружения ошибки в реализации. Мутант должен быть спецификацией, которую, по предположениям инженера, реализовал программист. Затем инженер должен рассчитать подмножество VIS, которое дает разные результаты в обеих спецификациях. Предикат этого набора используется для создания нового тестового класса.

Некоторые другие тактики тестирования, которые также можно использовать, следующие:

В наборе расширения (ISE). Это применимо к предикатам формы ${ displaystyle expr in {expr_ {1}, dots, expr_ {n} }}$ . В этом случае он генерирует $п$ тестовые классы такие, что предикат формы ${ displaystyle expr = expr_ {i}}$ добавляется к каждому из них.
Обязательный набор тестов (МТС). Эта тактика связывает набор постоянных значений с переменной VIS и генерирует столько тестовых классов, сколько элементов содержится в наборе. Каждый тестовый класс характеризуется предикатом вида ${ displaystyle var = val}$ куда $вар$ это имя переменной и $вал$ - одно из значений набора.
Числовые диапазоны (NR). Эта тактика применима только к переменным VIS типа ${ Displaystyle mathbb {Z}}$ (или его "подтип" ${ Displaystyle mathbb {N}}$ ). Он заключается в связывании диапазона с переменной и получении тестовых классов путем сравнения переменной с пределами диапазона некоторыми способами. Более формально, пусть $п$ быть переменной типа ${ Displaystyle mathbb {Z}}$ и разреши ${ displaystyle [я, j]}$ быть связанным диапазоном. Затем тактика генерирует тестовые классы, характеризуемые следующими предикатами: ${ Displaystyle п <я}$ , ${ Displaystyle п = я}$ , ${ Displaystyle я <п земля п$ , ${ displaystyle n = j}$ , ${ displaystyle n> j}$ .
Свободный Тип (FT). Эта тактика генерирует столько тестовых классов, сколько элементов имеет свободный (перечисляемый) тип. Другими словами, если модель определяет тип $ЦВЕТ :: = красный | синий | зеленый$ и некоторые операции используют $c$ типа $ЦВЕТ$ , то, применяя эту тактику, каждый тестовый класс будет разделен на три новых тестовых класса: один, в котором $c$ равно $красный$ , другой, в котором $c$ равно $синий$ , а третий, где $c$ равно $зеленый$ .
Правильное подмножество расширения набора (PSSE). Эта тактика использует ту же концепцию ISE, но применяется к множественным включениям. PSSE помогает тестировать операции, включая такие предикаты, как ${ displaystyle expr subset {expr_ {1}, dots, expr_ {n} }}$ . Когда применяется PSSE, он генерирует ${ displaystyle 2 ^ {n} -1}$ тестовые классы, в которых предикат формы ${ displaystyle expr = A_ {i}}$ с ${ displaystyle i in [1,2 ^ {n} -1]}$ и ${ displaystyle A_ {i} in mathbb {P} {expr_ {1}, dots, expr_ {n} } setminus { {expr_ {1}, dots, expr_ {n} } }}$ , добавляется к каждому классу. ${ Displaystyle {выражение_ {1}, точки, выражение_ {п} }}$ исключен из ${ displaystyle mathbb {P} {expr_ {1}, dots, expr_ {n} }}$ потому что $expr$ является собственным подмножеством ${ Displaystyle {выражение_ {1}, точки, выражение_ {п} }}$ .
Подмножество расширения набора (SSE). Он идентичен PSSE, но применяется к предикатам формы ${ displaystyle expr substeq {expr_ {1}, dots, expr_ {n} }}$ в этом случае он генерирует ${ Displaystyle 2 ^ {п}}$ учитывая также ${ Displaystyle {выражение_ {1}, точки, выражение_ {п} }}$ .

Дерево тестирования и

Применение тактики тестирования к VIS генерирует несколько тестовых классов. Если некоторые из этих тестовых классов будут дополнительно разделены с помощью одной или нескольких тактик тестирования, будет получен новый набор тестовых классов. Этот процесс можно продолжить, применив тактику тестирования к уже созданным тестовым классам. Очевидно, результат этого процесса можно представить в виде дерево с VIS в качестве корневого узла, тестовые классы, сгенерированные первой тактикой тестирования, в качестве его дочерних узлов и т. д. Кроме того, Stocks и Carrington в (Акции и Каррингтон, 1996 г. ) предлагаем использовать обозначение Z для построения дерева следующим образом.

${ displaystyle { begin {align} VIS & == [IS | P] TCL_ {T_ {1}} ^ {1} & == [VIS | P_ {T_ {1}} ^ {1}] & dots TCL_ {T_ {1}} ^ {n} & == [VIS | P_ {T_ {1}} ^ {n}] TCL_ {T_ {2}} ^ {1} & == [TCL_ {T_ {1}} ^ {i} | P_ {T_ {2}} ^ {1}] & dots TCL_ {T_ {2}} ^ {m} & == [TCL_ {T_ {1}} ^ {i} | P_ {T_ {2}} ^ {m}] & dots TCL_ {T_ {3}} ^ {1} & == [TCL_ {T_ {2}} ^ {j} | P_ {T_ {3}} ^ {1}] & dots TCL_ {T_ {3}} ^ {k} & == [TCL_ {T_ {2}} ^ {j} | P_ {T_ {3}} ^ {k}] & dots & dots & dots end {align}}}$

Обрезка тестовых деревьев

В общем случае предикат тестового класса представляет собой соединение двух или более предикатов. Тогда вполне вероятно, что некоторые тестовые классы пусты, потому что их предикаты противоречат друг другу. Эти тестовые классы должны быть удалены из дерева тестирования, потому что они представляют невозможные комбинации входных значений, т.е. абстрактный тестовый пример могут быть выведены из них.

Абстрактный тестовый пример

Абстрактный контрольный пример - это элемент, принадлежащий тестовый класс. TTF предписывает, что абстрактные тестовые примеры должны быть получены только из листьев дерево тестирования. Абстрактные тестовые примеры также можно записать в виде блоков схемы Z. Позволять ${ displaystyle Op}$ какая-то операция, пусть ${ displaystyle VIS_ {Op}}$ быть ВИС из ${ displaystyle Op}$ , позволять ${ displaystyle x_ {1}: T_ {1} dots x_ {n}: T_ {n}}$ быть всеми переменными, объявленными в ${ displaystyle VIS_ {Op}}$ , позволять ${ displaystyle C_ {Op}}$ быть (листовым) тестовым классом дерева тестирования, связанного с ${ displaystyle Op}$ , позволять ${ displaystyle P_ {1} dots P_ {m}}$ быть характерные предикаты каждого тестового класса из ${ displaystyle C_ {Op}}$ вплоть до ${ displaystyle VIS_ {Op}}$ (следуя края от дочернего к родительскому ), и разреши ${ displaystyle v_ {1}: T_ {1} dots v_ {n}: T_ {n}}$ быть ${ displaystyle n}$ постоянные значения, удовлетворяющие ${ displaystyle P_ {1} land dots land P_ {m}}$ . Затем абстрактный тестовый пример ${ displaystyle C_ {Op}}$ блок схемы Z определяется ${ displaystyle [C_ {Op} | x_ {1} = v_ {1} land dots land x_ {n} = v_ {n}]}$ .