Еталонне та базове тестування (Benchmark and Baseline Testing)
Еталонний тест (benchmark test):
(1) стандарт, згідно з яким може проводитися вимір чи порівняння.
(2) тест, який може використовуватися для порівняння компонентів або систем один з одним
або на відповідність стандарту, зазначеному у (1). (IEEE 610)
Базова версія (baseline): Специфікація або програмний продукт, який був формально відрецензований або узгоджений, згодом використовується як базова версія для подальшої розробки, який може бути змінений тільки в процесі формального контролю процесу змін. (IEEE 610)
Еталонне тестування (Benchmark Testing) - це набір стандартів, метрик чи контрольних точок (reference point), якими оцінюється (assessed or evaluated) якість роботи продукту чи послуги, через навантажувальне тестування модуля чи всієї комплексної програмної системи визначення її продуктивності. Воно визначає повторюваний набір експериментальних результатів, які допомагають визначити функціональні можливості як поточних, так майбутніх випусків програмного забезпечення.
Тестування базової версії (Baseline Testing) - це підхід до тестування, у якому за точку відліку береться базова лінія - це показник конкретного орієнтиру, що є основою нового тестування. У Baseline Testing тести проганяють, зберігають усі результати та порівнюють із базовим рівнем. Цей базовий рівень відноситься до останніх прийнятих результатів випробувань. Якщо вихідний код має нові зміни, то для повторного виконання тестів необхідно сформувати поточний базовий рівень. Якщо останні результати буде прийнято, то поточна базова лінія стане базовою.
Найпершим етапом життєвого циклу розробки програмного забезпечення є збір та аналіз вимог. Цей тест відіграє важливу роль, тому що у випадку, якщо початкова фаза не протестована належним чином, надалі можуть виникнути серйозні проблеми. Це також може вплинути на вартість, терміни, бюджет та репутацію клієнта. Після того, як вимога зібрана бізнес-аналітиком, він обговорює те саме з менеджером проекту для тестування вимоги та його здійсненності. У разі неясності прототип вимоги створюється розробником і представляється клієнту. Якщо це відповідає очікуванням клієнта та схвалено, командам надається документ із вимогами для початку подальшого процесу. На основі цього документа з вимогами створюються інші документи для розробки та тестування програмного забезпечення, такі як план проекту, проектний документ, план тестування, тестові приклади тощо. буд. Тому дуже важливо правильно виконати базовий тест. Якщо документ з вимогами не підтверджено належним чином, подальші документи та процеси не пройдуть. Після завершення тестування починається процес розробки та тестування.
Різниця між Baseline та Benchmark testing :
Benchmark testing
Baseline Testing
Метрики вже створені для оцінки продуктивності програми. Воно порівнює властивості продукту з галузевими стандартами;
Метрики створюються після завершення тестування продуктивності. Набір тест-кейсів запускається для збирання інформації про продуктивність;
Проводиться з погляду бізнесу. SLA створюються на основі того ж;
Виконується на початковому етапі, з якого починаються розробка, впровадження, тестування та порівняння;
Можна використовувати для всіх продуктів / програмного забезпечення в організації;
Проводиться для конкретних продуктів/програмного забезпечення;
Це стан, в якому ви хочете досягти або перевершити те, чого ви досягли;
Виконується на початковому етапі, з якого починаються розробка, впровадження, тестування та порівняння;
Призначений для вимірювання продуктивності програми разом з іншим додатком, що має аналогічні функції;
Визначає продуктивність програми для порівняння у майбутньому;
Пороговий тест (Threshold Test) - це тест, вставлений у Deployment Pipeline, який відстежує певне вимірюване явище, порівнюючи значення у поточній збірці з граничним значенням. Якщо значення поточного складання перевищує граничне значення, тест завершується невдало, і складання не виконується. Типовий приклад використання порогових тестів – продуктивність. Команда бере репрезентативний набір операцій та засікає їх. Потім вони встановлюють граничний тест і якщо ці операції займають значну кількість часу, що перевищує поточне значення, тест завершується невдачею.
Джерела:
Last updated