Привет! Меня зовут Кирилл Семенко, я AQA в SDET-команде Битрикс24. Сегодня расскажу про ACCIO, наш движок мобильных тестов. Он запускает три вида тестов: unit-тесты JS-модулей, story-тесты компонентов и e2e-сценарии на боевой сборке приложения. Unit и story исполняются внутри приложения, e2e управляют им снаружи через WebdriverIO и Appium. Один и тот же файл теста идёт на iOS и Android.
ACCIO выходит npm-пакетом: в нём движок для тестов внутри приложения, SDK для WebdriverIO и CLI для запуска. Сейчас пакетом пользуются два проекта: модули мобильного приложения Битрикс24 и наше внутреннее приложение на React Native.
Содержание
-
Контекст
-
Как было раньше
-
Что мы хотели получить
-
Почему не взяли готовое
-
Как устроен процесс
-
Как пишется тест
-
Запуск на ферме
-
E2e: что ACCIO добавляет к WDIO
-
Вердикт прогона
-
Потребители: где живут тесты
-
Ограничения и что не получилось
-
Когда стоит строить своё
Контекст
ACCIO внутренний инструмент: он не продаётся и в открытый доступ не выложен. Поэтому в статье упор на устройство и решения, которые можно повторить у себя.
Что у нас есть:
-
Мобильное приложение Битрикс24 для iOS и Android. Значительная часть интерфейса написана на JANative, нашем собственном фреймворке. Он появился в 2017 году и похож на React Native, но это отдельный фреймворк: JS-код рисует настоящие нативные
UIViewиView, JS исполняется в JavaScriptCore на iOS и в J2V8 на Android. На нём написаны 19 модулей приложения и больше 300 экранных компонентов. -
Код JS-модулей приложения лежит в репозитории продукта. Тесты живут там же, рядом с кодом модуля.
-
Aqua, наша платформа автотестов. С неё всё начиналось: она работает с 2011 года, мобильные тесты на Appium в ней появились в 2020-м. Aqua запускает веб- и мобильные тесты, арендует под них виртуальные машины и устройства, готовит стенды, ведёт ночное расписание и складывает результаты в ReportPortal.
-
Своя ферма устройств: около пятидесяти реальных телефонов, примерно поровну iPhone и Android (от iOS 18 до 26, от Android 11 до 16, включая складные), плюс виртуальные устройства. Телефоны подключены к отдельным машинам, тесты на них не исполняются.
-
Стенд для ночного прогона каждый раз свежий: чистый портал Битрикс24.
Схема зависимостей ACCIO внутри тестовой инфраструктуры
Пакет написан на TypeScript, для e2e использует WebdriverIO 10 (дальше WDIO) и Appium 3.
В публичном npm пакет
accioуже есть, и он не наш. Узнали мы о нём, когда своё название уже прижилось и переименовываться было поздно. Так что просим не путать: у нас свой Accio, у них свой, а заклинание общее =)
Термины, которые встретятся дальше
-
Стори (story): компонент, открытый отдельно от приложения, с панелью для смены его свойств (props). Похоже на Storybook, но каталог свой.
-
Story-тест: сценарий над стори. Открыть компонент, нажать, ввести текст, проверить колбэки и состояние на экране. Идёт в тестовой сборке приложения без бэкенда и авторизации.
-
Unit-тест: проверка JS-модуля приложения. Исполняется на устройстве, в настоящем JS-рантайме приложения.
-
E2e: сценарий в боевой сборке для тестов с реальным бэкендом и входом в портал.
-
Боевая сборка для тестов: продуктовое приложение в отладочной конфигурации, в которое встроена нативная часть ACCIO. В магазины приложений эта сборка не попадает.
-
Тестовая сборка: отдельное приложение только для unit- и story-тестов. В нём есть JaNative и дизайн-система, но нет авторизации, навигации и бэкенда.
-
Портал и стенд. Портал — это экземпляр Битрикс24, с которым работает приложение. Стенд — это портал, развёрнутый под ночной прогон.
-
Аренда: устройство фермы выдаётся прогону на время и возвращается после него.
-
Транспорт: способ, которым CLI доставляет тесты и забирает результат. Локально он работает с устройством напрямую, на ферме через Appium-сессию.
-
Потребитель: проект, в котором лежат тесты и установлен пакет ACCIO. Сам репозиторий ACCIO тестов продукта не содержит.
Три вида тестов в одной таблице:
Unit
Story
E2e
Что проверяет
JS-модуль приложения
компонент через его методы, колбэки и касания
пользовательский сценарий целиком
Где исполняется
внутри приложения
внутри приложения
снаружи, через Appium
Сборка приложения
тестовая
тестовая
боевая для тестов
Бэкенд и вход в портал
нет
нет
да
Как было раньше
Компоненты проверяли снаружи
Компонентные тесты жили в Aqua, на C#. Это тот же стек и та же инфраструктура, что у веб-автотестов: аренда устройств, подготовка стендов, планировщик, отчёты. Мобильные тесты управляли приложением через Appium, то есть снаружи, как пользователь. Исходники компонентов и стори лежали в другом репозитории, и у теста не было к ним доступа. Тест видел только экран.
Чтобы проверить один компонент, тест делал следующее:
-
Открывал каталог стори через интерфейс приложения: для этого нужны были стенд и авторизация в портале.
-
Находил нужную стори и менял свойства компонента кликами по панели настроек.
-
Вызывал методы компонента служебными кнопками и читал колбэк с тестовой панели или из буфера обмена.
-
Сверял скриншот в светлой и тёмной теме.
Вот как выглядела проверка метода setActiveSegment у переключателя сегментов (SegmentedControlView). В стори ради неё жила отдельная кнопка «выбрать Last», тест нажимал её и читал результат с тестовой панели.
private bool CheckSwitchByMethods(){ bool stepResult = true; var expected = TestData_SegmentedControlView.GetItemByText("Last", true); // служебная кнопка в стори вызывает setActiveSegment SetLastButton.ClickAndWait(1); stepResult &= CheckItemsState( TestData_SegmentedControlView.GetItemsWithSelectedByText(expected.Title)); // колбэк onSegmentChanged: последний результат с тестовой панели var handlerData = TestPanel.GetTestResult(); stepResult &= GeneralAssert.Validate(expected.Equals(handlerData), "Ответ слушателя переключения корректный", "Ответ слушателя переключения некорректный"); return stepResult;}
ClickAndWait(1) означает «нажать и подождать секунду», в полном кейсе таких вызовов четыре.
Что из этого следовало
Ожидание. Тест не видел, когда компонент закончил работу, поэтому ждал фиксированное время в двух местах. После нажатия: компонент должен успеть обработать касание и вызвать колбэк. Перед скриншотом: асинхронные компоненты дорисовываются не сразу, и без паузы эталон сравнивался бы с промежуточным кадром. Паузы были обоснованы, но каждая добавляла секунды к кейсу и всё равно не гарантировала, что компонент готов.
Колбэк виден только последним. Тестовая панель показывала результат последнего вызова. Если колбэк вызывался дважды или не вызывался вовсе, а на панели оставалось старое значение, тест этого не замечал.
Компонент менялся служебными кнопками. Ради каждого метода в стори появлялась кнопка, которой нет в продукте. Тест проверял кнопку и компонент вместе.
Долго. Путь к стори через интерфейс, клики по панели настроек, паузы и сверка в двух темах складываются в минуты. Кейс переключателя сегментов в ночном прогоне идёт одну-две минуты на каждую тему.
Что мы хотели получить
Требования к новому решению выросли прямо из списка выше: тестам нужно было писаться быстро, на одном стеке с продуктом, и идти на той же ферме.
Что нужно
Как было
Доступ к коду компонента: методы, ref, колбэки
тест видел только экран
Один тест на iOS и Android, на языке продукта
C#, ветки по платформам внутри теста
Полный журнал вызовов колбэка
последний результат на тестовой панели
Ожидание условия
фиксированные паузы по 1–3 секунды
Компонент открывается сразу
путь через интерфейс, стенд и авторизация
Настоящее касание
было у Appium, терять нельзя
Unit-тесты в рантайме приложения
не было
Ферма, ночные прогоны, ReportPortal
уже работали, терять нельзя
Почему не взяли готовое
Инструменты для React Native. Detox, Storybook for React Native, Loki, react-native-owl, jest-expo рассчитаны на React Native: Detox синхронизируется с его JS-потоком и мостом, Storybook for React Native рендерит RN-компоненты. Наши компоненты написаны на JaNative, у него свой рантайм и свой способ рисовать нативные вью. Поэтому эти инструменты мы всерьёз не рассматривали.
Jest в Node. Unit-тест в Node запускается быстро, но наш JS-код без приложения не работает. Компоненты и модули обращаются к глобалам рантайма приложения: View, Text, BX, jn, Keyboard и другим. Их можно заменить заглушками, но тогда тест проверяет заглушки. Нам нужен был настоящий рантайм на настоящем устройстве.
Тесты снаружи через Appium. Этот путь мы прошли на практике, он описан выше. Maestro тоже управляет приложением снаружи, как пользователь, и доступа к JS-объектам компонента не даёт.
Есть и ограничение со стороны фермы. Телефоны подключены к своим машинам, а тесты исполняются на других, рядом с планировщиком. Прогон арендует устройство, и вместе с арендой для него поднимается Appium-сессия на машине, к которой подключён телефон. Дальше всё, что тест делает с устройством, идёт через эту сессию. Любой инструмент, которому нужен прямой доступ к устройству (adb, xcrun, свой драйвер на хосте), на нашей ферме без доработки не работает.
Упрощенная схема взаимодействия ранера тестов с фермой устройств
Нативные фреймворки внутри процесса. KIF и EarlGrey на iOS, Espresso на Android запускают тест внутри приложения и дают настоящие касания. Но тест на них пишется дважды: на Swift или Objective-C для iOS и на Kotlin или Java для Android. Мы шли к обратному: один тест на две платформы, как один JS-код компонента работает на обеих. К тому же такой тест живёт в нативном коде, а нам нужен доступ к JS-объектам компонента: ref, пропсам, колбэкам. Идею синтеза касания мы в итоге взяли у KIF, об этом ниже.
Что осталось из готового. Appium был и в C#-тестах, его мы оставили. Клиент к нему сменили: вместо C#-обвязки взяли WebdriverIO, потому что он на TypeScript, на одном языке с кодом приложения и с нашими unit- и story-тестами. На WDIO и Appium идут e2e на боевой сборке и запуск тестов на ферме, где раннер и устройство стоят на разных машинах.
Наши C#-тесты через Appium
Jest в Node
Нативный in-process (KIF, Espresso)
ACCIO
Доступ к JS-коду компонента
🚫 Нет
✅ Да
✅ Да
✅ Да
Настоящий рантайм и нативные вью
✅ Да
🚫 Нет
✅ Да
✅ Да
Настоящее касание
✅ Да
🚫 Нет
✅ Да
✅ Да
Один исходник на две платформы
частично, с ветками
✅ Да
🚫 Нет
✅ Да
Работает на нашей ферме
✅ Да
не нужно
нужна интеграция
✅ Да
Как устроен процесс
Из репозитория ACCIO выходит npm-пакет: движок и SDK для unit- и story-тестов, SDK для WDIO (e2e), CLI accio и правила линтера. Ставят его проекты, в которых лежат тесты.
CLI один на все три вида тестов. Он берёт устройство (локально своё, на ферме арендованное), ставит приложение, запускает тесты и отправляет результат в ReportPortal. Отличается только то, где исполняется сам тест: unit и story внутри приложения, e2e снаружи, через Appium. Сначала про внутреннюю часть, она у нас своя целиком.
Unit и story: тест внутри приложения
Главная идея: тест исполняется в том же JS-контексте приложения, где живёт компонент. Тогда он может импортировать модуль, вызвать метод компонента и прочитать колбэк обычным JS-кодом. Для этого понадобились три вещи: доставка тестов внутрь приложения, нативная часть, которая их запускает, и мост к настоящим касаниям.
Схема устройства тестирования in-app слояТри слоя в одном JS-контексте
На устройстве в один JS-контекст по очереди загружаются три слоя:
-
Движок ACCIO. Каталог стори, раннеры unit- и story-тестов, драйвер нативного интерфейса, отчёт о прогоне.
-
Дизайн-система приложения. Те же компоненты, что в продукте.
-
Бандл с тестами и стори. Собирается esbuild из каталогов
tests/accioв репозитории продукта.
Движок и тесты разделены, потому что меняются с разной скоростью. Движок выходит версиями пакета. Тесты меняются в каждой ветке задачи.
Общие реестры стори и сюит лежат в globalThis. У каждого бандла своя копия модулей, и реестр, спрятанный в модуле, соседний слой просто не увидит.
Приложение ставится редко, тесты доставляются каждый прогон
Для story- и unit-тестов есть тестовая сборка приложения. Она поднимает JaNative без боевого приложения: без авторизации, навигации и бэкенда. Регистрирует модули и тему, после чего готова отрисовать любой компонент.
Прогон на обеих платформах проходит одни и те же шаги:
ensureDevice → isAppInstalled → buildAndInstallApp → pushEngine → pushLayers → launch → waitDone → collectResults → teardown
Различается только реализация шагов: для iOS и Android есть по адаптеру. Тестовая сборка переставляется, только если её нет на устройстве или она устарела. Движок и тесты кладутся на устройство при каждом запуске.
Параметры прогона (режим, идентификатор, пути к слоям) нативная часть получает при запуске приложения: на iOS через launch arguments, на Android через extra в intent. Она передаёт их в JS до загрузки движка. Поэтому новая версия тестов, другой режим или новая версия движка не требуют пересборки приложения.
Слои загружаются раздельно, и экран может оказаться готов раньше тестов или наоборот. Поэтому старт прогона ждёт двух событий: view загружен и тесты зарегистрированы. Прогон стартует ровно один раз, когда случились оба.
SDK: единственный вход для тестов
Unit- и story-тесты не импортируют движок напрямую. Они пишутся на SDK пакета: registerStory, фабрики свойств вроде StringProp и FunctionProp, suite, defineStoryCase, локаторы.
Это правило защищает от бага, который трудно заметить. Тесты собираются отдельным бандлом. Если SDK потянет за собой реализацию движка, в бандл с тестами приедет вторая копия его классов. Проверка instanceof между слоями перестанет срабатывать, и, например, контролы стори сломаются без единой ошибки в логе.
Поэтому в обязательных проверках перед коммитом есть отдельная: компилятор собирает SDK изолированно и падает, если SDK ссылается на код движка.
Нативная часть в приложении
В тестовую сборку и в боевую сборку для тестов встроен нативный модуль AccioHost с одинаковым контрактом на iOS и Android. В тестовой сборке он при запуске:
-
принимает параметры прогона;
-
ждёт готовности интерфейса;
-
открывает раннер ACCIO в JS-контексте и добавляет туда служебные глобалы, главные из них
NativeUI(мост к нативному интерфейсу) иAccio(запись результата).
В боевой сборке для тестов раннер не нужен: e2e идут снаружи. Там AccioHost принимает параметры прогона и засевает сессию портала до того, как приложение начнёт авторизацию.
В релизную сборку, которая уходит в магазины приложений, AccioHost не попадает.
Настоящее касание и мост к натив-коду
Нажатие в story-тесте проходит тем же путём, что и нажатие пальцем. Если вызвать обработчик из JS напрямую, тест обойдёт распознавание жестов и состояние нажатия и проверит меньше, чем кажется.
-
iOS. Мост синтезирует
UITouchвместе с HID-событием дигитайзера и отдаёт его вUIApplication.sendEvent, как это делает система. Подход взят из KIF. Касание держится 80 мс, как у XCUITest. -
Android.
MotionEventсACTION_DOWNиACTION_UPуходит вdispatchTouchEventкорневогоView. Текст вводится черезInputConnection.commitTextпосимвольно, поэтомуTextWatcherиInputFilterсрабатывают так же, как при наборе с клавиатуры.
Первая версия моста была синхронной: JS вызывал нативный метод и ждал ответа. На этом мы получили взаимную блокировку.
JS-поток во время нативного вызова держит блокировку JS-движка. Касание исполняется на main-потоке и вызывает обработчик компонента, написанный на JS. Обработчику нужна та же блокировка. JS ждёт main, main ждёт JS. На iOS кейс висел до таймаута. На Android синхронный вызов держал монитор J2V8, и кейсы с касаниями падали по таймауту десятками за прогон.
Во второй версии моста вызов разделён на два: submit(op, args) ставит операцию в очередь main-потока и сразу возвращает токен, poll(token) возвращает ответ, когда он готов. Между опросами JS отпускает движок, и обработчик на main успевает выполниться.
Цикл опроса на стороне движка
async function callBridge(op: string, args: unknown[], timeoutMs: number) { const bridge = asyncBridge(); // операция ушла в очередь main-потока, вернулся только токен const token = bridge.submit(op, JSON.stringify(args)); const start = nowMs(); while (true) { // пустая строка означает «ещё не готово» const reply = bridge.poll(token); if (reply) { return parseReply(reply); } if (isAborted()) { return fail('timeout', `${op}: кейс прерван`); } if (nowMs() - start >= timeoutMs) { return fail('timeout', `${op}: нет ответа за ${timeoutMs} мс`); } // отпускаем JS-движок примерно на кадр, чтобы main мог вызвать обработчик await delay(16); }}
Один язык селекторов на две платформы
Тест ищет элемент одним селектором, а нативная часть каждой платформы сопоставляет его со своими атрибутами. Селектор id: на Android ищет contentDescription, на iOS accessibilityIdentifier и затем accessibilityLabel. JaNative сам кладёт testId компонента в эти атрибуты на каждой платформе. Сам testId проставляет разработчик компонента.
Если элементы на платформах действительно разные, тест перечисляет кандидатов для каждой платформы. Первый найденный кандидат закрепляется за элементом.
Поиск идёт по живому дереву вью: сначала среди видимых, затем среди всех. Для разбора падений мост строит дерево доступности прямо в процессе приложения: на iOS в формате page source XCUITest, на Android в формате UiAutomator2. Это те же данные, с которыми работает Appium, только без внешнего сервера.
XPath мы не поддерживаем. В Appium его вычисляет сервер по XML-снимку экрана, а у драйвера внутри приложения снимка нет: он работает с живыми объектами. Типовые XPath-запросы вроде «предок с таким id» выражаются нашим языком путей.
Совместимость движка и приложения
Движок обновляется версией пакета, а тестовая сборка на устройстве может быть собрана месяц назад. Перед story-тестами движок проверяет, что мост отдаёт все обязательные методы: exists, tap, typeText, dump и ещё девять. Если чего-то не хватает, прогон не стартует, а отчёт перечисляет недостающие методы по именам.
Номеров версий у моста нет. Наличие метода и есть версия: так не нужно поддерживать таблицу совместимости. Вторую версию моста движок тоже узнаёт по наличию методов submit и poll.
Второй рубеж срабатывает ещё до релиза пакета: скрипт статически сверяет список методов моста в TypeScript-контракте, Swift и Kotlin. Если разработчик добавил метод на одной платформе и забыл про другую, проверка падает. Ей нужны исходники обоих мобильных приложений, а в CI репозитория ACCIO их нет. Поэтому она входит в обязательные проверки перед коммитом на машине разработчика.
Как пишется тест
У трёх видов тестов разный API, но общий пакет, общий CLI и общий отчёт. Ниже по примеру на каждый вид из репозитория продукта.
Unit-тест
Unit-тест импортирует JS-модуль приложения и проверяет его функции. Импорт работает потому, что тест исполняется в рантайме приложения: jn.require и реестр модулей JaNative здесь настоящие. Возьмём необязательный модуль, который при загрузке регистрирует свои маршруты в роутере приложения. Сюита проверяет, что маршрут появляется после загрузки модуля и что без модуля роутер продолжает обслуживать соседние маршруты.
import { suite } from '@bitrix24test/accio-mobile';suite('optional-module-routes', 'Маршруты необязательного модуля').tests(({ test, expect }) => { test('маршрут модуля появляется после загрузки', async () => { // настоящие модули приложения, из реестра JaNative const { Router } = jn.require('router'); const { loadExtensions } = jn.require('extension-loader'); const router = new Router(); await loadExtensions({ extensions: ['optional-module/routes'], context: router }); expect(router.findRoutesByName('optional:open').length).toBe(1); }); test('без модуля соседний маршрут работает', () => { const { Router } = jn.require('router'); const router = new Router(); const calls: string[] = []; router.register('/neighbor/', () => calls.push('neighbor')); router.open('/neighbor/'); expect(calls).toEqual(['neighbor']); expect(router.findRoutesByName('optional:open').length).toBe(0); });});
Матчеры привычные: toBe, toEqual, toContain, toThrow и другие в стиле Jest. Пропуск теста принимает причину, и она попадает в отчёт. Для expect есть .withContext(...): строка объясняет, что проверялось, и попадает в отчёт при падении.
Стори и story-тест
Story-тест состоит из двух файлов. Первый описывает стори: что отрисовать и какие свойства можно менять. Возьмём тот же SegmentedControlView, переключатель сегментов, который мы видели в старом C#-тесте.
import { registerStory, StringProp, FunctionProp, exposeStoryRef } from '@bitrix24test/accio-mobile';const ITEMS = [{ id: '1', title: 'New' }, { id: '2', title: 'Last' }, { id: '3', title: 'Favorites' }];class SegmentedControlViewStory extends LayoutComponent { render() { const { activeId = '1', onSegmentChanged } = this.props; return View({ style: { width: '100%', height: '100%' } }, SegmentedControlView({ ref: (ref) => exposeStoryRef(ref), // отдаём ref компонента тесту style: { height: 32, marginTop: 10, marginLeft: 18, marginRight: 18 }, items: ITEMS.map((item) => ({ ...item, isSelected: item.id === activeId })), onSegmentChanged, // колбэк без обёртки: его запишет движок })); }}registerStory( { title: 'SegmentedControlViewQaStory', story: { render: SegmentedControlViewStory, props: [ StringProp('activeId', '1'), FunctionProp('onSegmentChanged', (item) => console.log('onSegmentChanged', item)), ], }, }, 'qa-native/segmented-control-view');
Служебных кнопок в стори нет. Колбэк объявлен через FunctionProp, и движок сам оборачивает его: каждый вызов попадает в журнал. Ref компонента передаётся тесту через exposeStoryRef.
Второй файл описывает story-тест. Он открывает стори по id, нажимает на сегменты, вызывает метод компонента и проверяет журнал колбэков. Фрагмент:
defineStoryCase({ id: 'segmented-control-view', title: 'SegmentedControlView', storyId: 'qa-native.segmented-control-view', async check(ctx) { // ручное переключение: касание через нативный мост await ctx.el(itemId('3', false)).tapWithOffset(0.5, 0.5); await ctx.expectExists(itemId('3', true), 5000); await waitOnSegmentChanged(ctx, 'onSegmentChanged сработал с id "3"', '3'); await sleep(300); // нативный компонент доигрывает анимацию перехода // метод компонента вызывается напрямую getStoryRef()?.setActiveSegment('2'); await ctx.expectExists(itemId('2', true), 5000); await waitOnSegmentChanged(ctx, 'onSegmentChanged сработал с id "2"', '2'); // смена свойства снаружи не должна вызывать колбэк const before = storyCallbacks('onSegmentChanged').length; applyStoryProps({ activeId: '3' }); await ctx.expectExists(itemId('3', true), 5000); ctx.expect('onSegmentChanged не вызван при смене пропа', storyCallbacks('onSegmentChanged').length).toBe(before); },});
itemId строит id сегмента вида control-item-3-selected: нативный компонент сам отражает выбранность в своём accessibility id. waitOnSegmentChanged ждёт, пока в журнале колбэков появится вызов с нужным id.
Тот же кейс в старом фреймворке и в ACCIO:
C# через Appium
ACCIO
Открыть компонент
через интерфейс приложения, со стендом и входом
сразу по storyId
Вызвать метод
служебная кнопка в стори
setActiveSegment(‘2’) через ref
Проверить колбэк
последний результат на тестовой панели
полный журнал вызовов
Сверка скриншотом
в двух темах
нет
Время на Android
1–2 минуты на каждую тему
около 2 секунд
Время не сравнивается один к одному: в C#-кейс входят путь к стори через интерфейс приложения. Но порядок разницы виден и на прогоне целиком. Набор компонентных C#-кейсов идёт ночью четыре-пять часов в два потока на платформу, а все story-тесты ACCIO, которых втрое больше, укладываются в 30–45 минут на одном устройстве.
E2e-кейс
E2e-кейс выглядит как обычный mocha-спек WDIO. Отдельного API регистрации у него нет: ACCIO выступает SDK для WDIO и добавляет мету кейса, засев стенда через серверный API портала, ожидания и правила пропуска. Устройством, установкой приложения и стартом сессии владеет ACCIO, спек этого не делает.
Пример по мотивам кейса из модуля отчётов: закреплённый отчёт переезжает из папки в корень списка. Стенд ночью свежий, поэтому кейс сам включает нужную опцию портала, создаёт папку с отчётами и всё возвращает в after.
import { portal } from '@bitrix24test/accio-mobile/wdio';describe('Отчёты: закрепление', { modules: ['reports'] }, () => { let optionBefore: string | null = null; let seed: Seed | null = null; before(async () => { // опция включается на время кейса, прежнее значение запоминаем optionBefore = await portal.options.get('reports', 'pin_enabled'); await portal.options.set('reports', 'pin_enabled', 'Y'); // данные кейс создаёт сам через API портала seed = await seedReports({ folder: 'Папка', reports: ['Отчёт 1', 'Отчёт 2'] }); }); after(async () => { await removeSeed(seed); await portal.options.set('reports', 'pin_enabled', optionBefore); }); it('закреплённый в папке отчёт переезжает в корень', async () => { const report = seed.reports[0]; await openRowMenu(report); await tapMenuItem('Закрепить'); // ждём условие вместо фиксированного времени await waitUntil('отчёт ушёл из папки', async () => !(await isInFolder(report))); // проверяем результат ещё и на сервере await expectPinnedOnServer([report.id]); });});
Пропуск в e2e объявляется с причиной: через мету или skipCase(this, причина). Голый this.skip() mocha причину теряет, и его не пропускает правило линтера из пакета.
Объект { modules: [...] } вторым аргументом это мета кейса, о ней ниже. Пауз нет: каждое ожидание ждёт условия. Общие хелперы вроде waitForElement и openSection живут у потребителя, в репозитории продукта, а ACCIO даёт им основу: локаторы, ожидания, доступ к порталу.
Для визуальной сверки в e2e есть expectVisual: скриншот экрана сравнивается с эталоном тем же алгоритмом, что был у нас в C#-фреймворке (про него я коротко писал в прошлой статье). Эталоны и их приёмка остались общими со старыми C#-кейсами. Такой кейс обязан объявить, на каком устройстве он идёт: эталон снят под конкретный экран. Без этого его не пропустит правило линтера из пакета.
Когда платформы всё-таки различаются
Один исходник не означает, что платформы ведут себя одинаково. Тесты регулярно ловят расхождения, и не все из них баги продукта.
Пример из правил написания стори: элемент JaNative без явных width и height на iOS схлопывается в ноль, становится невидимым, и тест его не находит. Android по умолчанию растягивает элемент, и там тот же кейс зелёный. Поэтому правила требуют задавать размеры явно каждому элементу, который тест ищет или нажимает.
Запуск на ферме
Ночные прогоны запускает планировщик Aqua, тот же, что запускает веб-тесты и старые C#-кейсы: ACCIO встроился в него как ещё один движок. Aqua арендует устройство, ACCIO ставит на него тестовую сборку из основной ветки и бандл с тестами из ветки задачи. Тесты идут внутри приложения, результат через JUnit уходит в ReportPortal.
Схема ночного запуска тестов
Раннер и устройство на ферме стоят на разных машинах и общаются только через Appium-сессию. Поэтому у ACCIO два транспорта. Локально он сам ставит приложение и слои на устройство и запускает прогон. На ферме он открывает Appium-сессию с тестовой сборкой, доставляет слои через неё, а служебный WDIO-спек запускает раннер внутри приложения и забирает файл с результатами. Из этого же следует правило для авторов: тест не вызывает adb, xcrun и вообще не запускает процессы на хосте. Устройство подключено к другой машине, а самих утилит в окружении ночного раннера может не быть.
Unit- и story-тестам реальное устройство не нужно, на ферме они идут на виртуальных устройствах. На iOS это ещё и вопрос сборок. Сборка под симулятор и сборка под реальный iPhone это разные артефакты: для симулятора собирается архив с приложением под архитектуру симулятора, для телефона нужен подписанный .ipa под реальную архитектуру. Каждый вариант это отдельная сборка в CI со своим временем и своим местом в хранилище. Тестовую сборку мы собираем только под симулятор, а подписанные сборки под реальные телефоны остаются боевым сборкам для тестов. Поэтому реальные телефоны фермы работают на e2e.
Паспорт прогона
Тесты берутся из ветки задачи, а тестовая сборка из основной ветки. Однажды прогон тихо взял тесты из основной копии репозитория вместо рабочей копии задачи и выглядел зелёным. С тех пор каждый прогон пишет паспорт: ветку и commit, из которых собраны тесты. По паспорту видно, что именно проверялось.
E2e: что ACCIO добавляет к WDIO
E2e у нас обычные mocha-спеки WDIO. Они идут на боевой сборке для тестов с реальным бэкендом и входом в портал и управляют приложением через Appium. Сам тест исполняется снаружи. Нативная часть ACCIO в боевой сборке для тестов только готовит сессию портала до старта приложения. ACCIO добавляет к WDIO то, что нужно нашей ферме и нашим стендам:
-
Старт кейса с восстановлением. Перед кейсом ACCIO проверяет, что приложение готово. Если нет, перезапускает его и готовит заново. После трёх неудачных стартов подряд ACCIO останавливает прогон, а оставшиеся кейсы получают исход «не запускался» с причиной.
-
Аренда устройства под требования кейса. По мете кейса ACCIO строит план аренды: сначала конкретные устройства, затем любое реальное, затем виртуальное. Если кейсу всё равно, на чём идти, подойдёт любое свободное.
-
Подготовка стенда. Ночной стенд каждый раз свежий, поэтому кейс сам готовит данные через API портала и возвращает их после, как в примере выше. Перед прогоном ACCIO спрашивает у портала версии серверных модулей и пишет их в журнал прогона: тесты берутся из ветки задачи, а на стенде стоит то, что стоит, и такое расхождение раньше разбирали как дефект теста.
-
Диагностика падений. Что ACCIO собирает с красного кейса, описано ниже.
Мета кейса
В голом WDIO о кейсе известны только имя и файл. Всё остальное ACCIO берёт из меты, которую кейс пишет вторым аргументом describe или it: чей это кейс, с какими задачами и дефектами он связан, на какой платформе и каком устройстве может идти, нужны ли ему плохая сеть или чистые данные приложения, при каком условии его пропустить.
Мета читается без запуска кейса. По ней CLI отбирает кейсы и строит план аренды устройств, а отчёт группирует результаты по модулям и показывает ссылки на задачи. Кейс для другой платформы или без подходящего устройства не красит отчёт: он получает исход «пропущен» или «не запускался» с причиной.
Интерфейс меты в сокращении
interface AccioCaseMeta { author?: number; // кто отвечает за кейс modules?: string[]; // чей кейс: по модулям строится прогон и отчёт tags?: string[]; links?: Array; // задачи и дефекты, попадают в отчёт requirements?: { platforms?: Array; deviceKinds?: Array; sim?: 'present' | 'absent'; // нужна ли SIM-карта osVersions?: { ios?: OsRange; android?: OsRange }; devices?: { android?: string[]; ios?: string[] }; // конкретные модели }; preparations?: Array; // чистые данные приложения перед кейсом network?: NetworkProfile; // профиль плохой сети skipCheck?: { reason: string; check?: () => boolean | Promise };}
Что собирается при падении
Красный кейс без диагностики приходится перезапускать, чтобы понять, что произошло. Поэтому при падении ACCIO сразу снимает:
-
Скриншот экрана в момент падения.
-
Дерево элементов экрана, из которого вычищены секреты прогона.
-
Состояние устройства: нагрузку, свободную память и место, последние ошибки системного журнала.
-
Видеозапись кейса, если её включил проект.
Всё это вместе с пошаговым логом кейса уходит в JUnit, а оттуда в ReportPortal, рядом с результатами веб-тестов и старых C#-кейсов. Разбор ночи начинается с одного места: открыть запуск, посмотреть на падение, видео и дерево экрана. Если упал прогон целиком (приложение не поднялось, устройство пропало), CLI забирает с устройства отчёт движка, журнал консоли JS, сведения о падении приложения и срез системного журнала за время прогона.
Вердикт прогона
Этот раздел касается всех трёх видов тестов.
Почему понадобился словарь исходов
Один эпизод изменил наше отношение к вердикту прогона.
На ферме unit- и story-тесты запускает служебный WDIO-спек (об этом в разделе про ферму). Для WDIO это один тест, и он проходил: слои доставлены, файл забран. Прогон возвращал «passed» и код 0 при десятках упавших unit- и story-тестов. В ReportPortal вместо тысяч кейсов приезжал один. Локальный транспорт на тех же тестах возвращал 1.
Зелёный прогон при красных тестах никто не разбирает. Мы сделали так, чтобы ACCIO сам разбирал файл результатов и выносил вердикт по нему, и ввели общий словарь исходов для обоих транспортов:
Код выхода
Что значит
0
красных нет, план выполнен целиком
1
есть красные тесты
2
прогон не состоялся: не поднялось устройство, приложение упало, результатов нет
3
выполнено не целиком: часть выбранных кейсов не запускалась (устройство не пришло, прогон остановлен), каждый назван с причиной
130
прогон прерван
Код 3 сильнее кода 1. Если часть кейсов не дошла до устройства, прогон нельзя считать просто красным: зелёные и красные среди выполненных ничего не говорят про недоехавшие.
Для e2e ACCIO ведёт учёт: каждый кейс плана получает ровно один исход. Прошёл, упал, пропущен с причиной, заблокирован упавшим хуком или не запускался с причиной из закрытого списка, например: остановлен прогон, потеряно устройство, упало приложение. Если сумма исходов не сходится с планом, прогон получает отдельную ошибку учёта и вердикт о тестах не выносит.
Зачем это нужно, показал разбор нескольких ночей e2e подряд. Красным в отчёте было всё одинаково, а причины разные: оборвалась Appium-сессия, на машине раннера не нашлось утилиты, стенд не успел подготовиться. Проверки продукта среди этих падений оказались в меньшинстве. Процент зелёных кейсов в такой ночи говорил больше о самочувствии фермы, чем о качестве приложения, а часть кейсов, стабильно красных ночью, локально проходила.
Потребители: где живут тесты
естов продукта в репозитории ACCIO нет: они лежат в проектах-потребителях, рядом с кодом, который проверяют. Сейчас потребителей два. Модули мобильного приложения Битрикс24 пользуются всеми тремя видами тестов. Нашему приложению Aqua на React Native от ACCIO нужны только e2e на той же ферме и с тем же вердиктом: для unit-тестов у React Native есть Jest.
Второй проект подключился без правки движка за счёт двух вещей. SDK для WDIO в пакете отделён от части, завязанной на JaNative. А потребитель описывает себя профилем accio.consumer.json: где конфиг WDIO, какие файлы считать кейсами, какое приложение ставить. Если этого мало, проект подключает адаптер со своими шагами. Граница ответственности простая: ACCIO отвечает за устройство, доставку, ожидания и вердикт, а потребитель — за знание о своём приложении.
Ограничения и что не получилось
-
Не всё можно проверить изнутри. Системная клавиатура, системные диалоги, другие приложения, перезапуск приложения и звук остаются в e2e на WDIO. Story-тест живёт внутри процесса и до этого не дотягивается.
-
Касание на iOS зависит от приватного API. Синтез
UITouchс HID-событием опирается на приватные селекторы UIKit. На iOS 26 после синтетического события пришлось отдельно завершать касание, иначе следующие нажатия в компонентах JaNative могли блокироваться. Каждая новая версия iOS для нас риск. -
Дамп дерева вводит в заблуждение. Кроме дерева доступности, мост умеет выгрузить короткий дамп нативных вью. В нём только вью с идентификатором или подписью, поэтому он разреженный: если узла в дампе нет, это ещё не значит, что элемента нет на экране. Видимая плашка без идентификатора в дамп просто не попадёт. При разборе падения на этом легко ошибиться.
-
Один зависший кейс ронял соседние. Unit-тесты подменяют часть общего окружения рантайма своими заглушками. Когда кейс зависал и раннер прерывал его по лимиту времени, заглушки оставались на месте, и следующие сюиты падали каскадом. Теперь раннер запоминает окружение перед кейсом и восстанавливает его после прерывания. Убить зависший синхронный нативный вызов раннер при этом не может: он только перестаёт его ждать.
-
Unit и story только у JaNative. Внутренняя часть ACCIO опирается на рантайм JaNative и нативный модуль в приложении. Под другой рантайм её без доработки не перенести, поэтому проекту на другом стеке ACCIO даёт только e2e.
-
Ломающие изменения. С июля по октябрь вышли две мажорные версии: 3.0 добавила e2e на WDIO, 4.0 перевела настройки на локальный файл и явные имена устройств. Каждый раз потребителям приходилось обновлять настройки и способ запуска.
-
Старые тесты ещё живут. Компонентные тесты на C# идут параллельно. Визуальную сверку из них мы уже перенесли в e2e на ACCIO (
expectVisual), остальное переносим следом по мере необходимости, «работает — не трожь»!
Когда стоит строить своё
Тест внутри приложения оправдан, если совпало несколько условий:
-
компоненты работают на собственном рантайме, под который готовые инструменты не рассчитаны;
-
тесту нужен доступ к коду: методы компонента, колбэки, состояние модуля;
-
приложение живёт на двух платформах, и тест хочется писать один раз;
-
у вас уже есть ферма и ночные прогоны, к которым нужно подключиться.
Если приложение на React Native или нативное без собственного JS-слоя, сначала стоит посмотреть на готовые инструменты: Detox, Maestro, Espresso, XCUITest. Признаки выше говорят о том, что пора сравнить стоимость своего движка с готовыми вариантами. У нас совпали все четыре. Наше приложение на React Native подключено к ACCIO по другой причине: ему нужны общая ферма и общий вердикт прогона, внутренняя часть движка ему не нужна.
Идеи, которые переносятся без ACCIO:
-
Тесты бандлом в рантайм. Тестовая сборка приложения собирается редко, тесты и движок доставляются при каждом прогоне. Пересборки под каждую ветку нет.
-
Параметры прогона через аргументы запуска. Launch arguments на iOS и extra в intent на Android. Сборка не знает, что именно в ней будут гонять.
-
Один язык селекторов. Тест пишет один селектор, натив каждой платформы сопоставляет его со своими атрибутами.
-
Совместимость по наличию методов. Движок проверяет, что мост предоставляет обязательные методы, и не сравнивает номера версий. Отдельная статическая проверка сверяет методы между платформами.
-
Асинхронный мост. Если нативная операция на main-потоке вызывает JS-код, а JS в это время синхронно ждёт её результат, получается взаимная блокировка. У нас её сняла пара «поставить в очередь» и «опросить».
-
Вердикт с отдельными исходами. «Прогон не состоялся» и «выполнено не целиком» отделены от «тест красный». Каждый кейс плана получает ровно один исход.
-
Потребитель описывает себя профилем. Где кейсы, какое приложение, где конфиг: всё в одном файле проекта, движок под новый проект не правится.
Какими инструментами вы тестируете мобильное приложение: Appium, Espresso, XCUITest или своим стеком? Расскажите в комментариях.
Источник: habr.com