ООО «Пихта Тех» · https://firai.ru
Единая методика на четыре сценария: стенды, условия, метрики, бланки протоколов. Применима к любому вендору и любой отрасли — промышленность, логистика, ритейл, транспорт, энергетика, агро.
Методика не привязана к нашим приборам: те же стенды, те же метрики — для любого бокса и любой камеры. Сравнивайте нас с кем угодно по одним правилам.
Каждый сценарий заканчивается числом: доля читаемого мелкого текста, доля кадров без смаза, отказы разъёмов после −25 °C, список открытых портов.
Тот, кто написал методику испытаний, обычно пишет и требования тендера. Мы предлагаем сделать протокол приёмки частью вашей спецификации.
Публикуем измерения вместе с условиями, ограничениями и причинами остановок. Инженерные результаты доступны в разделе испытаний плат.
| № | Сценарий | Стенд и условия | Метрики |
|---|---|---|---|
| 01 | Стационарная камера в помещении | стенд 3 м стеллажа / стены с мелкой маркировкой; освещённость 700 / 300 / 100 / 50 лк; четыре варианта монтажа камеры (потолок, напротив, на стойку, сверху); ночной режим без ИК-подсветки | доля читаемого мелкого текста (маркировка, номера, ценники); mAP детектора на кадрах каждой камеры; влияние ИК на цвет объекта |
| 02 | Быстрое движение в кадре | 200 проходов объекта через рабочую зону: конвейер, зона сканирования, манипулятор, рука; подмена объекта, пропуск; сравнение rolling vs global shutter на одной сцене | доля кадров без смаза; точность детекции; задержка от кадра до результата модели |
| 03 | Улица, техника и транспорт | солнце и фары в кадре (WDR); ночь с ИК-подсветкой (снег, дождь); вибростенд / езда по площадке; мойка водой; −25 °C в морозильной камере 2 часа и +50 °C в закрытом шкафу; просадка питания | читаемость номера и маркировки против света; ложные срабатывания ночью; отказы разъёмов и запотевание; поведение при просадке питания |
| 04 | ИБ-проверка каждой камеры и прибора делаем сами до передачи образцов — и отдаём протокол вместе с прибором | nmap всех портов; контроль исходящих соединений (облако производителя, P2P); смена пароля и отключение UPnP; проверка модели по реестру нотификаций ФСБ и наличия декларации ЕАС | список открытых портов; список внешних адресов (должен быть пустым); возможность отключить облако штатно |
Инженерные испытания ROCK 5B+, ROCK 5C и ROCK 4D на сохранённых исходных моделях и фиксированных входах. Для RK3576 модели собраны заново; качество измерено по новым выходам. Штатный и настроенный режимы показаны отдельно; охлаждение, ОС, привязка CPU и политики частот входят в условия каждого результата. Эффект SoC отдельно от ОС и настроек не измерен. Для скорости YOLO26n: вход 640×640, batch 1; отдельно runtime, готовый BGR-кадр → детекции и параллельные контексты. Для 4D runtime и обработка готового кадра также измерены для сегментации, глубины и OSNet на готовом кропе. Основная серия: не менее 60 с и 100 кадров разогрева, три замера по 60 с, медиана и все повторы. Короткий live и получасовой одиночный прогон показаны отдельно. Качество оценивается на фиксированных данных с указанием объёма выборки.
Результаты, условия и методика: /testing/results/. Температура — максимум встроенных датчиков, порог остановки 65 °C; температура помещения неизвестна. Потребление, максимальное число видеопотоков и задержка камера → экран не измерены. Это не испытание бокса в шкафу при +40 °C и не завершённое сравнительное испытание с Jetson. Для приёмки прибора условия, длительность, измеритель питания и датчики температуры согласуются отдельно до прогона.
| Модель | Вход | Задача |
|---|---|---|
| OSNet x0.25 | 256×128 (H×W) | ReID embeddings; FP16, вместе с BoT-SORT |
| YOLO26n | 640×640 | детекция; FP16 / INT8 / гибрид |
| YOLOv8n-seg | 640×640 | сегментация; FP16 / INT8 |
| Depth Anything V2 Small | 518×392 | относительная глубина; FP16 |
| DA3-Small | 518×392 | относительная глубина; FP16, адаптация графа |
| Метрика | Единица |
|---|---|
| скорость с указанной границей измерения | кадр/с / кроп/с |
| качество на указанной выборке | px / IDF1 / AP / верные пары |
| максимум встроенных датчиков | °C |
| потребление — не измерено | Вт |
| максимум видеопотоков — не измерен | шт. |
| RKNN-Toolkit2 | 2.3.2 |
|---|---|
| RKNNLite / runtime | 2.3.0 |
| RKNPU | 0.9.8 |
TOPS для Rockchip указываются dense INT8 по паспорту, для Jetson — sparse по паспорту NVIDIA с пересчётом в dense; цифры несопоставимы «в лоб», поэтому сравнение ведётся по FPS на одинаковых моделях. Сравнительных измерений Jetson пока нет.
| № | Проверка | Ожидаемый результат |
|---|---|---|
| 1 | nmap всех портов TCP/UDP на камере и приборе | список открытых портов совпадает с паспортом изделия; лишних сервисов нет |
| 2 | Контроль исходящих соединений 24 часа (зеркалирование трафика) | внешних адресов нет: только ваш сервер обновлений, ваш NTP и адреса, заданные вами |
| 3 | Облако производителя, P2P, UPnP | отключаемы штатно и отключены; после перезагрузки не включаются |
| 4 | Пароли по умолчанию | сменены; уникальный пароль на экземпляр |
| 5 | Реестр нотификаций ФСБ / декларация ЕАС | модель найдена в реестре или нотификация не требуется (нет радио); ЕАС в наличии или оформляется на поставщика |
| 6 | Образ прибора: доступ только по ключам заказчика, ключей поставщика нет; исходящие соединения только по заданным адресам | проверяемо на образце; ИБ-анкета вендора — по запросу |
Метрики сценария 04: список открытых портов; список внешних адресов (должен быть пустым); возможность отключить облако штатно. делаем сами до передачи образцов — и отдаём протокол вместе с прибором.
| Отключено | Bluetooth / Wi-Fi (на приборах без радио — физически), Avahi / mDNS, UPnP, telnet, пароли по умолчанию, отладочные порты UART в серии |
|---|---|
| Куда ходит | только по адресам из вашего конфига: ваш сервер обновлений, ваш NTP, ваши сервисы, куда ваш контейнер отдаёт результат; список вы видите и меняете сами |
| Куда не ходит | в интернет, к нам, к вендору SoC; телеметрии «домой» нет; своего облака и брокера у нас нет |
| Обновления | подписанные образы, доставка из вашей сети, откат при неудаче автоматически |
| Аудит | список открытых портов и версии компонентов — в ИБ-анкете по запросу; для IP-камер — протокол проверки на каждый экземпляр при приёмке |
По одному бланку на сценарий. Строки — метрики сценария; при необходимости добавляйте свои. Результат вносится числом.
| Дата и место | Объект / сцена | ||
|---|---|---|---|
| Изделие (вендор, модель, серийный №) | Версия прошивки / образа | ||
| Условия стенда | стенд 3 м стеллажа / стены с мелкой маркировкой; освещённость 700 / 300 / 100 / 50 лк; четыре варианта монтажа камеры (потолок, напротив, на стойку, сверху); ночной режим без ИК-подсветки | ||
| № | Метрика / проверка | Результат | Порог (из ТЗ) | Прошёл / нет |
|---|---|---|---|---|
| 1 | доля читаемого мелкого текста (маркировка, номера, ценники) | |||
| 2 | mAP детектора на кадрах каждой камеры | |||
| 3 | влияние ИК на цвет объекта |
Порог «прошёл / не прошёл» задаётся в ТЗ заказчика или согласуется до испытаний и вписывается в графу «Порог»; результат — числом, а не «удовлетворительно».
| Дата и место | Объект / сцена | ||
|---|---|---|---|
| Изделие (вендор, модель, серийный №) | Версия прошивки / образа | ||
| Условия стенда | 200 проходов объекта через рабочую зону: конвейер, зона сканирования, манипулятор, рука; подмена объекта, пропуск; сравнение rolling vs global shutter на одной сцене | ||
| № | Метрика / проверка | Результат | Порог (из ТЗ) | Прошёл / нет |
|---|---|---|---|---|
| 1 | доля кадров без смаза | |||
| 2 | точность детекции | |||
| 3 | задержка от кадра до результата модели |
Порог «прошёл / не прошёл» задаётся в ТЗ заказчика или согласуется до испытаний и вписывается в графу «Порог»; результат — числом, а не «удовлетворительно».
| Дата и место | Объект / сцена | ||
|---|---|---|---|
| Изделие (вендор, модель, серийный №) | Версия прошивки / образа | ||
| Условия стенда | солнце и фары в кадре (WDR); ночь с ИК-подсветкой (снег, дождь); вибростенд / езда по площадке; мойка водой; −25 °C в морозильной камере 2 часа и +50 °C в закрытом шкафу; просадка питания | ||
| № | Метрика / проверка | Результат | Порог (из ТЗ) | Прошёл / нет |
|---|---|---|---|---|
| 1 | читаемость номера и маркировки против света | |||
| 2 | ложные срабатывания ночью | |||
| 3 | отказы разъёмов и запотевание | |||
| 4 | поведение при просадке питания |
Порог «прошёл / не прошёл» задаётся в ТЗ заказчика или согласуется до испытаний и вписывается в графу «Порог»; результат — числом, а не «удовлетворительно».
| Дата и место | Объект / сцена | ||
|---|---|---|---|
| Изделие (вендор, модель, серийный №) | Версия прошивки / образа | ||
| Условия стенда | nmap всех портов; контроль исходящих соединений (облако производителя, P2P); смена пароля и отключение UPnP; проверка модели по реестру нотификаций ФСБ и наличия декларации ЕАС | ||
| № | Метрика / проверка | Результат | Порог (из ТЗ) | Прошёл / нет |
|---|---|---|---|---|
| 1 | список открытых портов | |||
| 2 | список внешних адресов (должен быть пустым) | |||
| 3 | возможность отключить облако штатно |
Порог «прошёл / не прошёл» задаётся в ТЗ заказчика или согласуется до испытаний и вписывается в графу «Порог»; результат — числом, а не «удовлетворительно».
ООО «Пихта Тех» · https://firai.ru · info@firai.ru · +7 (916) 877-93-11. Документ обновляется вместе с сайтом; актуальная версия — https://firai.ru/testing/. Программа испытаний v0.9 от 6 октября 2026 г..