01
Оптика и подсветка
Половина успеха. Подбираем тип камеры (матричная или строчная), объектив, схему освещения — на просвет, под углом, коаксиально, с поляризацией. Без правильной подсветки не спасёт никакая модель.
Технология
Что стоит за словами «нейросетевая инспекция»
Без маркетинга: какие архитектуры используем, где считаем, откуда берутся данные и что происходит, когда линия меняет сырьё, а модель начинает ошибаться.
Модели
Архитектура подбирается под задачу, а не наоборот
Универсальной сети не существует. Детектор быстрый, но грубый по границам; сегментация точная, но дороже по вычислениям; поиск аномалий вообще не требует разметки дефектов, зато не назовёт их тип. На линии обычно работают две-три модели одновременно, дополняя друг друга.
| Класс задач | Что даёт на выходе | Типовые архитектуры | Нужна ли разметка дефектов |
|---|---|---|---|
| Детекция | Рамка, класс, уверенность | Семейство YOLO, RT-DETR | Да |
| Сегментация | Маска пиксель в пиксель, площадь | Mask R-CNN, U-Net, SegFormer | Да, более трудоёмкая |
| Поиск аномалий | Карта отклонений от нормы | PatchCore, PaDiM, автоэнкодеры | Нет — учимся на годных |
| Классификация | Сорт, категория качества | ConvNeXt, EfficientNet, ViT | Да, разметка простая |
| Распознавание текста | Строка, код, уверенность посимвольно | CRNN, TrOCR, детекторы DataMatrix | Частично, помогает синтетика |
| Трекинг | Идентификатор объекта между кадрами | ByteTrack, DeepSORT | Нет, поверх детектора |
| Ключевые точки и поза | Координаты точек, ориентация детали | HRNet, RTMPose, 6D-оценка позы | Да |
| 3D и облака точек | Отклонение от эталонной геометрии | Стерео, структурированный свет, ToF | Нет, нужен эталон |
Про мультимодальные модели. Там, где правила меняются часто и формализуются словами
(«на этикетке должен быть знак, а под ним — дата не старше суток»), уместны
визуально-языковые модели: их проще переучить под новое требование. Но на быстрой линии
они пока дороги по задержке, поэтому мы ставим их на выборочный контроль,
а не в основной поток.
Данные
Жизненный цикл модели не заканчивается запуском
Меняется поставщик сырья, стареет лампа подсветки, сдвигается камера после мойки — и точность падает. Поэтому система с самого начала строится так, чтобы собирать спорные случаи и учиться на них дальше.
Активное обучение вместо тотальной разметки
Размечать всё подряд дорого и бессмысленно. Система сама отбирает кадры, на которых модель менее всего уверена, — именно они дают максимальный прирост качества при минимуме ручной работы технолога.
Версии моделей и откат
Каждая модель на линии имеет версию и привязанный к ней набор данных. Если после обновления выросла доля ложных отбраковок, возврат к предыдущей версии занимает минуты и не требует перенастройки оборудования.
Исполнение
Считаем на месте, у линии
Отправлять поток кадров в облако бессмысленно: канал не выдержит, а задержка убьёт отбраковку. Инференс идёт на промышленном модуле рядом с камерой, наружу уходят только вердикты и выборка изображений.
02
Вычислитель
Промышленный ПК или модуль Jetson в шкафу у линии. Пассивное охлаждение, защита от пыли и вибрации, работа без обслуживания в цеховых условиях.
03
Оптимизация моделей
Квантизация до INT8, слияние слоёв, компиляция под конкретное железо. Это даёт кратное ускорение при потере точности в пределах долей процента.
04
Интеграция
Сигнал отбраковщику по дискретному выходу, обмен с контроллером по OPC UA или Modbus TCP, передача вердиктов в МЭС и отчётность по сменам.
05
Автономность
Линия не останавливается при обрыве связи: решения принимаются локально, данные копятся и синхронизируются, когда канал вернётся.
06
Данные остаются у вас
Развёртывание в периметре предприятия. Кадры и обученные модели не покидают контур, если этого не требует регламент заказчика.
Проверим выполнимость до закупки оборудования
Оценка по вашим кадрам показывает, что именно ограничивает точность — модель, оптика или сама постановка задачи. Это дешевле, чем узнать это после монтажа.