Mulcol : catalogue d'assemblage AR (basé sur des marqueurs)

Résumé rapide

• Rôle : Développeur principal (studios feliXart)
• Entreprise/Client : Mulcol
• Période du projet : 2017 (livraison)
• Plateformes : iOS, Android
• Moteur : Unreal Engine 4 (C++)
• Framework AR : ARToolKit (marqueur/NFT)
• Caractéristique principale : guide d'assemblage étape par étape basé sur des marqueurs

Chronologie

• 2017 : Processus de développement et de livraison.
• 30/05/2017 : Date de publication de la page (pubDate).

Catalogue d'assemblage AR industriel pour Mulcol

Le catalogue d'assemblage mobile AR que j'ai développé pour Mulcol a transformé les catalogues imprimés en un guide interactif sur le terrain. Les utilisateurs ont pu suivre les étapes d'assemblage 3D en temps réel en scannant les repères du catalogue avec la caméra ; Cela garantissait la séquence correcte, la sélection des pièces et la norme d'installation.

Problèmes et contraintes

• Les catalogues imprimés ne peuvent pas fournir des conseils rapides et sans erreurs sur le terrain.
• Nécessité d'un suivi stable en raison de la faible luminosité et des différentes caméras des appareils.
• Hautes performances et faible latence sur les appareils mobiles.
• Optimisation de grands modèles basés sur la CAO sur mobile.

Résumé de la solution

ARToolKit combine un suivi basé sur des marqueurs/NFT, des animations d'assemblage 3D et des conseils étape par étape sur Unreal Engine. La détection des marqueurs a été effectuée avec le flux de la caméra, la pose a été calculée et le contenu 3D a été affiché à l'échelle et à la position correctes.

L'architecture en un coup d'œil

• Flux de caméra -> correspondance de fonctionnalités -> estimation de pose -> transformation irréelle -> contenu 3D.
• Détection sur le thread de travail, mise à jour de la scène sur le thread de jeu.
• Compensation de la distorsion de l'objectif avec des fichiers d'étalonnage.

Suivi et estimation de pose (Marqueur/NFT)

• Le pipeline ARToolKit NFT a implémenté la détection de marqueurs avec une extraction de fonctionnalités de type FAST/ORB.
• L'homographie a été calculée avec des correspondances de descripteurs et une pose 6DoF a été produite.- Un lissage temporel et une stabilisation avec des seuils fixes ont été appliqués pour réduire la gigue.

Performances mobiles

• Le traitement de la caméra et la détection des marqueurs ont été exécutés dans des threads séparés.
• La boucle principale n'est pas bloquée avec un transfert de données thread-safe sur la file d'attente.
• Performance cible : 60 FPS, mesure : outils de profilage Unreal (tests basés sur les appareils).

Pipeline de contenu

• Les modèles CAO ont été optimisés, le LOD et la compression de texture ont été appliqués.
• La politique de chargement et de nettoyage asynchrone a été utilisée en fonction des limites de mémoire mobile.

UX : Assemblage étape par étape

• Les étapes ont été gérées via DataTable, le flux d'animation a été établi avec Sequencer.
• Les numéros d'étape, les noms de pièces et les avertissements étaient affichés dans l'interface UMG.
• Les pas avant/arrière étaient contrôlés par un geste tactile et glissant.

Avec marqueurs et sans marqueurs (brève comparaison)

• Les marqueurs offrent une grande stabilité et un faible coût de calcul dans des environnements contrôlés.
• Markerless (SLAM) est plus flexible mais peut être instable sur les surfaces peu texturées.
• L'approche basée sur des marqueurs permet une intégration rapide sur le terrain avec un catalogue imprimé.
• L'approche sans marqueur facilite la configuration du contenu mais nécessite plus de calibrage.
• Le système basé sur des marqueurs offre un ciblage FPS plus sûr sur les appareils bas de gamme.
• Le Markerless est plus naturel en termes d'expérience utilisateur, mais la consommation de la batterie augmente.

Impact/Résultats

• Réduction des erreurs d'assemblage - 80% - période : [X], référence : erreurs d'assemblage sur site - source : KPI de rapport de terrain/simulation (rapporté par le client).
• Amélioration du temps de configuration - 40 % - période : [X], référence : temps de catalogue manuel - source : rapports de terrain (rapportés par le client).
• Standardisation des opérations sur le terrain - amélioration qualitative - source : feedback du responsable terrain (rapporté par le client).- Performances mobiles - Objectif 60 FPS - mesure : tests de profil basés sur l'appareil.

Compromis clés

• Précision basée sur les marqueurs vs flexibilité sans marqueur.
• Qualité visuelle d'Unreal Engine par rapport au coût des performances natives.
• Haute précision par rapport à la consommation de la batterie et à la température de l'appareil.

##FAQ

Pourquoi la RA basée sur des marqueurs a-t-elle été choisie ?

Pour un suivi stable et une intégration rapide dans les conditions de terrain.

Comment fonctionne ARToolKit NFT ?

Il fait correspondre les points caractéristiques et crée une pose avec homographie.

Pourquoi Unreal Engine a-t-il été utilisé ?

Pour faciliter la gestion du contenu 3D, le rendu et la distribution multiplateforme.

Comment les performances mobiles ont-elles été maintenues ?

Avec séparation des threads, LOD, compression de texture et chargement asynchrone.

Comment les modèles CAO ont-ils été optimisés ?

Avec réduction de polygone, paramètres LOD et matériaux légers.

Les scénarios hors ligne sont-ils pris en charge ?

Maintien des conseils de base avec le cache et le stockage de contenu local.

Mentions légales du projet

• Client : Mulcol Fire Suppression Technologies
• Société développeur : feliXart studios
• Rôle : Développeur principal / Développeur principal de logiciels
• Plateforme : iOS, Android
• Moteur : Unreal Engine 4 -Langage de base : C++
• AR Framework : ARToolKit (suivi basé sur des marqueurs)
• Date d'achèvement : mai 2017 -Date de la page : 2017-05-30

Projets connexes

• Mulcol : Simulation d'assemblage de coupe-feu VR
• Dunelm : expérience AR « View-in-Room » prise en charge par LiDAR
• Rapid Render : configurateur de produit 3D en temps réel