Share
La technologie Intel RealSense associe une caméra 3D et un ensemble de microphones à un SDK qui vous permet de mettre en œuvre le suivi des gestes, la numérisation 3D, l'analyse de l'expression faciale, la reconnaissance vocale, etc. Dans cet article, je vais expliquer ce que cela signifie pour les jeux et expliquer comment commencer à l'utiliser en tant que développeur de jeux..
RealSense est conçu autour de trois périphériques différents, chacun contenant une caméra 3D. Deux sont destinés à être utilisés dans les tablettes et autres appareils mobiles; le troisième, le F200 situé à l'avant, est destiné aux ordinateurs portables et aux ordinateurs de bureau. Je vais me concentrer sur ce dernier dans cet article.
Le F200 est déjà inclus dans un certain nombre de cahiers différents, ainsi que dans quelques autres périphériques, et sera bientôt disponible en tant que périphérique USB autonome. (Vous pouvez déjà commander ou réserver une version du kit de développement pour environ 100 $.)
Cela consiste en:
Le projecteur infrarouge et la caméra peuvent récupérer des informations sur la profondeur afin de créer un modèle 3D interne, quel que soit le point sur lequel la caméra est dirigée. les informations de couleur de la caméra conventionnelle peuvent ensuite être utilisées pour colorer ce modèle.
Le SDK simplifie ensuite l'utilisation des fonctionnalités de l'appareil photo dans les jeux et autres projets. Il comprend des bibliothèques pour:
Notez qu'en plus de vous permettre de suivre, par exemple, la position du nez d'une personne ou du bout de son index droit dans l'espace 3D, RealSense peut également détecter plusieurs gestes et expressions intégrés, comme ceux-ci:
Ainsi, au lieu d'écrire du code pour vérifier si les coins de la bouche du joueur sont courbés vers le haut et en déduire s'ils sourient ou non, vous pouvez simplement interroger la bibliothèque RealSense pour le geste "sourire"..Voici quelques exemples de la manière dont RealSense peut être utilisé (et est utilisé) dans les jeux:
Nevermind, un jeu d’horreur psychologique, utilise RealSense pour le biofeedback: il mesure le rythme cardiaque du joueur à l’aide de la caméra 3D, puis réagit au niveau de peur du joueur. Si vous perdez votre sang-froid, le jeu devient plus difficile!
MineScan, de voidALPHA, est une preuve de concept qui vous permet de numériser des objets du monde réel (comme des animaux empaillés) dans Minecraft. Tout jeu PC 3D mettant l'accent sur les mods ou la personnalisation pourrait utiliser les fonctionnalités de numérisation de la caméra RealSense pour permettre aux joueurs d'insérer leurs propres objets (ou même eux-mêmes!) Dans le jeu..
Faceshift utilise RealSense pour capturer les visages de manière détaillée. Cette technologie peut être utilisée en temps réel, dans un jeu, lorsque les joueurs se parlent, ou pendant le temps de production pour enregistrer les expressions d'un acteur ainsi que leur voix pour des personnages plus réalistes..
Là est venu un écho est un RTS tactique qui utilise les capacités de reconnaissance vocale de RealSense pour permettre au joueur de commander son équipe. Il est facile de voir comment cela pourrait être adapté, par exemple, à un FPS en équipe..
Il y a des années, Johnny Lee a expliqué comment utiliser (mal) une manette Wii et une barre de détection pour suivre la position de la tête du joueur et ajuster la vue du jeu en conséquence. Peu de jeux, le cas échéant, en ont réellement fait usage (sans doute à cause de la configuration peu orthodoxe requise), mais les capacités de suivi de la tête et du visage de RealSense rendent cela possible et beaucoup plus simple..
Plusieurs jeux utilisent déjà RealSense pour renforcer leurs commandes basées sur les gestes:
Laserlife, un jeu d'exploration de science-fiction du studio derrière la série BIT.TRIP.
Head of the Order, un jeu de combat de type tournoi se déroulant dans un monde fantastique, où les joueurs utilisent des gestes pour se lancer des sorts..
Space Between, dans lequel vous utilisez les mouvements des mains pour nager pour guider les tortues, les poissons et autres créatures de la mer dans une série de tâches dans un décor sous-marin.
Madagascar Move It !, un jeu pour enfants similaire à la série Let's Dance.
Les commandes gestuelles ne sont pas vraiment nouvelles dans le jeu, mais elles étaient auparavant presque exclusives à Kinect. Maintenant, ils peuvent être utilisés dans les jeux PC, ce qui signifie Steam, et même la plate-forme Web.
Première étape: télécharger le SDK. (Bien, OK, la première étape consiste probablement à obtenir un appareil avec une caméra RealSense ou à réserver un kit de développement.)
Le SDK contient:
Ensuite, consultez le site de formation Intel RealSense SDK. Vous y trouverez des guides pour vous aider à démarrer, des tutoriels pour vous aider à utiliser certaines fonctionnalités (notamment la boîte à outils Unity) et des vidéos de webinaires précédents. Nous publierons également des didacticiels RealSense sur Tuts + au cours des prochaines semaines..
La chaîne YouTube d'Intel propose une excellente liste de vidéos sur le développement de RealSense. Ceux-ci sont beaucoup plus axés sur l'UX et l'interface utilisateur que les tutoriels ci-dessus; regardez cette vidéo pour un exemple:
Ces directives UX (PDF) accompagnent parfaitement les vidéos ci-dessus..
Une fois que vous avez une bonne idée de ce que peut faire le SDK et du fonctionnement des différentes bibliothèques, consultez la documentation pour plus de détails..
Enfin, consultez les forums officiels pour discuter avec d’autres développeurs, voir sur quoi ils travaillent et obtenir des conseils..
Nous avons expliqué ce qu'est RealSense, à quoi servent les développeurs de jeux et comment commencer à l'utiliser dans vos propres jeux. Gardez un œil sur la section Développement de jeux Tuts + au cours des prochaines semaines pour quelques tutoriels sur l'analyse de la tête, la frappe sans clavier et la reconnaissance d'expression..
Le programme Intel® Software Innovator soutient les développeurs indépendants innovants qui ont la capacité de créer et de démontrer des projets tournés vers l'avenir. Les innovateurs tirent parti des opportunités de présentation et de démonstration lors de manifestations de l'industrie et de réunions de développeurs..
Zone de développement Intel® offre des outils et des informations pratiques pour le développement d'applications multiplates-formes, des informations de plate-forme et de technologie, des exemples de code et l'expertise de pairs pour aider les développeurs à innover et à réussir. Rejoignez nos communautés pour le Internet des objets, Android*, Technologie Intel RealSense, Code moderne, Développement de jeu et Les fenêtres* pour télécharger des outils, accéder à des kits de développement, partager des idées avec des développeurs partageant les mêmes idées et participer à des hackathons, des concours, des tournées de présentation et des événements locaux.
Accentsconagua