Utiliser l’intelligence artificielle pour améliorer l’organisation des vidéos

Utiliser l'intelligence artificielle pour améliorer l'organisation des vidéos

Netra, cofondé par Shashi Kant SM ’06, utilise l’intelligence artificielle pour aider les entreprises à trier et à gérer le contenu vidéo.

À tout moment, des milliers de nouvelles vidéos sont publiées sur des sites comme YouTube, TikTok et Instagram. Un nombre croissant de ces vidéos sont enregistrées et diffusées en direct. Mais les entreprises technologiques et médiatiques ont encore du mal à comprendre ce qui se passe dans tout ce contenu.

Aujourd’hui, Netra, une ancienne élève du MIT, utilise l’intelligence artificielle pour améliorer l’analyse vidéo à grande échelle. Le système de l’entreprise peut identifier les activités, les objets, les émotions, les lieux, etc. pour organiser et fournir un contexte aux vidéos de nouvelles manières.

Les entreprises utilisent la solution de Netra pour regrouper des contenus similaires dans des bandes-annonces ou des segments d’actualités, signaler la nudité et la violence et améliorer le placement des publicités. Dans la publicité, Netra aide à garantir que les vidéos sont associées à des publicités pertinentes afin que les marques puissent s’éloigner du suivi des personnes individuelles, ce qui a conduit à des problèmes de confidentialité.

«Le secteur dans son ensemble s’oriente vers la publicité basée sur le contenu, ou ce qu’ils appellent la publicité d’affinité, et s’éloigne du suivi basé sur les cookies et les pixels, qui a toujours été assez effrayant», a déclaré Shashi Kant SM, co-fondateur de Netra et CTO. ’06 dit.

Netra pense également qu’il améliore la capacité de recherche du contenu vidéo. Une fois les vidéos traitées par le système de Netra, les utilisateurs peuvent lancer une recherche avec un mot-clé. À partir de là, ils peuvent cliquer sur les résultats pour voir un contenu similaire et trouver des événements de plus en plus spécifiques.

Par exemple, le système de Netra peut traiter la vidéo d’une saison de baseball et aider les utilisateurs à trouver tous les célibataires. En cliquant sur certaines pièces pour en voir plus, ils peuvent aussi retrouver tous les singles qui étaient presque sortis et ont poussé les fans à huer avec colère.

«La vidéo est de loin la plus grande source d’information aujourd’hui», déclare Kant. “Il éclipse le texte d’un ordre de grandeur en termes de richesse et de taille de l’information, mais personne ne l’a même touché avec la recherche. C’est le plus blanc des espaces blancs. ”

Poursuivre une vision

Le pionnier de l’Internet et professeur au MIT, Sir Tim Berners-Lee, s’efforce depuis longtemps d’améliorer la capacité des machines à donner un sens aux données sur Internet.

Kant a fait des recherches sous Berners-Lee en tant qu’étudiant diplômé et a été inspiré par sa vision d’améliorer la façon dont les informations sont stockées et utilisées par les machines.

« Pour moi, le Saint Graal est un nouveau paradigme dans la recherche d’informations », déclare Kant. « Je pense que la recherche sur le Web est toujours à 1.0. Même Google est 1.0. C’est la vision de l’initiative Web sémantique de Sir Tim Berners-Lee et c’est ce que j’ai retenu de cette expérience. »

Kant était également membre de l’équipe gagnante du MIT $ 100K Entrepreneurship Competition (le MIT $ 50K à l’époque). Il a aidé à écrire le code informatique d’une solution appelée Active Joint Brace, qui était une orthèse électromécanique pour les personnes handicapées.

Après avoir obtenu son diplôme en 2006, Kant a lancé une entreprise qui utilisait l’IA dans sa solution appelée Cognika. L’IA avait toujours mauvaise réputation d’être surexcitée, de sorte que Kant utilisait des termes tels que l’informatique cognitive pour présenter son entreprise aux investisseurs et aux clients.

Kant a lancé Netra en 2013 pour utiliser l’IA pour l’analyse vidéo. Ces jours-ci, il doit faire face à l’extrémité opposée du spectre du battage médiatique, avec tant de startups affirmant utiliser l’IA dans leur solution.

Netra essaie de couper court au battage médiatique avec des démonstrations de son système. Netra peut analyser rapidement les vidéos et organiser le contenu en fonction de ce qui se passe dans différents clips, y compris des scènes où des personnes font des choses similaires, expriment des émotions similaires, utilisent des produits similaires, etc. L’analyse de Netra génère des métadonnées pour différentes scènes, mais Kant affirme que le système de Netra offre bien plus que l’étiquetage par mots-clés.

«Ce avec quoi nous travaillons, ce sont les intégrations», explique Kant, faisant référence à la manière dont son système classe le contenu. «S’il y a une scène où quelqu’un frappe un coup de circuit, il y a une certaine signature à cela, et nous générons une intégration pour cela. Une intégration est une séquence de nombres, ou un « vecteur », qui capture l’essence d’un élément de contenu. Les balises ne sont que des représentations lisibles par l’homme. Nous allons donc entraîner un modèle qui détecte tous les coups de circuit, mais sous la couverture, il y a un réseau de neurones, et il crée une intégration de cette vidéo, et qui différencie la scène d’une autre manière d’une sortie ou d’une promenade.

En définissant les relations entre les différents clips, le système de Netra permet aux clients d’organiser et de rechercher leur contenu de manière nouvelle. Les entreprises de médias peuvent déterminer les moments les plus excitants des événements sportifs en fonction des émotions des fans. Ils peuvent également regrouper le contenu par sujet, emplacement ou selon que les clips incluent ou non du contenu sensible ou dérangeant.

Ces capacités ont des implications majeures pour la publicité en ligne. Une société de publicité représentant une marque comme la société de vêtements de plein air Patagonia pourrait utiliser le système de Netra pour placer les publicités de Patagonia à côté du contenu de randonnée. Les entreprises de médias pourraient proposer à des marques comme Nike des espaces publicitaires autour de clips d’athlètes sponsorisés.

Ces capacités aident les annonceurs à adhérer aux nouvelles réglementations en matière de confidentialité du monde entier qui imposent des restrictions à la collecte de données sur des personnes individuelles, en particulier les enfants. Cibler certains groupes de personnes avec des publicités et les suivre sur le Web est également devenu controversé.

Kant pense que le moteur d’intelligence artificielle de Netra est un pas en avant pour donner aux consommateurs plus de contrôle sur leurs données, une idée défendue depuis longtemps par Berners-Lee.

«Ce n’est pas la mise en œuvre de mon travail sur CSAIL, mais je dirais que les idées conceptuelles que je poursuivais chez CSAIL sont issues de la solution Netra», déclare Kant.

Transformer la façon dont les informations sont stockées

Netra compte actuellement parmi ses clients certaines des plus grandes sociétés de médias et de publicité du pays.

Kant pense que le système de Netra pourrait un jour aider n’importe qui à rechercher et à organiser l’océan croissant de contenu vidéo sur Internet. À cette fin, il voit la solution de Netra continuer à évoluer.

“La recherche n’a pas beaucoup changé depuis qu’elle a été inventée pour le Web 1.0”, déclare Kant. “Pour le moment, il existe de nombreuses recherches basées sur les liens. Les liens sont obsolètes à mon avis. Vous ne souhaitez pas visiter différents documents. Vous voulez que les informations de ces documents soient regroupées en quelque chose de contextuel et de personnalisable, y compris uniquement les informations dont vous avez besoin. »

Kant pense qu’une telle contextualisation améliorerait considérablement la manière dont les informations sont organisées et partagées sur Internet.

“Il s’agit de s’appuyer de moins en moins sur des mots-clés et de plus en plus sur des exemples”, explique Kant. « Par exemple, dans cette vidéo, si Shashi fait une déclaration, est-ce parce qu’il est un cinglé ou y a-t-il autre chose ? Imaginez un système qui pourrait dire: «Cet autre scientifique a dit quelque chose de similaire pour valider cette déclaration et ce scientifique a répondu de la même manière à cette question.» Pour moi, ce genre de choses est l’avenir de la recherche d’informations, et c’est la passion de ma vie. C’est pourquoi je suis venu au MIT. C’est pourquoi j’ai passé une décennie et demie de ma vie à lutter contre cette bataille de l’IA, et c’est ce que je continuerai de faire. »

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Translate »