Dans une vidéo, les dialogues sont un mode de référencement comm. Le système de l'université de Pennsylvanie enregistre les échanges entre les personnages d'un film ou d'une conférence pour les identifier et comprendre le contexte. Un moyen d'affiner la recherche sans recourir aux tags. Pour améliorer la recherche sur les fichiers multimédia, les chercheurs de l'université de Pennsylvanie travaillent sur un système qui sera capable d'identifier le contexte et les personnages d'une vidéo sans que celle-ci ait été tagguée au préalable.
Le dispositif, qui peut potentiellement être intégré aux moteurs de recherche vidéo, ou encore dans les systèmes de surveillance, se réfèrera à la fois au texte écrit - comme le script, les sous-titres ou encore les commentaires des internautes si le fichier circule sur le Net - et les informations audio, comme les dialogues entre les acteurs. Mais aussi à l'image : les visages qu'il aura identifiés et qui seront stockés dans sa base auront été visualisés sous différents angles et degrés de luminosité. Xtensive Technologies — Xtensive Technol. Interview.