Théorie de l'information. Un article de Wikipédia, l'encyclopédie libre.
La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie probabiliste permettant de quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique précise. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communications publié en 1948. Claude Shannon. Un article de Wikipédia, l'encyclopédie libre.
Pour les personnes ayant le même patronyme, voir Shannon. Claude Shannon Compléments Biographie[modifier | modifier le code] Shannon travaille vingt ans au MIT, de 1958 à 1978. Son œuvre[modifier | modifier le code] Pendant la Seconde Guerre mondiale, Shannon travaille pour les services secrets de l'armée américaine, en cryptographie, chargé de localiser de manière automatique dans le code ennemi les parties signifiantes cachées au milieu du brouillage.
Le schéma de Shannon[modifier | modifier le code] Modèle de Shannon - Communication. Pour décrire la communication entre machines, l'article de 1948 et le livre de 1949 commencent tous deux par un « schéma » qui connut dès lors une postérité étonnante en sciences de l'information et de la communication (SIC), au point que Shannon s'en étonna et s'en dissocia[réf. nécessaire]. Ce schéma est la traduction « civile » d'un schéma préalable, utilisé dans le contexte militaire : Entropie = Théorie de la complexité (informatique théorique) Un article de Wikipédia, l'encyclopédie libre.
La théorie de la complexité est un domaine des mathématiques, et plus précisément de l'informatique théorique, qui étudie formellement la quantité de ressources (en temps et en espace) nécessaire pour la résolution de problèmes au moyen de l'exécution d'un algorithme. Il s'agit donc d'étudier la difficulté intrinsèque de problèmes posés mathématiquement. Un algorithme répond à un problème. Il est composé d'un ensemble d'étapes simples nécessaires à la résolution, dont le nombre varie en fonction du nombre d'éléments à traiter. D'autre part, plusieurs algorithmes peuvent répondre à un même problème.
La théorie de la complexité s'attache à connaître la difficulté (ou la complexité) d'une réponse par algorithme à un problème, dit algorithmique, posé de façon mathématique. La théorie de la complexité étudie principalement (mais pas uniquement) les problèmes de décisions. Un exemple de problème de décision est: TIME(t(n)) NTIME(t(n)) SPACE(s(n)) John von Neumann. Un article de Wikipédia, l'encyclopédie libre.
Pour les articles homonymes, voir Neumann. Biographie[modifier | modifier le code] Benjamin d'une fratrie de trois, il s'appelle tout d'abord Neumann János Lajos à Budapest en Autriche-Hongrie. Il est le fils de Neumann Miksa (Max Neumann), un avocat-banquier, et de Kann Margit (Marguerite Kann). Il ne prête guère attention à ses origines juives, sinon pour son répertoire de blagues[1]. János est un enfant prodige : à six ans, il converse avec son père en grec ancien et peut mentalement faire la division d'un nombre à huit chiffres.
En 1913, son père achète un titre nobiliaire austro-hongrois et le jeune Neumann János devient margittai Neumann János, puis prend le nom Johann von Neumann qui sera anglicisé, dans les années 1930, en John von Neumann au moment de l'émigration aux États-Unis (alors que ses frères choisiront pour patronymes Newman et Vonneumann). Académie des sciences de Hongrie. Théorie des automates. Un article de Wikipédia, l'encyclopédie libre.
En informatique théorique, l'objectif de la théorie des automates est de proposer des modèles de mécanismes mathématiques qui formalisent les méthodes de calcul[1]. Cette théorie est le fondement de plusieurs branches importantes de l'informatique théorique, comme : Les automates n'ont pas d'existence physique, mais sont un modèle abstrait. Une façon de voir une machine de Turing. Concepts fondamentaux de la théorie des automates[modifier | modifier le code]