🎲 Signaux Aléatoires - Semestre 6

Année Universitaire : 2022-2023
Semestre : 6
Crédits : 2.5 ECTS
Spécialité : Traitement du Signal et Probabilités


PART A - Présentation Générale du Module

Vue d'ensemble

Les signaux aléatoires sont omniprésents en ingénierie : bruit dans les circuits électroniques, perturbations dans les télécommunications, mesures avec incertitudes. Ce cours introduit les outils mathématiques pour modéliser, analyser et traiter ces signaux aléatoires en utilisant la théorie des probabilités et les processus stochastiques.

Objectifs pédagogiques :

  • Maîtriser les concepts de probabilités et variables aléatoires
  • Comprendre les processus stochastiques et leur caractérisation
  • Analyser statistiquement les signaux bruités
  • Modéliser le bruit dans les systèmes de communication
  • Appliquer le filtrage optimal (Wiener, corrélation)

Position dans le cursus

Ce module s'appuie sur :

  • Signal (S5) : transformée de Fourier, systèmes linéaires
  • Mathématiques : probabilités, intégrales, séries
  • Filtrage Numérique (S6) : filtres, traitement du signal

Il prépare aux applications :

  • Télécommunications : analyse des canaux bruités, BER
  • Traitement du signal : débruitage, estimation
  • Systèmes embarqués : mesures avec incertitudes, capteurs

PART B - Expérience Personnelle et Contexte d'Apprentissage

Organisation et ressources

Le module était organisé en cours magistraux et travaux dirigés sur le semestre :

Cours magistraux (20h) :
Structuré en 4 chapitres (ChapterI à ChapterIV) :

  • Chapitre I : Rappels de probabilités et variables aléatoires
  • Chapitre II : Couples et vecteurs aléatoires
  • Chapitre III : Processus stochastiques
  • Chapitre IV : Filtrage linéaire des signaux aléatoires

Travaux dirigés (16h) :
Exercices d'application avec corrections disponibles :

  • TD 1.1, 1.2, 1.3 : variables aléatoires
  • TD 2.1, 2.3 : couples aléatoires
  • TD 3.1 : processus stochastiques

Supports pédagogiques :

  • Fascicules de cours (4 chapitres en PDF)
  • Énoncés de TD avec corrections
  • Annales d'examens de 2014 à 2017 avec corrigés

Méthode de travail

Cours théorique :
Beaucoup de définitions mathématiques et de démonstrations. Nécessité de bien assimiler les concepts fondamentaux (densité de probabilité, fonction de répartition, espérance) avant d'aborder les processus stochastiques.

TD pratiques :
Exercices d'application directe puis problèmes plus complexes. Les corrections détaillées permettent de vérifier sa compréhension.

Annales :
Entraînement sur les sujets d'examens passés (2014-2017) pour se familiariser avec le type de questions posées.

Difficultés rencontrées

Abstraction mathématique :
Les processus stochastiques sont des objets mathématiques abstraits. Visualiser ce qu'est un processus aléatoire (famille infinie de variables aléatoires) demande un effort d'abstraction.

Manipulation des densités de probabilité :
Calculs avec densités conjointes, marginales, conditionnelles. Beaucoup d'intégrales et de changements de variables.

Lien théorie/pratique :
Le cours est très théorique. Le lien avec les applications concrètes (bruit dans les circuits, canaux de communication) n'est pas toujours évident.


PART C - Aspects Techniques Détaillés

1. Rappels de probabilités

Espace probabilisé :

Un espace probabilisé est défini par trois éléments :

  • Oméga : ensemble des éventualités (univers)
  • A : ensemble des événements (sigma-algèbre)
  • P : probabilité (mesure sur A)
Distribution gaussienne

Figure : Fonction de densité de probabilité (PDF) - Loi normale (gaussienne)

Propriétés de la probabilité :

  • 0 <= P(A) <= 1
  • P(Oméga) = 1
  • P(A ou B) = P(A) + P(B) - P(A et B)

Probabilité conditionnelle :

P(A sachant B) = P(A et B) / P(B) si P(B) > 0

Formule des probabilités totales :

Si B1, B2, ..., Bn forment une partition de Oméga :
P(A) = somme sur i de P(A sachant Bi) × P(Bi)

Théorème de Bayes :

P(B sachant A) = P(A sachant B) × P(B) / P(A)

Application : inférence, diagnostic, filtrage de Kalman.

Indépendance :

Deux événements A et B sont indépendants si :
P(A et B) = P(A) × P(B)

Équivalent à : P(A sachant B) = P(A)

2. Variables aléatoires

Définition :
Une variable aléatoire X est une fonction de Oméga vers les réels qui associe à chaque éventualité une valeur numérique.

Variable aléatoire discrète :

Prend un nombre fini ou dénombrable de valeurs.

Fonction de masse (PMF) :
p(xi) = P(X = xi)

Propriétés :

  • p(xi) >= 0
  • somme sur i de p(xi) = 1

Lois discrètes classiques :

LoiParamètresUsageEspéranceVariance
Bernoullipsuccès/échecpp(1-p)
Binomialen, pnombre de succès sur n essaisnpnp(1-p)
Poissonlambdaévénements rareslambdalambda
Géométriquepnombre d'essais avant 1er succès1/p(1-p)/p²

Variable aléatoire continue :

Prend ses valeurs dans un intervalle continu.

Fonction de densité (PDF) :
Fonction f(x) telle que :
P(a < X < b) = intégrale de a à b de f(x) dx

Propriétés :

  • f(x) >= 0
  • intégrale de -infini à +infini de f(x) dx = 1

Fonction de répartition (CDF) :
F(x) = P(X <= x) = intégrale de -infini à x de f(t) dt

Propriétés :

  • F est croissante
  • F(-infini) = 0, F(+infini) = 1
  • f(x) = dF(x)/dx

Lois continues classiques :

LoiDensitéUsageEspéranceVariance
Uniforme [a,b]1/(b-a) sur [a,b]équiprobabilité(a+b)/2(b-a)²/12
Exponentiellelambda × exp(-lambda × x)durée de vie1/lambda1/lambda²
Gaussienne(1/racine(2π)σ) exp(-(x-m)²/(2σ²))bruit, mesuresmσ²
Rayleigh(x/σ²) exp(-x²/(2σ²))enveloppe signal Gaussienσ racine(π/2)σ²(4-π)/2

Moments d'une variable aléatoire :

Espérance (moyenne) :
E[X] = intégrale de x f(x) dx (cas continu)
E[X] = somme de xi p(xi) (cas discret)

Variance :
Var(X) = E[(X - E[X])²] = E[X²] - (E[X])²

Écart-type :
sigma = racine(Var(X))

Propriétés de l'espérance :

  • E[aX + b] = a E[X] + b
  • E[X + Y] = E[X] + E[Y] (toujours)
  • E[XY] = E[X] E[Y] (si X et Y indépendantes)

Propriétés de la variance :

  • Var(aX + b) = a² Var(X)
  • Var(X + Y) = Var(X) + Var(Y) (si X et Y indépendantes)

3. Loi gaussienne (loi normale)

Importance fondamentale :
La loi gaussienne est la plus importante en ingénierie car :

  • Modélise le bruit dans les circuits (bruit thermique)
  • Résultat du Théorème Central Limite
  • Propriétés mathématiques remarquables

Densité de probabilité :

f(x) = (1 / (sigma racine(2π))) exp(-(x - m)² / (2 sigma²))

Paramètres :

  • m : moyenne
  • sigma² : variance

Notation : X suit N(m, sigma²)

Loi gaussienne centrée réduite :

Cas particulier avec m = 0 et sigma = 1 : N(0, 1)

Densité : φ(x) = (1/racine(2π)) exp(-x²/2)

Standardisation :

Si X suit N(m, sigma²), alors Z = (X - m) / sigma suit N(0, 1)

Permet d'utiliser les tables de la loi normale standard.

Règle des 3 sigma :

Pour une loi gaussienne N(m, sigma²) :

  • 68% des valeurs dans [m - sigma, m + sigma]
  • 95% des valeurs dans [m - 2sigma, m + 2sigma]
  • 99,7% des valeurs dans [m - 3sigma, m + 3sigma]

Propriétés remarquables :

  • Somme de gaussiennes est gaussienne
  • Transformation linéaire d'une gaussienne est gaussienne
  • Maximise l'entropie à variance donnée

4. Couples et vecteurs aléatoires

Couple aléatoire :

Paire (X, Y) de variables aléatoires.

Densité conjointe :
f(x, y) telle que P((X, Y) dans D) = intégrale double sur D de f(x, y) dx dy

Densités marginales :
Densité de X seule : f_X(x) = intégrale de f(x, y) dy
Densité de Y seule : f_Y(y) = intégrale de f(x, y) dx

Densité conditionnelle :
f(x sachant y) = f(x, y) / f_Y(y)

Indépendance :

X et Y indépendantes si et seulement si :
f(x, y) = f_X(x) × f_Y(y)

Corrélation et covariance :

Espérance d'un couple :
E[g(X, Y)] = intégrale double de g(x, y) f(x, y) dx dy

Covariance :
Cov(X, Y) = E[(X - E[X])(Y - E[Y])] = E[XY] - E[X] E[Y]

Coefficient de corrélation :
rho = Cov(X, Y) / (sigma_X sigma_Y)

Propriétés :

  • -1 <= rho <= 1
  • rho = 0 : variables non corrélées
  • rho = ±1 : relation linéaire

Remarque importante :

  • Indépendantes => non corrélées
  • Non corrélées =/=> indépendantes (sauf cas gaussien)

Couple gaussien :

(X, Y) suit une loi gaussienne bidimensionnelle si leur densité conjointe est de la forme gaussienne à 2 dimensions.

Propriété remarquable :
Pour un couple gaussien : non corrélées <=> indépendantes

5. Théorèmes limites

Loi des grands nombres :

Moyenne empirique converge vers l'espérance théorique.

Si X1, X2, ..., Xn variables indépendantes de même loi, d'espérance m :
(X1 + X2 + ... + Xn) / n tend vers m quand n tend vers infini

Théorème Central Limite (TCL) :

Somme de variables aléatoires suit approximativement une loi gaussienne.

Si X1, X2, ..., Xn variables indépendantes de même loi, d'espérance m et variance sigma² :
(X1 + X2 + ... + Xn - n×m) / (sigma racine(n)) tend vers N(0, 1)

Conséquence importante :
Explique pourquoi tant de phénomènes naturels suivent une loi gaussienne : résultat de nombreuses petites causes indépendantes.

Applications :

  • Modélisation du bruit (somme de nombreuses perturbations)
  • Approximation binomiale par gaussienne (si n grand)
  • Estimation statistique

6. Processus stochastiques

Définition :

Un processus stochastique X(t) est une famille de variables aléatoires indexées par le temps t.

Pour chaque instant t, X(t) est une variable aléatoire.

Visualisations :

  • Réalisation : courbe X(t, omega) pour un omega fixé
  • Distribution : distribution de probabilité à un instant t fixé
  • Statistiques : espérance E[X(t)], variance Var[X(t)]

Types de processus :

TypeTempsValeursExemple
Discret-DiscretdiscretdiscrètesMarche aléatoire
Continu-DiscretcontinudiscrètesProcessus de Poisson
Discret-ContinudiscretcontinuesSuite de mesures
Continu-ContinucontinucontinuesBruit thermique

Moyenne et autocorrélation :

Moyenne :
m_X(t) = E[X(t)]

Fonction du temps (en général).

Fonction d'autocorrélation :
R_X(t1, t2) = E[X(t1) X(t2)]

Mesure la corrélation entre les valeurs du processus à deux instants différents.

Fonction d'autocovariance :
C_X(t1, t2) = E[(X(t1) - m_X(t1))(X(t2) - m_X(t2))]
C_X(t1, t2) = R_X(t1, t2) - m_X(t1) m_X(t2)

7. Processus stationnaires

Stationnarité stricte :

Toutes les statistiques du processus sont invariantes par translation dans le temps.

Difficile à vérifier en pratique.

Stationnarité au sens large (WSS - Wide Sense Stationary) :

Deux conditions suffisent :

  1. Moyenne constante : m_X(t) = m (indépendant de t)
  2. Autocorrélation dépend seulement de l'écart : R_X(t1, t2) = R_X(tau) avec tau = t2 - t1

Propriétés de R_X(tau) :

  • R_X(0) = E[X²(t)] = puissance moyenne
  • R_X(tau) = R_X(-tau) (fonction paire)
  • |R_X(tau)| <= R_X(0)
  • R_X(tau) maximum en tau = 0

Ergodicité :

Un processus stationnaire est ergodique si les moyennes temporelles (sur une réalisation) convergent vers les moyennes d'ensemble.

Moyenne temporelle = limite quand T tend vers infini de (1/T) intégrale de 0 à T de x(t) dt

Si ergodique :

  • Moyenne temporelle = moyenne théorique E[X]
  • Permet d'estimer les statistiques sur une seule réalisation

8. Densité spectrale de puissance (DSP)

Théorème de Wiener-Khinchin :

Pour un processus WSS, la densité spectrale de puissance S_X(f) est la transformée de Fourier de l'autocorrélation R_X(tau) :

S_X(f) = TF[R_X(tau)]

Réciproquement :
R_X(tau) = TF¹[S_X(f)]

Interprétation :
S_X(f) représente la répartition de la puissance du signal en fonction de la fréquence.

Propriétés :

  • S_X(f) >= 0 (fonction positive)
  • S_X(f) = S_X(-f) (fonction paire, si X réel)
  • Puissance totale = R_X(0) = intégrale de S_X(f) df

Puissance dans une bande :

Puissance entre f1 et f2 = intégrale de f1 à f2 de S_X(f) df

9. Bruit blanc

Définition :

Processus dont la DSP est constante sur toutes les fréquences :
S_X(f) = N0/2

Autocorrélation :
R_X(tau) = (N0/2) delta(tau)

où delta est la distribution de Dirac.

Interprétation :

  • Puissance répartie uniformément sur toutes les fréquences
  • Valeurs à deux instants différents non corrélées (delta de Dirac)

Bruit blanc gaussien :

Processus gaussien avec spectre plat. Noté AWGN (Additive White Gaussian Noise).

Modèle standard du bruit dans les télécommunications.

Bruit blanc en pratique :

Le bruit blanc idéal n'existe pas (puissance infinie). En pratique :

  • Bruit blanc dans une bande limitée
  • DSP plate sur la bande d'intérêt

Bruit thermique :

Bruit dans les résistances dû à l'agitation thermique (Johnson-Nyquist).

DSP : S_V(f) = 4 k T R

où k = constante de Boltzmann, T = température (Kelvin), R = résistance.

Approximation de bruit blanc dans une large bande.

10. Filtrage linéaire des signaux aléatoires

Système linéaire invariant (SLI) :

Caractérisé par sa réponse impulsionnelle h(t) ou sa fonction de transfert H(f).

Entrée aléatoire X(t), sortie Y(t) :

Si X(t) est WSS, alors Y(t) est aussi WSS.

Relations entrée-sortie :

Moyenne :
m_Y = m_X × H(0)

où H(0) est le gain DC du filtre.

Autocorrélation :
R_Y(tau) = R_X(tau) * h(tau) * h(-tau)

où * est la convolution.

DSP :
S_Y(f) = S_X(f) × |H(f)|²

Formule fondamentale : la DSP de sortie est la DSP d'entrée multipliée par le carré du module de la fonction de transfert.

Variance de la sortie :
Var(Y) = R_Y(0) = intégrale de S_Y(f) df = intégrale de S_X(f) |H(f)|² df

Exemple : bruit blanc filtré

Entrée : bruit blanc de DSP N0/2
Filtre : passe-bas de bande B
Sortie : DSP S_Y(f) = (N0/2) |H(f)|²

Puissance de sortie : (N0/2) × 2B = N0 B

(approximation si filtre idéal)

11. Rapport signal sur bruit (SNR)

Définition :

SNR = Puissance du signal / Puissance du bruit

En décibels : SNR_dB = 10 log10(SNR)

Signal dans le bruit :

Signal utile : s(t) de puissance P_s
Bruit : n(t) de puissance P_n
Signal reçu : r(t) = s(t) + n(t)

SNR = P_s / P_n

Amélioration du SNR par filtrage :

Filtre adapté maximise le SNR en sortie.

Filtre de Wiener :

Filtre optimal au sens de l'erreur quadratique moyenne minimale (MMSE).

Fonction de transfert optimale :
H_opt(f) = S_XY(f) / (S_X(f) + S_N(f))

où S_XY est l'intercorrélation signal-observation, S_X spectre du signal, S_N spectre du bruit.

Filtre adapté :

Pour détecter un signal connu s(t) dans du bruit blanc, le filtre optimal a :
h(t) = s(T - t)

où T est l'instant de décision.

Maximise le SNR à l'instant d'échantillonnage.

12. Applications en télécommunications

Canal AWGN (Additive White Gaussian Noise) :

Modèle standard de canal de communication.

Signal reçu : r(t) = s(t) + n(t)

où n(t) est un bruit blanc gaussien.

Taux d'erreur binaire (BER) :

Probabilité d'erreur sur un bit en fonction du SNR.

Pour une modulation binaire simple :
BER = fonction du rapport Eb/N0

où Eb est l'énergie par bit, N0 la DSP du bruit.

Capacité de Shannon :

Débit maximal théorique d'un canal :
C = B log2(1 + SNR)

où B est la bande passante, C la capacité en bits/s.

Théorème de Shannon :
On peut transmettre à un débit < C avec une probabilité d'erreur arbitrairement faible (grâce au codage canal).

13. Estimation et détection

Estimation de paramètres :

À partir d'observations bruitées, estimer un paramètre inconnu.

Estimateur du maximum de vraisemblance (MLE) :

Choisir la valeur du paramètre qui maximise la probabilité d'observer les données.

Principe : theta_MLE = argmax de la vraisemblance L(theta)

Estimateur MMSE :

Minimise l'erreur quadratique moyenne.

E[(theta - theta_estimé)²] minimale

Détection d'hypothèses :

Décider entre plusieurs hypothèses (H0 ou H1) à partir d'observations.

Critère de Neyman-Pearson :

Maximiser la probabilité de détection pour une probabilité de fausse alarme donnée.

Courbe ROC (Receiver Operating Characteristic) :

Probabilité de détection en fonction de la probabilité de fausse alarme.

Permet de comparer les performances de différents détecteurs.


PART D - Analyse Réflexive et Perspectives

Compétences acquises

Rigueur mathématique :
Le cours développe une approche rigoureuse des probabilités et des processus stochastiques. Les démonstrations mathématiques renforcent la compréhension profonde des concepts.

Modélisation de l'aléatoire :
Capacité à modéliser des phénomènes aléatoires réels (bruit, mesures, signaux) par des lois de probabilité et des processus stochastiques appropriés.

Analyse spectrale :
Maîtrise de la densité spectrale de puissance comme outil d'analyse des signaux aléatoires, complément essentiel à la transformée de Fourier classique.

Points clés à retenir

1. Loi gaussienne centrale :
La loi gaussienne est omniprésente grâce au Théorème Central Limite. Comprendre ses propriétés est essentiel pour l'ingénieur.

2. Corrélation vs indépendance :
Non corrélation n'implique pas indépendance (sauf cas gaussien). Distinction fondamentale souvent source d'erreurs.

3. Stationnarité = simplicité :
Les processus stationnaires sont beaucoup plus simples à analyser. En pratique, on suppose souvent la stationnarité (au moins localement).

4. DSP = outil de choix :
La densité spectrale de puissance est l'outil principal pour analyser et filtrer les signaux aléatoires. Théorème de Wiener-Khinchin est fondamental.

5. Filtrage optimal :
Le filtre de Wiener et le filtre adapté sont des résultats théoriques importants qui guident la conception de systèmes réels.

Applications pratiques

Télécommunications :

  • Modélisation du canal (bruit AWGN, évanouissements)
  • Calcul du BER en fonction du SNR
  • Conception de récepteurs optimaux
  • Égalisation, débruitage

Traitement du signal :

  • Estimation de paramètres (fréquence, phase, amplitude)
  • Détection de signaux noyés dans le bruit
  • Filtrage optimal (Wiener)
  • Analyse spectrale (estimation de DSP)

Systèmes de mesure :

  • Quantification de l'incertitude
  • Amélioration du SNR par moyennage
  • Conception de capteurs
  • Traitement statistique des mesures

Radar et sonar :

  • Détection de cibles
  • Estimation de distance, vitesse
  • Filtrage adapté pour maximiser le SNR

Retour d'expérience

Cours théorique :
Le cours est dense et mathématique. La maîtrise des concepts demande du temps et de la pratique sur des exercices variés. Les TD sont essentiels pour assimiler la théorie.

Annales précieuses :
Les annales de 2014 à 2017 avec corrections sont une ressource importante pour se préparer à l'examen et comprendre les attentes.

Difficulté progressive :

  • Chapitre I (probabilités et variables aléatoires) : relativement accessible
  • Chapitre II (couples aléatoires) : plus technique (intégrales doubles)
  • Chapitre III (processus stochastiques) : abstrait
  • Chapitre IV (filtrage) : applications concrètes, plus motivant

Limites et ouvertures

Limites du module :

  • Peu d'applications pratiques (simulations MATLAB)
  • Traitement limité de l'estimation (pas de Kalman détaillé)
  • Pas de processus non-stationnaires (signaux transitoires)

Ouvertures vers :

  • Traitement statistique du signal : estimation spectrale, analyse temps-fréquence
  • Communications numériques : modulations, codage canal, égalisation
  • Filtrage de Kalman : estimation récursive, systèmes dynamiques
  • Apprentissage automatique : modèles probabilistes, inférence bayésienne
  • Traitement d'image : bruit dans les images, restauration
  • Finance : modélisation des marchés (mouvement brownien, processus stochastiques)

Liens avec d'autres domaines

Théorie de l'information :
Entropie, information mutuelle, capacité de canal (Shannon).

Statistiques :
Tests d'hypothèses, estimation, intervalles de confiance.

Contrôle stochastique :
Systèmes dynamiques avec incertitudes, commande optimale.

Apprentissage automatique :
Modèles génératifs probabilistes, réseaux bayésiens, processus gaussiens.

Conseils pour réussir

1. Maîtriser les bases :
Assurer les fondamentaux (probabilités, densités, espérance, variance) avant d'aborder les processus stochastiques.

2. Faire les TD :
Les exercices sont essentiels. Refaire les TD sans regarder les corrections pour tester sa compréhension.

3. Utiliser les annales :
S'entraîner sur les examens passés pour se familiariser avec le format et identifier les points importants.

4. Visualiser :
Essayer de visualiser les concepts (courbes de densité, réalisations de processus) plutôt que rester dans l'abstraction pure.

5. Comprendre les théorèmes :
Théorème Central Limite, Wiener-Khinchin sont fondamentaux. Bien comprendre leurs hypothèses et conséquences.

Conclusion

Le module Signaux Aléatoires apporte les fondements mathématiques indispensables pour traiter les signaux bruités et les phénomènes aléatoires omniprésents en ingénierie. La théorie des probabilités et des processus stochastiques, bien que parfois abstraite, fournit des outils puissants et rigoureux.

Impact sur la formation :
Ce cours change la vision des signaux : tout signal réel contient de l'aléatoire (bruit, incertitudes). Savoir modéliser et traiter cet aléatoire est essentiel pour l'ingénieur.

Complémentarité :
En complément du traitement du signal déterministe (Fourier, filtres), le traitement statistique des signaux aléatoires permet d'aborder des problèmes réels (estimation, détection, débruitage).

Message principal :
L'aléatoire n'est pas l'ennemi de l'ingénieur. Avec les bons outils (probabilités, processus stochastiques, DSP, filtrage optimal), on peut analyser, modéliser et traiter efficacement les signaux aléatoires.

Recommandations :

  • Approfondir avec des simulations (MATLAB, Python) pour visualiser les concepts
  • Lire des articles sur applications concrètes (radar, télécommunications)
  • Se former au filtrage de Kalman (extension naturelle)
  • Explorer les liens avec l'apprentissage automatique (modèles probabilistes)

Liens avec les autres cours :


📚 Documents de Cours

📖 Chapitre I - Probabilités

Introduction aux probabilités : espérances mathématiques, axiomes, probabilités conditionnelles et théorème de Bayes.

📥 Télécharger

📖 Chapitre II - Variables Aléatoires

Variables aléatoires discrètes et continues : lois de probabilité, moments, fonction caractéristique et espérance.

📥 Télécharger

📖 Chapitre III - Processus Stochastiques

Processus aléatoires : stationnarité, ergodicité, autocorrélation et propriétés des processus stationnaires.

📥 Télécharger

📖 Chapitre IV - Analyse Spectrale

Densité spectrale de puissance (DSP), théorème de Wiener-Khintchine et filtrage linéaire des processus aléatoires.

📥 Télécharger

🎲 Random Signals - Semester 6

Academic Year: 2022-2023
Semester: 6
Credits: 2.5 ECTS
Specialization: Signal Processing and Probability


PART A - General Module Overview

Overview

Random signals are ubiquitous in engineering: noise in electronic circuits, disturbances in telecommunications, measurements with uncertainties. This course introduces the mathematical tools to model, analyze, and process these random signals using probability theory and stochastic processes.

Learning objectives:

  • Master the concepts of probability and random variables
  • Understand stochastic processes and their characterization
  • Statistically analyze noisy signals
  • Model noise in communication systems
  • Apply optimal filtering (Wiener, correlation)

Position in the curriculum

This module builds upon:

  • Signal Processing (S5): Fourier transform, linear systems
  • Mathematics: probability, integrals, series
  • Digital Filtering (S6): filters, signal processing

It prepares for applications in:

  • Telecommunications: noisy channel analysis, BER
  • Signal processing: denoising, estimation
  • Embedded systems: measurements with uncertainties, sensors

PART B - Personal Experience and Learning Context

Organization and resources

The module was organized into lectures and tutorials throughout the semester:

Lectures (20h):
Structured in 4 chapters (Chapter I to Chapter IV):

  • Chapter I: Probability review and random variables
  • Chapter II: Random pairs and random vectors
  • Chapter III: Stochastic processes
  • Chapter IV: Linear filtering of random signals

Tutorials (16h):
Application exercises with available solutions:

  • TD 1.1, 1.2, 1.3: random variables
  • TD 2.1, 2.3: random pairs
  • TD 3.1: stochastic processes

Teaching materials:

  • Course booklets (4 chapters in PDF)
  • Tutorial problem sets with solutions
  • Past exam papers from 2014 to 2017 with answer keys

Working method

Theoretical lectures:
Many mathematical definitions and proofs. It is necessary to fully grasp the fundamental concepts (probability density, cumulative distribution function, expectation) before tackling stochastic processes.

Practical tutorials:
Direct application exercises followed by more complex problems. Detailed solutions allow verification of understanding.

Past exams:
Practice on past exam papers (2014-2017) to become familiar with the types of questions asked.

Difficulties encountered

Mathematical abstraction:
Stochastic processes are abstract mathematical objects. Visualizing what a random process is (an infinite family of random variables) requires a significant effort of abstraction.

Manipulating probability densities:
Calculations with joint, marginal, and conditional densities. Many integrals and variable substitutions.

Theory-practice connection:
The course is very theoretical. The link with concrete applications (noise in circuits, communication channels) is not always obvious.


PART C - Detailed Technical Aspects

1. Probability review

Probability space:

A probability space is defined by three elements:

  • Omega: set of outcomes (sample space)
  • A: set of events (sigma-algebra)
  • P: probability (measure on A)
Gaussian distribution

Figure: Probability Density Function (PDF) - Normal (Gaussian) distribution

Properties of probability:

  • 0 <= P(A) <= 1
  • P(Omega) = 1
  • P(A or B) = P(A) + P(B) - P(A and B)

Conditional probability:

P(A given B) = P(A and B) / P(B) if P(B) > 0

Law of total probability:

If B1, B2, ..., Bn form a partition of Omega:
P(A) = sum over i of P(A given Bi) × P(Bi)

Bayes' theorem:

P(B given A) = P(A given B) × P(B) / P(A)

Applications: inference, diagnostics, Kalman filtering.

Independence:

Two events A and B are independent if:
P(A and B) = P(A) × P(B)

Equivalent to: P(A given B) = P(A)

2. Random variables

Definition:
A random variable X is a function from Omega to the real numbers that associates a numerical value with each outcome.

Discrete random variable:

Takes a finite or countable number of values.

Probability Mass Function (PMF):
p(xi) = P(X = xi)

Properties:

  • p(xi) >= 0
  • sum over i of p(xi) = 1

Classical discrete distributions:

DistributionParametersUsageExpectationVariance
Bernoullipsuccess/failurepp(1-p)
Binomialn, pnumber of successes in n trialsnpnp(1-p)
Poissonlambdarare eventslambdalambda
Geometricpnumber of trials before 1st success1/p(1-p)/p²

Continuous random variable:

Takes values in a continuous interval.

Probability Density Function (PDF):
Function f(x) such that:
P(a < X < b) = integral from a to b of f(x) dx

Properties:

  • f(x) >= 0
  • integral from -infinity to +infinity of f(x) dx = 1

Cumulative Distribution Function (CDF):
F(x) = P(X <= x) = integral from -infinity to x of f(t) dt

Properties:

  • F is non-decreasing
  • F(-infinity) = 0, F(+infinity) = 1
  • f(x) = dF(x)/dx

Classical continuous distributions:

DistributionDensityUsageExpectationVariance
Uniform [a,b]1/(b-a) on [a,b]equal probability(a+b)/2(b-a)²/12
Exponentiallambda × exp(-lambda × x)lifetime1/lambda1/lambda²
Gaussian(1/sqrt(2π)σ) exp(-(x-m)²/(2σ²))noise, measurementsmσ²
Rayleigh(x/σ²) exp(-x²/(2σ²))Gaussian signal envelopeσ sqrt(π/2)σ²(4-π)/2

Moments of a random variable:

Expectation (mean):
E[X] = integral of x f(x) dx (continuous case)
E[X] = sum of xi p(xi) (discrete case)

Variance:
Var(X) = E[(X - E[X])²] = E[X²] - (E[X])²

Standard deviation:
sigma = sqrt(Var(X))

Properties of expectation:

  • E[aX + b] = a E[X] + b
  • E[X + Y] = E[X] + E[Y] (always)
  • E[XY] = E[X] E[Y] (if X and Y are independent)

Properties of variance:

  • Var(aX + b) = a² Var(X)
  • Var(X + Y) = Var(X) + Var(Y) (if X and Y are independent)

3. Gaussian distribution (normal distribution)

Fundamental importance:
The Gaussian distribution is the most important in engineering because:

  • It models noise in circuits (thermal noise)
  • It is the result of the Central Limit Theorem
  • It has remarkable mathematical properties

Probability density:

f(x) = (1 / (sigma sqrt(2π))) exp(-(x - m)² / (2 sigma²))

Parameters:

  • m: mean
  • sigma²: variance

Notation: X follows N(m, sigma²)

Standard normal distribution:

Special case with m = 0 and sigma = 1: N(0, 1)

Density: φ(x) = (1/sqrt(2π)) exp(-x²/2)

Standardization:

If X follows N(m, sigma²), then Z = (X - m) / sigma follows N(0, 1)

Allows use of the standard normal tables.

The 3-sigma rule:

For a Gaussian distribution N(m, sigma²):

  • 68% of values within [m - sigma, m + sigma]
  • 95% of values within [m - 2sigma, m + 2sigma]
  • 99.7% of values within [m - 3sigma, m + 3sigma]

Remarkable properties:

  • The sum of Gaussians is Gaussian
  • A linear transformation of a Gaussian is Gaussian
  • Maximizes entropy for a given variance

4. Random pairs and random vectors

Random pair:

A pair (X, Y) of random variables.

Joint density:
f(x, y) such that P((X, Y) in D) = double integral over D of f(x, y) dx dy

Marginal densities:
Density of X alone: f_X(x) = integral of f(x, y) dy
Density of Y alone: f_Y(y) = integral of f(x, y) dx

Conditional density:
f(x given y) = f(x, y) / f_Y(y)

Independence:

X and Y are independent if and only if:
f(x, y) = f_X(x) × f_Y(y)

Correlation and covariance:

Expectation of a pair:
E[g(X, Y)] = double integral of g(x, y) f(x, y) dx dy

Covariance:
Cov(X, Y) = E[(X - E[X])(Y - E[Y])] = E[XY] - E[X] E[Y]

Correlation coefficient:
rho = Cov(X, Y) / (sigma_X sigma_Y)

Properties:

  • -1 <= rho <= 1
  • rho = 0: uncorrelated variables
  • rho = ±1: linear relationship

Important remark:

  • Independent => uncorrelated
  • Uncorrelated =/=> independent (except in the Gaussian case)

Gaussian pair:

(X, Y) follows a bivariate Gaussian distribution if their joint density has the 2-dimensional Gaussian form.

Remarkable property:
For a Gaussian pair: uncorrelated <=> independent

5. Limit theorems

Law of large numbers:

The sample mean converges to the theoretical expectation.

If X1, X2, ..., Xn are independent and identically distributed random variables with expectation m:
(X1 + X2 + ... + Xn) / n tends to m as n tends to infinity

Central Limit Theorem (CLT):

The sum of random variables approximately follows a Gaussian distribution.

If X1, X2, ..., Xn are independent and identically distributed random variables with expectation m and variance sigma²:
(X1 + X2 + ... + Xn - n×m) / (sigma sqrt(n)) tends to N(0, 1)

Important consequence:
Explains why so many natural phenomena follow a Gaussian distribution: the result of many small independent causes.

Applications:

  • Noise modeling (sum of many disturbances)
  • Binomial-to-Gaussian approximation (for large n)
  • Statistical estimation

6. Stochastic processes

Definition:

A stochastic process X(t) is a family of random variables indexed by time t.

For each time instant t, X(t) is a random variable.

Visualizations:

  • Realization: curve X(t, omega) for a fixed omega
  • Distribution: probability distribution at a fixed time t
  • Statistics: expectation E[X(t)], variance Var[X(t)]

Types of processes:

TypeTimeValuesExample
Discrete-DiscretediscretediscreteRandom walk
Continuous-DiscretecontinuousdiscretePoisson process
Discrete-ContinuousdiscretecontinuousMeasurement series
Continuous-ContinuouscontinuouscontinuousThermal noise

Mean and autocorrelation:

Mean:
m_X(t) = E[X(t)]

A function of time (in general).

Autocorrelation function:
R_X(t1, t2) = E[X(t1) X(t2)]

Measures the correlation between the process values at two different time instants.

Autocovariance function:
C_X(t1, t2) = E[(X(t1) - m_X(t1))(X(t2) - m_X(t2))]
C_X(t1, t2) = R_X(t1, t2) - m_X(t1) m_X(t2)

7. Stationary processes

Strict stationarity:

All statistics of the process are invariant under time translation.

Difficult to verify in practice.

Wide Sense Stationarity (WSS):

Two conditions suffice:

  1. Constant mean: m_X(t) = m (independent of t)
  2. Autocorrelation depends only on the lag: R_X(t1, t2) = R_X(tau) with tau = t2 - t1

Properties of R_X(tau):

  • R_X(0) = E[X²(t)] = average power
  • R_X(tau) = R_X(-tau) (even function)
  • |R_X(tau)| <= R_X(0)
  • R_X(tau) is maximum at tau = 0

Ergodicity:

A stationary process is ergodic if time averages (over a single realization) converge to ensemble averages.

Time average = limit as T tends to infinity of (1/T) integral from 0 to T of x(t) dt

If ergodic:

  • Time average = theoretical mean E[X]
  • Allows estimating statistics from a single realization

8. Power Spectral Density (PSD)

Wiener-Khinchin theorem:

For a WSS process, the power spectral density S_X(f) is the Fourier transform of the autocorrelation R_X(tau):

S_X(f) = FT[R_X(tau)]

Conversely:
R_X(tau) = FT¹[S_X(f)]

Interpretation:
S_X(f) represents the distribution of signal power as a function of frequency.

Properties:

  • S_X(f) >= 0 (non-negative function)
  • S_X(f) = S_X(-f) (even function, if X is real)
  • Total power = R_X(0) = integral of S_X(f) df

Power in a band:

Power between f1 and f2 = integral from f1 to f2 of S_X(f) df

9. White noise

Definition:

A process whose PSD is constant across all frequencies:
S_X(f) = N0/2

Autocorrelation:
R_X(tau) = (N0/2) delta(tau)

where delta is the Dirac delta distribution.

Interpretation:

  • Power is uniformly distributed across all frequencies
  • Values at two different instants are uncorrelated (Dirac delta)

Gaussian white noise:

A Gaussian process with a flat spectrum. Denoted AWGN (Additive White Gaussian Noise).

Standard noise model in telecommunications.

White noise in practice:

Ideal white noise does not exist (infinite power). In practice:

  • Band-limited white noise
  • Flat PSD over the band of interest

Thermal noise:

Noise in resistors due to thermal agitation (Johnson-Nyquist).

PSD: S_V(f) = 4 k T R

where k = Boltzmann constant, T = temperature (Kelvin), R = resistance.

White noise approximation over a wide bandwidth.

10. Linear filtering of random signals

Linear Time-Invariant (LTI) system:

Characterized by its impulse response h(t) or its transfer function H(f).

Random input X(t), output Y(t):

If X(t) is WSS, then Y(t) is also WSS.

Input-output relationships:

Mean:
m_Y = m_X × H(0)

where H(0) is the DC gain of the filter.

Autocorrelation:
R_Y(tau) = R_X(tau) * h(tau) * h(-tau)

where * denotes convolution.

PSD:
S_Y(f) = S_X(f) × |H(f)|²

Fundamental formula: the output PSD is the input PSD multiplied by the squared magnitude of the transfer function.

Output variance:
Var(Y) = R_Y(0) = integral of S_Y(f) df = integral of S_X(f) |H(f)|² df

Example: filtered white noise

Input: white noise with PSD N0/2
Filter: low-pass with bandwidth B
Output: PSD S_Y(f) = (N0/2) |H(f)|²

Output power: (N0/2) × 2B = N0 B

(approximation for an ideal filter)

11. Signal-to-Noise Ratio (SNR)

Definition:

SNR = Signal power / Noise power

In decibels: SNR_dB = 10 log10(SNR)

Signal in noise:

Useful signal: s(t) with power P_s
Noise: n(t) with power P_n
Received signal: r(t) = s(t) + n(t)

SNR = P_s / P_n

SNR improvement through filtering:

The matched filter maximizes the output SNR.

Wiener filter:

Optimal filter in the minimum mean square error (MMSE) sense.

Optimal transfer function:
H_opt(f) = S_XY(f) / (S_X(f) + S_N(f))

where S_XY is the signal-observation cross-correlation, S_X is the signal spectrum, S_N is the noise spectrum.

Matched filter:

To detect a known signal s(t) in white noise, the optimal filter has:
h(t) = s(T - t)

where T is the decision instant.

Maximizes the SNR at the sampling instant.

12. Telecommunications applications

AWGN channel (Additive White Gaussian Noise):

Standard communication channel model.

Received signal: r(t) = s(t) + n(t)

where n(t) is Gaussian white noise.

Bit Error Rate (BER):

Probability of a bit error as a function of SNR.

For a simple binary modulation:
BER = function of the Eb/N0 ratio

where Eb is the energy per bit, N0 is the noise PSD.

Shannon capacity:

Maximum theoretical data rate of a channel:
C = B log2(1 + SNR)

where B is the bandwidth, C is the capacity in bits/s.

Shannon's theorem:
It is possible to transmit at a rate < C with an arbitrarily low error probability (thanks to channel coding).

13. Estimation and detection

Parameter estimation:

From noisy observations, estimate an unknown parameter.

Maximum Likelihood Estimator (MLE):

Choose the parameter value that maximizes the probability of observing the data.

Principle: theta_MLE = argmax of the likelihood L(theta)

MMSE estimator:

Minimizes the mean square error.

E[(theta - theta_estimated)²] is minimized

Hypothesis testing:

Decide between several hypotheses (H0 or H1) based on observations.

Neyman-Pearson criterion:

Maximize the detection probability for a given false alarm probability.

ROC curve (Receiver Operating Characteristic):

Detection probability as a function of false alarm probability.

Allows comparison of the performance of different detectors.


PART D - Reflective Analysis and Perspectives

Skills acquired

Mathematical rigor:
The course develops a rigorous approach to probability and stochastic processes. Mathematical proofs reinforce deep understanding of the concepts.

Modeling randomness:
Ability to model real random phenomena (noise, measurements, signals) using appropriate probability distributions and stochastic processes.

Spectral analysis:
Mastery of the power spectral density as a tool for analyzing random signals, an essential complement to the classical Fourier transform.

Key takeaways

1. The central Gaussian distribution:
The Gaussian distribution is ubiquitous thanks to the Central Limit Theorem. Understanding its properties is essential for the engineer.

2. Correlation vs independence:
Lack of correlation does not imply independence (except in the Gaussian case). A fundamental distinction that is often a source of errors.

3. Stationarity = simplicity:
Stationary processes are much simpler to analyze. In practice, stationarity is often assumed (at least locally).

4. PSD = the tool of choice:
The power spectral density is the main tool for analyzing and filtering random signals. The Wiener-Khinchin theorem is fundamental.

5. Optimal filtering:
The Wiener filter and the matched filter are important theoretical results that guide the design of real systems.

Practical applications

Telecommunications:

  • Channel modeling (AWGN noise, fading)
  • BER calculation as a function of SNR
  • Optimal receiver design
  • Equalization, denoising

Signal processing:

  • Parameter estimation (frequency, phase, amplitude)
  • Detection of signals buried in noise
  • Optimal filtering (Wiener)
  • Spectral analysis (PSD estimation)

Measurement systems:

  • Uncertainty quantification
  • SNR improvement through averaging
  • Sensor design
  • Statistical processing of measurements

Radar and sonar:

  • Target detection
  • Distance and velocity estimation
  • Matched filtering to maximize SNR

Feedback on experience

Theoretical course:
The course is dense and mathematical. Mastering the concepts requires time and practice on varied exercises. The tutorials are essential for assimilating the theory.

Valuable past exams:
The past exam papers from 2014 to 2017 with solutions are an important resource for exam preparation and understanding expectations.

Progressive difficulty:

  • Chapter I (probability and random variables): relatively accessible
  • Chapter II (random pairs): more technical (double integrals)
  • Chapter III (stochastic processes): abstract
  • Chapter IV (filtering): concrete applications, more motivating

Limitations and further directions

Module limitations:

  • Few practical applications (MATLAB simulations)
  • Limited treatment of estimation (no detailed Kalman filter)
  • No non-stationary processes (transient signals)

Further directions:

  • Statistical signal processing: spectral estimation, time-frequency analysis
  • Digital communications: modulations, channel coding, equalization
  • Kalman filtering: recursive estimation, dynamic systems
  • Machine learning: probabilistic models, Bayesian inference
  • Image processing: image noise, restoration
  • Finance: market modeling (Brownian motion, stochastic processes)

Links to other fields

Information theory:
Entropy, mutual information, channel capacity (Shannon).

Statistics:
Hypothesis testing, estimation, confidence intervals.

Stochastic control:
Dynamic systems with uncertainties, optimal control.

Machine learning:
Probabilistic generative models, Bayesian networks, Gaussian processes.

Tips for success

1. Master the fundamentals:
Ensure a solid grasp of the basics (probability, densities, expectation, variance) before tackling stochastic processes.

2. Do the tutorials:
The exercises are essential. Redo the tutorials without looking at the solutions to test your understanding.

3. Use past exams:
Practice on past exam papers to become familiar with the format and identify key topics.

4. Visualize:
Try to visualize the concepts (density curves, process realizations) rather than staying in pure abstraction.

5. Understand the theorems:
The Central Limit Theorem and Wiener-Khinchin theorem are fundamental. Thoroughly understand their assumptions and consequences.

Conclusion

The Random Signals module provides the essential mathematical foundations for processing noisy signals and the random phenomena that are ubiquitous in engineering. Probability theory and stochastic processes, although sometimes abstract, provide powerful and rigorous tools.

Impact on training:
This course changes the way we view signals: every real signal contains randomness (noise, uncertainties). Knowing how to model and process this randomness is essential for the engineer.

Complementarity:
As a complement to deterministic signal processing (Fourier, filters), statistical processing of random signals enables tackling real-world problems (estimation, detection, denoising).

Main message:
Randomness is not the enemy of the engineer. With the right tools (probability, stochastic processes, PSD, optimal filtering), one can effectively analyze, model, and process random signals.

Recommendations:

  • Deepen understanding with simulations (MATLAB, Python) to visualize concepts
  • Read articles on concrete applications (radar, telecommunications)
  • Learn Kalman filtering (a natural extension)
  • Explore connections with machine learning (probabilistic models)

Links to other courses:


📚 Course Documents

📖 Chapter I - Probability

Introduction to probability: mathematical expectations, axioms, conditional probabilities, and Bayes' theorem.

📥 Download

📖 Chapter II - Random Variables

Discrete and continuous random variables: probability distributions, moments, characteristic function, and expectation.

📥 Download

📖 Chapter III - Stochastic Processes

Random processes: stationarity, ergodicity, autocorrelation, and properties of stationary processes.

📥 Download

📖 Chapter IV - Spectral Analysis

Power spectral density (PSD), Wiener-Khinchin theorem, and linear filtering of random processes.

📥 Download


Cours suivi en 2022-2023 à l’INSA Toulouse, Département Génie Électrique et Informatique. Course taken in 2022-2023 at INSA Toulouse, Department of Electrical and Computer Engineering.