🎲 Signaux Aléatoires - Semestre 6
Année Universitaire : 2022-2023
Semestre : 6
Crédits : 2.5 ECTS
Spécialité : Traitement du Signal et Probabilités
PART A - Présentation Générale du Module
Vue d'ensemble
Les signaux aléatoires sont omniprésents en ingénierie : bruit dans les circuits électroniques, perturbations dans les télécommunications, mesures avec incertitudes. Ce cours introduit les outils mathématiques pour modéliser, analyser et traiter ces signaux aléatoires en utilisant la théorie des probabilités et les processus stochastiques.
Objectifs pédagogiques :
- Maîtriser les concepts de probabilités et variables aléatoires
- Comprendre les processus stochastiques et leur caractérisation
- Analyser statistiquement les signaux bruités
- Modéliser le bruit dans les systèmes de communication
- Appliquer le filtrage optimal (Wiener, corrélation)
Position dans le cursus
Ce module s'appuie sur :
- Signal (S5) : transformée de Fourier, systèmes linéaires
- Mathématiques : probabilités, intégrales, séries
- Filtrage Numérique (S6) : filtres, traitement du signal
Il prépare aux applications :
- Télécommunications : analyse des canaux bruités, BER
- Traitement du signal : débruitage, estimation
- Systèmes embarqués : mesures avec incertitudes, capteurs
PART B - Expérience Personnelle et Contexte d'Apprentissage
Organisation et ressources
Le module était organisé en cours magistraux et travaux dirigés sur le semestre :
Cours magistraux (20h) :
Structuré en 4 chapitres (ChapterI à ChapterIV) :
- Chapitre I : Rappels de probabilités et variables aléatoires
- Chapitre II : Couples et vecteurs aléatoires
- Chapitre III : Processus stochastiques
- Chapitre IV : Filtrage linéaire des signaux aléatoires
Travaux dirigés (16h) :
Exercices d'application avec corrections disponibles :
- TD 1.1, 1.2, 1.3 : variables aléatoires
- TD 2.1, 2.3 : couples aléatoires
- TD 3.1 : processus stochastiques
Supports pédagogiques :
- Fascicules de cours (4 chapitres en PDF)
- Énoncés de TD avec corrections
- Annales d'examens de 2014 à 2017 avec corrigés
Méthode de travail
Cours théorique :
Beaucoup de définitions mathématiques et de démonstrations. Nécessité de bien assimiler les concepts fondamentaux (densité de probabilité, fonction de répartition, espérance) avant d'aborder les processus stochastiques.
TD pratiques :
Exercices d'application directe puis problèmes plus complexes. Les corrections détaillées permettent de vérifier sa compréhension.
Annales :
Entraînement sur les sujets d'examens passés (2014-2017) pour se familiariser avec le type de questions posées.
Difficultés rencontrées
Abstraction mathématique :
Les processus stochastiques sont des objets mathématiques abstraits. Visualiser ce qu'est un processus aléatoire (famille infinie de variables aléatoires) demande un effort d'abstraction.
Manipulation des densités de probabilité :
Calculs avec densités conjointes, marginales, conditionnelles. Beaucoup d'intégrales et de changements de variables.
Lien théorie/pratique :
Le cours est très théorique. Le lien avec les applications concrètes (bruit dans les circuits, canaux de communication) n'est pas toujours évident.
PART C - Aspects Techniques Détaillés
1. Rappels de probabilités
Espace probabilisé :
Un espace probabilisé est défini par trois éléments :
- Oméga : ensemble des éventualités (univers)
- A : ensemble des événements (sigma-algèbre)
- P : probabilité (mesure sur A)
Figure : Fonction de densité de probabilité (PDF) - Loi normale (gaussienne)
Propriétés de la probabilité :
- 0 <= P(A) <= 1
- P(Oméga) = 1
- P(A ou B) = P(A) + P(B) - P(A et B)
Probabilité conditionnelle :
P(A sachant B) = P(A et B) / P(B) si P(B) > 0
Formule des probabilités totales :
Si B1, B2, ..., Bn forment une partition de Oméga :
P(A) = somme sur i de P(A sachant Bi) × P(Bi)
Théorème de Bayes :
P(B sachant A) = P(A sachant B) × P(B) / P(A)
Application : inférence, diagnostic, filtrage de Kalman.
Indépendance :
Deux événements A et B sont indépendants si :
P(A et B) = P(A) × P(B)
Équivalent à : P(A sachant B) = P(A)
2. Variables aléatoires
Définition :
Une variable aléatoire X est une fonction de Oméga vers les réels qui associe à chaque éventualité une valeur numérique.
Variable aléatoire discrète :
Prend un nombre fini ou dénombrable de valeurs.
Fonction de masse (PMF) :
p(xi) = P(X = xi)
Propriétés :
- p(xi) >= 0
- somme sur i de p(xi) = 1
Lois discrètes classiques :
| Loi | Paramètres | Usage | Espérance | Variance |
|---|---|---|---|---|
| Bernoulli | p | succès/échec | p | p(1-p) |
| Binomiale | n, p | nombre de succès sur n essais | np | np(1-p) |
| Poisson | lambda | événements rares | lambda | lambda |
| Géométrique | p | nombre d'essais avant 1er succès | 1/p | (1-p)/p² |
Variable aléatoire continue :
Prend ses valeurs dans un intervalle continu.
Fonction de densité (PDF) :
Fonction f(x) telle que :
P(a < X < b) = intégrale de a à b de f(x) dx
Propriétés :
- f(x) >= 0
- intégrale de -infini à +infini de f(x) dx = 1
Fonction de répartition (CDF) :
F(x) = P(X <= x) = intégrale de -infini à x de f(t) dt
Propriétés :
- F est croissante
- F(-infini) = 0, F(+infini) = 1
- f(x) = dF(x)/dx
Lois continues classiques :
| Loi | Densité | Usage | Espérance | Variance |
|---|---|---|---|---|
| Uniforme [a,b] | 1/(b-a) sur [a,b] | équiprobabilité | (a+b)/2 | (b-a)²/12 |
| Exponentielle | lambda × exp(-lambda × x) | durée de vie | 1/lambda | 1/lambda² |
| Gaussienne | (1/racine(2π)σ) exp(-(x-m)²/(2σ²)) | bruit, mesures | m | σ² |
| Rayleigh | (x/σ²) exp(-x²/(2σ²)) | enveloppe signal Gaussien | σ racine(π/2) | σ²(4-π)/2 |
Moments d'une variable aléatoire :
Espérance (moyenne) :
E[X] = intégrale de x f(x) dx (cas continu)
E[X] = somme de xi p(xi) (cas discret)
Variance :
Var(X) = E[(X - E[X])²] = E[X²] - (E[X])²
Écart-type :
sigma = racine(Var(X))
Propriétés de l'espérance :
- E[aX + b] = a E[X] + b
- E[X + Y] = E[X] + E[Y] (toujours)
- E[XY] = E[X] E[Y] (si X et Y indépendantes)
Propriétés de la variance :
- Var(aX + b) = a² Var(X)
- Var(X + Y) = Var(X) + Var(Y) (si X et Y indépendantes)
3. Loi gaussienne (loi normale)
Importance fondamentale :
La loi gaussienne est la plus importante en ingénierie car :
- Modélise le bruit dans les circuits (bruit thermique)
- Résultat du Théorème Central Limite
- Propriétés mathématiques remarquables
Densité de probabilité :
f(x) = (1 / (sigma racine(2π))) exp(-(x - m)² / (2 sigma²))
Paramètres :
- m : moyenne
- sigma² : variance
Notation : X suit N(m, sigma²)
Loi gaussienne centrée réduite :
Cas particulier avec m = 0 et sigma = 1 : N(0, 1)
Densité : φ(x) = (1/racine(2π)) exp(-x²/2)
Standardisation :
Si X suit N(m, sigma²), alors Z = (X - m) / sigma suit N(0, 1)
Permet d'utiliser les tables de la loi normale standard.
Règle des 3 sigma :
Pour une loi gaussienne N(m, sigma²) :
- 68% des valeurs dans [m - sigma, m + sigma]
- 95% des valeurs dans [m - 2sigma, m + 2sigma]
- 99,7% des valeurs dans [m - 3sigma, m + 3sigma]
Propriétés remarquables :
- Somme de gaussiennes est gaussienne
- Transformation linéaire d'une gaussienne est gaussienne
- Maximise l'entropie à variance donnée
4. Couples et vecteurs aléatoires
Couple aléatoire :
Paire (X, Y) de variables aléatoires.
Densité conjointe :
f(x, y) telle que P((X, Y) dans D) = intégrale double sur D de f(x, y) dx dy
Densités marginales :
Densité de X seule : f_X(x) = intégrale de f(x, y) dy
Densité de Y seule : f_Y(y) = intégrale de f(x, y) dx
Densité conditionnelle :
f(x sachant y) = f(x, y) / f_Y(y)
Indépendance :
X et Y indépendantes si et seulement si :
f(x, y) = f_X(x) × f_Y(y)
Corrélation et covariance :
Espérance d'un couple :
E[g(X, Y)] = intégrale double de g(x, y) f(x, y) dx dy
Covariance :
Cov(X, Y) = E[(X - E[X])(Y - E[Y])] = E[XY] - E[X] E[Y]
Coefficient de corrélation :
rho = Cov(X, Y) / (sigma_X sigma_Y)
Propriétés :
- -1 <= rho <= 1
- rho = 0 : variables non corrélées
- rho = ±1 : relation linéaire
Remarque importante :
- Indépendantes => non corrélées
- Non corrélées =/=> indépendantes (sauf cas gaussien)
Couple gaussien :
(X, Y) suit une loi gaussienne bidimensionnelle si leur densité conjointe est de la forme gaussienne à 2 dimensions.
Propriété remarquable :
Pour un couple gaussien : non corrélées <=> indépendantes
5. Théorèmes limites
Loi des grands nombres :
Moyenne empirique converge vers l'espérance théorique.
Si X1, X2, ..., Xn variables indépendantes de même loi, d'espérance m :
(X1 + X2 + ... + Xn) / n tend vers m quand n tend vers infini
Théorème Central Limite (TCL) :
Somme de variables aléatoires suit approximativement une loi gaussienne.
Si X1, X2, ..., Xn variables indépendantes de même loi, d'espérance m et variance sigma² :
(X1 + X2 + ... + Xn - n×m) / (sigma racine(n)) tend vers N(0, 1)
Conséquence importante :
Explique pourquoi tant de phénomènes naturels suivent une loi gaussienne : résultat de nombreuses petites causes indépendantes.
Applications :
- Modélisation du bruit (somme de nombreuses perturbations)
- Approximation binomiale par gaussienne (si n grand)
- Estimation statistique
6. Processus stochastiques
Définition :
Un processus stochastique X(t) est une famille de variables aléatoires indexées par le temps t.
Pour chaque instant t, X(t) est une variable aléatoire.
Visualisations :
- Réalisation : courbe X(t, omega) pour un omega fixé
- Distribution : distribution de probabilité à un instant t fixé
- Statistiques : espérance E[X(t)], variance Var[X(t)]
Types de processus :
| Type | Temps | Valeurs | Exemple |
|---|---|---|---|
| Discret-Discret | discret | discrètes | Marche aléatoire |
| Continu-Discret | continu | discrètes | Processus de Poisson |
| Discret-Continu | discret | continues | Suite de mesures |
| Continu-Continu | continu | continues | Bruit thermique |
Moyenne et autocorrélation :
Moyenne :
m_X(t) = E[X(t)]
Fonction du temps (en général).
Fonction d'autocorrélation :
R_X(t1, t2) = E[X(t1) X(t2)]
Mesure la corrélation entre les valeurs du processus à deux instants différents.
Fonction d'autocovariance :
C_X(t1, t2) = E[(X(t1) - m_X(t1))(X(t2) - m_X(t2))]
C_X(t1, t2) = R_X(t1, t2) - m_X(t1) m_X(t2)
7. Processus stationnaires
Stationnarité stricte :
Toutes les statistiques du processus sont invariantes par translation dans le temps.
Difficile à vérifier en pratique.
Stationnarité au sens large (WSS - Wide Sense Stationary) :
Deux conditions suffisent :
- Moyenne constante : m_X(t) = m (indépendant de t)
- Autocorrélation dépend seulement de l'écart : R_X(t1, t2) = R_X(tau) avec tau = t2 - t1
Propriétés de R_X(tau) :
- R_X(0) = E[X²(t)] = puissance moyenne
- R_X(tau) = R_X(-tau) (fonction paire)
- |R_X(tau)| <= R_X(0)
- R_X(tau) maximum en tau = 0
Ergodicité :
Un processus stationnaire est ergodique si les moyennes temporelles (sur une réalisation) convergent vers les moyennes d'ensemble.
Moyenne temporelle = limite quand T tend vers infini de (1/T) intégrale de 0 à T de x(t) dt
Si ergodique :
- Moyenne temporelle = moyenne théorique E[X]
- Permet d'estimer les statistiques sur une seule réalisation
8. Densité spectrale de puissance (DSP)
Théorème de Wiener-Khinchin :
Pour un processus WSS, la densité spectrale de puissance S_X(f) est la transformée de Fourier de l'autocorrélation R_X(tau) :
S_X(f) = TF[R_X(tau)]
Réciproquement :
R_X(tau) = TF¹[S_X(f)]
Interprétation :
S_X(f) représente la répartition de la puissance du signal en fonction de la fréquence.
Propriétés :
- S_X(f) >= 0 (fonction positive)
- S_X(f) = S_X(-f) (fonction paire, si X réel)
- Puissance totale = R_X(0) = intégrale de S_X(f) df
Puissance dans une bande :
Puissance entre f1 et f2 = intégrale de f1 à f2 de S_X(f) df
9. Bruit blanc
Définition :
Processus dont la DSP est constante sur toutes les fréquences :
S_X(f) = N0/2
Autocorrélation :
R_X(tau) = (N0/2) delta(tau)
où delta est la distribution de Dirac.
Interprétation :
- Puissance répartie uniformément sur toutes les fréquences
- Valeurs à deux instants différents non corrélées (delta de Dirac)
Bruit blanc gaussien :
Processus gaussien avec spectre plat. Noté AWGN (Additive White Gaussian Noise).
Modèle standard du bruit dans les télécommunications.
Bruit blanc en pratique :
Le bruit blanc idéal n'existe pas (puissance infinie). En pratique :
- Bruit blanc dans une bande limitée
- DSP plate sur la bande d'intérêt
Bruit thermique :
Bruit dans les résistances dû à l'agitation thermique (Johnson-Nyquist).
DSP : S_V(f) = 4 k T R
où k = constante de Boltzmann, T = température (Kelvin), R = résistance.
Approximation de bruit blanc dans une large bande.
10. Filtrage linéaire des signaux aléatoires
Système linéaire invariant (SLI) :
Caractérisé par sa réponse impulsionnelle h(t) ou sa fonction de transfert H(f).
Entrée aléatoire X(t), sortie Y(t) :
Si X(t) est WSS, alors Y(t) est aussi WSS.
Relations entrée-sortie :
Moyenne :
m_Y = m_X × H(0)
où H(0) est le gain DC du filtre.
Autocorrélation :
R_Y(tau) = R_X(tau) * h(tau) * h(-tau)
où * est la convolution.
DSP :
S_Y(f) = S_X(f) × |H(f)|²
Formule fondamentale : la DSP de sortie est la DSP d'entrée multipliée par le carré du module de la fonction de transfert.
Variance de la sortie :
Var(Y) = R_Y(0) = intégrale de S_Y(f) df = intégrale de S_X(f) |H(f)|² df
Exemple : bruit blanc filtré
Entrée : bruit blanc de DSP N0/2
Filtre : passe-bas de bande B
Sortie : DSP S_Y(f) = (N0/2) |H(f)|²
Puissance de sortie : (N0/2) × 2B = N0 B
(approximation si filtre idéal)
11. Rapport signal sur bruit (SNR)
Définition :
SNR = Puissance du signal / Puissance du bruit
En décibels : SNR_dB = 10 log10(SNR)
Signal dans le bruit :
Signal utile : s(t) de puissance P_s
Bruit : n(t) de puissance P_n
Signal reçu : r(t) = s(t) + n(t)
SNR = P_s / P_n
Amélioration du SNR par filtrage :
Filtre adapté maximise le SNR en sortie.
Filtre de Wiener :
Filtre optimal au sens de l'erreur quadratique moyenne minimale (MMSE).
Fonction de transfert optimale :
H_opt(f) = S_XY(f) / (S_X(f) + S_N(f))
où S_XY est l'intercorrélation signal-observation, S_X spectre du signal, S_N spectre du bruit.
Filtre adapté :
Pour détecter un signal connu s(t) dans du bruit blanc, le filtre optimal a :
h(t) = s(T - t)
où T est l'instant de décision.
Maximise le SNR à l'instant d'échantillonnage.
12. Applications en télécommunications
Canal AWGN (Additive White Gaussian Noise) :
Modèle standard de canal de communication.
Signal reçu : r(t) = s(t) + n(t)
où n(t) est un bruit blanc gaussien.
Taux d'erreur binaire (BER) :
Probabilité d'erreur sur un bit en fonction du SNR.
Pour une modulation binaire simple :
BER = fonction du rapport Eb/N0
où Eb est l'énergie par bit, N0 la DSP du bruit.
Capacité de Shannon :
Débit maximal théorique d'un canal :
C = B log2(1 + SNR)
où B est la bande passante, C la capacité en bits/s.
Théorème de Shannon :
On peut transmettre à un débit < C avec une probabilité d'erreur arbitrairement faible (grâce au codage canal).
13. Estimation et détection
Estimation de paramètres :
À partir d'observations bruitées, estimer un paramètre inconnu.
Estimateur du maximum de vraisemblance (MLE) :
Choisir la valeur du paramètre qui maximise la probabilité d'observer les données.
Principe : theta_MLE = argmax de la vraisemblance L(theta)
Estimateur MMSE :
Minimise l'erreur quadratique moyenne.
E[(theta - theta_estimé)²] minimale
Détection d'hypothèses :
Décider entre plusieurs hypothèses (H0 ou H1) à partir d'observations.
Critère de Neyman-Pearson :
Maximiser la probabilité de détection pour une probabilité de fausse alarme donnée.
Courbe ROC (Receiver Operating Characteristic) :
Probabilité de détection en fonction de la probabilité de fausse alarme.
Permet de comparer les performances de différents détecteurs.
PART D - Analyse Réflexive et Perspectives
Compétences acquises
Rigueur mathématique :
Le cours développe une approche rigoureuse des probabilités et des processus stochastiques. Les démonstrations mathématiques renforcent la compréhension profonde des concepts.
Modélisation de l'aléatoire :
Capacité à modéliser des phénomènes aléatoires réels (bruit, mesures, signaux) par des lois de probabilité et des processus stochastiques appropriés.
Analyse spectrale :
Maîtrise de la densité spectrale de puissance comme outil d'analyse des signaux aléatoires, complément essentiel à la transformée de Fourier classique.
Points clés à retenir
1. Loi gaussienne centrale :
La loi gaussienne est omniprésente grâce au Théorème Central Limite. Comprendre ses propriétés est essentiel pour l'ingénieur.
2. Corrélation vs indépendance :
Non corrélation n'implique pas indépendance (sauf cas gaussien). Distinction fondamentale souvent source d'erreurs.
3. Stationnarité = simplicité :
Les processus stationnaires sont beaucoup plus simples à analyser. En pratique, on suppose souvent la stationnarité (au moins localement).
4. DSP = outil de choix :
La densité spectrale de puissance est l'outil principal pour analyser et filtrer les signaux aléatoires. Théorème de Wiener-Khinchin est fondamental.
5. Filtrage optimal :
Le filtre de Wiener et le filtre adapté sont des résultats théoriques importants qui guident la conception de systèmes réels.
Applications pratiques
Télécommunications :
- Modélisation du canal (bruit AWGN, évanouissements)
- Calcul du BER en fonction du SNR
- Conception de récepteurs optimaux
- Égalisation, débruitage
Traitement du signal :
- Estimation de paramètres (fréquence, phase, amplitude)
- Détection de signaux noyés dans le bruit
- Filtrage optimal (Wiener)
- Analyse spectrale (estimation de DSP)
Systèmes de mesure :
- Quantification de l'incertitude
- Amélioration du SNR par moyennage
- Conception de capteurs
- Traitement statistique des mesures
Radar et sonar :
- Détection de cibles
- Estimation de distance, vitesse
- Filtrage adapté pour maximiser le SNR
Retour d'expérience
Cours théorique :
Le cours est dense et mathématique. La maîtrise des concepts demande du temps et de la pratique sur des exercices variés. Les TD sont essentiels pour assimiler la théorie.
Annales précieuses :
Les annales de 2014 à 2017 avec corrections sont une ressource importante pour se préparer à l'examen et comprendre les attentes.
Difficulté progressive :
- Chapitre I (probabilités et variables aléatoires) : relativement accessible
- Chapitre II (couples aléatoires) : plus technique (intégrales doubles)
- Chapitre III (processus stochastiques) : abstrait
- Chapitre IV (filtrage) : applications concrètes, plus motivant
Limites et ouvertures
Limites du module :
- Peu d'applications pratiques (simulations MATLAB)
- Traitement limité de l'estimation (pas de Kalman détaillé)
- Pas de processus non-stationnaires (signaux transitoires)
Ouvertures vers :
- Traitement statistique du signal : estimation spectrale, analyse temps-fréquence
- Communications numériques : modulations, codage canal, égalisation
- Filtrage de Kalman : estimation récursive, systèmes dynamiques
- Apprentissage automatique : modèles probabilistes, inférence bayésienne
- Traitement d'image : bruit dans les images, restauration
- Finance : modélisation des marchés (mouvement brownien, processus stochastiques)
Liens avec d'autres domaines
Théorie de l'information :
Entropie, information mutuelle, capacité de canal (Shannon).
Statistiques :
Tests d'hypothèses, estimation, intervalles de confiance.
Contrôle stochastique :
Systèmes dynamiques avec incertitudes, commande optimale.
Apprentissage automatique :
Modèles génératifs probabilistes, réseaux bayésiens, processus gaussiens.
Conseils pour réussir
1. Maîtriser les bases :
Assurer les fondamentaux (probabilités, densités, espérance, variance) avant d'aborder les processus stochastiques.
2. Faire les TD :
Les exercices sont essentiels. Refaire les TD sans regarder les corrections pour tester sa compréhension.
3. Utiliser les annales :
S'entraîner sur les examens passés pour se familiariser avec le format et identifier les points importants.
4. Visualiser :
Essayer de visualiser les concepts (courbes de densité, réalisations de processus) plutôt que rester dans l'abstraction pure.
5. Comprendre les théorèmes :
Théorème Central Limite, Wiener-Khinchin sont fondamentaux. Bien comprendre leurs hypothèses et conséquences.
Conclusion
Le module Signaux Aléatoires apporte les fondements mathématiques indispensables pour traiter les signaux bruités et les phénomènes aléatoires omniprésents en ingénierie. La théorie des probabilités et des processus stochastiques, bien que parfois abstraite, fournit des outils puissants et rigoureux.
Impact sur la formation :
Ce cours change la vision des signaux : tout signal réel contient de l'aléatoire (bruit, incertitudes). Savoir modéliser et traiter cet aléatoire est essentiel pour l'ingénieur.
Complémentarité :
En complément du traitement du signal déterministe (Fourier, filtres), le traitement statistique des signaux aléatoires permet d'aborder des problèmes réels (estimation, détection, débruitage).
Message principal :
L'aléatoire n'est pas l'ennemi de l'ingénieur. Avec les bons outils (probabilités, processus stochastiques, DSP, filtrage optimal), on peut analyser, modéliser et traiter efficacement les signaux aléatoires.
Recommandations :
- Approfondir avec des simulations (MATLAB, Python) pour visualiser les concepts
- Lire des articles sur applications concrètes (radar, télécommunications)
- Se former au filtrage de Kalman (extension naturelle)
- Explorer les liens avec l'apprentissage automatique (modèles probabilistes)
Liens avec les autres cours :
- Signal - S5 : transformée de Fourier, systèmes linéaires
- Filtrage Numérique - S6 : filtres numériques FIR/IIR
- Électronique Fonctions Numériques - S6 : bruit dans les circuits
📚 Documents de Cours
📖 Chapitre I - Probabilités
Introduction aux probabilités : espérances mathématiques, axiomes, probabilités conditionnelles et théorème de Bayes.
📖 Chapitre II - Variables Aléatoires
Variables aléatoires discrètes et continues : lois de probabilité, moments, fonction caractéristique et espérance.
📖 Chapitre III - Processus Stochastiques
Processus aléatoires : stationnarité, ergodicité, autocorrélation et propriétés des processus stationnaires.
📖 Chapitre IV - Analyse Spectrale
Densité spectrale de puissance (DSP), théorème de Wiener-Khintchine et filtrage linéaire des processus aléatoires.
🎲 Random Signals - Semester 6
Academic Year: 2022-2023
Semester: 6
Credits: 2.5 ECTS
Specialization: Signal Processing and Probability
PART A - General Module Overview
Overview
Random signals are ubiquitous in engineering: noise in electronic circuits, disturbances in telecommunications, measurements with uncertainties. This course introduces the mathematical tools to model, analyze, and process these random signals using probability theory and stochastic processes.
Learning objectives:
- Master the concepts of probability and random variables
- Understand stochastic processes and their characterization
- Statistically analyze noisy signals
- Model noise in communication systems
- Apply optimal filtering (Wiener, correlation)
Position in the curriculum
This module builds upon:
- Signal Processing (S5): Fourier transform, linear systems
- Mathematics: probability, integrals, series
- Digital Filtering (S6): filters, signal processing
It prepares for applications in:
- Telecommunications: noisy channel analysis, BER
- Signal processing: denoising, estimation
- Embedded systems: measurements with uncertainties, sensors
PART B - Personal Experience and Learning Context
Organization and resources
The module was organized into lectures and tutorials throughout the semester:
Lectures (20h):
Structured in 4 chapters (Chapter I to Chapter IV):
- Chapter I: Probability review and random variables
- Chapter II: Random pairs and random vectors
- Chapter III: Stochastic processes
- Chapter IV: Linear filtering of random signals
Tutorials (16h):
Application exercises with available solutions:
- TD 1.1, 1.2, 1.3: random variables
- TD 2.1, 2.3: random pairs
- TD 3.1: stochastic processes
Teaching materials:
- Course booklets (4 chapters in PDF)
- Tutorial problem sets with solutions
- Past exam papers from 2014 to 2017 with answer keys
Working method
Theoretical lectures:
Many mathematical definitions and proofs. It is necessary to fully grasp the fundamental concepts (probability density, cumulative distribution function, expectation) before tackling stochastic processes.
Practical tutorials:
Direct application exercises followed by more complex problems. Detailed solutions allow verification of understanding.
Past exams:
Practice on past exam papers (2014-2017) to become familiar with the types of questions asked.
Difficulties encountered
Mathematical abstraction:
Stochastic processes are abstract mathematical objects. Visualizing what a random process is (an infinite family of random variables) requires a significant effort of abstraction.
Manipulating probability densities:
Calculations with joint, marginal, and conditional densities. Many integrals and variable substitutions.
Theory-practice connection:
The course is very theoretical. The link with concrete applications (noise in circuits, communication channels) is not always obvious.
PART C - Detailed Technical Aspects
1. Probability review
Probability space:
A probability space is defined by three elements:
- Omega: set of outcomes (sample space)
- A: set of events (sigma-algebra)
- P: probability (measure on A)
Figure: Probability Density Function (PDF) - Normal (Gaussian) distribution
Properties of probability:
- 0 <= P(A) <= 1
- P(Omega) = 1
- P(A or B) = P(A) + P(B) - P(A and B)
Conditional probability:
P(A given B) = P(A and B) / P(B) if P(B) > 0
Law of total probability:
If B1, B2, ..., Bn form a partition of Omega:
P(A) = sum over i of P(A given Bi) × P(Bi)
Bayes' theorem:
P(B given A) = P(A given B) × P(B) / P(A)
Applications: inference, diagnostics, Kalman filtering.
Independence:
Two events A and B are independent if:
P(A and B) = P(A) × P(B)
Equivalent to: P(A given B) = P(A)
2. Random variables
Definition:
A random variable X is a function from Omega to the real numbers that associates a numerical value with each outcome.
Discrete random variable:
Takes a finite or countable number of values.
Probability Mass Function (PMF):
p(xi) = P(X = xi)
Properties:
- p(xi) >= 0
- sum over i of p(xi) = 1
Classical discrete distributions:
| Distribution | Parameters | Usage | Expectation | Variance |
|---|---|---|---|---|
| Bernoulli | p | success/failure | p | p(1-p) |
| Binomial | n, p | number of successes in n trials | np | np(1-p) |
| Poisson | lambda | rare events | lambda | lambda |
| Geometric | p | number of trials before 1st success | 1/p | (1-p)/p² |
Continuous random variable:
Takes values in a continuous interval.
Probability Density Function (PDF):
Function f(x) such that:
P(a < X < b) = integral from a to b of f(x) dx
Properties:
- f(x) >= 0
- integral from -infinity to +infinity of f(x) dx = 1
Cumulative Distribution Function (CDF):
F(x) = P(X <= x) = integral from -infinity to x of f(t) dt
Properties:
- F is non-decreasing
- F(-infinity) = 0, F(+infinity) = 1
- f(x) = dF(x)/dx
Classical continuous distributions:
| Distribution | Density | Usage | Expectation | Variance |
|---|---|---|---|---|
| Uniform [a,b] | 1/(b-a) on [a,b] | equal probability | (a+b)/2 | (b-a)²/12 |
| Exponential | lambda × exp(-lambda × x) | lifetime | 1/lambda | 1/lambda² |
| Gaussian | (1/sqrt(2π)σ) exp(-(x-m)²/(2σ²)) | noise, measurements | m | σ² |
| Rayleigh | (x/σ²) exp(-x²/(2σ²)) | Gaussian signal envelope | σ sqrt(π/2) | σ²(4-π)/2 |
Moments of a random variable:
Expectation (mean):
E[X] = integral of x f(x) dx (continuous case)
E[X] = sum of xi p(xi) (discrete case)
Variance:
Var(X) = E[(X - E[X])²] = E[X²] - (E[X])²
Standard deviation:
sigma = sqrt(Var(X))
Properties of expectation:
- E[aX + b] = a E[X] + b
- E[X + Y] = E[X] + E[Y] (always)
- E[XY] = E[X] E[Y] (if X and Y are independent)
Properties of variance:
- Var(aX + b) = a² Var(X)
- Var(X + Y) = Var(X) + Var(Y) (if X and Y are independent)
3. Gaussian distribution (normal distribution)
Fundamental importance:
The Gaussian distribution is the most important in engineering because:
- It models noise in circuits (thermal noise)
- It is the result of the Central Limit Theorem
- It has remarkable mathematical properties
Probability density:
f(x) = (1 / (sigma sqrt(2π))) exp(-(x - m)² / (2 sigma²))
Parameters:
- m: mean
- sigma²: variance
Notation: X follows N(m, sigma²)
Standard normal distribution:
Special case with m = 0 and sigma = 1: N(0, 1)
Density: φ(x) = (1/sqrt(2π)) exp(-x²/2)
Standardization:
If X follows N(m, sigma²), then Z = (X - m) / sigma follows N(0, 1)
Allows use of the standard normal tables.
The 3-sigma rule:
For a Gaussian distribution N(m, sigma²):
- 68% of values within [m - sigma, m + sigma]
- 95% of values within [m - 2sigma, m + 2sigma]
- 99.7% of values within [m - 3sigma, m + 3sigma]
Remarkable properties:
- The sum of Gaussians is Gaussian
- A linear transformation of a Gaussian is Gaussian
- Maximizes entropy for a given variance
4. Random pairs and random vectors
Random pair:
A pair (X, Y) of random variables.
Joint density:
f(x, y) such that P((X, Y) in D) = double integral over D of f(x, y) dx dy
Marginal densities:
Density of X alone: f_X(x) = integral of f(x, y) dy
Density of Y alone: f_Y(y) = integral of f(x, y) dx
Conditional density:
f(x given y) = f(x, y) / f_Y(y)
Independence:
X and Y are independent if and only if:
f(x, y) = f_X(x) × f_Y(y)
Correlation and covariance:
Expectation of a pair:
E[g(X, Y)] = double integral of g(x, y) f(x, y) dx dy
Covariance:
Cov(X, Y) = E[(X - E[X])(Y - E[Y])] = E[XY] - E[X] E[Y]
Correlation coefficient:
rho = Cov(X, Y) / (sigma_X sigma_Y)
Properties:
- -1 <= rho <= 1
- rho = 0: uncorrelated variables
- rho = ±1: linear relationship
Important remark:
- Independent => uncorrelated
- Uncorrelated =/=> independent (except in the Gaussian case)
Gaussian pair:
(X, Y) follows a bivariate Gaussian distribution if their joint density has the 2-dimensional Gaussian form.
Remarkable property:
For a Gaussian pair: uncorrelated <=> independent
5. Limit theorems
Law of large numbers:
The sample mean converges to the theoretical expectation.
If X1, X2, ..., Xn are independent and identically distributed random variables with expectation m:
(X1 + X2 + ... + Xn) / n tends to m as n tends to infinity
Central Limit Theorem (CLT):
The sum of random variables approximately follows a Gaussian distribution.
If X1, X2, ..., Xn are independent and identically distributed random variables with expectation m and variance sigma²:
(X1 + X2 + ... + Xn - n×m) / (sigma sqrt(n)) tends to N(0, 1)
Important consequence:
Explains why so many natural phenomena follow a Gaussian distribution: the result of many small independent causes.
Applications:
- Noise modeling (sum of many disturbances)
- Binomial-to-Gaussian approximation (for large n)
- Statistical estimation
6. Stochastic processes
Definition:
A stochastic process X(t) is a family of random variables indexed by time t.
For each time instant t, X(t) is a random variable.
Visualizations:
- Realization: curve X(t, omega) for a fixed omega
- Distribution: probability distribution at a fixed time t
- Statistics: expectation E[X(t)], variance Var[X(t)]
Types of processes:
| Type | Time | Values | Example |
|---|---|---|---|
| Discrete-Discrete | discrete | discrete | Random walk |
| Continuous-Discrete | continuous | discrete | Poisson process |
| Discrete-Continuous | discrete | continuous | Measurement series |
| Continuous-Continuous | continuous | continuous | Thermal noise |
Mean and autocorrelation:
Mean:
m_X(t) = E[X(t)]
A function of time (in general).
Autocorrelation function:
R_X(t1, t2) = E[X(t1) X(t2)]
Measures the correlation between the process values at two different time instants.
Autocovariance function:
C_X(t1, t2) = E[(X(t1) - m_X(t1))(X(t2) - m_X(t2))]
C_X(t1, t2) = R_X(t1, t2) - m_X(t1) m_X(t2)
7. Stationary processes
Strict stationarity:
All statistics of the process are invariant under time translation.
Difficult to verify in practice.
Wide Sense Stationarity (WSS):
Two conditions suffice:
- Constant mean: m_X(t) = m (independent of t)
- Autocorrelation depends only on the lag: R_X(t1, t2) = R_X(tau) with tau = t2 - t1
Properties of R_X(tau):
- R_X(0) = E[X²(t)] = average power
- R_X(tau) = R_X(-tau) (even function)
- |R_X(tau)| <= R_X(0)
- R_X(tau) is maximum at tau = 0
Ergodicity:
A stationary process is ergodic if time averages (over a single realization) converge to ensemble averages.
Time average = limit as T tends to infinity of (1/T) integral from 0 to T of x(t) dt
If ergodic:
- Time average = theoretical mean E[X]
- Allows estimating statistics from a single realization
8. Power Spectral Density (PSD)
Wiener-Khinchin theorem:
For a WSS process, the power spectral density S_X(f) is the Fourier transform of the autocorrelation R_X(tau):
S_X(f) = FT[R_X(tau)]
Conversely:
R_X(tau) = FT¹[S_X(f)]
Interpretation:
S_X(f) represents the distribution of signal power as a function of frequency.
Properties:
- S_X(f) >= 0 (non-negative function)
- S_X(f) = S_X(-f) (even function, if X is real)
- Total power = R_X(0) = integral of S_X(f) df
Power in a band:
Power between f1 and f2 = integral from f1 to f2 of S_X(f) df
9. White noise
Definition:
A process whose PSD is constant across all frequencies:
S_X(f) = N0/2
Autocorrelation:
R_X(tau) = (N0/2) delta(tau)
where delta is the Dirac delta distribution.
Interpretation:
- Power is uniformly distributed across all frequencies
- Values at two different instants are uncorrelated (Dirac delta)
Gaussian white noise:
A Gaussian process with a flat spectrum. Denoted AWGN (Additive White Gaussian Noise).
Standard noise model in telecommunications.
White noise in practice:
Ideal white noise does not exist (infinite power). In practice:
- Band-limited white noise
- Flat PSD over the band of interest
Thermal noise:
Noise in resistors due to thermal agitation (Johnson-Nyquist).
PSD: S_V(f) = 4 k T R
where k = Boltzmann constant, T = temperature (Kelvin), R = resistance.
White noise approximation over a wide bandwidth.
10. Linear filtering of random signals
Linear Time-Invariant (LTI) system:
Characterized by its impulse response h(t) or its transfer function H(f).
Random input X(t), output Y(t):
If X(t) is WSS, then Y(t) is also WSS.
Input-output relationships:
Mean:
m_Y = m_X × H(0)
where H(0) is the DC gain of the filter.
Autocorrelation:
R_Y(tau) = R_X(tau) * h(tau) * h(-tau)
where * denotes convolution.
PSD:
S_Y(f) = S_X(f) × |H(f)|²
Fundamental formula: the output PSD is the input PSD multiplied by the squared magnitude of the transfer function.
Output variance:
Var(Y) = R_Y(0) = integral of S_Y(f) df = integral of S_X(f) |H(f)|² df
Example: filtered white noise
Input: white noise with PSD N0/2
Filter: low-pass with bandwidth B
Output: PSD S_Y(f) = (N0/2) |H(f)|²
Output power: (N0/2) × 2B = N0 B
(approximation for an ideal filter)
11. Signal-to-Noise Ratio (SNR)
Definition:
SNR = Signal power / Noise power
In decibels: SNR_dB = 10 log10(SNR)
Signal in noise:
Useful signal: s(t) with power P_s
Noise: n(t) with power P_n
Received signal: r(t) = s(t) + n(t)
SNR = P_s / P_n
SNR improvement through filtering:
The matched filter maximizes the output SNR.
Wiener filter:
Optimal filter in the minimum mean square error (MMSE) sense.
Optimal transfer function:
H_opt(f) = S_XY(f) / (S_X(f) + S_N(f))
where S_XY is the signal-observation cross-correlation, S_X is the signal spectrum, S_N is the noise spectrum.
Matched filter:
To detect a known signal s(t) in white noise, the optimal filter has:
h(t) = s(T - t)
where T is the decision instant.
Maximizes the SNR at the sampling instant.
12. Telecommunications applications
AWGN channel (Additive White Gaussian Noise):
Standard communication channel model.
Received signal: r(t) = s(t) + n(t)
where n(t) is Gaussian white noise.
Bit Error Rate (BER):
Probability of a bit error as a function of SNR.
For a simple binary modulation:
BER = function of the Eb/N0 ratio
where Eb is the energy per bit, N0 is the noise PSD.
Shannon capacity:
Maximum theoretical data rate of a channel:
C = B log2(1 + SNR)
where B is the bandwidth, C is the capacity in bits/s.
Shannon's theorem:
It is possible to transmit at a rate < C with an arbitrarily low error probability (thanks to channel coding).
13. Estimation and detection
Parameter estimation:
From noisy observations, estimate an unknown parameter.
Maximum Likelihood Estimator (MLE):
Choose the parameter value that maximizes the probability of observing the data.
Principle: theta_MLE = argmax of the likelihood L(theta)
MMSE estimator:
Minimizes the mean square error.
E[(theta - theta_estimated)²] is minimized
Hypothesis testing:
Decide between several hypotheses (H0 or H1) based on observations.
Neyman-Pearson criterion:
Maximize the detection probability for a given false alarm probability.
ROC curve (Receiver Operating Characteristic):
Detection probability as a function of false alarm probability.
Allows comparison of the performance of different detectors.
PART D - Reflective Analysis and Perspectives
Skills acquired
Mathematical rigor:
The course develops a rigorous approach to probability and stochastic processes. Mathematical proofs reinforce deep understanding of the concepts.
Modeling randomness:
Ability to model real random phenomena (noise, measurements, signals) using appropriate probability distributions and stochastic processes.
Spectral analysis:
Mastery of the power spectral density as a tool for analyzing random signals, an essential complement to the classical Fourier transform.
Key takeaways
1. The central Gaussian distribution:
The Gaussian distribution is ubiquitous thanks to the Central Limit Theorem. Understanding its properties is essential for the engineer.
2. Correlation vs independence:
Lack of correlation does not imply independence (except in the Gaussian case). A fundamental distinction that is often a source of errors.
3. Stationarity = simplicity:
Stationary processes are much simpler to analyze. In practice, stationarity is often assumed (at least locally).
4. PSD = the tool of choice:
The power spectral density is the main tool for analyzing and filtering random signals. The Wiener-Khinchin theorem is fundamental.
5. Optimal filtering:
The Wiener filter and the matched filter are important theoretical results that guide the design of real systems.
Practical applications
Telecommunications:
- Channel modeling (AWGN noise, fading)
- BER calculation as a function of SNR
- Optimal receiver design
- Equalization, denoising
Signal processing:
- Parameter estimation (frequency, phase, amplitude)
- Detection of signals buried in noise
- Optimal filtering (Wiener)
- Spectral analysis (PSD estimation)
Measurement systems:
- Uncertainty quantification
- SNR improvement through averaging
- Sensor design
- Statistical processing of measurements
Radar and sonar:
- Target detection
- Distance and velocity estimation
- Matched filtering to maximize SNR
Feedback on experience
Theoretical course:
The course is dense and mathematical. Mastering the concepts requires time and practice on varied exercises. The tutorials are essential for assimilating the theory.
Valuable past exams:
The past exam papers from 2014 to 2017 with solutions are an important resource for exam preparation and understanding expectations.
Progressive difficulty:
- Chapter I (probability and random variables): relatively accessible
- Chapter II (random pairs): more technical (double integrals)
- Chapter III (stochastic processes): abstract
- Chapter IV (filtering): concrete applications, more motivating
Limitations and further directions
Module limitations:
- Few practical applications (MATLAB simulations)
- Limited treatment of estimation (no detailed Kalman filter)
- No non-stationary processes (transient signals)
Further directions:
- Statistical signal processing: spectral estimation, time-frequency analysis
- Digital communications: modulations, channel coding, equalization
- Kalman filtering: recursive estimation, dynamic systems
- Machine learning: probabilistic models, Bayesian inference
- Image processing: image noise, restoration
- Finance: market modeling (Brownian motion, stochastic processes)
Links to other fields
Information theory:
Entropy, mutual information, channel capacity (Shannon).
Statistics:
Hypothesis testing, estimation, confidence intervals.
Stochastic control:
Dynamic systems with uncertainties, optimal control.
Machine learning:
Probabilistic generative models, Bayesian networks, Gaussian processes.
Tips for success
1. Master the fundamentals:
Ensure a solid grasp of the basics (probability, densities, expectation, variance) before tackling stochastic processes.
2. Do the tutorials:
The exercises are essential. Redo the tutorials without looking at the solutions to test your understanding.
3. Use past exams:
Practice on past exam papers to become familiar with the format and identify key topics.
4. Visualize:
Try to visualize the concepts (density curves, process realizations) rather than staying in pure abstraction.
5. Understand the theorems:
The Central Limit Theorem and Wiener-Khinchin theorem are fundamental. Thoroughly understand their assumptions and consequences.
Conclusion
The Random Signals module provides the essential mathematical foundations for processing noisy signals and the random phenomena that are ubiquitous in engineering. Probability theory and stochastic processes, although sometimes abstract, provide powerful and rigorous tools.
Impact on training:
This course changes the way we view signals: every real signal contains randomness (noise, uncertainties). Knowing how to model and process this randomness is essential for the engineer.
Complementarity:
As a complement to deterministic signal processing (Fourier, filters), statistical processing of random signals enables tackling real-world problems (estimation, detection, denoising).
Main message:
Randomness is not the enemy of the engineer. With the right tools (probability, stochastic processes, PSD, optimal filtering), one can effectively analyze, model, and process random signals.
Recommendations:
- Deepen understanding with simulations (MATLAB, Python) to visualize concepts
- Read articles on concrete applications (radar, telecommunications)
- Learn Kalman filtering (a natural extension)
- Explore connections with machine learning (probabilistic models)
Links to other courses:
- Signal Processing - S5: Fourier transform, linear systems
- Digital Filtering - S6: FIR/IIR digital filters
- Digital Electronics Functions - S6: noise in circuits
📚 Course Documents
📖 Chapter I - Probability
Introduction to probability: mathematical expectations, axioms, conditional probabilities, and Bayes' theorem.
📖 Chapter II - Random Variables
Discrete and continuous random variables: probability distributions, moments, characteristic function, and expectation.
📖 Chapter III - Stochastic Processes
Random processes: stationarity, ergodicity, autocorrelation, and properties of stationary processes.
📖 Chapter IV - Spectral Analysis
Power spectral density (PSD), Wiener-Khinchin theorem, and linear filtering of random processes.
Cours suivi en 2022-2023 à l’INSA Toulouse, Département Génie Électrique et Informatique. Course taken in 2022-2023 at INSA Toulouse, Department of Electrical and Computer Engineering.