LNTwww - User contributions [en]

Aufgaben:Exercise 4.7Z: About the Water Filling Algorithm

2017-05-28T11:58:23Z

Khalil:

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang
}}

[[File:P_ID2903__Inf_T_4_2_S4d.png|right|]]
Wir betrachten K parallele Gaußsche Kanäle (AWGN) mit unterschiedlichen Störleistungen σk2 (1 ≤ k ≤ K), wie in der nebenstehenden Grafik am Beispiel K = 4 verdeutlicht ist. Die Sendeleistung in den einzelnen Kanälen wird mit Pk bezeichnet, deren Summe den vorgegebenen Wert PX nicht überschreiten darf:
$$P_1 + ... \hspace{0.05cm}+ P_K = \hspace{0.1cm} \sum_{k= 1}^K
\hspace{0.1cm}{\rm E} \left [ X_k^2\right ] \le P_{X} \hspace{0.05cm}.$$
Sind die Zufallsgrößen X1, ..., Xk gaußisch, so kann für die (gesamte) Transinformation zwischen dem Eingang X und dem Ausgang Y geschrieben werden:
$$I(X_1, ... \hspace{0.05cm}, X_K\hspace{0.05cm};\hspace{0.05cm}Y_1, ... \hspace{0.05cm}, Y_K)
= 1/2 \cdot \sum_{k= 1}^K \hspace{0.1cm} {\rm log}_2 \hspace{0.1cm} ( 1 + \frac{P_k}{\sigma_k^2})\hspace{0.05cm},\hspace{0.5cm}
{\rm Ergebnis\hspace{0.15cm} in \hspace{0.15cm} bit}
\hspace{0.05cm}.$$
Das Maximum hierfür ist die Kanalkapazität des Gesamtsystems, wobei sich die Maximierung auf die Aufteilung der Gesamtleistung PX auf die einzelnen Kanäle bezieht.
$$C_K(P_X) = \max_{P_k\hspace{0.05cm},\hspace{0.15cm}{\rm mit} \hspace{0.15cm}P_1 + ... \hspace{0.05cm}+ P_K = P_X} \hspace{-0.5cm} I(X_1, ... \hspace{0.05cm}, X_K\hspace{0.05cm};\hspace{0.05cm}Y_1, ... \hspace{0.05cm}, Y_K) \hspace{0.05cm}.$$
Diese Maximierung kann mit dem Water–Filling–Algorithmus geschehen, der in obiger Grafik für K = 4 dargestellt ist. Eine genaue Beschreibung finden Sie im [http://en.lntwww.de/Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang#Parallele_Gau.C3.9Fsche_Kan.C3.A4le '''Theorieteil''']
In der vorliegenden Aufgabe soll dieser Algorithmus angewendet werden, wobei von folgenden Voraussetzungen auszugehen ist:
:* Zwei parallele Gaußkanäle  ⇒  K = 2,
:* Normierte Störleistungen σ12 = 1 und σ22 = 4,
:*Normierte Sendeleistungen PX = 10 bzw. PX = 3.

Hinweis: Die Aufgabe bezieht sich auf das Themengebiet von [http://en.lntwww.de/Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang '''Kapitel 4.2.''']

===Fragebogen===

<quiz display=simple>
{Welche Strategien der Leistungszuteilung sind sinnvoll?
|type="[]"}
- Einem stark gestörten Kanal k (mit großer Störleistung σk2) sollte eine große Nutzleistung Pk zugewiesen werden.
+ Einem stark gestörten Kanal k (mit großer Störleistung σk2) sollte nur eine kleine Nutzleistung Pk zugewiesen werden.
+ Bei K gleich guten Kanälen  ⇒  σ12 = ... = σK2 = σN2 sollte die Leistung gleichmäßig verteilt werden.

{Welche Transinformation I = I(X1, X2; Y1, Y2) ergibt sich, wenn man die Sendeleistung PX = 10 gleichmäßig auf beide Kanäle verteilt?
|type="{}"}
$P1 = P2 = 5: I$ = { 1.877 3% }

{Es gelte weiter PX = 10. Welche optimale Leistungsaufteilung ergibt sich nach dem Water–Filling–Algorithmus?
|type="{}"}
$PX = 10: P1$ = { 6.5 3% }
$P1 = P2 = 5: I$ = { 3.5 3% }

{Wie groß ist die Kanalkapazität für K = 2 und PX = 10?
|type="{}"}
$C2(PX = 10)$ = { 1.907 3% }

{Welche Ergebnisse erhält man mit K = 2 und PX = 3?
|type="{}"}
$P1 = P2 = 1.5: I$ = { 0.891 3% }
$C2(PX = 3)$ = { 1 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''1.''' Nach den Ausführungen im [[Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang#Parallele_Gau.C3.9Fsche_Kan.C3.A4le |'''im Theorieteil''']] ist die Strategie &bdquo;Water–Filling”  ⇒  Vorschlag 2 anzuwenden, wenn ungleiche Bedingungen vorliegen. Lösungsvorschlag 3 ist aber ebenfalls richtig: Bei gleich guten Kanälen spricht nichts dagegen, alle K Kanäle mit der gleichen Leistung P1 = ... = PK = PX/K zu versorgen.

'''2.''' Für die Transinformation gilt bei gleicher Leistungsaufteilung:
$$I = I(X_1, X_2\hspace{0.05cm};\hspace{0.05cm}Y_1, Y_2) \ = \ \frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{5}{1} \right )
+\frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{5}{4} \right )=\\$$$$\hspace{-0.15cm} 1.292\,{\rm bit}+ 0.585\,{\rm bit}
\hspace{0.15cm}\underline{= 1.877\,{\rm bit}}
\hspace{0.05cm}.$$

[[File:P_ID2906__Inf_Z_4_7b_neu.png|right|]]
'''3.''' Entsprechend nebenstehender Skizze muss gelten:

$$P_2 \hspace{-0.15cm} = \hspace{-0.15cm} P_1 - (\sigma_2^2 - \sigma_1^2) = P_1 -3\hspace{0.05cm},$$$$P_1 + P_2 \hspace{-0.15cm} = \hspace{-0.15cm} P_X = 10$$
$$\Rightarrow \hspace{0.3cm}
P_1 + (P_1 -3) = 10
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
2 \cdot P_1 = 13$$
$$\Rightarrow \hspace{0.3cm}
\underline{P_1 = 6.5}\hspace{0.05cm},
\hspace{0.3cm}\underline{P_2 = 3.5}\hspace{0.05cm}.$$
'''4.''' Die Kanalkapazität gibt die maximale Transinformation an. Das Maximum liegt durch die bestmögliche Leistungsaufteilung gemäß der Teilaufgabe (c) bereits fest. Es gilt PX = 10:
$$C_2\hspace{-0.15cm} = \hspace{-0.15cm} \frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{6.5}{1} \right )
+\frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{3.5}{4} \right )=\\
= \hspace{-0.15cm} 1.453\,{\rm bit}+ 0.453\,{\rm bit}
\hspace{0.15cm}\underline{= 1.906\,{\rm bit}}
\hspace{0.05cm}$$.

'''5.''' Für PX = 3 erhält man bei gleicher Leistungsaufteilung (P1 = P2 = 1.5):
$$I = I(X_1, X_2\hspace{0.05cm};\hspace{0.05cm}Y_1, Y_2) \hspace{-0.15cm} = \hspace{-0.15cm} \frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{1.5}{1} \right )
+\frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{1.5}{4} \right )=\\
= \hspace{-0.15cm} 0661\,{\rm bit}+ 0.230\,{\rm bit}
\hspace{0.15cm}\underline{= 0.891\,{\rm bit}}
\hspace{0.05cm}.$$

[[File:P_ID2907__Inf_Z_4_7e_neu.png|right|]]
Entsprechend dem Water–Filling–Algorithmus wird die gesamte zur Verfügung stehende Sendeleistung PX = 3 nun dem ersten Kanal zugewiesen:
$${P_1 = 3}\hspace{0.05cm},
\hspace{0.3cm}{P_2 = 0}\hspace{0.05cm}.$$

Damit erhält man für die Kanalkapazität:
$$C_2 \hspace{-0.15cm} = \hspace{-0.15cm} \frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{3}{1} \right )
+\frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{0}{4} \right )=\\
= \hspace{-0.15cm} 1\,{\rm bit}+ 0\,{\rm bit}
\hspace{0.15cm}\underline{= 1\,{\rm bit}}
\hspace{0.05cm}.$$
Während für PX = 10 die Differenz zwischen gleichmäßiger und bester Leistungsaufteilung nur 0.03 bit betragen hat, ist bei PX = 3 die Differenz größer, nämlich 0.109 bit. Bei noch größerem PX > 10 wird der Abstand zwischen gleichmäßiger und bestmöglicher Leistungsaufteilung noch geringer: Zum Beispiel beträgt die Differenz für PX = 100 nur noch 0.001 bit:
:*P1 = P2 = 50:
$$I = I(X_1, X_2\hspace{0.05cm};\hspace{0.05cm}Y_1, Y_2) \hspace{-0.15cm} = \hspace{-0.15cm} \frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{50}{1} \right )
+\frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{50}{4} \right )=\\
= \hspace{-0.15cm} 2.836\,{\rm bit}+ 1.877\,{\rm bit}
\hspace{0.15cm}\underline{= 4.713\,{\rm bit}}
\hspace{0.05cm}.$$
:*P1 = 51.5, P2 = 48.5:
$$C_2\hspace{-0.15cm} = \hspace{-0.15cm} \frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{51.5}{1} \right )
+\frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{48.5}{4} \right )=\\
= \hspace{-0.15cm} 2.857\,{\rm bit}+ 1.857\,{\rm bit}
\hspace{0.15cm}\underline{= 4.714\,{\rm bit}}
\hspace{0.05cm}.$$

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.2 AWGN & kontinuierlicher Eingang^]]

Aufgaben:Exercise 4.7Z: About the Water Filling Algorithm

2017-05-28T11:19:24Z

Khalil: /* Musterlösung */

Aufgaben:Exercise 4.8Z: What does the AWGN Channel Capacity Curve say?

2017-04-20T00:26:00Z

Khalil: /* Musterlösung */

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang
}}

[[File:P_ID2943__Inf_Z_4_8.png|right|]]
Wir betrachten wie in [[Aufgaben:4.8_Kurvenverlauf_C(EB/N0)|'''Aufgabe A4.8''']] die Kanalkapazität des AWGN–Kanals:

$$C_{\rm Gauß}( E_{\rm B}/{N_0}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B}}{N_0}) . $$
:* Die Kurve ist rechts bei logarithmischer Achse zwischen –2 dB und +6 dB dargestellt.
:* Der Zusatz &bdquo;Gauß” weist darauf hin, dass für diese Kurve am AWGN–Eingang eine Gaußverteilung vorausgesetzt wurde.

Eingezeichnet sind in obiger Grafik drei Systemvarianten:
:* System '''''X''''' :    10 · lg (EB/N0) = 4 dB, R = 1,
:* System '''''Y''''' :   10 · lg (EB/N0) = 0 dB, R = 2,
:* System '''''Z''''' :   10 · lg (EB/N0) = 6 dB, R = 1.5.

'''Hinweis'''

:* Die Aufgabe bezieht sich auf das [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang|'''Kapitel 4.3.''']]

In den Fragen zu dieser Aufgabe verwenden wir noch folgende Begriffe:
:* Digitalsystem:   Symbolumfang MX = |X| beliebig,
:* Binärsystem:   Symbolumfang MX = 2,
:* Quaternärsystem:   Symbolumfang MX = 4.

===Fragebogen===

<quiz display=simple>
{Welche Aussage liefert der Punkt X für die Digitalsignalübertragung?
|type="[]"}
+ Für 10 · lg (EB/N0) = 4 dB ist ein Digitalsystem mit der Rate R = 1 und der Fehlerwahrscheinlichkeit 0 vorstellbar.
- Ein solches System kommt ohne Kanalcodierung aus.
+ Ein solches System verwendet einen unendlich langen Code.
- Auch ein Binärsystem kann die Voraussetzungen erfüllen.

{Welche Aussage liefert der Punkt Y für die Digitalsignalübertragung?
|type="[]"}
- Für 10 · lg (EB/N0) = 0 dB ist ein Digitalsystem mit der Rate R = 2 und der Fehlerwahrscheinlichkeit 0 vorstellbar.
+ Für 10 · lg (EB/N0) = 0 dB wäre R = 0.5 ausreichend.
- Für die Rate R = 2 würde 10 · lg (EB/N0) = 5 dB genügen.

{Welche Aussage liefert der Punkt Z für die Binärübertragung?
|type="[]"}
+ Ein Binärsystem erfüllt die Anforderungen auf keinen Fall.
- Die Kurve CGauß(EB/N0) reicht für diese Bewertung nicht aus.

{Welche Aussage liefert der Punkt Z für die Quaternärübertragung?
|type="[]"}
- Ein Quaternärsystem erfüllt die Anforderungen auf keinen Fall.
+ Die Kurve CGauß(EB/N0) reicht für diese Bewertung nicht aus.

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Da der Punkt X rechts von der Kanalkapazitätskurve CGauß(EB/N0) liegt, gibt es (mindestens) ein Nachrichtensystem der Rate R = 1, das mit 10 · lg (EB/N0) = 4 dB eine quasi–fehlerfreie Übertragung ermöglicht. Trotz der Coderate R = 1 beinhaltet dieses System eine Kanalcodierung mit einem unendlich langen Code, der aber leider unbekannt ist. Ein Binärsystem der Rate R = 1 erlaubt allerdings keine Kanalcodierung. Richtig sind somit die Lösungsvorschläge 1 und 3.

'''(2)'''  Hier gelten folgende Aussagen:
:* Das erforderliche EB/N0 für die Rate R = 2 ergibt sich zu
$$(E_{\rm B}/{N_0})_{\rm min} = \frac{2^{2R} - 1} { 2 \cdot R}
= \frac{2^4 - 1} { 4 } = 3.75
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
10\cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0})_{\rm min} = 15.74\,{\rm dB}
\hspace{0.05cm}. $$
:* Die maximale Coderate Rmax für 10 · lg (EB/N0) = 0 dB  ⇒  EB/N0 = 1 berechnet sich wie folgt:
$$C = R = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B}}{N_0})
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} 2^{2R} - 1 \stackrel{!}{=} 2 R
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} R_{\rm max} = 0.5 \hspace{0.05cm}. $$
Beide Berechnungen zeigen, dass der Punkt Y mit den Kenngrößen 10 · lg (EB/N0) = 0 dB und R = 1 das Kanalcodierungstheorem nicht erfüllt. Richtig ist nur der Lösungsvorschlag 2.

'''(3)'''  Mit einem Binärsystem ist die Rate R = 1.5 niemals realisierbar ⇒ Lösungsvorschlag 1.

'''(4)'''  Der Punkt Z liegt rechts von der Grenzkurve und für die Coderate eines Quaternärsystems gilt R ≤ 2. Die Rate R = 1.5 wäre also mit MX = 4 durchaus zu realisieren. Das heißt: Der Lösungsvorschlag 1 ist falsch. Richtig ist dagegen der zweite Lösungsvorschlag.

:* Die vorgegebene Kurve CGauß(EB/N0) geht stets von einem gaußverteilten Eingang aus.
:* Für ein Binärsystem ergibt sich eine andere Grenzkurve, nämlich [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#AWGN.E2.80.93Kanalkapazit.C3.A4t_f.C3.BCr_bin.C3.A4re_Eingangssignale|'''CBPSK(EB/N0)''']] mit der Eigenschaft CBPSK ≤ 1 bit/Kanalzugriff. CBPSK und CGauß unterscheiden sich signifikant.
:* Für das Quaternärsystem (M = 4) müsste man eine entsprechende Kurve CM=4 berechnen und analysieren. Auch hier gilt CM=4 ≤ CGauß. Für kleines EB/N0 gilt CM=4 ≈ CGauß, danach weicht der Kurvenverlauf deutlich ab und endet in einer Horizontalen bei CM=4 = 2 bit/Kanalzugriff.

Der Punkt Z ⇒ 10 · lg EB/N0 = 6 dB, R = 1.5 liegt unterhalb von CM=4. Ein solches Quaternärsystem wäre also realisierbar, wie in [[Aufgaben:4.10_QPSK–Kanalkapazität|Aufgabe A4.10]] noch gezeigt wird. Aber allein aus Kenntnis von CGauß kann die Frage nicht beantwortet werden.

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.3 AWGN–Kanalkapazität bei wertdiskretem Eingang^]]

Aufgaben:Exercise 4.Ten: QPSK Channel Capacity

2017-04-20T00:21:39Z

Khalil: /* Musterlösung */

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang
}}

[[File:P_ID2957__Inf_A_4_10_neu.png|right|]]
Gegeben sind AWGN–Kanalkapazitätskurven für die beiden Modulationsverfahren
:* [[Modulationsverfahren/Lineare_digitale_Modulationsverfahren#BPSK_.E2.80.93_Binary_Phase_Shift_Keying|'''Binary Phase Shift Keying ''']] (BPSK),
:* [[Modulationsverfahren/Quadratur–Amplitudenmodulation#Weitere_Signalraumkonstellationen|'''Quaternary Phase Shift Keying ''']] (4–PSK oder auch QPSK).

Das obere Diagramm zeigt die Abhängigkeit von 10 · lg (EB/N0) in dB, wobei EB die &bdquo;Energie pro Informationsbit” angibt. Für große EB/N0–Werte liefert die BPSK–Kurve die maximale Coderate R ≈ 1, während für die QPSK–Kurve R ≈ 2 abgelesen werden kann.

Die Kapazitätskurven für digitalen Eingang (jeweils mit der Einheit &bdquo;bit/Symbol”),
:* grüne Kurve CBPSK(EB/N0) und
:* blaue Kurve CQPSK(EB/N0)

sollen in der Teilaufgabe (c) in Bezug gesetzt werden zu zwei Shannon–Grenzkurven, die jeweils für eine Gaußsche Eingangsverteilung gültig sind:
$$C_1( E_{\rm B}/{N_0}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2\hspace{0.05cm}R\hspace{0.05cm} E_{\rm B}}{N_0}) ,$$
$$C_2( E_{\rm B}/{N_0}) = {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { R\hspace{0.05cm} E_{\rm B}}{N_0}) .$$
Die beiden Kurven geben gleichzeitig die maximale Coderate R an, mit der durch lange Kanalcodes eine fehlerfreie Übertragung entsprechend dem [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Definition_und_Bedeutung_der_Kanalkapazit.C3.A4t|'''Kanalcodierungstheorem''']] möglich ist. Natürlich gelten für C1(EB/N0) bzw. C2(EB/N0) unterschiedliche Randbedingungen. Welche, sollen Sie herausfinden.

Die Abszisse im unteren Diagramm ist dagegen 10 · lg (ES/N0) mit der &bdquo;Energie pro Symbol” (ES). Die beiden Endwerte bleiben gegenüber oben unverändert.

'''Hinweis :'''

:* Die Aufgabe gehört zum Themengebiet von [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang|'''Kapitel 4.3.''']]

===Fragebogen===

<quiz display=simple>
{Unterscheiden sich QPSK und 4–QAM aus informationstechnischer Sicht?
|type="[]"}
- Ja.
+ Nein.

{Wie lässt sich CQPSK(EB/N0) aus CBPSK(EB/N0) konstruieren?
|type="[]"}
+ Durch Verdopplung: CQPSK(EB/N0)  =  2 · CBPSK(EB/N0).
- Zusätzlich durch eine Verschiebung nach rechts.
- Zusätzlich durch eine Verschiebung nach links.
- CQPSK(EB/N0) kann man aus CBPSK(EB/N0) nicht konstruieren.

{Welcher Zusammenhang besteht zu den Shannon–Grenzkurven?
|type="[]"}
+ Es gilt CBPSK(EB/N0) ≤ C1(EB/N0).
+ Es gilt CBPSK(EB/N0) ≤ C2(EB/N0).
- Es gilt CQPSK(EB/N0) ≤ C1(EB/N0).
+ Es gilt CQPSK(EB/N0) ≤ C2(EB/N0).

{Wie lässt sich CQPSK(ES/N0) aus CBPSK(ES/N0) konstruieren?
|type="[]"}
+ Durch Verdopplung: CQPSK (ES/N0)  =  2 · CBPSK(ES/N0).
+ Zusätzlich durch eine Verschiebung nach rechts.
- Zusätzlich durch eine Verschiebung nach links.
- CQPSK(ES/N0) kann man aus CBPSK(ES/N0) nicht konstruieren.

</quiz>

===Musterlösung===
{{ML-Kopf}}
[[File:P_ID2958__Inf_A_4_10a.png|right|]]
'''(1)'''  Die Grafik zeigt die Signalraumkonstellationen für
:* QPSK (Quaternary Phase Shift Keying), und
:* 4–QAM (vierstufige Quadraturamplitudenmodulation).

Letztere wird auch als [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Definition_und_Bedeutung_der_Kanalkapazit.C3.A4t|'''π/4–QPSK''']] bezeichnet. Beide sind aus informationstechnischer Sicht identisch ⇒ Antwort NEIN.

'''(2)'''  Richtig ist der Lösungsvorschlag 1: Die 4–QAM kann man als zwei BPSK–Konstellationen in orthogonalen Ebenen betrachten, wobei die Energie pro Informationsbit (EB) in beiden Fällen gleich ist. Da entsprechend Teilaufgabe (a) die 4–QAM mit der QSPK identisch ist, gilt tatsächlich CQPSK(EB/N0) = 2 · CBPSK(EB/N0).
 
'''(3)'''  In der nebenstehenden Grafik sind die beiden angegebenen Shannon–Grenzkurven zusammen mit CBPSK(EB/N0) und CQPSK(EB/N0) skizziert:
[[File:P_ID2959__Inf_A_4_1c.png|right|]]
$$C_1( E_{\rm B}/{N_0}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2\hspace{0.05cm}R\hspace{0.05cm} E_{\rm B}}{N_0}) ,$$
$$C_2( E_{\rm B}/{N_0}) = {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { R\hspace{0.05cm} E_{\rm B}}{N_0}) .$$
Die grün–gestrichelte Kurve C1(EB/N0) gilt für den AWGN–Kanal mit gaußverteiltem Eingang. Für die Coderate R = 1 sind nach dieser Kurve 10 · lg(EB/N0) = 1.76 dB erforderlich. Für R = 2 benötigt man 10 · lg(EB/N0) = 5.74 dB.

Die blau–gestrichelte Kurve C2(EB/N0) gibt die Shannon–Grenze für K = 2 parallele Gaußkanäle an. Hier benötigt man 10 · lg(EB/N0) = 0 dB für R = 1 bzw. 10 · lg(EB/N0) = 1.76 dB für R = 2.

Man erkennt aus der obigen Skizze:
:* Die eindimensionale BPSK liegt im gesamten Bereich unterhalb von C1 und damit natürlich auch unterhalb von C2 > C1.
:* Die zweidimensionale QPSK liegt erwartungsgemäß unter der für sie relevanten Grenzkurve C2. Sie liegt aber im unteren Bereich (bis nahezu 6 dB) oberhalb von C1.

Richtig sind also die Lösungsvorschläge 1, 2 und 4.

'''(4)'''  Die CQPSK(ES/N0)–Kurve kann ebenfalls aus CBPSK(ES/N0) konstruiert werden und zwar
:* durch Verdopplung
$$C_{\rm BPSK}(10 \cdot {\rm lg} \hspace{0.1cm}E_{\rm S}/{N_0})
\hspace{0.5cm}\Rightarrow \hspace{0.5cm}
2 \cdot C_{\rm BPSK}(10 \cdot {\rm lg} \hspace{0.1cm}E_{\rm S}/{N_0}) ,$$
:* sowie durch eine Verschiebung um 3 dB nach rechts:
$$C_{\rm QPSK}(10 \cdot {\rm lg} \hspace{0.1cm}E_{\rm S}/{N_0})
=
2 \cdot C_{\rm BPSK}(10 \cdot {\rm lg} \hspace{0.1cm}E_{\rm S}/{N_0} - 3\,{\rm dB}) .$$
Richtig sind die beiden ersten Lösungsvorschläge, wobei der zweite Vorschlag berücksichtigt, dass bei QPSK die Energie in einer Dimension nur ES/2 beträgt.

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.3 AWGN–Kanalkapazität bei wertdiskretem Eingang^]]

Aufgaben:Exercise 4.Ten: QPSK Channel Capacity

2017-04-20T00:12:01Z

Khalil:

Aufgaben:Exercise 4.Ten: QPSK Channel Capacity

2017-04-20T00:09:18Z

Khalil: /* Musterlösung */

Aufgaben:Exercise 4.Ten: QPSK Channel Capacity

2017-04-20T00:04:44Z

Khalil: /* Fragebogen */

Aufgaben:Exercise 4.Ten: QPSK Channel Capacity

2017-04-19T23:55:20Z

Khalil:

Aufgaben:Exercise 4.Ten: QPSK Channel Capacity

2017-04-19T23:43:24Z

Khalil: Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang }} right| Gegeben sind AW…“

Aufgaben:Exercise 4.9Z: Is Channel Capacity C ≡ 1 possible with BPSK?

2017-04-19T23:30:21Z

Khalil: /* Musterlösung */

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang
}}

[[File:P_ID2947__Inf_Z_4_9.png|right|]]

Wir gehen hier von einem binären bipolaren Quellensignal ⇒ X = (+1, –1) aus. Die Wahrscheinlichkeitsdichtefunktion (WDF) der Quelle lautet somit:
$$f_X(x) = {1}/{2} \cdot \delta (x-1) + {1}/{2} \cdot \delta (x+1)\hspace{0.05cm}. $$
Die Transinformation zwischen der Quelle X und der Sinke Y kann gemäß der folgenden Gleichung berechnet werden:
$$I(X;Y) = h(Y) - h(N)\hspace{0.05cm}, $$
wobei gilt:
:* '''h(Y)''' bezeichnet die '''differentille Sinkenentropie''' :
$$h(Y) =
\hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_Y)} \hspace{-0.35cm} f_Y(y) \cdot {\rm log}_2 \hspace{0.1cm} [ f_Y(y) ] \hspace{0.1cm}{\rm d}y
\hspace{0.05cm},$$
$${\rm mit}\hspace{0.5cm}
f_Y(y) = {1}/{2} \cdot \left [ f_{Y|{X}}(y|{X}=-1) + f_{Y|{X}}(y|{X}=+1) \right ]\hspace{0.05cm}.$$
:* '''h(N)''' gibt die '''differentielle Störentropie''' an, berechenbar aus der WDF ''$$f_N(n)$$''
$$h(N) =
\hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_N)} \hspace{-0.35cm} f_N(n) \cdot {\rm log}_2 \hspace{0.1cm} [ f_N(n) ] \hspace{0.1cm}{\rm d}n
\hspace{0.05cm}.$$
Nimmt man für die Störung N eine Gaußverteilung fN(n) entsprechend der oberen Skizze an, so ergibt sich die gewünschte Kanalkapazität CBPSK = I(X; Y), die [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#AWGN.E2.80.93Kanalkapazit.C3.A4t_f.C3.BCr_bin.C3.A4re_Eingangssignale|'''im Theorieteil''']] abhängig von 10 · lg (EB/N0) dargestellt ist.

Beantwortet werden soll in dieser Aufgabe die Frage, ob es einen endlichen EB/N0–Wert gibt, für den '''CBPSK(EB/N0) &equiv; 1 bit/Kanalzugriff möglich ist'''  ⇒  Teilaufgabe (e).

In den Teilaufgaben (a), ... , (d) werden Vorarbeiten zur Beantwortung dieser Frage geleistet. Dabei wird stets von einer gleichverteilten Stör–WDF fN(n) ausgegangen (siehe untere Skizze):
$$f_N(n) =
\left\{ \begin{array}{c} 1/(2A) \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.3cm} |n| < A, \\ {\rm{f\ddot{u}r}} \hspace{0.3cm} |n| > A. \\ \end{array} $$

'''Hinweis'''

:* Die Aufgabe bezieht sich auf [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#AWGN.E2.80.93Kanalkapazit.C3.A4t_f.C3.BCr_bin.C3.A4re_Eingangssignale|'''Seite 5b''']] im [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang|'''Kapitel 4.3.''']]

===Fragebogen===

<quiz display=simple>

{ Wie groß ist die differentielle Entropie h(N) bei gleichverteilter Störung?
|type="{}"}
$Gleichverteilung, A = 1/8: h(N)$ = { 2 3% }

{Wie groß ist die differentielle Entropie der Sinke?
|type="{}"}
$Gleichverteilung, A = 1/8: h(Y)$ = { 1 3% }

{Wie groß ist die Transinformation zwischen Quelle und Sinke?
|type="{}"}
$I(X;Y))$ = { 1 3% }

{Unter welchen Bedingungen ändert sich am Ergebnis (c) nichts?
|type="[]"}
+ Für jedes A ≤ 1 bei der vorgegebenen Gleichverteilung.
+ Für jede andere WDF fN(n), wenn |N| ≤ 1 gilt.
+ Wenn sich fY|X(y|–1) und fY|X(y|+1) nicht überlappen.

{Beantworten Sie nun die entscheidende Frage.
Hinweis: Der Quotient EB/N0 wird als endlich vorausgesetzt.
|type="[]"}
- CBPSK(EB/N0) &equiv; 1 bit/Symbol ist mit Gauß–WDF möglich.
+ Bei endlichem EB/N0 gilt stets CBPSK(EB/N0) < 1 bit/Symbol.

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die differentielle Entropie einer Gleichverteilung der absoluten Breite 2A ist gleich
$$ h(N) = {\rm log}_2 \hspace{0.1cm} (2A)
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}:
\hspace{0.15cm}h(N) = {\rm log}_2 \hspace{0.1cm} (1/4)
\hspace{0.15cm}\underline{= -2\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$
'''(2)'''  Die Wahrscheinlichkeitsdichtefunktion am Ausgang ergibt sich entsprechend der Gleichung:
[[File:P_ID2948__Inf_Z_4_9b.png|right|]]
$$f_Y(y) = {1}/{2} \cdot \left [ f_{Y|{X}}(y|-1) + f_{Y|{X}}(y|+1) \right ]\hspace{0.05cm}.$$
Die Grafik zeigt das Ergebnis für unser Beispiel (A = 1/8):
:* Rot gezeichnet ist der erste Term 1/2 · fY|X(y|–1), wobei das Rechteck fN(n) an die Stelle Y = –1 verschoben und mit 1/2 multipliziert wird. Es ergibt sich ein Rechteck der Breite 2A = 1/4 und der Höhe 1/(4A) = 2.
:* Blau dargestellt ist der zweite Term 1/2 · fY|X(y|+1) mit der Mitte bei Y = +1.
:* Lässt man die Farben außer Betracht, so ergibt sich die gesamte WDF fY(y).

Die differentiellen Entropie wird nicht verändert wird, wenn man nicht überlappende WDF–Abschnitte verschiebt. Somit ergibt sich für die gesuchte differentielle Sinkenentropie:
$$h(Y) = {\rm log}_2 \hspace{0.1cm} (4A)
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}:
\hspace{0.15cm}h(Y) = {\rm log}_2 \hspace{0.1cm} (1/2)
\hspace{0.15cm}\underline{= -1\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$
'''(3)'''  Damit erhält man für die Transinformation zwischen Quelle und Sinke:
$$I(X; Y) = h(Y) \hspace{-0.05cm}-\hspace{-0.05cm} h(N) = (-1\,{\rm bit/Symbol})\hspace{-0.05cm} -\hspace{-0.05cm}(-2\,{\rm bit/Symbol})
\hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$
'''(4)'''  Alle Lösungsvorschläge sind zutreffend:
:* Für jedes A ≤ 1 gilt
$$ h(Y) = {\rm log}_2 \hspace{0.1cm} (4A) = {\rm log}_2 \hspace{0.1cm} (2A) + {\rm log}_2 \hspace{0.1cm} (2)\hspace{0.05cm},$$
$$h(N) = {\rm log}_2 \hspace{0.1cm} (2A)$$
$$\Rightarrow \hspace{0.3cm} I(X; Y) = h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(N) = {\rm log}_2 \hspace{0.1cm} (2)
\hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$
:* An diesem Prinzip ändert sich auch bei anderer WDF fN(n) nichts, solange die Störung auf den Bereich |N| ≤ 1 begrenzt ist.
:* Überlappen sich jedoch die beiden bedingten Wahrscheinlichkeitsdichtefunktionen, so ergibt sich für h(Y) ein kleinerer Wert als oben berechnet und damit auch eine kleinere Transinformation.
[[File:P_ID2951__Inf_Z_4_9e.png|right|]]
'''(5)'''  Richtig ist der Lösungsvorschlag 2:
:* Die Gaußfunktion klingt zwar sehr schnell ab, sie wird aber nie exakt gleich 0.
:* Deshalb kommt es hier immer zu einer Überlappung der bedingten Wahrscheinlichkeitsdichtefunktionen fY|X(y|–1) und fY|X(y|+1.)
:* Entsprechend der Teilaufgabe (d) ist deshalb CBPSK(EB/N0) &equiv; 1 bit/Symbol nicht möglich.

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.3 AWGN–Kanalkapazität bei wertdiskretem Eingang^]]

Aufgaben:Exercise 4.9Z: Is Channel Capacity C ≡ 1 possible with BPSK?

2017-04-19T23:09:52Z

Khalil: /* Fragebogen */

Aufgaben:Exercise 4.9Z: Is Channel Capacity C ≡ 1 possible with BPSK?

2017-04-19T16:38:53Z

Khalil: Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang }} right| Wir gehen hier von…“

Aufgaben:Exercise 4.9: Higher-Level Modulation

2017-04-19T16:10:12Z

Khalil: /* Musterlösung */

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang
}}

[[File:P_ID2952__Inf_A_4_9.png|right|]]
Die Grafik zeigt AWGN–Kanalkapazitätskurven über der Abszisse 10 · lg (ES/N0):
:* CGauß:   Shannonsche Grenzkurve,
:* CBPSK:   gültig für BPSK.

Die beiden weiteren Kurvenverläufe Crot und Cbraun sollen in den Teilaufgaben (c) und (d) analysiert und möglichen Modulationsverfahren zugeordnet werden.

'''Hinweis'''

:* Die Aufgabe bezieht sich auf das [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang|'''Kapitel 4.3.''']]

Die hier genannten Modulationsverfahren werden anhand ihrer Signalraumkonstellation beschrieben:
[[File:P_ID2953__Inf_A_4_9_Zusatz.png|centre|]]
In der Literatur wird manchmal die BPSK auch mit 2–ASK bezeichnet ⇒ x ∈ X = (+1, –1). Dagegen verstehen wir im LNTwww als ASK den unipolaren Fall x ∈ X = (0, 1). Nach unserer Nomenklatur gilt deshalb: CASK < CBPSK. 
Dieser Sachverhalt hat aber keinen Einfluss auf die Lösung der vorliegenden Aufgabe.

===Fragebogen===

<quiz display=simple>
{Welche Gleichung liegt der Shannon–Grenzkurve CGauß zugrunde?
|type="[]"}
- Es gilt CGauß = C1 = 1/2 · log2 (1 + ES/N0),
+ Es gilt CGauß = C2 = 1/2 · log2 (1 + 2ES/N0),
- Es gilt CGauß = C3 = log2 (1 + ES/N0).

{Welche Aussagen treffen für die grüne Kurve CBPSK zu?
|type="[]"}
+ CBPSK kann nicht in geschlossener Form angegeben werden.
+ CBPSK ist größer als 0, wenn ES/N0 > 0 vorausgesetzt wird.
- Für ES/N0 < ln (2) ist CBPSK &equiv; 0.
+ Im gesamten Bereich gilt CBPSK < CGauß.

{Welche Aussagen treffen für die rote Kurve zu?
|type="[]"}
- Für die zugehörige Zufallsgröße X gilt MX = |X| = 2.
+ Für die zugehörige Zufallsgröße X gilt MX = |X| = 4.
+ Crot ist gleichzeitig die Kanalkapazität der 4–ASK.
- Crot ist gleichzeitig die Kanalkapazität der 4–QAM.
+ Für alle ES/N0 > 0 liegt Crot zwischen &bdquo;grün” und &bdquo;braun”.

{Welche Aussagen treffen für die braune Kurve zu?
|type="[]"}
+ Für die zugehörige Zufallsgröße gilt MX = |X| = 8.
+ Cbraun ist gleichzeitig die Kanalkapazität der 8–ASK.
- Cbraun ist gleichzeitig die Kanalkapazität der 8–PSK..
- pB = 0 ist mit 8–ASK, R = 2.5 und (ES/N0)dB = 10 dB möglich.
+ pB = 0 ist mit 8–ASK, R = 2 und (ES/N0)dB = 10 dB möglich.

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist der Vorschlag 2, wie die Rechnung für 10 · lg (ES/N0) = 15 dB ⇒ ES/N0 = 31.62 zeigt:
$$C_2(15\hspace{0.1cm}{\rm dB}) = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + 2 \cdot 31.62 ) = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 64.25 ) \approx 3\,{\rm bit/Kanalzugriff}\hspace{0.05cm}. $$
Die beiden anderen Lösungsvorschläge liefern folgende Zahlenwerte:
$$C_3(15\hspace{0.1cm}{\rm dB}) \ = \ {\rm log}_2 \hspace{0.1cm} ( 1 + 31.62 ) \approx 5.03\,{\rm bit/Kanalzugriff}\hspace{0.05cm},$$
$$ C_1(15\hspace{0.1cm}{\rm dB}) \ = \ C_3/2 \approx 2.51\,{\rm bit/Kanalzugriff}\hspace{0.05cm}.$$
Der Lösungsvorschlag 3 entspricht dabei dem Fall [[Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang#Parallele_Gau.C3.9Fsche_Kan.C3.A4le|'''zweier unabhängiger Gaußkanäle''']] mit jeweils halber Sendeleistung pro Kanal.

'''(2)'''  Richtig sind die Lösungsvorschläge 1, 2 und 4. Würde man ES durch EB ersetzen, so wäre auch die Aussage 3 richtig. Für EB/N0 < ln 2 gilt nämlich CGauß &equiv; 0 und damit auch CBPSK &equiv; 0.

'''(3)'''  Richtig sind die Aussagen 2, 3 und 5. Der rote Kurvenzug (Crot) liegt stets oberhalb von CBPSK, aber unterhalb von Cbraun und der Shannon–Grenzkurve CGauß. Diese Aussagen gelten auch, wenn für gewisse ES/N0–Werte Kurven innerhalb der Zeichengenauigkeit nicht zu unterscheiden sind.

Aus dem Grenzwert Crot = 2 bit/Kanalzugriff für ES/N0 → ∞ kann auf den Symbolumfang MX = 4 geschlossen werden. Die rote Kurve beschreibt also die 4–ASK. MX = 2 würde für die BPSK gelten.

Die 4–QAM führt genau zum gleichen Endwert 2 bit/Kanalzugriff. Für kleine ES/N0–Werte liegt aber die Kanalkapazität C4–QAM oberhalb der roten Kurve, da Crot von der Gauß–Grenzkurve C2 begrenzt wird, C4–QAM aber von C3. Die Bezeichnungen C2 und C3 beziehen sich hierbei auf die Teilaufgabe (a).

'''(4)'''  Aus dem braunen Kurvenverlauf erkennt man die Richtigkeit der beiden ersten Aussagen, während die 8–PSK mit I– und Q–Komponente – also mit K = 2 Dimensionen – für kleinere ES/N0–Werte etwas oberhalb der braunen Kurve liegen wird.
[[File:P_ID2954__Inf_A_4_9e.png|right|]]
In nebenstehender Grafik sind die beiden Systeme gemäß den Vorschlägen 4 und 5 eingezeichnet.
:* Der violette Punkt liegt über der Kurve C8–ASK. Das heißt: 10 · lg (ES/N0) = 10 dB und R = 2.5 reichen nicht, um die 8–ASK fehlerfrei decodieren zu können ⇒ R > C ⇒ Kanalcodierungstheorem wird nicht erfüllt.
:* Reduziert man die Coderate auf R = 2 < C, so wird das Kanalcodierungstheorem erfüllt ⇒ gelber Punkt.

Richtig sind also die Lösungsvorschläge 1, 2 und 5.

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.3 AWGN–Kanalkapazität bei wertdiskretem Eingang^]]

Aufgaben:Exercise 4.9: Higher-Level Modulation

2017-04-19T15:56:02Z

Khalil: /* Fragebogen */

Aufgaben:Exercise 4.9: Higher-Level Modulation

2017-04-19T15:47:10Z

Khalil: Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang }} right| Die Grafik zeigt AW…“

Aufgaben:Exercise 4.8Z: What does the AWGN Channel Capacity Curve say?

2017-04-19T15:38:08Z

Khalil:

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang
}}

[[File:P_ID2943__Inf_Z_4_8.png|right|]]
Wir betrachten wie in [[Aufgaben:4.8_Kurvenverlauf_C(EB/N0)|'''Aufgabe A4.8''']] die Kanalkapazität des AWGN–Kanals:

$$C_{\rm Gauß}( E_{\rm B}/{N_0}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B}}{N_0}) . $$
:* Die Kurve ist rechts bei logarithmischer Achse zwischen –2 dB und +6 dB dargestellt.
:* Der Zusatz &bdquo;Gauß” weist darauf hin, dass für diese Kurve am AWGN–Eingang eine Gaußverteilung vorausgesetzt wurde.

Eingezeichnet sind in obiger Grafik drei Systemvarianten:
:* System '''''X''''' :    10 · lg (EB/N0) = 4 dB, R = 1,
:* System '''''Y''''' :   10 · lg (EB/N0) = 0 dB, R = 2,
:* System '''''Z''''' :   10 · lg (EB/N0) = 6 dB, R = 1.5.

'''Hinweis'''

:* Die Aufgabe bezieht sich auf das [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang|'''Kapitel 4.3.''']]

In den Fragen zu dieser Aufgabe verwenden wir noch folgende Begriffe:
:* Digitalsystem:   Symbolumfang MX = |X| beliebig,
:* Binärsystem:   Symbolumfang MX = 2,
:* Quaternärsystem:   Symbolumfang MX = 4.

===Fragebogen===

<quiz display=simple>
{Welche Aussage liefert der Punkt X für die Digitalsignalübertragung?
|type="[]"}
+ Für 10 · lg (EB/N0) = 4 dB ist ein Digitalsystem mit der Rate R = 1 und der Fehlerwahrscheinlichkeit 0 vorstellbar.
- Ein solches System kommt ohne Kanalcodierung aus.
+ Ein solches System verwendet einen unendlich langen Code.
- Auch ein Binärsystem kann die Voraussetzungen erfüllen.

{Welche Aussage liefert der Punkt Y für die Digitalsignalübertragung?
|type="[]"}
- Für 10 · lg (EB/N0) = 0 dB ist ein Digitalsystem mit der Rate R = 2 und der Fehlerwahrscheinlichkeit 0 vorstellbar.
+ Für 10 · lg (EB/N0) = 0 dB wäre R = 0.5 ausreichend.
- Für die Rate R = 2 würde 10 · lg (EB/N0) = 5 dB genügen.

{Welche Aussage liefert der Punkt Z für die Binärübertragung?
|type="[]"}
+ Ein Binärsystem erfüllt die Anforderungen auf keinen Fall.
- Die Kurve CGauß(EB/N0) reicht für diese Bewertung nicht aus.

{Welche Aussage liefert der Punkt Z für die Quaternärübertragung?
|type="[]"}
- Ein Quaternärsystem erfüllt die Anforderungen auf keinen Fall.
+ Die Kurve CGauß(EB/N0) reicht für diese Bewertung nicht aus.

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Da der Punkt X rechts von der Kanalkapazitätskurve CGauß(EB/N0) liegt, gibt es (mindestens) ein Nachrichtensystem der Rate R = 1, das mit 10 · lg (EB/N0) = 4 dB eine quasi–fehlerfreie Übertragung ermöglicht. Trotz der Coderate R = 1 beinhaltet dieses System eine Kanalcodierung mit einem unendlich langen Code, der aber leider unbekannt ist. Ein Binärsystem der Rate R = 1 erlaubt allerdings keine Kanalcodierung. Richtig sind somit die Lösungsvorschläge 1 und 3.

'''(2)'''  Hier gelten folgende Aussagen:
:* Das erforderliche EB/N0 für die Rate R = 2 ergibt sich zu
$$(E_{\rm B}/{N_0})_{\rm min} = \frac{2^{2R} - 1} { 2 \cdot R}
= \frac{2^4 - 1} { 4 } = 3.75
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
10\cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0})_{\rm min} = 15.74\,{\rm dB}
\hspace{0.05cm}. $$
:* Die maximale Coderate Rmax für 10 · lg (EB/N0) = 0 dB  ⇒  EB/N0 = 1 berechnet sich wie folgt:
$$C = R = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B}}{N_0})
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} 2^{2R} - 1 \stackrel{!}{=} 2 R
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} R_{\rm max} = 0.5 \hspace{0.05cm}. $$
Beide Berechnungen zeigen, dass der Punkt Y mit den Kenngrößen 10 · lg (EB/N0) = 0 dB und R = 1 das Kanalcodierungstheorem nicht erfüllt. Richtig ist nur der Lösungsvorschlag 2.

'''(3)'''  Mit einem Binärsystem ist die Rate R = 1.5 niemals realisierbar ⇒ Lösungsvorschlag 1.

'''(4)'''  Der Punkt Z liegt rechts von der Grenzkurve und für die Coderate eines Quaternärsystems gilt R ≤ 2. Die Rate R = 1.5 wäre also mit MX = 4 durchaus zu realisieren. Das heißt: Der Lösungsvorschlag 1 ist falsch. Richtig ist dagegen der zweite Lösungsvorschlag.

:* Die vorgegebene Kurve CGauß(EB/N0) geht stets von einem gaußverteilten Eingang aus.
:* Für ein Binärsystem ergibt sich eine andere Grenzkurve, nämlich [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#AWGN.E2.80.93Kanalkapazit.C3.A4t_f.C3.BCr_bin.C3.A4re_Eingangssignale|'''CBPSK(EB/N0)''']] mit der Eigenschaft CBPSK ≤ 1 bit/Kanalzugriff. CBPSK und CGauß unterscheiden sich signifikant.
:* Für das Quaternärsystem (M = 4) müsste man eine entsprechende Kurve CM=4 berechnen und analysieren. Auch hier gilt CM=4 ≤ CGauß. Für kleines EB/N0 gilt CM=4 ≈ CGauß, danach weicht der Kurvenverlauf deutlich ab und endet in einer Horizontalen bei CM=4 = 2 bit/Kanalzugriff.

Der Punkt Z ⇒ 10 · lg EB/N0 = 6 dB, R = 1.5 liegt unterhalb von CM=4. Ein solches Quaternärsystem wäre also realisierbar, wie in [[ Aufgabe A4.10]] noch gezeigt wird. Aber allein aus Kenntnis von CGauß kann die Frage nicht beantwortet werden.

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.3 AWGN–Kanalkapazität bei wertdiskretem Eingang^]]

Aufgaben:Exercise 4.8Z: What does the AWGN Channel Capacity Curve say?

2017-04-19T15:29:22Z

Khalil: /* Musterlösung */

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang
}}

[[File:P_ID2943__Inf_Z_4_8.png|right|]]
Wir betrachten wie in [[Aufgaben:4.8_Kurvenverlauf_C(EB/N0)|'''Aufgabe A4.8''']] die Kanalkapazität des AWGN–Kanals:

$$C_{\rm Gauß}( E_{\rm B}/{N_0}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B}}{N_0}) . $$
:* Die Kurve ist rechts bei logarithmischer Achse zwischen –2 dB und +6 dB dargestellt.
:* Der Zusatz &bdquo;Gauß” weist darauf hin, dass für diese Kurve am AWGN–Eingang eine Gaußverteilung vorausgesetzt wurde.

Eingezeichnet sind in obiger Grafik drei Systemvarianten:
:* System '''''X''''' :    10 · lg (EB/N0) = 4 dB, R = 1,
:* System '''''Y''''' :   10 · lg (EB/N0) = 0 dB, R = 2,
:* System '''''Z''''' :   10 · lg (EB/N0) = 6 dB, R = 1.5.

'''Hinweis'''

:* Die Aufgabe bezieht sich auf das [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang|'''Kapitel 4.3.''']]

In den Fragen zu dieser Aufgabe verwenden wir noch folgende Begriffe:
:* Digitalsystem:   Symbolumfang MX = |X| beliebig,
:* Binärsystem:   Symbolumfang MX = 2,
:* Quaternärsystem:   Symbolumfang MX = 4.

===Fragebogen===

<quiz display=simple>
{Welche Aussage liefert der Punkt X für die Digitalsignalübertragung?
|type="[]"}
+ Für 10 · lg (EB/N0) = 4 dB ist ein Digitalsystem mit der Rate R = 1 und der Fehlerwahrscheinlichkeit 0 vorstellbar.
- Ein solches System kommt ohne Kanalcodierung aus.
+ Ein solches System verwendet einen unendlich langen Code.
- Auch ein Binärsystem kann die Voraussetzungen erfüllen.

{Welche Aussage liefert der Punkt Y für die Digitalsignalübertragung?
|type="[]"}
- Für 10 · lg (EB/N0) = 0 dB ist ein Digitalsystem mit der Rate R = 2 und der Fehlerwahrscheinlichkeit 0 vorstellbar.
+ Für 10 · lg (EB/N0) = 0 dB wäre R = 0.5 ausreichend.
- Für die Rate R = 2 würde 10 · lg (EB/N0) = 5 dB genügen.

{Welche Aussage liefert der Punkt Z für die Binärübertragung?
|type="[]"}
+ Ein Binärsystem erfüllt die Anforderungen auf keinen Fall.
- Die Kurve CGauß(EB/N0) reicht für diese Bewertung nicht aus.

{Welche Aussage liefert der Punkt Z für die Quaternärübertragung?
|type="[]"}
- Ein Quaternärsystem erfüllt die Anforderungen auf keinen Fall.
+ Die Kurve CGauß(EB/N0) reicht für diese Bewertung nicht aus.

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Da der Punkt X rechts von der Kanalkapazitätskurve CGauß(EB/N0) liegt, gibt es (mindestens) ein Nachrichtensystem der Rate R = 1, das mit 10 · lg (EB/N0) = 4 dB eine quasi–fehlerfreie Übertragung ermöglicht. Trotz der Coderate R = 1 beinhaltet dieses System eine Kanalcodierung mit einem unendlich langen Code, der aber leider unbekannt ist. Ein Binärsystem der Rate R = 1 erlaubt allerdings keine Kanalcodierung. Richtig sind somit die Lösungsvorschläge 1 und 3.

'''(2)'''  Hier gelten folgende Aussagen:
:* Das erforderliche EB/N0 für die Rate R = 2 ergibt sich zu
$$(E_{\rm B}/{N_0})_{\rm min} = \frac{2^{2R} - 1} { 2 \cdot R}
= \frac{2^4 - 1} { 4 } = 3.75
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
10\cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0})_{\rm min} = 15.74\,{\rm dB}
\hspace{0.05cm}. $$
:* Die maximale Coderate Rmax für 10 · lg (EB/N0) = 0 dB  ⇒  EB/N0 = 1 berechnet sich wie folgt:
$$C = R = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B}}{N_0})
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} 2^{2R} - 1 \stackrel{!}{=} 2 R
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} R_{\rm max} = 0.5 \hspace{0.05cm}. $$
Beide Berechnungen zeigen, dass der Punkt Y mit den Kenngrößen 10 · lg (EB/N0) = 0 dB und R = 1 das Kanalcodierungstheorem nicht erfüllt. Richtig ist nur der Lösungsvorschlag 2.

'''(3)'''  Mit einem Binärsystem ist die Rate R = 1.5 niemals realisierbar ⇒ Lösungsvorschlag 1.

'''(4)'''  Der Punkt Z liegt rechts von der Grenzkurve und für die Coderate eines Quaternärsystems gilt R ≤ 2. Die Rate R = 1.5 wäre also mit MX = 4 durchaus zu realisieren. Das heißt: Der Lösungsvorschlag 1 ist falsch. Richtig ist dagegen der zweite Lösungsvorschlag.

:* Die vorgegebene Kurve CGauß(EB/N0) geht stets von einem gaußverteilten Eingang aus.
:* Für ein Binärsystem ergibt sich eine andere Grenzkurve, nämlich
Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#AWGN.E2.80.93Kanalkapazit.C3.A4t_f.C3.BCr_bin.C3.A4re_Eingangssignale'''5.'''
'''6.'''
'''7.'''
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.3 AWGN–Kanalkapazität bei wertdiskretem Eingang^]]

Aufgaben:Exercise 4.8Z: What does the AWGN Channel Capacity Curve say?

2017-04-19T15:20:25Z

Khalil:

Aufgaben:Exercise 4.8Z: What does the AWGN Channel Capacity Curve say?

2017-04-19T15:11:23Z

Khalil: Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang }} right| Wir betrachten wie i…“

Aufgaben:Exercise 4.8: Numerical Analysis of the AWGN Channel Capacity

2017-04-19T15:04:45Z

Khalil:

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang
}}

[[File:P_ID2936__Inf_A_4_8_Tab.png|right|]]
Für die Kanalkapazität C des AWGN–Kanals als obere Schranke für die Coderate R bei Digitalsignalübertragung gibt es zwei verschiedene Gleichungen :

'''Kanalkapazität C in Abhängigkeit von ES/N0: '''
$$C( E_{\rm S}/{N_0}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S}}{N_0}) .$$
Hierbei sind folgende Abkürzungen verwendet:
:* ES: die Energie pro Symbol des Digitalsignals,
:* N0: die AWGN–Rauschleistungsdichte.

'''Kanalkapazität C in Abhängigkeit von EB/N0:'''
$$C( E_{\rm B}/{N_0}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B}}{N_0}) .$$

Berücksichtigt ist der Zusammenhang ES = R · EB, wobei R die Coderate der bestmöglichen Kanalcodierung angibt. Eine fehlerfreie Übertragung (unter Berücksichtigung dieses optimalen Codes) ist für das gegebene EB/N0 möglich, so lange R ≤ C gilt  ⇒  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Definition_und_Bedeutung_der_Kanalkapazit.C3.A4t|''Kanalcodierungstheorem von Shannon.''']]

Durch die Tabelle vorgegeben ist der Kurvenverlauf C(ES/N0). Im Mittelpunkt dieser Aufgabe steht die numerische Auswertung der zweiten Gleichung.

'''Hinweis'''

:* Die Aufgabe gehört zum Themengebiet von [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang|'''Kapitel 4.3.''']]

===Fragebogen===

<quiz display=simple>
{Welche Gleichungen beschreiben den Zusammenhang zwischen EB/N0 und der Rate R beim AWGN–Kanal exakt?
|type="[]"}
+ R = 1/2 · log2 (1 + 2 · R · EB/N0),
+ 22R = 1 + 2 · R · EB/N0,
+ EB/N0 = (22R –1)/(2R).

{Geben Sie den kleinstmöglichen Wert für EB/N0 an, mit dem man über den AWGN–Kanal noch fehlerfrei übertragen kann.
|type="{}"}
$Min [EB/N0]$ = { 0.693 3% }

{Welche Ergebnis erhält man in dB?
|type="{}"}
$Min[10 · lg (EB/N0)]$ = { 1.59 3% }

{Geben Sie die AWGN–Kanalkapazität für 10 · lg (EB/N0) = 0 dB an.
|type="{}"}
$10 · lg (EB/N0) = 0 dB: C$ = { 0.5 3% }

{Geben Sie das erforderliche EB/N0 für fehlerfreie Übertragung mit R = 1 an. Hinweis: Die Lösung findet man in der Tabelle auf der Angabenseite.
|type="{}"}
$R = 1: Min [EB/N0]$ = { 1.5 3% }

{Wie kann ein Punkt der C(EB/N0)–Kurve einfacher ermittelt werden?
|type="[]"}
- Berechnung der Kanalkapazität C für das vorgegebene EB/N0.
+ Berechnung des erforderlichen EB/N0 für das vorgegebene C.

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Ausgehend von der Gleichung
$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + { 2 \cdot E_{\rm S}}/{N_0}) $$
erhält man mit C = R und ES = R · EB die Gleichung gemäß Lösungsvorschlag 1:
$$R = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + { 2 \cdot R \cdot E_{\rm B}}/{N_0})\hspace{0.05cm}. $$
Bringt man den Faktor 1/2 auf die linke Seite der Gleichung und bildet die Potenz zur Basis 2, so erhält man den Lösungsvorschlag 2:
$$2^{2R} = 1 + 2 \cdot R \cdot E_{\rm B}/{N_0}\hspace{0.05cm}. $$
Löst man diese Gleichung nach EB/N0 auf, so ergibt sich
$$E_{\rm B}/{N_0} = \frac{2^{2R} - 1} { 2 R} \hspace{0.05cm}. $$
Das bedeutet: Alle Lösungsvorschläge sind richtig.

'''(2)'''  Über einen Kanal mit der Kanalkapazität C ist eine fehlerfreie Übertragung möglich, solange die Coderate R ≤ C ist. Die absolute Grenze ergibt sich im Grenzfall C = R = 0. Oder präziser ausgedrückt: für ein beliebig kleines positives ε: C = R = ε mit ε → 0.

Mit dem Ergebnis der Teilaufgabe (a) lautet die Bestimmungsgleichung:
$${\rm Min}\hspace{0.1cm}[E_{\rm B}/{N_0}] = \lim\limits_{R \hspace{0.05cm}\rightarrow \hspace{0.05cm}0}\frac{2^{2R} - 1} { 2 R} \hspace{0.05cm}. $$
Da hier der Quotient im Grenzübergang R → 0 das Ergebnis &bdquo;0 geteilt durch 0” liefert, ist hier die [https://de.wikipedia.org/wiki/Regel_von_de_l’Hospital|'''l'Hospitalsche Regel'''] anzuwenden: Man differenziert Zähler und Nenner, bildet den Quotienten und setzt schließlich R = 0 ein. Mit x = 2R lautet das Ergebnis:
$${\rm Min}\hspace{0.1cm}[E_{\rm B}/{N_0}] = \lim\limits_{x \hspace{0.05cm}\rightarrow \hspace{0.05cm}0}\frac{2^{x} - 1} { x} = \frac{{\rm ln}\hspace{0.1cm} (2) \cdot 2^{x} } { 1} \hspace{0.05cm}\bigg |_{x=0}
= {\rm ln}\hspace{0.1cm} (2) \hspace{0.15cm}\underline{= 0.693}
\hspace{0.05cm}.$$

'''(3)'''  In logarithmierter Form erhält man:
$${\rm Min}\hspace{0.1cm}[10\cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0})] =
10\cdot {\rm lg} \hspace{0.1cm}(0.693) \hspace{0.15cm}\underline{= -1.59\,{\rm dB}}
\hspace{0.05cm}. $$

'''(4)'''  Der Abszissenwert lautet somit in nichtlogarithmierter Form: EB/N0 = 1. Daraus folgt mit C = R:
$$\frac{2^{2C} - 1} { 2 C} \stackrel{!}{=} 1
\hspace{0.3cm}\Rightarrow\hspace{0.3cm}\underline{C = 0.5}
\hspace{0.05cm}. $$

'''(5)'''  Für R = 1 ist EB = ES. Deshalb gilt:
$$ C(E_{\rm B}/{N_0}) = 1 \hspace{0.3cm}\Longleftrightarrow \hspace{0.3cm}
C(E_{\rm S}/{N_0}) = 1
\hspace{0.05cm}.$$
Aus der Tabelle auf der Angabenseite ist abzulesen:
$$ C(E_{\rm S}/{N_0}) = 1 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}
E_{\rm S}/{N_0} = 1.5 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}
\underline{E_{\rm B}/{N_0} = 1.5}\hspace{0.05cm}.$$
Der dazugehörige dB–Wert ist 10 · lg (EB/N0) = 1.76 dB.

Zum gleichen Ergebnis kommt man mit R = 1 über die Gleichung
$$E_{\rm B}/{N_0} = \frac{2^{2R} - 1} { 2 \cdot R}
= \frac{4 - 1} { 2 } = 1.5 \hspace{0.05cm}.$$
'''(6)'''  Richtig ist der Lösungsvorschlag 2, wie an einem Beispiel gezeigt werden soll.
:* Gesucht ist die Kanalkapazität C für 10 · lg (EB/N0) = 15 dB  ⇒  EB/N0 = 31.62. Dann gilt entsprechend dem Lösungsvorschlag 1 mit x = 2C:
$$31.62 = \frac{2^{x} - 1} { x}
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
31.62 \cdot x = 2^{x} - 1
\hspace{0.05cm}. $$

Die Lösung x = 7.986  ⇒  C = 3.993 (bit/use) kann nur grafisch oder iterativ gefunden werden.

:* Gesucht ist der notwendige Abszissenwert 10 · lg (EB/N0) für die Kapazität C = 4 bit/Symbol:
$$E_{\rm B}/{N_0} = \frac{2^{2C} - 1} { 2 \cdot C}
= \frac{2^8 - 1} { 8 } = 31.875
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
10\cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0}) = 15.03\,{\rm dB}
\hspace{0.05cm}.$$
[[File:P_ID2940__Inf_T_4_3_S4.png|centre|]]

Die Grafik zeigt die AWGN–Kanalkapazität C in &bdquo;bit/Kanalzugriff” oder auch &bdquo;bit/Symbol” abhängig von

:* 10 · lg (ES/N0)  ⇒  rote Kurve und rote Zahlen; diese
geben die Kanalkapazität C für das vorgegebene 10 · lg (ES/N0) an.

:* 10 · lg (EB/N0)  ⇒  grüne Kurve und und grüne Zahlen; diese geben das erforderliche 10 · lg (EB/N0) für die vorgegebene Kanalkapazität C an.

Der Schnittpunkt der beiden Kurven liegt bei 1.76 dB.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.3 AWGN–Kanalkapazität bei wertdiskretem Eingang^]]

Aufgaben:Exercise 4.8: Numerical Analysis of the AWGN Channel Capacity

2017-04-18T18:45:45Z

Khalil: /* Musterlösung */

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang
}}

[[File:P_ID2936__Inf_A_4_8_Tab.png|right|]]
Für die Kanalkapazität C des AWGN–Kanals als obere Schranke für die Coderate R bei Digitalsignalübertragung gibt es zwei verschiedene Gleichungen :

'''Kanalkapazität C in Abhängigkeit von ES/N0: '''
$$C( E_{\rm S}/{N_0}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S}}{N_0}) .$$
Hierbei sind folgende Abkürzungen verwendet:
:* ES: die Energie pro Symbol des Digitalsignals,
:* N0: die AWGN–Rauschleistungsdichte.

'''Kanalkapazität C in Abhängigkeit von EB/N0:'''
$$C( E_{\rm B}/{N_0}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B}}{N_0}) .$$

Berücksichtigt ist der Zusammenhang ES = R · EB, wobei R die Coderate der bestmöglichen Kanalcodierung angibt. Eine fehlerfreie Übertragung (unter Berücksichtigung dieses optimalen Codes) ist für das gegebene EB/N0 möglich, so lange R ≤ C gilt  ⇒  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Definition_und_Bedeutung_der_Kanalkapazit.C3.A4t|''Kanalcodierungstheorem von Shannon.''']]

Durch die Tabelle vorgegeben ist der Kurvenverlauf C(ES/N0). Im Mittelpunkt dieser Aufgabe steht die numerische Auswertung der zweiten Gleichung.
'''Hinweis'''
:* Die Aufgabe gehört zum Themengebiet von [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang|'''Kapitel 4.3.''']]

===Fragebogen===

<quiz display=simple>
{Welche Gleichungen beschreiben den Zusammenhang zwischen EB/N0 und der Rate R beim AWGN–Kanal exakt?
|type="[]"}
+ R = 1/2 · log2 (1 + 2 · R · EB/N0),
+ 22R = 1 + 2 · R · EB/N0,
+ EB/N0 = (22R –1)/(2R).

{Geben Sie den kleinstmöglichen Wert für EB/N0 an, mit dem man über den AWGN–Kanal noch fehlerfrei übertragen kann.
|type="{}"}
$Min [EB/N0]$ = { 0.693 3% }

{Welche Ergebnis erhält man in dB?
|type="{}"}
$Min[10 · lg (EB/N0)]$ = { 1.59 3% }

{Geben Sie die AWGN–Kanalkapazität für 10 · lg (EB/N0) = 0 dB an.
|type="{}"}
$10 · lg (EB/N0) = 0 dB: C$ = { 0.5 3% }

{Geben Sie das erforderliche EB/N0 für fehlerfreie Übertragung mit R = 1 an. Hinweis: Die Lösung findet man in der Tabelle auf der Angabenseite.
|type="{}"}
$R = 1: Min [EB/N0]$ = { 1.5 3% }

{Wie kann ein Punkt der C(EB/N0)–Kurve einfacher ermittelt werden?
|type="[]"}
- Berechnung der Kanalkapazität C für das vorgegebene EB/N0.
+ Berechnung des erforderlichen EB/N0 für das vorgegebene C.

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Ausgehend von der Gleichung
$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + { 2 \cdot E_{\rm S}}/{N_0}) $$
erhält man mit C = R und ES = R · EB die Gleichung gemäß Lösungsvorschlag 1:
$$R = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + { 2 \cdot R \cdot E_{\rm B}}/{N_0})\hspace{0.05cm}. $$
Bringt man den Faktor 1/2 auf die linke Seite der Gleichung und bildet die Potenz zur Basis 2, so erhält man den Lösungsvorschlag 2:
$$2^{2R} = 1 + 2 \cdot R \cdot E_{\rm B}/{N_0}\hspace{0.05cm}. $$
Löst man diese Gleichung nach EB/N0 auf, so ergibt sich
$$E_{\rm B}/{N_0} = \frac{2^{2R} - 1} { 2 R} \hspace{0.05cm}. $$
Das bedeutet: Alle Lösungsvorschläge sind richtig.

'''(2)'''  Über einen Kanal mit der Kanalkapazität C ist eine fehlerfreie Übertragung möglich, solange die Coderate R ≤ C ist. Die absolute Grenze ergibt sich im Grenzfall C = R = 0. Oder präziser ausgedrückt: für ein beliebig kleines positives ε: C = R = ε mit ε → 0.

Mit dem Ergebnis der Teilaufgabe (a) lautet die Bestimmungsgleichung:
$${\rm Min}\hspace{0.1cm}[E_{\rm B}/{N_0}] = \lim\limits_{R \hspace{0.05cm}\rightarrow \hspace{0.05cm}0}\frac{2^{2R} - 1} { 2 R} \hspace{0.05cm}. $$
Da hier der Quotient im Grenzübergang R → 0 das Ergebnis &bdquo;0 geteilt durch 0” liefert, ist hier die [https://de.wikipedia.org/wiki/Regel_von_de_l’Hospital|'''l'Hospitalsche Regel'''] anzuwenden: Man differenziert Zähler und Nenner, bildet den Quotienten und setzt schließlich R = 0 ein. Mit x = 2R lautet das Ergebnis:
$${\rm Min}\hspace{0.1cm}[E_{\rm B}/{N_0}] = \lim\limits_{x \hspace{0.05cm}\rightarrow \hspace{0.05cm}0}\frac{2^{x} - 1} { x} = \frac{{\rm ln}\hspace{0.1cm} (2) \cdot 2^{x} } { 1} \hspace{0.05cm}\bigg |_{x=0}
= {\rm ln}\hspace{0.1cm} (2) \hspace{0.15cm}\underline{= 0.693}
\hspace{0.05cm}.$$

'''(3)'''  In logarithmierter Form erhält man:
$${\rm Min}\hspace{0.1cm}[10\cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0})] =
10\cdot {\rm lg} \hspace{0.1cm}(0.693) \hspace{0.15cm}\underline{= -1.59\,{\rm dB}}
\hspace{0.05cm}. $$

'''(4)'''  Der Abszissenwert lautet somit in nichtlogarithmierter Form: EB/N0 = 1. Daraus folgt mit C = R:
$$\frac{2^{2C} - 1} { 2 C} \stackrel{!}{=} 1
\hspace{0.3cm}\Rightarrow\hspace{0.3cm}\underline{C = 0.5}
\hspace{0.05cm}. $$

'''(5)'''  Für R = 1 ist EB = ES. Deshalb gilt:
$$ C(E_{\rm B}/{N_0}) = 1 \hspace{0.3cm}\Longleftrightarrow \hspace{0.3cm}
C(E_{\rm S}/{N_0}) = 1
\hspace{0.05cm}.$$
Aus der Tabelle auf der Angabenseite ist abzulesen:
$$ C(E_{\rm S}/{N_0}) = 1 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}
E_{\rm S}/{N_0} = 1.5 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}
\underline{E_{\rm B}/{N_0} = 1.5}\hspace{0.05cm}.$$
Der dazugehörige dB–Wert ist 10 · lg (EB/N0) = 1.76 dB.

Zum gleichen Ergebnis kommt man mit R = 1 über die Gleichung
$$E_{\rm B}/{N_0} = \frac{2^{2R} - 1} { 2 \cdot R}
= \frac{4 - 1} { 2 } = 1.5 \hspace{0.05cm}.$$
'''(6)'''  Richtig ist der Lösungsvorschlag 2, wie an einem Beispiel gezeigt werden soll.
:* Gesucht ist die Kanalkapazität C für 10 · lg (EB/N0) = 15 dB  ⇒  EB/N0 = 31.62. Dann gilt entsprechend dem Lösungsvorschlag 1 mit x = 2C:
$$31.62 = \frac{2^{x} - 1} { x}
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
31.62 \cdot x = 2^{x} - 1
\hspace{0.05cm}. $$

Die Lösung x = 7.986  ⇒  C = 3.993 (bit/use) kann nur grafisch oder iterativ gefunden werden.

:* Gesucht ist der notwendige Abszissenwert 10 · lg (EB/N0) für die Kapazität C = 4 bit/Symbol:
$$E_{\rm B}/{N_0} = \frac{2^{2C} - 1} { 2 \cdot C}
= \frac{2^8 - 1} { 8 } = 31.875
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
10\cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0}) = 15.03\,{\rm dB}
\hspace{0.05cm}.$$
[[File:P_ID2940__Inf_T_4_3_S4.png|centre|]]

Die Grafik zeigt die AWGN–Kanalkapazität C in &bdquo;bit/Kanalzugriff” oder auch &bdquo;bit/Symbol” abhängig von

:* 10 · lg (ES/N0)  ⇒  rote Kurve und rote Zahlen; diese
geben die Kanalkapazität C für das vorgegebene 10 · lg (ES/N0) an.

:* 10 · lg (EB/N0)  ⇒  grüne Kurve und und grüne Zahlen; diese geben das erforderliche 10 · lg (EB/N0) für die vorgegebene Kanalkapazität C an.

Der Schnittpunkt der beiden Kurven liegt bei 1.76 dB.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.3 AWGN–Kanalkapazität bei wertdiskretem Eingang^]]

Aufgaben:Exercise 4.8: Numerical Analysis of the AWGN Channel Capacity

2017-04-18T18:40:46Z

Khalil: /* Musterlösung */

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang
}}

[[File:P_ID2936__Inf_A_4_8_Tab.png|right|]]
Für die Kanalkapazität C des AWGN–Kanals als obere Schranke für die Coderate R bei Digitalsignalübertragung gibt es zwei verschiedene Gleichungen :

'''Kanalkapazität C in Abhängigkeit von ES/N0: '''
$$C( E_{\rm S}/{N_0}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S}}{N_0}) .$$
Hierbei sind folgende Abkürzungen verwendet:
:* ES: die Energie pro Symbol des Digitalsignals,
:* N0: die AWGN–Rauschleistungsdichte.

'''Kanalkapazität C in Abhängigkeit von EB/N0:'''
$$C( E_{\rm B}/{N_0}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B}}{N_0}) .$$

Berücksichtigt ist der Zusammenhang ES = R · EB, wobei R die Coderate der bestmöglichen Kanalcodierung angibt. Eine fehlerfreie Übertragung (unter Berücksichtigung dieses optimalen Codes) ist für das gegebene EB/N0 möglich, so lange R ≤ C gilt  ⇒  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Definition_und_Bedeutung_der_Kanalkapazit.C3.A4t|''Kanalcodierungstheorem von Shannon.''']]

Durch die Tabelle vorgegeben ist der Kurvenverlauf C(ES/N0). Im Mittelpunkt dieser Aufgabe steht die numerische Auswertung der zweiten Gleichung.
'''Hinweis'''
:* Die Aufgabe gehört zum Themengebiet von [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang|'''Kapitel 4.3.''']]

===Fragebogen===

<quiz display=simple>
{Welche Gleichungen beschreiben den Zusammenhang zwischen EB/N0 und der Rate R beim AWGN–Kanal exakt?
|type="[]"}
+ R = 1/2 · log2 (1 + 2 · R · EB/N0),
+ 22R = 1 + 2 · R · EB/N0,
+ EB/N0 = (22R –1)/(2R).

{Geben Sie den kleinstmöglichen Wert für EB/N0 an, mit dem man über den AWGN–Kanal noch fehlerfrei übertragen kann.
|type="{}"}
$Min [EB/N0]$ = { 0.693 3% }

{Welche Ergebnis erhält man in dB?
|type="{}"}
$Min[10 · lg (EB/N0)]$ = { 1.59 3% }

{Geben Sie die AWGN–Kanalkapazität für 10 · lg (EB/N0) = 0 dB an.
|type="{}"}
$10 · lg (EB/N0) = 0 dB: C$ = { 0.5 3% }

{Geben Sie das erforderliche EB/N0 für fehlerfreie Übertragung mit R = 1 an. Hinweis: Die Lösung findet man in der Tabelle auf der Angabenseite.
|type="{}"}
$R = 1: Min [EB/N0]$ = { 1.5 3% }

{Wie kann ein Punkt der C(EB/N0)–Kurve einfacher ermittelt werden?
|type="[]"}
- Berechnung der Kanalkapazität C für das vorgegebene EB/N0.
+ Berechnung des erforderlichen EB/N0 für das vorgegebene C.

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Ausgehend von der Gleichung
$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + { 2 \cdot E_{\rm S}}/{N_0}) $$
erhält man mit C = R und ES = R · EB die Gleichung gemäß Lösungsvorschlag 1:
$$R = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + { 2 \cdot R \cdot E_{\rm B}}/{N_0})\hspace{0.05cm}. $$
Bringt man den Faktor 1/2 auf die linke Seite der Gleichung und bildet die Potenz zur Basis 2, so erhält man den Lösungsvorschlag 2:
$$2^{2R} = 1 + 2 \cdot R \cdot E_{\rm B}/{N_0}\hspace{0.05cm}. $$
Löst man diese Gleichung nach EB/N0 auf, so ergibt sich
$$E_{\rm B}/{N_0} = \frac{2^{2R} - 1} { 2 R} \hspace{0.05cm}. $$
Das bedeutet: Alle Lösungsvorschläge sind richtig.

'''(2)'''  Über einen Kanal mit der Kanalkapazität C ist eine fehlerfreie Übertragung möglich, solange die Coderate R ≤ C ist. Die absolute Grenze ergibt sich im Grenzfall C = R = 0. Oder präziser ausgedrückt: für ein beliebig kleines positives ε: C = R = ε mit ε → 0.

Mit dem Ergebnis der Teilaufgabe (a) lautet die Bestimmungsgleichung:
$${\rm Min}\hspace{0.1cm}[E_{\rm B}/{N_0}] = \lim\limits_{R \hspace{0.05cm}\rightarrow \hspace{0.05cm}0}\frac{2^{2R} - 1} { 2 R} \hspace{0.05cm}. $$
Da hier der Quotient im Grenzübergang R → 0 das Ergebnis &bdquo;0 geteilt durch 0” liefert, ist hier die [https://de.wikipedia.org/wiki/Regel_von_de_l’Hospital|'''l'Hospitalsche Regel'''] anzuwenden: Man differenziert Zähler und Nenner, bildet den Quotienten und setzt schließlich R = 0 ein. Mit x = 2R lautet das Ergebnis:
$${\rm Min}\hspace{0.1cm}[E_{\rm B}/{N_0}] = \lim\limits_{x \hspace{0.05cm}\rightarrow \hspace{0.05cm}0}\frac{2^{x} - 1} { x} = \frac{{\rm ln}\hspace{0.1cm} (2) \cdot 2^{x} } { 1} \hspace{0.05cm}\bigg |_{x=0}
= {\rm ln}\hspace{0.1cm} (2) \hspace{0.15cm}\underline{= 0.693}
\hspace{0.05cm}.$$

'''(3)'''  In logarithmierter Form erhält man:
$${\rm Min}\hspace{0.1cm}[10\cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0})] =
10\cdot {\rm lg} \hspace{0.1cm}(0.693) \hspace{0.15cm}\underline{= -1.59\,{\rm dB}}
\hspace{0.05cm}. $$

'''(4)'''  Der Abszissenwert lautet somit in nichtlogarithmierter Form: EB/N0 = 1. Daraus folgt mit C = R:
$$\frac{2^{2C} - 1} { 2 C} \stackrel{!}{=} 1
\hspace{0.3cm}\Rightarrow\hspace{0.3cm}\underline{C = 0.5}
\hspace{0.05cm}. $$

'''(5)'''  Für R = 1 ist EB = ES. Deshalb gilt:
$$ C(E_{\rm B}/{N_0}) = 1 \hspace{0.3cm}\Longleftrightarrow \hspace{0.3cm}
C(E_{\rm S}/{N_0}) = 1
\hspace{0.05cm}.$$
Aus der Tabelle auf der Angabenseite ist abzulesen:
$$ C(E_{\rm S}/{N_0}) = 1 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}
E_{\rm S}/{N_0} = 1.5 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}
\underline{E_{\rm B}/{N_0} = 1.5}\hspace{0.05cm}.$$
Der dazugehörige dB–Wert ist 10 · lg (EB/N0) = 1.76 dB.

Zum gleichen Ergebnis kommt man mit R = 1 über die Gleichung
$$E_{\rm B}/{N_0} = \frac{2^{2R} - 1} { 2 \cdot R}
= \frac{4 - 1} { 2 } = 1.5 \hspace{0.05cm}.$$
'''(6)'''  Richtig ist der Lösungsvorschlag 2, wie an einem Beispiel gezeigt werden soll.
:* Gesucht ist die Kanalkapazität C für 10 · lg (EB/N0) = 15 dB  ⇒  EB/N0 = 31.62. Dann gilt entsprechend dem Lösungsvorschlag 1 mit x = 2C:
$$31.62 = \frac{2^{x} - 1} { x}
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
31.62 \cdot x = 2^{x} - 1
\hspace{0.05cm}. $$

Die Lösung x = 7.986  ⇒  C = 3.993 (bit/use) kann nur grafisch oder iterativ gefunden werden.

:* Gesucht ist der notwendige Abszissenwert 10 · lg (EB/N0) für die Kapazität C = 4 bit/Symbol:
$$E_{\rm B}/{N_0} = \frac{2^{2C} - 1} { 2 \cdot C}
= \frac{2^8 - 1} { 8 } = 31.875
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
10\cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0}) = 15.03\,{\rm dB}
\hspace{0.05cm}.$$
'''4.'''
'''5.'''
'''6.'''
'''7.'''
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.3 AWGN–Kanalkapazität bei wertdiskretem Eingang^]]

Aufgaben:Exercise 4.8: Numerical Analysis of the AWGN Channel Capacity

2017-04-18T18:06:17Z

Khalil: /* Fragebogen */

Aufgaben:Exercise 4.8: Numerical Analysis of the AWGN Channel Capacity

2017-04-18T17:51:41Z

Khalil:

Aufgaben:Exercise 4.8: Numerical Analysis of the AWGN Channel Capacity

2017-04-18T17:15:12Z

Khalil: Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang }} right| ===Fragebogen=== <quiz display=simple> {…“

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertdiskretem Eingang
}}

[[File:|right|]]

===Fragebogen===

<quiz display=simple>
{Multiple-Choice Frage
|type="[]"}
- Falsch
+ Richtig

{Input-Box Frage
|type="{}"}
$\alpha$ = { 0.3 }

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''1.'''
'''2.'''
'''3.'''
'''4.'''
'''5.'''
'''6.'''
'''7.'''
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.3 AWGN–Kanalkapazität bei wertdiskretem Eingang^]]

Aufgaben:Exercise 4.7Z: About the Water Filling Algorithm

2017-04-05T15:18:48Z

Khalil: Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang }} right| Wir betra…“

Aufgaben:Exercise 4.7: Several Parallel Gaussian Channels

2017-04-05T13:51:29Z

Khalil: /* Musterlösung */

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang
}}

[[File:P_ID2905__Inf_A_4_7_neu.png|right|]]
Die Kanalkapazität des AWGN–Kanals  ⇒  Y = X + N wurde im [http://en.lntwww.de/Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang#Kanalkapazit.C3.A4t_des_AWGN.E2.80.93Kanals '''Theorieteil'''] wie folgt angegeben (mit Zusatz–Einheit &bdquo;bit”)
:
$$C_{\rm AWGN}(P_X) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{P_X}{P_N} \right )\hspace{0.05cm}.$$
Die verwendeten Größen haben folgende Bedeutung:
:* PX</sb> ist die Sendeleistung  ⇒  Varianz der Zufallsgröße X,
:*PN</sb> ist die Störleistung  ⇒  Varianz der Zufallsgröße N.

Werden K identische Gaußkanäle parallel genutzt, so gilt für die Gesamtkapazität:
$$C_K(P_X) = K \cdot C_{\rm AWGN}(P_X/K) \hspace{0.05cm}.$$
Hierbei ist berücksichtigt, dass
:* in jedem Kanal die gleiche Störleistung PN vorliegt,
:* somit jeder Kanal die gleiche Sendeleistung erhält,
:* die Gesamtleistung genau wie im Fall K = 1 gleich PX ist.

In nebenstehender Grafik sind die Signalraumpunkte für einige digitale Modulationsverfahren angegeben:
:* [http://en.lntwww.de/Modulationsverfahren/Lineare_digitale_Modulationsverfahren#ASK_.E2.80.93_Amplitude_Shift_Keying '''Amplitude Shift Keying'''] (ASK)
:*[http://en.lntwww.de/Modulationsverfahren/Lineare_digitale_Modulationsverfahren#BPSK_.E2.80.93_Binary_Phase_Shift_Keying '''Binary Phase Shift Keying'''] (BPSK)
:*[http://en.lntwww.de/Modulationsverfahren/Weitere_AM–Varianten#Quadratur.E2.80.93Amplitudenmodulation '''Quadratur-Amplitudenmodulation'''] (hier: 4-QAM)
:*[http://en.lntwww.de/Modulationsverfahren/Lineare_digitale_Modulationsverfahren#ASK_.E2.80.93_Amplitude_Shift_Keying '''Phase Shift Keying'''] (hier: 8–PSK  ⇒  DVB–2)
:* [http://en.lntwww.de/Modulationsverfahren/Quadratur–Amplitudenmodulation#Weitere_Signalraumkonstellationen '''Kombinierte ASK/PSK-Modulation'''] (hier: 16-ASK/PSK)

Zu Beginn dieser Aufgabe ist zu prüfen, welcher K–Parameter für die einzelnen Verfahren gültig ist.

Hinweis: Die Aufgabe gehört zu [http://en.lntwww.de/Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang '''Kapitel 4.2.''']
===Fragebogen===

<quiz display=simple>

{Welche Parameter K gelten für die folgenden Modulationsverfahren?
|type="{}"}
$ASK: K$ = { 1 3% }
$BPSK: K$ = { 1 3% }
$4-QAM: K$ = { 2 3% }
$8-PSK: K $ = { 2 3% }
$16-ASK/PSK: K $ = { 2 3% }

{Welche Kanalkapazität CK ergibt sich für K gleich gute Kanäle (jeweils mit der Störleistung PN und der Sendeleistung PX/K)?
|type="[]"}
- CK = K/2 · log2 [1 + PX/PN].
+ CK = K/2 · log2 [1 + PX/(K · PN)].
- CK = 1/2 · log2 [1 + PX/PN)].

{Welche Kapazitäten ergeben sich für PX/PN = 15?
|type="{}"}
$PX/PN = 15, K = 1: CK$ = { 2 3% }
$K = 2: CK$ = { 3.087 3% }
$K = 4: CK$ = { 4.496 3% }

{Gibt es bezüglich der Kanalzahl K ein (theoretisches) Optimum?
|type="[]"}
- Ja: Die größte Kanalkapazität ergibt sich für K = 2.
- Ja: Die größte Kanalkapazität ergibt sich für K = 4.
+ Nein: Je größer K, desto größer ist die Kanalkapazität.
- Der Grenzwert für K → ∞ (in bit) ist CK = PX/PN/2/ln(2).

</quiz>

===Musterlösung===
{{ML-Kopf}}
a)  Der Parameter K ist gleich der Dimension der Signalraumdarstellung:
:* Für ASK und BPSK ist K = 1.
:* Für die Konstellationen 3 – 5 gilt K = 2 (orthogonale Modulation mit Cosinus und Sinus).

b)  Für jeden der Kanäle (1 ≤ k ≤ K) beträgt die Kanalkapazität Ck = 1/2 · log2 (1 + (PX/k)/PN). Die Gesamtkapazität ist dann um den Faktor K größer  ⇒  Lösungsvorschlag 2:
$$C_K(P_X) = \sum_{k= 1}^K \hspace{0.1cm}C_k = \frac{K}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{P_X}{K \cdot P_N} \right )\hspace{0.05cm}.$$
Der Lösungsvorschlag 1 ist zu positiv. Dieser würde bei Begrenzung der Gesamtleistung auf K · PX gelten. Der Vorschlag 3 würde dagegen bedeuten, dass man durch die Nutzung mehrerer unabhängiger Kanäle keine Kapazitätssteigerung erreicht, was offensichtlich nicht zutrifft.

c)  Die folgende Tabelle zeigt die Ergebnisse für K = 1, K = 2 und K = 4 und verschiedene Signal–zu–Störleistungsverhältnisse PX/PN.
[[File:P_ID2902__Inf_A_4_7c.png|center|]]

Für PX/PN = 15 (markierte Spalte) ergibt sich:

:* K = 1:   CK = 1/2 · log2 (16) = 2.000 bit,
:* K = 2:   CK = 1 · log2 (8.5) = 3.087 bit,
:* K = 4:   CK = 2 · log2 (4.75) = 4.496 bit.

d)  Schon aus obiger Tabelle ist ersichtlich, dass der erste Lösungsvorschlag falsch sein muss. Richtig sind vielmehr die Lösungsvorschläge 3 und 4, wie die nachfolgende Rechnung zeigt:

:* Wir schreiben die Kanalkapazität mit &bdquo;ln” und der Abkürzung ξ = PX/PN:
$$C_{\rm nat}(\xi, K) = \frac{K}{2} \cdot {\rm ln}\hspace{0.05cm}\left ( 1 + \frac{\xi}{K} \right )\hspace{0.05cm}.$$

:* Für große K–Werte, also für kleine Werte von ε = ξ/K gilt dann:
$${\rm ln}\hspace{0.05cm}\left ( 1 + \varepsilon \right )=
\varepsilon - \frac{\varepsilon^2}{2} + \frac{\varepsilon^3}{3} - ...
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
C_{\rm nat}(\xi, K) = \frac{K}{2} \cdot \left [ \frac{\xi}{K} - \frac{\xi^2}{2K^2} +
\frac{\xi^3}{3K^3} - ... \right ]$$
$$\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
C_{\rm bit}(\xi, K) = \frac{\xi}{2 \cdot {\rm ln}\hspace{0.1cm}(2)} \cdot \left [ 1 - \frac{\xi}{2K} +
\frac{\xi^2}{3K^2} -\frac{\xi^3}{4K^3} +
\frac{\xi^4}{5K^4} - ... \right ] \hspace{0.05cm}.$$
:* Für K → ∞ ergibt sich der vorgeschlagene Wert:
$$C_{\rm bit}(\xi, K \rightarrow\infty) = \frac{\xi}{2 \cdot {\rm ln}\hspace{0.1cm}(2)} =
\frac{P_X/P_N}{2 \cdot {\rm ln}\hspace{0.1cm}(2)} \hspace{0.05cm}.$$
:* Für kleinere Werte von K ergibt sich stets ein kleinerer C–Wert, da
$$\frac{\xi}{2K} > \frac{\xi^2}{3K^2}\hspace{0.05cm}, \hspace{0.5cm}
\frac{\xi^3}{4K^3} > \frac{\xi^4}{5K^4} \hspace{0.05cm}, \hspace{0.5cm} {\rm usw.}$$
Die letzte Zeile der Tabelle zur Teilaufgabe (c) zeigt, dass man für große ξ–Werte mit K = 4 noch weit vom theoretischen Maximum (für K → ∞) entfernt ist.

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.2 AWGN–Kanalkapazität bei wertkontinuierlichem Eingang^]]

Aufgaben:Exercise 4.7: Several Parallel Gaussian Channels

2017-04-05T13:28:25Z

Khalil: /* Fragebogen */

Aufgaben:Exercise 4.7: Several Parallel Gaussian Channels

2017-04-05T13:12:02Z

Khalil: Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang }} right| Die Kanal…“

Aufgaben:Exercise 4.6: AWGN Channel Capacity

2017-04-05T11:15:44Z

Khalil:

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang
}}

[[File:P_ID2899__Inf_A_4_6.png|right|]]
Wir gehen vom [http://en.lntwww.de/Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang#Kanalkapazit.C3.A4t_des_AWGN.E2.80.93Kanals '''AWGN-Kanalmodell'''] aus:
:* ''X'' kennzeichnet den Eingang (Sender).
:*''N'' steht für eine gaußverteilte Störung.
:*Y = X + N beschreibt den Ausgang (Empfänger) bei additiver Störung.

Für die Wahrscheinlichkeitsdichtefunktion der Störung gelte:
$$f_N(n) = \frac{1}{\sqrt{2\pi \sigma_N^2}} \cdot {\rm exp}\left [
- \hspace{0.05cm}\frac{n^2}{2 \sigma_N^2} \right ] \hspace{0.05cm}.$$
Da die Zufallsgröße N mittelwertfrei ist  ⇒  mN = 0, kann man die Varianz σN2 mit der Leistung PN gleichsetzen. In diesem Fall ist die differentielle Entropie der Zufallsgröße N wie folgt angebbar (mit Pseudo–Einheit &bdquo;bit”):
$$h(N) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 2\pi {\rm e} \cdot P_N \right )\hspace{0.05cm}.$$
In dieser Aufgabe wird PN = 1 mW vorgegeben. Dabei ist zu beachten:

:* Die Leistung PN in obiger Gleichung muss wie die Varianz σN2 dimensionslos sein.

:* Um mit dieser Gleichung arbeiten zu können, muss die physikalische Größe PN geeignet normiert werden, zum Beispiel entsprechend PN = 1 mW  ⇒  P'N = 1.

:* Bei anderer Normierung, beispielsweise PN = 1 mW  ⇒  P'N = 0.001 ergäbe sich für h(N) ein völlig anderer Zahlenwert.

Weiter können Sie bei der Lösung dieser Aufgabe berücksichtigen:

:* Die Kanalkapazität ist definiert als die maximale Transinformation zwischen Eingang X und Ausgang Y bei bestmöglicher Eingangsverteilung:
$$C = \max_{\hspace{-0.15cm}f_X:\hspace{0.05cm} {\rm E}[X^2] \le P_X} \hspace{-0.2cm} I(X;Y)
\hspace{0.05cm}.$$

:*Die Kanalkapazität des AWGN–Kanals lautet:
$$C_{\rm AWGN} = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{P_X}{P_N} \right )
= {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{P\hspace{0.05cm}'_{\hspace{-0.05cm}X}}{P\hspace{0.05cm}'_{\hspace{-0.05cm}N}} \right )\hspace{0.05cm}.$$
Daraus ist ersichtlich, dass die die Kanalkapazität C und auch die Transinformation I(X; Y) im Gegensatz zu den differentiellen Entropien unabhängig von obiger Normierung ist.

:* Bei gaußförmiger Stör–WDF fN(n) führt eine ebenfalls gaußförmige Eingangs–WDF fX(x) zur maximalen Transinformation und damit zur Kanalkapazität.

'''Hinweis:''' Die Aufgabe gehört zum Themengebiet von [http://en.lntwww.de/Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang '''Kapitel 4.2.''']

===Fragebogen===

<quiz display=simple>

{Welche Sendeleistung ist für C = 2 bit erforderlich?
|type="{}"}
$C = 2 bit: PX$ = { 15 3% }

{Unter welchen Voraussetzungen ist I(X; Y) = 2 bit überhaupt erreichbar?
|type="[]"}
+ PX ist wie unter (a) ermittelt oder größer.
+ Die Zufallsgröße X ist gaußverteilt.
+ Die Zufallsgröße X ist mittelwertfrei.
+ Die Zufallsgrößen X und N sind unkorreliert.
- Die Zufallsgrößen X und Y sind unkorreliert.

{Berechnen Sie die differentiellen Entropien der Zufallsgrößen N, X und Y bei geeigneter Normierung, zum Beispiel PN = 1 mW  ⇒  P′N = 1.
|type="{}"}
$h(N)$ = { 2.047 3% }
$h(X)$ = { 4 3% }
$h(Y)$ = { 4.047 3% }

{Wie lauten die weiteren informationstheoretischen Beschreibungsgrößen?
|type="{}"}
$h(Y|X)$ = { 2.047 3% }
$h(X|Y)$ = { 2 3% }
$h(XY)$ = { 6.047 3% }

{Welche Größen ergäben sich bei gleichem PX  im Grenzfall P′N  →  0?
|type="{}"}
$h(X)$ = { 4 3% }
$h(Y)$ = { 4 3% }
$h(Y|X)$ = { 0 3% }
$h(X|Y)$ = { 0 3% }
$I(X;Y)$ = { 4 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
a)  Die Gleichung für die AWGN–Kanalkapazität in &bdquo;bit” lautet:
$$C_{\rm bit} = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{P_X}{P_N} \right )\hspace{0.05cm}.$$
Mit Cbit = 2 ergibt sich daraus:
$$4 \stackrel{!}{=} {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{P_X}{P_N} \right )
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} 1 + \frac{P_X}{P_N} \stackrel {!}{=} 2^4 = 16
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} P_X = 15 \cdot P_N
\hspace{0.15cm}\underline{= 15\,{\rm mW}}
\hspace{0.05cm}. $$
b)  Richtig sind die Lösungsvorschläge 1 bis 4. Begründung:
:* Für PX < 15 mW wird die Transinformation I(X; Y) stets kleiner als 2 bit sein, unabhängig von allen anderen Gegebenheiten.
:* Mit PX = 15 mW ist die maximale Transinformation I(X; Y) = 2 bit nur erreichbar, wenn die Eingangsgröße X gaußverteilt ist. Die Ausgangsgröße Y ist dann ebenfalls gaußverteilt.
:* Weist die Zufallsgröße X einen Gleichanteil mX auf, so ist die Varianz σX2 = PX – mX2 bei gegebenem PX  kleiner, und es gilt I(X;Y) = 1/2 · log2 (1 + σX2/PN) < 2 bit.
:* Voraussetzung für die gegebene Kanalkapazitätsgleichung ist, dass X und N unkorreliert sind. Wären dagegen die Zufallsgrößen X und Y unkorreliert, so ergäbe sich I(X; Y) = 0.
c)  Die angegebene Gleichung für die differentielle Entropie macht nur bei dimensionsloser Leistung Sinn. Mit der vorgeschlagenen Normierung erhält man:
[[File: P_ID2901__Inf_A_4_6c.png |right|]]
:* PN = 1 mW  ⇒  P'N = 1:
$$h(N) \ = \ {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 2\pi {\rm e} \cdot 1 \right ) $$ $$
= \ {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 17.08 \right )
\hspace{0.15cm}\underline{= 2.047\,{\rm bit}}\hspace{0.05cm},$$
:*PX = 15 mW  ⇒  P′X = 15:
$$h(X) \ = \ {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 2\pi {\rm e} \cdot 15 \right ) $$
$$ = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 2\pi {\rm e} \right ) +
{1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left (15 \right ) $$
$$ = \ 2.047\,{\rm bit} + 1.953\,{\rm bit}
\hspace{0.15cm}\underline{= 4.000\,{\rm bit}}\hspace{0.05cm}, $$
:* PY = PX + PN = 16 mW  ⇒  P′Y = 16:
$$h(Y) = 2.047\,{\rm bit} + 2.000\,{\rm bit}
\hspace{0.15cm}\underline{= 4.047\,{\rm bit}}\hspace{0.05cm}.$$
d)  Für die differentielle Irrelevanz gilt beim AWGN–Kanal:
$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) = h(N) \hspace{0.15cm}\underline{= 2.047\,{\rm bit}}\hspace{0.05cm}.$$
Entsprechend nebenstehender Grafik gilt aber auch:
$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) = h(Y) - I(X;Y) = 4.047 \,{\rm bit} - 2 \,{\rm bit} \hspace{0.15cm}\underline{= 2.047\,{\rm bit}}\hspace{0.05cm}. $$
Entsprechend kann die differentielle Äquivokation wie folgt berechnet werden:
$$h(X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y) = h(X) - I(X;Y) = 4.000 \,{\rm bit} - 2 \,{\rm bit} \hspace{0.15cm}\underline{= 2.000\,{\rm bit}}\hspace{0.05cm}.$$
Abschließend wird auch noch die differentielle Verbundentropie angegeben, die aus obigem Schaubild nicht direkt ablesbar ist:
$$h(XY) = h(X) + h(Y) - I(X;Y) = 4.000 \,{\rm bit} + 4.047 \,{\rm bit} - 2 \,{\rm bit} \hspace{0.15cm}\underline{= 6.047\,{\rm bit}}\hspace{0.05cm}.$$
[[File: P_ID2900__Inf_A_4_6e.png |right|]]
e)  Bei einem idealen Kanal erhält man mit h(X) = 4 bit:
$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) \ = \ h(N) \hspace{0.15cm}\underline{= 0\,{\rm (bit)}}\hspace{0.05cm},$$ $$
h(Y) \ = \ h(X) \hspace{0.15cm}\underline{= 4\,{\rm bit}}\hspace{0.05cm},$$ $$
I(X;Y) \ = \ h(Y) - h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X)\hspace{0.15cm}\underline{= 4\,{\rm bit}}\hspace{0.05cm},$$ $$
h(X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y) \ = \ h(X) - I(X;Y)\hspace{0.15cm}\underline{= 0\,{\rm (bit)}}\hspace{0.05cm}.$$
Die Grafik zeigt diese Größen in einem Flussdiagramm.

 
Das gleiche Diagramm ergäbe sich auch im wertdiskreten Fall mit M = 16 gleichwahrscheinlichen Symbolen  ⇒  H(X) = 4 bit. Man müsste nur jedes &bdquo;h” durch ein &bdquo;H” ersetzen.
 

x
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.2 AWGN–Kanalkapazität bei wertkontinuierlichem Eingang^]]

Aufgaben:Exercise 4.6: AWGN Channel Capacity

2017-04-05T10:50:29Z

Khalil: /* Musterlösung */

Aufgaben:Exercise 4.6: AWGN Channel Capacity

2017-04-04T16:02:55Z

Khalil: /* Fragebogen */

Aufgaben:Exercise 4.6: AWGN Channel Capacity

2017-04-04T15:37:37Z

Khalil: Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang }} right| Wir gehen vom…“

Aufgaben:Exercise 4.5Z: Again Mutual Information

2017-04-04T15:10:07Z

Khalil:

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang
}}

[[File:P_ID2893__Inf_Z_4_5.png|right|]]
Die Grafik zeigt oben die in dieser Aufgabe zu betrachtende Verbund–WDF fXY(x, y), die identisch ist mit der &bdquo;grünen” Konstellation in
[http://en.lntwww.de/Aufgaben:4.05_I(X;_Y)_aus_fXY(x,_y) '''Aufgabe A4.5.'''] Die Skizze ist in der y–Richtung um den Faktor 3 vergrößert. Im grün hinterlegten Definitionsgebiet ist die Verbund–WDF konstant gleich C = 1/F, wobei F die Fläche des Parallelogramms angibt.

In der Aufgabe A4.5 wurden folgende differentielle Entropien berechnet:
$$h(X) \ = \ {\rm log} \hspace{0.1cm} (\hspace{0.05cm}A\hspace{0.05cm})\hspace{0.05cm},$$
$$h(Y) = {\rm log} \hspace{0.1cm} (\hspace{0.05cm}B \cdot \sqrt{ {\rm e } } \hspace{0.05cm})\hspace{0.05cm},$$
$$h(XY) = {\rm log} \hspace{0.1cm} (\hspace{0.05cm}F \hspace{0.05cm}) = {\rm log} \hspace{0.1cm} (\hspace{0.05cm}A \cdot B \hspace{0.05cm})\hspace{0.05cm}.$$
In dieser Aufgabe sind nun die speziellen Parameterwerte A = e–2 und B = e0.5 zu verwenden. Außerdem ist zu beachten:
:* Bei Verwendung des natürlichen Logarithmus &bdquo;ln” ist die Pseudo–Einheit &bdquo;nat” anzufügen.
:* Verwendet man den Logarithmus dualis ⇒ &bdquo;log2”, so ergeben sich alle Größen in &bdquo;bit”.

Entsprechend dem obigen Schaubild sollen nun auch die bedingten differentiellen Entropien h(Y|X) und h(X|Y) ermittelt und deren Bezug zur Transinformation I(X;Y) angegeben werden.

'''Hinweis:''' Die Aufgabe gehört zum Themengebiet von [http://en.lntwww.de/Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang '''Kapitel 4.2.''']

===Fragebogen===

<quiz display=simple>

{Geben Sie die folgenden informationstheoretischen Größen in &bdquo;nat” an:
|type="{}"}
$h(X)$ = { 2 3% }
$h(Y)$ = { 2 3% }
$h(XY)$ = { 1.5 3% }
$I(X;Y)$ = { 0.5 3% }

{Wie lauten die gleichen Größen mit der Pseudo–Einheit &bdquo;bit”?
|type="{}"}
$h(X)$ = { 2.886 3% }
$h(Y)$ = { 1.443 3% }
$h(XY)$ = { 2.164 3% }
$I(X;Y)$ = { 0.721 3% }

{Berechnen Sie die bedingte differentielle Entropie h(Y|X).
|type="{}"}
$h(Y|X)$ = { 0.5 3% }
$h(Y|X)$ = { 0.721 3% }

{Berechnen Sie die bedingte differentielle Entropie h(X|Y).
|type="{}"}
$h(X|Y)$ = { 2.5 3% }
$h(X|Y)$ = { 3.607 3% }

{Welche der folgenden Größen sind niemals negativ?
|type="[]"}
+ Sowohl H(X) als auch H(Y) im wertdiskreten Fall.
+ Die Transinformation I(X; Y) im wertdiskreten Fall.
+ Die Transinformation I(X; Y) im wertkontinuierlichen Fall.
- Sowohl h(X) als auch h(Y) im wertkontinuierlichen Fall.
- Sowohl h(X|Y) als auch h(Y|X) im wertkontinuierlichen Fall.
- Die Verbundentropie h(XY) im wertkontinuierlichen Fall.

</quiz>

===Musterlösung===
{{ML-Kopf}}
a)  Hier bietet sich die Verwendung des natürlichen Logarithmus an:
:*Die Zufallsgröße X ist gleichverteilt zwischen 0 und 1/e2 = e–2:
$$h(X) = {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}{\rm e}^{-2}\hspace{0.05cm})
\hspace{0.15cm}\underline{= -2\,{\rm nat}}\hspace{0.05cm}. $$
:*Die Zufallsgröße Y ist dreieckverteilt zwischen ±e0.5:
$$h(Y) = {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}\sqrt{ {\rm e} } \cdot \sqrt{ {\rm e} } )
= {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}{ { \rm e } }
\hspace{0.05cm})
\hspace{0.15cm}\underline{= +1\,{\rm nat}}\hspace{0.05cm}.$$
:* Die Fläche des Parallelogramms ergibt sich zu
$$F = A \cdot B = {\rm e}^{-2} \cdot {\rm e}^{0.5} = {\rm e}^{-1.5}\hspace{0.05cm}.$$
Damit hat die 2D–WDF im grün hinterlegten Bereich die konstante Höhe C = 1/F = e1.5 und man erhält für die Verbundentropie:
$$h(XY) = {\rm ln} \hspace{0.1cm} (F)
= {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}{\rm e}^{-1.5}\hspace{0.05cm})
\hspace{0.15cm}\underline{= -1.5\,{\rm nat}}\hspace{0.05cm}.$$
Daraus ergibt sich für die Transinformation:
$$I(X;Y) = h(X) + h(Y) - h(XY) = -2 \,{\rm nat} + 1 \,{\rm nat} - (-1.5 \,{\rm nat} ) \hspace{0.15cm}\underline{= 0.5\,{\rm nat}}\hspace{0.05cm}.$$
b)  Allgemein gilt der Zusammenhang log2(x) = ln(x)/ln(2).
$$h(X) \ = \ \frac{-2\,{\rm nat}}{0.693\,{\rm nat/bit}}\hspace{0.35cm}\underline{= -2.886\,{\rm bit}}\hspace{0.05cm},$$
$$h(Y) \ = \ \frac{+1\,{\rm nat}}{0.693\,{\rm nat/bit}}\hspace{0.35cm}\underline{= +1.443\,{\rm bit}}\hspace{0.05cm},$$
$$h(XY) \ = \ \frac{-1.5\,{\rm nat}}{0.693\,{\rm nat/bit}}\hspace{0.35cm}\underline{= -2.164\,{\rm bit}}\hspace{0.05cm},$$
$$I(X;Y) \ = \ \frac{0.5\,{\rm nat}}{0.693\,{\rm nat/bit}}\hspace{0.35cm}\underline{= 0.721\,{\rm bit}}\hspace{0.05cm}.$$
Oder auch:
$$I(X;Y) = -2.886 \,{\rm bit} + 1.443 \,{\rm bit}+ 2.164 \,{\rm bit}{= 0.721\,{\rm bit}}\hspace{0.05cm}.$$
c)  Die Transinformation kann auch in der Form I(X; Y) = h(Y) – h(Y|X) geschrieben werden:
$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) = h(Y) - I(X;Y) = 1 \,{\rm nat} - 0.5 \,{\rm nat} \hspace{0.15cm}\underline{= 0.5\,{\rm nat}= 0.721\,{\rm bit}}\hspace{0.05cm}.$$
d)  Für die differentielle Rückschlussentropie gilt entsprechend:
$$h(X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y) = h(X) - I(X;Y) = -2 \,{\rm nat} - 0.5 \,{\rm nat} \hspace{0.15cm}\underline{= -2.5\,{\rm nat}= -3.607\,{\rm bit}}\hspace{0.05cm}.$$
Alle hier berechneten Größen sind in der Grafik am Seitenende zusammengestellt. Pfeile nach oben kennzeichnen einen positiven Beitrag, Pfeile nach unten einen negativen.

e)  Richtig sind die Lösungsvorschläge 1 bis 3. Nochmals zur Verdeutlichung:
:* Für die Transinformation gilt stets I(X; Y) ≥ 0.
:* Im wertdiskreten Fall gibt es keine negative Entropie, jedoch im wertkontinuierlichen.
[[File: P_ID2898__Inf_Z_4_5d.png |center|]]

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.2 AWGN–Kanalkapazität bei wertkontinuierlichem Eingang^]]

Aufgaben:Exercise 4.5Z: Again Mutual Information

2017-04-04T15:08:02Z

Khalil: /* Musterlösung */

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang
}}

[[File:P_ID2893__Inf_Z_4_5.png|right|]]
Die Grafik zeigt oben die in dieser Aufgabe zu betrachtende Verbund–WDF fXY(x, y), die identisch ist mit der &bdquo;grünen” Konstellation in
[http://en.lntwww.de/Aufgaben:4.05_I(X;_Y)_aus_fXY(x,_y) '''Aufgabe A4.5.'''] Die Skizze ist in der y–Richtung um den Faktor 3 vergrößert. Im grün hinterlegten Definitionsgebiet ist die Verbund–WDF konstant gleich C = 1/F, wobei F die Fläche des Parallelogramms angibt.

In der Aufgabe A4.5 wurden folgende differentielle Entropien berechnet:
$$h(X) \ = \ {\rm log} \hspace{0.1cm} (\hspace{0.05cm}A\hspace{0.05cm})\hspace{0.05cm},$$
$$h(Y) = {\rm log} \hspace{0.1cm} (\hspace{0.05cm}B \cdot \sqrt{ {\rm e } } \hspace{0.05cm})\hspace{0.05cm},$$
$$h(XY) = {\rm log} \hspace{0.1cm} (\hspace{0.05cm}F \hspace{0.05cm}) = {\rm log} \hspace{0.1cm} (\hspace{0.05cm}A \cdot B \hspace{0.05cm})\hspace{0.05cm}.$$
In dieser Aufgabe sind nun die speziellen Parameterwerte A = e–2 und B = e0.5 zu verwenden. Außerdem ist zu beachten:
:* Bei Verwendung des natürlichen Logarithmus &bdquo;ln” ist die Pseudo–Einheit &bdquo;nat” anzufügen.
:* Verwendet man den Logarithmus dualis ⇒ &bdquo;log2”, so ergeben sich alle Größen in &bdquo;bit”.

Entsprechend dem obigen Schaubild sollen nun auch die bedingten differentiellen Entropien h(Y|X) und h(X|Y) ermittelt und deren Bezug zur Transinformation I(X;Y) angegeben werden.

'''Hinweis:''' Die Aufgabe gehört zum Themengebiet von [http://en.lntwww.de/Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang '''Kapitel 4.2.''']

===Fragebogen===

<quiz display=simple>

{Geben Sie die folgenden informationstheoretischen Größen in &bdquo;nat” an:
|type="{}"}
$h(X)$ = { 2 3% }
$h(Y)$ = { 2 3% }
$h(XY)$ = { 1.5 3% }
$I(X;Y)$ = { 0.5 3% }

{Wie lauten die gleichen Größen mit der Pseudo–Einheit &bdquo;bit”?
|type="{}"}
$h(X)$ = { 2.886 3% }
$h(Y)$ = { 1.443 3% }
$h(XY)$ = { 2.164 3% }
$I(X;Y)$ = { 0.721 3% }

{Berechnen Sie die bedingte differentielle Entropie h(Y|X).
|type="{}"}
$h(Y|X)$ = { 0.5 3% }
$h(Y|X)$ = { 0.721 3% }

{Berechnen Sie die bedingte differentielle Entropie h(X|Y).
|type="{}"}
$h(X|Y)$ = { 2.5 3% }
$h(X|Y)$ = { 3.607 3% }

{Welche der folgenden Größen sind niemals negativ?
|type="[]"}
+ Sowohl H(X) als auch H(Y) im wertdiskreten Fall.
+ Die Transinformation I(X; Y) im wertdiskreten Fall.
+ Die Transinformation I(X; Y) im wertkontinuierlichen Fall.
- Sowohl h(X) als auch h(Y) im wertkontinuierlichen Fall.
- Sowohl h(X|Y) als auch h(Y|X) im wertkontinuierlichen Fall.
- Die Verbundentropie h(XY) im wertkontinuierlichen Fall.

</quiz>

===Musterlösung===
{{ML-Kopf}}
a)  Hier bietet sich die Verwendung des natürlichen Logarithmus an:
:*Die Zufallsgröße X ist gleichverteilt zwischen 0 und 1/e2 = e–2:
$$h(X) = {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}{\rm e}^{-2}\hspace{0.05cm})
\hspace{0.15cm}\underline{= -2\,{\rm nat}}\hspace{0.05cm}. $$
:*Die Zufallsgröße Y ist dreieckverteilt zwischen ±e0.5:
$$h(Y) = {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}\sqrt{ {\rm e} } \cdot \sqrt{ {\rm e} } )
= {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}{ { \rm e } }
\hspace{0.05cm})
\hspace{0.15cm}\underline{= +1\,{\rm nat}}\hspace{0.05cm}.$$
:* Die Fläche des Parallelogramms ergibt sich zu
$$F = A \cdot B = {\rm e}^{-2} \cdot {\rm e}^{0.5} = {\rm e}^{-1.5}\hspace{0.05cm}.$$
Damit hat die 2D–WDF im grün hinterlegten Bereich die konstante Höhe C = 1/F = e1.5 und man erhält für die Verbundentropie:
$$h(XY) = {\rm ln} \hspace{0.1cm} (F)
= {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}{\rm e}^{-1.5}\hspace{0.05cm})
\hspace{0.15cm}\underline{= -1.5\,{\rm nat}}\hspace{0.05cm}.$$
Daraus ergibt sich für die Transinformation:
$$I(X;Y) = h(X) + h(Y) - h(XY) = -2 \,{\rm nat} + 1 \,{\rm nat} - (-1.5 \,{\rm nat} ) \hspace{0.15cm}\underline{= 0.5\,{\rm nat}}\hspace{0.05cm}.$$
b)  Allgemein gilt der Zusammenhang log2(x) = ln(x)/ln(2).
$$h(X) \ = \ \frac{-2\,{\rm nat}}{0.693\,{\rm nat/bit}}\hspace{0.35cm}\underline{= -2.886\,{\rm bit}}\hspace{0.05cm},$$
$$h(Y) \ = \ \frac{+1\,{\rm nat}}{0.693\,{\rm nat/bit}}\hspace{0.35cm}\underline{= +1.443\,{\rm bit}}\hspace{0.05cm},$$
$$h(XY) \ = \ \frac{-1.5\,{\rm nat}}{0.693\,{\rm nat/bit}}\hspace{0.35cm}\underline{= -2.164\,{\rm bit}}\hspace{0.05cm},$$
$$I(X;Y) \ = \ \frac{0.5\,{\rm nat}}{0.693\,{\rm nat/bit}}\hspace{0.35cm}\underline{= 0.721\,{\rm bit}}\hspace{0.05cm}.$$
Oder auch:
$$I(X;Y) = -2.886 \,{\rm bit} + 1.443 \,{\rm bit}+ 2.164 \,{\rm bit}{= 0.721\,{\rm bit}}\hspace{0.05cm}.$$
c)  Die Transinformation kann auch in der Form I(X; Y) = h(Y) – h(Y|X) geschrieben werden:
$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) = h(Y) - I(X;Y) = 1 \,{\rm nat} - 0.5 \,{\rm nat} \hspace{0.15cm}\underline{= 0.5\,{\rm nat}= 0.721\,{\rm bit}}\hspace{0.05cm}.$$
d)  Für die differentielle Rückschlussentropie gilt entsprechend:
$$h(X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y) = h(X) - I(X;Y) = -2 \,{\rm nat} - 0.5 \,{\rm nat} \hspace{0.15cm}\underline{= -2.5\,{\rm nat}= -3.607\,{\rm bit}}\hspace{0.05cm}.$$
Alle hier berechneten Größen sind in der Grafik am Seitenende zusammengestellt. Pfeile nach oben kennzeichnen einen positiven Beitrag, Pfeile nach unten einen negativen.

e)  Richtig sind die Lösungsvorschläge 1 bis 3. Nochmals zur Verdeutlichung:
:* Für die Transinformation gilt stets I(X; Y) ≥ 0.
:* Im wertdiskreten Fall gibt es keine negative Entropie, jedoch im wertkontinuierlichen.
'''4.'''
'''5.'''
'''6.'''
'''7.'''
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.2 AWGN–Kanalkapazität bei wertkontinuierlichem Eingang^]]

Aufgaben:Exercise 4.5Z: Again Mutual Information

2017-04-04T14:31:38Z

Khalil: Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang }} right| Die Grafik ze…“

Aufgaben:Exercise 4.5: Mutual Information from 2D-PDF

2017-04-04T13:48:32Z

Khalil: /* Musterlösung */

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang
}}

[[File:P_ID2886__Inf_A_4_5_neu.png|right|]]
Vorgegeben sind hier die drei unterschiedlichen 2D–Gebiete fXY(x, y), die in der Aufgabe nach ihren Füllfarben mit
:* '''rote''' Verbund-WDF
:* '''blaue''' Verbund-WDF
:* '''grüne''' Verbund-WDF

bezeichnet werden. In den dargestellten Gebieten gelte jeweils fXY(x, y) = C = const.

Die Transinformation zwischen den wertkontinuierlichen Zufallsgrößen X und Y kann unter anderem nach folgender Gleichung berechnet werden:
$$I(X;Y) = h(X) + h(Y) - h(XY)\hspace{0.05cm}.$$

Für die hier verwendeten differentiellen Entropien gelten die folgenden Gleichungen:
$$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_X)} \hspace{-0.55cm} f_X(x) \cdot {\rm log} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x
\hspace{0.05cm},$$
$$h(Y) = -\hspace{-0.7cm} \int\limits_{y \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_Y)} \hspace{-0.55cm} f_Y(y) \cdot {\rm log} \hspace{0.1cm} [f_Y(y)] \hspace{0.1cm}{\rm d}y
\hspace{0.05cm},$$
$$h(XY) = \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{XY}\hspace{-0.08cm})}
\hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} [ f_{XY}(x, y) ]
\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\hspace{0.05cm}.$$
Für die beiden Randwahrscheinlichkeitsdichtefunktionen gilt dabei:
$$f_X(x) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{Y}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y)
\hspace{0.15cm}{\rm d}y\hspace{0.05cm},\hspace{0.8cm}
f_Y(y) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{X}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y)
\hspace{0.15cm}{\rm d}x\hspace{0.05cm}.$$
'''Hinweis:''' Die Aufgabe gehört zum Themengebiet von [http://en.lntwww.de/Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang '''Kapitel 4.2.'''] Gegeben seien zudem folgende differentielle Entropien:
:* Ist X dreieckverteilt zwischen xmin und xmax, so gilt:
$$h(X) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}\sqrt{ e} \cdot (x_{\rm max} - x_{\rm min})/2\hspace{0.05cm}]\hspace{0.05cm}.$$
:* Ist Y gleichverteilt zwischen ymin und ymax, so gilt:
$$h(Y) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}y_{\rm max} - y_{\rm min}\hspace{0.05cm}]\hspace{0.05cm}.$$
:*Alle Ergebnisse sollen in &bdquo;bit” angegeben werden. Dies erreicht man mit &bdquo;log”  ⇒  &bdquo;log2”.
===Fragebogen===

<quiz display=simple>

{Wie groß ist die Transinformation der roten Verbund-WDF?
|type="{}"}
$rote Verbund–WDF: I(X; Y)$ = { 0 3% }

{Wie groß ist die Transinformation der blauen Verbund-WDF?
|type="{}"}
$blaue Verbund–WDF: I(X; Y)$ = { 0.721 3% }

{Wie groß ist die Transinformation der grünen Verbund-WDF?
|type="{}"}
$grüne Verbund–WDF: I(X; Y)$ = { 0.721 3% }

{Welche Voraussetzungen müssen die Zufallsgrößen X und Y gleichzeitig erfüllen, damit allgemein I(X; Y) = 1/2 · log (e) gilt:
|type="[]"}
+ Die Verbund-WDF ''fXY''(''x'', ''y'') ergibt ein Parallelogramm.
+ Eine der Zufallsgrößen (''X'' oder ''Y'') ist gleichverteilt.
+ Die andere Zufallsgröße (''Y'' oder ''X'') ist dreieckverteilt.

</quiz>

===Musterlösung===
{{ML-Kopf}}
[[File:P_ID2887__Inf_A_4_5a.png|right|]]
a)  Bei der rechteckförmigen Verbund–WDF fXY(x, y) gibt es zwischen X und Y keine statistischen Bindungen  ⇒  I(X; Y) = 0.

Formal lässt sich dieses Ergebnis mit der folgenden Gleichung nachweisen:

$$I(X;Y) = h(X) \hspace{-0.05cm}+\hspace{-0.05cm} h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(XY)\hspace{0.02cm}.$$
Die rote Fläche 2D–WDF fXY(x, y) ist F = 4. Da fXY(x, y) in diesem Gebiet konstant ist und das Volumen unter fXY(x, y) gleich 1 sein muss, gilt C = 1/F = 1/4. Daraus folgt für die differentielle Verbundentropie in &bdquo;bit”:
$$h(XY) \ = \ \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}
\hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log}_2 \hspace{0.1cm} [ f_{XY}(x, y) ]
\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\\
= \ {\rm log}_2 \hspace{0.1cm} (4) \cdot \hspace{0.02cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}
\hspace{-0.6cm} f_{XY}(x, y)
\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y = 2 \,{\rm bit}\hspace{0.05cm}.$$
Es ist berücksichtigt, das das Doppelintegral gleich 1 ist. Die Pseudo–Einheit &bdquo;bit” korrespondiert mit dem Logarithmus dualis  ⇒  &bdquo;log2”. Weiterhin gilt:
:* Die beiden Randwahrscheinlichkeitsdichtefunktionen ''fX''(''x'') und ''fY''(''y'') sind jeweils rechteckförmig ⇒ Gleichverteilung zwischen 0 und 2:
$$h(X) = h(Y) = {\rm log}_2 \hspace{0.1cm} (2) = 1 \,{\rm bit}\hspace{0.05cm}.$$
:* Setzt man diese Ergebnisse in die obige Gleichung ein, so erhält man:
$$I(X;Y) = h(X) + h(Y) - h(XY) = 1 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit} = 0 \,{\rm (bit)}
\hspace{0.05cm}.$$
[[File:P_ID2888__Inf_A_4_5b_neu.png|right|]]
b)  Auch bei diesem Parallelogramm ergibt sich F = 4, C = 1/4 sowie h(XY) = 2 bit. Die Zufallsgröße Y ist hier wie in der Teilaufgabe (a) zwischen 0 und 2 gleichverteilt. Somit gilt weiter h(Y) = 1 bit.

Dagegen ist X dreieckverteilt zwischen 0 und 4 (mit Maximum bei 2). Es ergibt sich hierfür die gleiche differentielle Entropie h(Y) wie bei einer symmetrischen Dreieckverteilung im Bereich zwischen ±2 (siehe Angabenblatt):
$$h(X) = {\rm log}_2 \hspace{0.1cm} [\hspace{0.05cm}2 \cdot \sqrt{ e} \hspace{0.05cm}]
= 1.721 \,{\rm bit}$$
$$\Rightarrow \hspace{0.3cm} I(X;Y) = 1.721 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit}\hspace{0.05cm}\underline{ = 0.721 \,{\rm (bit)}}
\hspace{0.05cm}.$$
[[File:P_ID2889__Inf_A_4_5c_neu.png|right|]]
c)  Bei den grünen Gegebenheiten berechnet sich die Verbundentropie wie folgt:
$$F = A \cdot B \hspace{0.3cm} \Rightarrow \hspace{0.3cm} C = \frac{1}{A \cdot B}
\hspace{0.05cm}$$
$$\Rightarrow \hspace{0.3cm} h(XY) = {\rm log}_2 \hspace{0.1cm} (A \cdot B)
\hspace{0.05cm}.$$
Die Zufallsgröße Y ist nun zwischen 0 und A gleichverteilt und die Zufallsgröße X ist zwischen 0 und B dreieckverteilt:
$$h(X) \ = \ {\rm log}_2 \hspace{0.1cm} (B \cdot \sqrt{ e})
\hspace{0.05cm},$$ $$
h(Y) \ = \ {\rm log}_2 \hspace{0.1cm} (A)\hspace{0.05cm}.$$
[[File: P_ID2890__Inf_A_4_5d.png |right|]]
Damit ergibt sich für die Transinformation zwischen X und Y:
$$I(X;Y) \ = {\rm log}_2 \hspace{0.1cm} (B \cdot \sqrt{ {\rm e}}) + {\rm log}_2 \hspace{0.1cm} (A) - {\rm log}_2 \hspace{0.1cm} (A \cdot B)$$
$$ = \ {\rm log}_2 \hspace{0.1cm} \frac{B \cdot \sqrt{ {\rm e}} \cdot A}{A \cdot B} = {\rm log}_2 \hspace{0.1cm} (\sqrt{ {\rm e}})\hspace{0.15cm}\underline{= 0.721\,{\rm bit}}
\hspace{0.05cm}.$$
I(X; Y) ist somit unabhängig von den WDF–Parametern A und B.
 
d)  Alle genannten Voraussetzungen sind erforderlich. Allerdings sind nicht für jedes Parallelogramm die Forderungen 2 und 3 zu erfüllen. Nebenstehende Grafik zeigt zwei solche Konstellationen, wobei nun die Zufallsgröße X jeweils gleichverteilt ist zwischen 0 und 1.
:* Bei der oberen Grafik liegen die beiden eingezeichneten Punkte auf einer Höhe  ⇒  fY(y) ist dreieckverteilt  ⇒  I(X; Y) = 0.721 bit.
:*Die untere Verbund–WDF besitzt eine andere Transinformation, da die beiden Punkte nicht auf gleicher Höhe liegen  ⇒  die WDF fY(y) hat hier eine Trapezform. Gefühlsmäßig tippe ich auf I(X; Y) < 0.721 bit, da sich das 2D–Gebiet eher einem Rechteck annähert. Wenn Sie noch Lust haben, so überprüfen Sie das bitte.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.2 AWGN–Kanalkapazität bei wertkontinuierlichem Eingang^]]

Aufgaben:Exercise 4.5: Mutual Information from 2D-PDF

2017-04-04T13:33:30Z

Khalil:

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang
}}

[[File:P_ID2886__Inf_A_4_5_neu.png|right|]]
Vorgegeben sind hier die drei unterschiedlichen 2D–Gebiete fXY(x, y), die in der Aufgabe nach ihren Füllfarben mit
:* '''rote''' Verbund-WDF
:* '''blaue''' Verbund-WDF
:* '''grüne''' Verbund-WDF

bezeichnet werden. In den dargestellten Gebieten gelte jeweils fXY(x, y) = C = const.

Die Transinformation zwischen den wertkontinuierlichen Zufallsgrößen X und Y kann unter anderem nach folgender Gleichung berechnet werden:
$$I(X;Y) = h(X) + h(Y) - h(XY)\hspace{0.05cm}.$$

Für die hier verwendeten differentiellen Entropien gelten die folgenden Gleichungen:
$$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_X)} \hspace{-0.55cm} f_X(x) \cdot {\rm log} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x
\hspace{0.05cm},$$
$$h(Y) = -\hspace{-0.7cm} \int\limits_{y \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_Y)} \hspace{-0.55cm} f_Y(y) \cdot {\rm log} \hspace{0.1cm} [f_Y(y)] \hspace{0.1cm}{\rm d}y
\hspace{0.05cm},$$
$$h(XY) = \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{XY}\hspace{-0.08cm})}
\hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} [ f_{XY}(x, y) ]
\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\hspace{0.05cm}.$$
Für die beiden Randwahrscheinlichkeitsdichtefunktionen gilt dabei:
$$f_X(x) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{Y}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y)
\hspace{0.15cm}{\rm d}y\hspace{0.05cm},\hspace{0.8cm}
f_Y(y) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{X}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y)
\hspace{0.15cm}{\rm d}x\hspace{0.05cm}.$$
'''Hinweis:''' Die Aufgabe gehört zum Themengebiet von [http://en.lntwww.de/Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang '''Kapitel 4.2.'''] Gegeben seien zudem folgende differentielle Entropien:
:* Ist X dreieckverteilt zwischen xmin und xmax, so gilt:
$$h(X) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}\sqrt{ e} \cdot (x_{\rm max} - x_{\rm min})/2\hspace{0.05cm}]\hspace{0.05cm}.$$
:* Ist Y gleichverteilt zwischen ymin und ymax, so gilt:
$$h(Y) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}y_{\rm max} - y_{\rm min}\hspace{0.05cm}]\hspace{0.05cm}.$$
:*Alle Ergebnisse sollen in &bdquo;bit” angegeben werden. Dies erreicht man mit &bdquo;log”  ⇒  &bdquo;log2”.
===Fragebogen===

<quiz display=simple>

{Wie groß ist die Transinformation der roten Verbund-WDF?
|type="{}"}
$rote Verbund–WDF: I(X; Y)$ = { 0 3% }

{Wie groß ist die Transinformation der blauen Verbund-WDF?
|type="{}"}
$blaue Verbund–WDF: I(X; Y)$ = { 0.721 3% }

{Wie groß ist die Transinformation der grünen Verbund-WDF?
|type="{}"}
$grüne Verbund–WDF: I(X; Y)$ = { 0.721 3% }

{Welche Voraussetzungen müssen die Zufallsgrößen X und Y gleichzeitig erfüllen, damit allgemein I(X; Y) = 1/2 · log (e) gilt:
|type="[]"}
+ Die Verbund-WDF ''fXY''(''x'', ''y'') ergibt ein Parallelogramm.
+ Eine der Zufallsgrößen (''X'' oder ''Y'') ist gleichverteilt.
+ Die andere Zufallsgröße (''Y'' oder ''X'') ist dreieckverteilt.

</quiz>

===Musterlösung===
{{ML-Kopf}}
[[File:P_ID2887__Inf_A_4_5a.png|right|]]
a)  Bei der rechteckförmigen Verbund–WDF fXY(x, y) gibt es zwischen X und Y keine statistischen Bindungen  ⇒  I(X; Y) = 0.

Formal lässt sich dieses Ergebnis mit der folgenden Gleichung nachweisen:

$$I(X;Y) = h(X) \hspace{-0.05cm}+\hspace{-0.05cm} h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(XY)\hspace{0.02cm}.$$
Die rote Fläche 2D–WDF fXY(x, y) ist F = 4. Da fXY(x, y) in diesem Gebiet konstant ist und das Volumen unter fXY(x, y) gleich 1 sein muss, gilt C = 1/F = 1/4. Daraus folgt für die differentielle Verbundentropie in &bdquo;bit”:
$$h(XY) \ = \ \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}
\hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log}_2 \hspace{0.1cm} [ f_{XY}(x, y) ]
\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\\
= \ {\rm log}_2 \hspace{0.1cm} (4) \cdot \hspace{0.02cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}
\hspace{-0.6cm} f_{XY}(x, y)
\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y = 2 \,{\rm bit}\hspace{0.05cm}.$$
Es ist berücksichtigt, das das Doppelintegral gleich 1 ist. Die Pseudo–Einheit &bdquo;bit” korrespondiert mit dem Logarithmus dualis  ⇒  &bdquo;log2”. Weiterhin gilt:
:* Die beiden Randwahrscheinlichkeitsdichtefunktionen ''fX''(''x'') und ''fY''(''y'') sind jeweils rechteckförmig ⇒ Gleichverteilung zwischen 0 und 2:
$$h(X) = h(Y) = {\rm log}_2 \hspace{0.1cm} (2) = 1 \,{\rm bit}\hspace{0.05cm}.$$
:* Setzt man diese Ergebnisse in die obige Gleichung ein, so erhält man:
$$I(X;Y) = h(X) + h(Y) - h(XY) = 1 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit} = 0 \,{\rm (bit)}
\hspace{0.05cm}.$$
[[File:P_ID2888__Inf_A_4_5b_neu.png|right|]]
b)  Auch bei diesem Parallelogramm ergibt sich F = 4, C = 1/4 sowie h(XY) = 2 bit. Die Zufallsgröße Y ist hier wie in der Teilaufgabe (a) zwischen 0 und 2 gleichverteilt. Somit gilt weiter h(Y) = 1 bit.

Dagegen ist X dreieckverteilt zwischen 0 und 4 (mit Maximum bei 2). Es ergibt sich hierfür die gleiche differentielle Entropie h(Y) wie bei einer symmetrischen Dreieckverteilung im Bereich zwischen ±2 (siehe Angabenblatt):
$$h(X) = {\rm log}_2 \hspace{0.1cm} [\hspace{0.05cm}2 \cdot \sqrt{ e} \hspace{0.05cm}]
= 1.721 \,{\rm bit}$$
$$\Rightarrow \hspace{0.3cm} I(X;Y) = 1.721 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit}\hspace{0.05cm}\underline{ = 0.721 \,{\rm (bit)}}
\hspace{0.05cm}.$$
[[File:P_ID2889__Inf_A_4_5c_neu.png|right|]]
c)  Bei den grünen Gegebenheiten berechnet sich die Verbundentropie wie folgt:

'''3.'''
'''4.'''
'''5.'''
'''6.'''
'''7.'''
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.2 AWGN–Kanalkapazität bei wertkontinuierlichem Eingang^]]

Aufgaben:Exercise 4.5: Mutual Information from 2D-PDF

2017-04-04T13:32:33Z

Khalil: /* Musterlösung */

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang
}}

[[File:P_ID2886__Inf_A_4_5_neu.png|right|]]
Vorgegeben sind hier die drei unterschiedlichen 2D–Gebiete fXY(x, y), die in der Aufgabe nach ihren Füllfarben mit
:* '''rote''' Verbund-WDF
:* '''blaue''' Verbund-WDF
:* '''grüne''' Verbund-WDF

bezeichnet werden. In den dargestellten Gebieten gelte jeweils fXY(x, y) = C = const.

Die Transinformation zwischen den wertkontinuierlichen Zufallsgrößen X und Y kann unter anderem nach folgender Gleichung berechnet werden:
$$I(X;Y) = h(X) + h(Y) - h(XY)\hspace{0.05cm}.$$

Für die hier verwendeten differentiellen Entropien gelten die folgenden Gleichungen:
$$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_X)} \hspace{-0.55cm} f_X(x) \cdot {\rm log} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x
\hspace{0.05cm},$$
$$h(Y) = -\hspace{-0.7cm} \int\limits_{y \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_Y)} \hspace{-0.55cm} f_Y(y) \cdot {\rm log} \hspace{0.1cm} [f_Y(y)] \hspace{0.1cm}{\rm d}y
\hspace{0.05cm},$$
$$h(XY) = \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{XY}\hspace{-0.08cm})}
\hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} [ f_{XY}(x, y) ]
\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\hspace{0.05cm}.$$
Für die beiden Randwahrscheinlichkeitsdichtefunktionen gilt dabei:
$$f_X(x) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{Y}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y)
\hspace{0.15cm}{\rm d}y\hspace{0.05cm},\hspace{0.8cm}
f_Y(y) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{X}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y)
\hspace{0.15cm}{\rm d}x\hspace{0.05cm}.$$
'''Hinweis:''' Die Aufgabe gehört zum Themengebiet von [http://en.lntwww.de/Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang '''Kapitel 4.2.'''] Gegeben seien zudem folgende differentielle Entropien:
:* Ist X dreieckverteilt zwischen xmin und xmax, so gilt:
$$h(X) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}\sqrt{{\rm e}} \cdot (x_{\rm max} - x_{\rm min})/2\hspace{0.05cm}]\hspace{0.05cm}.$$
:* Ist Y gleichverteilt zwischen ymin und ymax, so gilt:
$$h(Y) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}y_{\rm max} - y_{\rm min}\hspace{0.05cm}]\hspace{0.05cm}.$$
:*Alle Ergebnisse sollen in &bdquo;bit” angegeben werden. Dies erreicht man mit &bdquo;log”  ⇒  &bdquo;log2”.
===Fragebogen===

<quiz display=simple>

{Wie groß ist die Transinformation der roten Verbund-WDF?
|type="{}"}
$rote Verbund–WDF: I(X; Y)$ = { 0 3% }

{Wie groß ist die Transinformation der blauen Verbund-WDF?
|type="{}"}
$blaue Verbund–WDF: I(X; Y)$ = { 0.721 3% }

{Wie groß ist die Transinformation der grünen Verbund-WDF?
|type="{}"}
$grüne Verbund–WDF: I(X; Y)$ = { 0.721 3% }

{Welche Voraussetzungen müssen die Zufallsgrößen X und Y gleichzeitig erfüllen, damit allgemein I(X; Y) = 1/2 · log (e) gilt:
|type="[]"}
+ Die Verbund-WDF ''fXY''(''x'', ''y'') ergibt ein Parallelogramm.
+ Eine der Zufallsgrößen (''X'' oder ''Y'') ist gleichverteilt.
+ Die andere Zufallsgröße (''Y'' oder ''X'') ist dreieckverteilt.

</quiz>

===Musterlösung===
{{ML-Kopf}}
[[File:P_ID2887__Inf_A_4_5a.png|right|]]
a)  Bei der rechteckförmigen Verbund–WDF fXY(x, y) gibt es zwischen X und Y keine statistischen Bindungen  ⇒  I(X; Y) = 0.

Formal lässt sich dieses Ergebnis mit der folgenden Gleichung nachweisen:

$$I(X;Y) = h(X) \hspace{-0.05cm}+\hspace{-0.05cm} h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(XY)\hspace{0.02cm}.$$
Die rote Fläche 2D–WDF fXY(x, y) ist F = 4. Da fXY(x, y) in diesem Gebiet konstant ist und das Volumen unter fXY(x, y) gleich 1 sein muss, gilt C = 1/F = 1/4. Daraus folgt für die differentielle Verbundentropie in &bdquo;bit”:
$$h(XY) \ = \ \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}
\hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log}_2 \hspace{0.1cm} [ f_{XY}(x, y) ]
\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\\
= \ {\rm log}_2 \hspace{0.1cm} (4) \cdot \hspace{0.02cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}
\hspace{-0.6cm} f_{XY}(x, y)
\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y = 2 \,{\rm bit}\hspace{0.05cm}.$$
Es ist berücksichtigt, das das Doppelintegral gleich 1 ist. Die Pseudo–Einheit &bdquo;bit” korrespondiert mit dem Logarithmus dualis  ⇒  &bdquo;log2”. Weiterhin gilt:
:* Die beiden Randwahrscheinlichkeitsdichtefunktionen ''fX''(''x'') und ''fY''(''y'') sind jeweils rechteckförmig ⇒ Gleichverteilung zwischen 0 und 2:
$$h(X) = h(Y) = {\rm log}_2 \hspace{0.1cm} (2) = 1 \,{\rm bit}\hspace{0.05cm}.$$
:* Setzt man diese Ergebnisse in die obige Gleichung ein, so erhält man:
$$I(X;Y) = h(X) + h(Y) - h(XY) = 1 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit} = 0 \,{\rm (bit)}
\hspace{0.05cm}.$$
[[File:P_ID2888__Inf_A_4_5b_neu.png|right|]]
b)  Auch bei diesem Parallelogramm ergibt sich F = 4, C = 1/4 sowie h(XY) = 2 bit. Die Zufallsgröße Y ist hier wie in der Teilaufgabe (a) zwischen 0 und 2 gleichverteilt. Somit gilt weiter h(Y) = 1 bit.

Dagegen ist X dreieckverteilt zwischen 0 und 4 (mit Maximum bei 2). Es ergibt sich hierfür die gleiche differentielle Entropie h(Y) wie bei einer symmetrischen Dreieckverteilung im Bereich zwischen ±2 (siehe Angabenblatt):
$$h(X) = {\rm log}_2 \hspace{0.1cm} [\hspace{0.05cm}2 \cdot \sqrt{ e} \hspace{0.05cm}]
= 1.721 \,{\rm bit}$$
$$\Rightarrow \hspace{0.3cm} I(X;Y) = 1.721 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit}\hspace{0.05cm}\underline{ = 0.721 \,{\rm (bit)}}
\hspace{0.05cm}.$$
[[File:P_ID2889__Inf_A_4_5c_neu.png|right|]]
c)  Bei den grünen Gegebenheiten berechnet sich die Verbundentropie wie folgt:

'''3.'''
'''4.'''
'''5.'''
'''6.'''
'''7.'''
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.2 AWGN–Kanalkapazität bei wertkontinuierlichem Eingang^]]

Aufgaben:Exercise 4.5: Mutual Information from 2D-PDF

2017-04-04T13:30:08Z

Khalil:

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang
}}

[[File:P_ID2886__Inf_A_4_5_neu.png|right|]]
Vorgegeben sind hier die drei unterschiedlichen 2D–Gebiete fXY(x, y), die in der Aufgabe nach ihren Füllfarben mit
:* '''rote''' Verbund-WDF
:* '''blaue''' Verbund-WDF
:* '''grüne''' Verbund-WDF

bezeichnet werden. In den dargestellten Gebieten gelte jeweils fXY(x, y) = C = const.

Die Transinformation zwischen den wertkontinuierlichen Zufallsgrößen X und Y kann unter anderem nach folgender Gleichung berechnet werden:
$$I(X;Y) = h(X) + h(Y) - h(XY)\hspace{0.05cm}.$$

Für die hier verwendeten differentiellen Entropien gelten die folgenden Gleichungen:
$$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_X)} \hspace{-0.55cm} f_X(x) \cdot {\rm log} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x
\hspace{0.05cm},$$
$$h(Y) = -\hspace{-0.7cm} \int\limits_{y \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_Y)} \hspace{-0.55cm} f_Y(y) \cdot {\rm log} \hspace{0.1cm} [f_Y(y)] \hspace{0.1cm}{\rm d}y
\hspace{0.05cm},$$
$$h(XY) = \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{XY}\hspace{-0.08cm})}
\hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} [ f_{XY}(x, y) ]
\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\hspace{0.05cm}.$$
Für die beiden Randwahrscheinlichkeitsdichtefunktionen gilt dabei:
$$f_X(x) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{Y}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y)
\hspace{0.15cm}{\rm d}y\hspace{0.05cm},\hspace{0.8cm}
f_Y(y) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{X}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y)
\hspace{0.15cm}{\rm d}x\hspace{0.05cm}.$$
'''Hinweis:''' Die Aufgabe gehört zum Themengebiet von [http://en.lntwww.de/Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang '''Kapitel 4.2.'''] Gegeben seien zudem folgende differentielle Entropien:
:* Ist X dreieckverteilt zwischen xmin und xmax, so gilt:
$$h(X) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}\sqrt{{\rm e}} \cdot (x_{\rm max} - x_{\rm min})/2\hspace{0.05cm}]\hspace{0.05cm}.$$
:* Ist Y gleichverteilt zwischen ymin und ymax, so gilt:
$$h(Y) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}y_{\rm max} - y_{\rm min}\hspace{0.05cm}]\hspace{0.05cm}.$$
:*Alle Ergebnisse sollen in &bdquo;bit” angegeben werden. Dies erreicht man mit &bdquo;log”  ⇒  &bdquo;log2”.
===Fragebogen===

<quiz display=simple>

{Wie groß ist die Transinformation der roten Verbund-WDF?
|type="{}"}
$rote Verbund–WDF: I(X; Y)$ = { 0 3% }

{Wie groß ist die Transinformation der blauen Verbund-WDF?
|type="{}"}
$blaue Verbund–WDF: I(X; Y)$ = { 0.721 3% }

{Wie groß ist die Transinformation der grünen Verbund-WDF?
|type="{}"}
$grüne Verbund–WDF: I(X; Y)$ = { 0.721 3% }

{Welche Voraussetzungen müssen die Zufallsgrößen X und Y gleichzeitig erfüllen, damit allgemein I(X; Y) = 1/2 · log (e) gilt:
|type="[]"}
+ Die Verbund-WDF ''fXY''(''x'', ''y'') ergibt ein Parallelogramm.
+ Eine der Zufallsgrößen (''X'' oder ''Y'') ist gleichverteilt.
+ Die andere Zufallsgröße (''Y'' oder ''X'') ist dreieckverteilt.

</quiz>

===Musterlösung===
{{ML-Kopf}}
[[File:P_ID2887__Inf_A_4_5a.png|right|]]
a)  Bei der rechteckförmigen Verbund–WDF fXY(x, y) gibt es zwischen X und Y keine statistischen Bindungen  ⇒  I(X; Y) = 0.

Formal lässt sich dieses Ergebnis mit der folgenden Gleichung nachweisen:

$$I(X;Y) = h(X) \hspace{-0.05cm}+\hspace{-0.05cm} h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(XY)\hspace{0.02cm}.$$
Die rote Fläche 2D–WDF fXY(x, y) ist F = 4. Da fXY(x, y) in diesem Gebiet konstant ist und das Volumen unter fXY(x, y) gleich 1 sein muss, gilt C = 1/F = 1/4. Daraus folgt für die differentielle Verbundentropie in &bdquo;bit”:
$$h(XY) \ = \ \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}
\hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log}_2 \hspace{0.1cm} [ f_{XY}(x, y) ]
\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\\
= \ {\rm log}_2 \hspace{0.1cm} (4) \cdot \hspace{0.02cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}
\hspace{-0.6cm} f_{XY}(x, y)
\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y = 2 \,{\rm bit}\hspace{0.05cm}.$$
Es ist berücksichtigt, das das Doppelintegral gleich 1 ist. Die Pseudo–Einheit &bdquo;bit” korrespondiert mit dem Logarithmus dualis  ⇒  &bdquo;log2”. Weiterhin gilt:
:* Die beiden Randwahrscheinlichkeitsdichtefunktionen ''fX''(''x'') und ''fY''(''y'') sind jeweils rechteckförmig ⇒ Gleichverteilung zwischen 0 und 2:
$$h(X) = h(Y) = {\rm log}_2 \hspace{0.1cm} (2) = 1 \,{\rm bit}\hspace{0.05cm}.$$
:* Setzt man diese Ergebnisse in die obige Gleichung ein, so erhält man:
$$I(X;Y) = h(X) + h(Y) - h(XY) = 1 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit} = 0 \,{\rm (bit)}
\hspace{0.05cm}.$$
[[File:P_ID2888__Inf_A_4_5b_neu.png|right|]]
b)  Auch bei diesem Parallelogramm ergibt sich F = 4, C = 1/4 sowie h(XY) = 2 bit. Die Zufallsgröße Y ist hier wie in der Teilaufgabe (a) zwischen 0 und 2 gleichverteilt. Somit gilt weiter h(Y) = 1 bit.

Dagegen ist X dreieckverteilt zwischen 0 und 4 (mit Maximum bei 2). Es ergibt sich hierfür die gleiche differentielle Entropie h(Y) wie bei einer symmetrischen Dreieckverteilung im Bereich zwischen ±2 (siehe Angabenblatt):
$$h(X) = {\rm log}_2 \hspace{0.1cm} [\hspace{0.05cm}2 \cdot \sqrt{{\rm e}} \hspace{0.05cm}]
= 1.721 \,{\rm bit}$$
$$\Rightarrow \hspace{0.3cm} I(X;Y) = 1.721 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit}\hspace{0.05cm}\underline{ = 0.721 \,{\rm (bit)}}
\hspace{0.05cm}.$$
[[File:P_ID2889__Inf_A_4_5c_neu.png|right|]]
c)  Bei den grünen Gegebenheiten berechnet sich die Verbundentropie wie folgt:

'''3.'''
'''4.'''
'''5.'''
'''6.'''
'''7.'''
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.2 AWGN–Kanalkapazität bei wertkontinuierlichem Eingang^]]

Aufgaben:Exercise 4.5: Mutual Information from 2D-PDF

2017-04-04T12:54:23Z

Khalil: /* Fragebogen */

Aufgaben:Exercise 4.5: Mutual Information from 2D-PDF

2017-04-04T12:41:50Z

Khalil:

Aufgaben:Exercise 4.5: Mutual Information from 2D-PDF

2017-04-04T12:21:05Z

Khalil:

Aufgaben:Exercise 4.5: Mutual Information from 2D-PDF

2017-03-24T17:24:28Z

Khalil: Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang }} right| ===Fragebogen=== <quiz display=si…“

{{quiz-Header|Buchseite=Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang
}}

[[File:|right|]]

===Fragebogen===

<quiz display=simple>
{Multiple-Choice Frage
|type="[]"}
- Falsch
+ Richtig

{Input-Box Frage
|type="{}"}
$\alpha$ = { 0.3 }

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''1.'''
'''2.'''
'''3.'''
'''4.'''
'''5.'''
'''6.'''
'''7.'''
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.2 AWGN–Kanalkapazität bei wertkontinuierlichem Eingang^]]

Aufgaben:4.1:WDF, VTF und Wahrscheinlichkeit

2017-03-24T17:14:07Z

Khalil:

{{quiz-Header|Buchseite=Informationstheorie/Differentielle Entropie
}}

[[File:P_ID2862__Inf_A_4_1_neu.png|right|]]
Zur Wiederholung einiger wichtiger Grundlagen aus dem Buch [http://en.lntwww.de/Stochastische_Signaltheorie '''stochastischen Signaltheorie''']
beschäftigen wir uns mit
:* der [http://en.lntwww.de/Stochastische_Signaltheorie/Wahrscheinlichkeitsdichtefunktion '''Wahrscheinlichkeitsdichtefunktion '''] (WDF),
:* der [http://en.lntwww.de/Stochastische_Signaltheorie/Verteilungsfunktion ''' Verteilungsfunktion '''] (VTF).
Die obere Darstellung zeigt die Verteilungsfunktion $F_X(x)$ einer wertdiskreten Zufallsgröße ''X''. Die zugehörige WDF $f_X(x)$ ist in der Teilaufgabe (a) zu bestimmen. Die Gleichung
$$ {\rm Pr}(A < X \le B) \hspace{-0.15cm} = \hspace{-0.15cm} F_X(B) - F_X(A) = $$
$$ =\hspace{-0.15cm} \lim_{\varepsilon \hspace{0.05cm}\rightarrow \hspace{0.05cm}0} \int\limits_{A+\varepsilon}^{B+\varepsilon} \hspace{-0.15cm} f_X(x) \hspace{0.1cm}{\rm d}x $$

stellt zwei Möglichkeiten dar, um die Wahrscheinlichkeit für das Ereignis „Die Zufallsgröße ''X'' liegt in einem Intervall” aus der VTF bzw. der WDF zu berechnen.

Die untere Grafik zeigt die Wahrscheinlichkeitsdichtefunktion
$$ f_Y(y) = \left\{ \begin{array}{c} \hspace{0.1cm}1/2 \cdot \cos^2(\pi/4 \cdot y) \\ \hspace{0.1cm} 0 \\ \end{array} \right.\quad \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \\ {\rm{f\ddot{u}r}} \\ \end{array}\begin{array}{*{20}l} | y| \le 2, \\
y < -2 \hspace{0.1cm}{\rm und}\hspace{0.1cm}y > +2 \\ \end{array}$$
einer wertkontinuierlichen Zufallsgröße Y, die auf den Bereich |''Y''| ≤ 2 begrenzt ist.

Prinzipiell besteht bei der kontinuierlichen Zufallsgröße ''Y'' der gleiche Zusammenhang zwischen WDF, VTF und Wahrscheinlichkeiten wie bei einer diskreten Zufallsgröße. Sie werden trotzdem einige Detailunterschiede feststellen. Beispielsweise kann bei der kontinuierlichen Zufallsgröße ''Y'' in obiger Gleichung auf den Grenzübergang verzichtet werden, und man erhält vereinfacht:
$${\rm Pr}(A \le Y \le B) = F_Y(B) - F_Y(A) =\int_{A}^{B} \hspace{-0.01cm} f_Y(y)
\hspace{0.1cm}{\rm d}y\hspace{0.05cm}$$.

'''Hinweis''': Die Aufgabe dient zur Vorbereitung der in [http://en.lntwww.de/Informationstheorie/Differentielle_Entropie '''Kapitel 4.1'''] dargelegten Thematik. Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im [http://en.lntwww.de/Stochastische_Signaltheorie '''Kapitel 3'''] des Buches „Stochastische Signaltheorie”.
Gegeben ist zudem das folgende unbstimmte Integral:
$$\int \hspace{0.1cm} \cos^2(A \eta) \hspace{0.1cm}{\rm d}\eta = \frac{\eta}{2} + \frac{1}{4A} \cdot \sin(2A \eta)$$.

===Fragebogen===

<quiz display=simple>
{Bestimmen Sie die WDF fX(x) der wertdiskreten Zufallsgröße X. Welche der folgenden Aussagen sind zutreffend?
|type="[]"}
+ Die WDF setzt sich aus fünf Diracfunktionen zusammen.
+ Es gilt Pr(X = 0) = 0.4 und Pr(X = 1) = 0.2.
- Es gilt Pr(X = 2) = 0.4.

{Berechnen Sie die folgenden Wahrscheinlichkeiten:
|type="{}"}
$Pr(X > 0)$ = { 0.3 3% }
$Pr(|X| ≤ 1)$ = { 0.8 3% }

{Welche Werte ergeben sich für die Verteilungsfunktion FY(y) = Pr(Y ≤ y) der wertkontinuierlichen Zufallsgröße Y, insbesondere:
|type="{}"}
$F_Y(y = 0)$ = { 0.5 3% }
$F_Y(y = 1)$ = { 1 3% }
$F_Y(y = 2)$ = { 0.909 3% }

{Wie groß ist die Wahrscheinlichkeit, dass Y = 0 ist?
|type="{}"}
$Pr(Y = 0)$ = { 0 3% }

{Welche der folgenden Aussagen sind richtig?
|type="[]"}
- Das Ergebnis Y = 0 ist unmöglich.
+ Das Ergebnis Y = 3 ist unmöglich.

{Wie groß sind die folgenden Wahrscheinlichkeiten?
|type="{}"}
$Pr(Y > 0)$ = { 0.5 3% }
$Pr(|Y| ≤ 1)$ = { 0.818 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
[[File:P_ID2857__Inf_A_4_1a_neu.png|right|]]
a)  Die Verteilungsfunktion (VTF) FX(x) ergibt sich aus der Wahrscheinlichkeitsdichtefunktion fX(x) durch Integration über die (umbenannte) Zufallsgröße im Bereich von –∞ bis x. Die Umkehrung lautet: Ist die VTF gegeben, so erhält man die WDF durch Differentiation.
Die vorgegebene VTF beinhaltet fünf Unstetigkeitsstellen, die nach der Differentiation zu fünf Diracfunktionen führen:
$$f_X(x) \hspace{-0.15cm} = \hspace{-0.15cm} 0.1 \cdot {\rm \delta}( x+2)
+ 0.2 \cdot {\rm \delta}( x+1) $$ $$\
+ \hspace{-0.15cm} 0.4 \cdot {\rm \delta}( x) + 0.2 \cdot {\rm \delta}( x-1) $$ $$\
+\hspace{-0.15cm} 0.1 \cdot {\rm \delta}( x-2)\hspace{0.05cm}.$$
Die Diracgewichte geben die Auftrittswahrscheinlichkeiten der Zufallsgröße X = {–2, –1, 0, +1, +2} an, zum Beispiel:
$${\rm Pr}(X = 0) \hspace{-0.15cm} = \hspace{-0.15cm} F_X(x \hspace{0.05cm}\rightarrow\hspace{0.05cm}0^{+}) - F_X(x \hspace{0.05cm}\rightarrow\hspace{0.05cm}0^{-})$$ $$=\
\hspace{-0.15cm} 0.7 - 0.3 = 0.4\hspace{0.05cm}.$$
Dementsprechend lauten die weiteren Wahrscheinlichkeiten:
$${\rm Pr}(X = +1) = {\rm Pr}(X = -1) = 0.2\hspace{0.05cm},\hspace{0.3cm}
{\rm Pr}(X = +2) = {\rm Pr}(X = -2) = 0.1\hspace{0.05cm}.$$
Richtig sind somit die Lösungsvorschläge 1 und 2.

b)  Aus der eben berechneten WDF erhält man:
$${\rm Pr}(X >0) \hspace{-0.15cm} = \hspace{-0.15cm} {\rm Pr}(X = +1) + {\rm Pr}(X = +2)
\hspace{0.15cm}\underline {= 0.3}\hspace{0.05cm},$$ $$\
{\rm Pr}(|X| \le 1) \hspace{-0.15cm} = \hspace{-0.15cm}
{\rm Pr}(X = -1) + {\rm Pr}(X = 0) + {\rm Pr}(X = +1) = 0.2 + 0.4 +0.2
\hspace{0.15cm}\underline {= 0.8}\hspace{0.05cm}.$$

Zum gleichen Ergebnis kommt man über die Verteilungsfunktion. Hier lautet die allgemeine Gleichung, die für wertdiskrete und wertkontinuierliche Zufallsgrößen gleichermaßen gilt:
$${\rm Pr}(A < X \le B) =F_X(B) - F_X(A) \hspace{0.05cm}.$$

:* Mit A = 0 und B = +2 erhält man somit:
$${\rm Pr}(0 < X \le +2) = {\rm Pr}(X >0)= F_X(+2) - F_X(0) = 1 - 0.7 \hspace{0.15cm}\underline {= 0.3} \hspace{0.05cm}.$$
:*Setzt man A = –2 und B = +1, so ergibt sich:
$${\rm Pr}(-2 < X \le +1) = {\rm Pr}(|X| \le 1)= F_X(+1) - F_X(-2) = 0.9 - 0.1 \hspace{0.15cm}\underline {= 0.8} \hspace{0.05cm}.$$

c)  Die Verteilungsfunktion FY(y) ergibt sich aus der (umbenannten) WDF fY(η) durch Integration von –∞ bis y. Aufgrund der Symmetrie kann hierfür im Bereich 0 ≤ y ≤ 2 geschrieben werden:
$$F_Y(y) = \int_{-\infty}^{\hspace{0.05cm}y} \hspace{-0.1cm}f_Y(\eta) \hspace{0.1cm}{\rm d}\eta =\frac{1}{2}+\int_{0}^{\hspace{0.05cm}y} \hspace{-0.1cm}f_Y(\eta) \hspace{0.1cm}{\rm d}\eta.$$
$$\Rightarrow \hspace{0.3cm}F_Y(y) = \frac{1}{2}+\int_{0}^{\hspace{0.05cm}y} \hspace{0.1cm}\frac{1}{2} \cdot \cos^2(\frac{\pi}{4} \cdot \eta) \hspace{0.1cm}{\rm d}\eta = \frac{1}{2}+\frac{y}{4} + \frac{1}{2\pi} \cdot \sin(\frac{\pi}{2} \cdot y).$$
[[File:P_ID2858__Inf_A_4_1c_neu.png|right|]]
Die Gleichung gilt im gesamten Bereich –2 ≤ y ≤ +2. Die gesuchten VTF–Werte sind damit:
:*FY(y = 0) = 0.5 (Integral über die halbe WDF)
:*FY(y = 2) = 1 (Integral über die gesamte WDF)
:*FY(y = 1) = 3/4 + 1/(2 π) ≈ 0.909 (rot hinterlegte Fläche in der WDF)

 d)  Die Wahrscheinlichkeit, dass die wertkontinuierliche Zufallsgröße Y im Bereich von –ε bis +ε liegt, kann mit der angegebenen Gleichung wie folgt berechnet werden:
$${\rm Pr}(-\varepsilon \le Y \le +\varepsilon) = F_Y(+\varepsilon) - F_Y(-\varepsilon) \hspace{0.05cm}.$$

Berücksichtigt wurde, dass man bei der kontinuierlichen Zufallsgröße Y das &bdquo;<”–Zeichen ohne Verfälschung durch das &bdquo;≤”–Zeichen ersetzen kann. Mit dem Grenzübergang ε → 0 ergibt sich die gesuchte Wahrscheinlichkeit:
$${\rm Pr}(Y = 0) \hspace{-0.15cm} = \hspace{-0.15cm} \ lim_{\varepsilon\hspace{0.05cm}\rightarrow\hspace{0.05cm}0}\hspace{0.1cm}{\rm Pr}(-\varepsilon \le Y \le +\varepsilon) =
\lim_{\varepsilon\hspace{0.05cm}\rightarrow\hspace{0.05cm}0}\hspace{0.1cm} F_Y(+\varepsilon) - \lim_{\varepsilon\hspace{0.05cm}\rightarrow\hspace{0.05cm}0}\hspace{0.1cm} F_Y(-\varepsilon)$$ $$=\
\hspace{-0.15cm} F_Y(y \hspace{0.05cm}\rightarrow\hspace{0.05cm}0^{+}) - F_Y(y \hspace{0.05cm}\rightarrow\hspace{0.05cm}0^{-})\hspace{0.05cm}.$$

Da bei einer kontinuierlichen Zufallsgröße die beiden Grenzwerte gleich sind, gilt Pr(Y = 0) = 0.

Allgemein gilt: Die Wahrscheinlichkeit Pr(Y = y0), dass eine wertkontinuierliche Zufallsgröße Y einen festen Wert y0 annimmt, ist stets 0.

e)  Richtig ist der Lösungsvorschlag 2: Aufgrund der vorliegenden WDF kann das Ergebnis Y = 3 ausgeschlossen werden. Das Ergebnis Y = 0 ist dagegen durchaus möglich, obwohl Pr(Y = 0) = 0 ist. Führt man zum Beispiel ein Zufallsexperiment N → ∞ mal durch und erhält dabei N0 mal das Ergebnis Y = 0, so gilt bei endlichem N0 nach der klassischen Definition:
$${\rm Pr}(Y = 0) = \lim_{N\hspace{0.05cm}\rightarrow\hspace{0.05cm}\infty}\hspace{0.1cm}{N_0}/{N} = 0\hspace{0.05cm}.$$

f)  Wir gehen wieder von der Gleichung Pr(A ≤ Y ≤ B) = FY(B) – FY(A) aus. Mit A = 0 und B → ∞ (bzw. B = 2) erhält man:
$${\rm Pr}( Y > 0) = {\rm Pr}(0 \le Y \le \infty)
= {\rm Pr}(0 \le Y \le 2) = F_Y(2) - F_Y(0)
\hspace{0.15cm}\underline {= 0.5}\hspace{0.05cm}.$$

Bei der symmetrischen kontinuierlichen Zufallsgröße Y ist erwartungsgemäß Pr(Y > 0) = 1/2. Obwohl auch die wertdiskrete Zufallsgröße X symmetrisch um x = 0 ist, wurde dagegen oben Pr(X > 0) = 0.3 ermittelt. Weiter erhält man mit A = –1 und B = +1 wegen FY(–1) = 1 –
FY(+1):

$${\rm Pr}( |Y| \le 1) = {\rm Pr}(-1 \le Y \le +1)
= F_Y(+1) - F_Y(-1) $$ $$\
= 2 \cdot F_Y(+1) -1 = 2 \cdot 0.909 -1 \hspace{0.15cm}\underline {= 0.818}. $$

{{ML-Fuß}}

[[Category:Aufgaben zuInformationstheorie|^4.1 Differentielle Entropie^]]

Aufgaben:Exercise 4.1: PDF, CDF and Probability

2017-03-24T17:13:17Z

Khalil: Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/Differentielle Entropie }} right| Zur Wiederholung einiger wichtiger Grundl…“

{{quiz-Header|Buchseite=Informationstheorie/Differentielle Entropie
}}

[[File:P_ID2862__Inf_A_4_1_neu.png|right|]]
Zur Wiederholung einiger wichtiger Grundlagen aus dem Buch [http://en.lntwww.de/Stochastische_Signaltheorie '''stochastischen Signaltheorie''']
beschäftigen wir uns mit
:* der [http://en.lntwww.de/Stochastische_Signaltheorie/Wahrscheinlichkeitsdichtefunktion '''Wahrscheinlichkeitsdichtefunktion '''] (WDF),
:* der [http://en.lntwww.de/Stochastische_Signaltheorie/Verteilungsfunktion ''' Verteilungsfunktion '''] (VTF).
Die obere Darstellung zeigt die Verteilungsfunktion $F_X(x)$ einer wertdiskreten Zufallsgröße ''X''. Die zugehörige WDF $f_X(x)$ ist in der Teilaufgabe (a) zu bestimmen. Die Gleichung
$$ {\rm Pr}(A < X \le B) \hspace{-0.15cm} = \hspace{-0.15cm} F_X(B) - F_X(A) = $$
$$ =\hspace{-0.15cm} \lim_{\varepsilon \hspace{0.05cm}\rightarrow \hspace{0.05cm}0} \int\limits_{A+\varepsilon}^{B+\varepsilon} \hspace{-0.15cm} f_X(x) \hspace{0.1cm}{\rm d}x $$

stellt zwei Möglichkeiten dar, um die Wahrscheinlichkeit für das Ereignis „Die Zufallsgröße ''X'' liegt in einem Intervall” aus der VTF bzw. der WDF zu berechnen.

Die untere Grafik zeigt die Wahrscheinlichkeitsdichtefunktion
$$ f_Y(y) = \left\{ \begin{array}{c} \hspace{0.1cm}1/2 \cdot \cos^2(\pi/4 \cdot y) \\ \hspace{0.1cm} 0 \\ \end{array} \right.\quad \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \\ {\rm{f\ddot{u}r}} \\ \end{array}\begin{array}{*{20}l} | y| \le 2, \\
y < -2 \hspace{0.1cm}{\rm und}\hspace{0.1cm}y > +2 \\ \end{array}$$
einer wertkontinuierlichen Zufallsgröße Y, die auf den Bereich |''Y''| ≤ 2 begrenzt ist.

Prinzipiell besteht bei der kontinuierlichen Zufallsgröße ''Y'' der gleiche Zusammenhang zwischen WDF, VTF und Wahrscheinlichkeiten wie bei einer diskreten Zufallsgröße. Sie werden trotzdem einige Detailunterschiede feststellen. Beispielsweise kann bei der kontinuierlichen Zufallsgröße ''Y'' in obiger Gleichung auf den Grenzübergang verzichtet werden, und man erhält vereinfacht:
$${\rm Pr}(A \le Y \le B) = F_Y(B) - F_Y(A) =\int_{A}^{B} \hspace{-0.01cm} f_Y(y)
\hspace{0.1cm}{\rm d}y\hspace{0.05cm}$$.

'''Hinweis''': Die Aufgabe dient zur Vorbereitung der in [http://en.lntwww.de/Informationstheorie/Differentielle_Entropie '''Kapitel 4.1'''] dargelegten Thematik. Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im [http://en.lntwww.de/Stochastische_Signaltheorie '''Kapitel 3'''] des Buches „Stochastische Signaltheorie”.
Gegeben ist zudem das folgende unbstimmte Integral:
$$\int \hspace{0.1cm} \cos^2(A \eta) \hspace{0.1cm}{\rm d}\eta = \frac{\eta}{2} + \frac{1}{4A} \cdot \sin(2A \eta)$$.

===Fragebogen===

<quiz display=simple>
{Bestimmen Sie die WDF fX(x) der wertdiskreten Zufallsgröße X. Welche der folgenden Aussagen sind zutreffend?
|type="[]"}
+ Die WDF setzt sich aus fünf Diracfunktionen zusammen.
+ Es gilt Pr(X = 0) = 0.4 und Pr(X = 1) = 0.2.
- Es gilt Pr(X = 2) = 0.4.

{Berechnen Sie die folgenden Wahrscheinlichkeiten:
|type="{}"}
$Pr(X > 0)$ = { 0.3 3% }
$Pr(|X| ≤ 1)$ = { 0.8 3% }

{Welche Werte ergeben sich für die Verteilungsfunktion FY(y) = Pr(Y ≤ y) der wertkontinuierlichen Zufallsgröße Y, insbesondere:
|type="{}"}
$F_Y(y = 0)$ = { 0.5 3% }
$F_Y(y = 1)$ = { 1 3% }
$F_Y(y = 2)$ = { 0.909 3% }

{Wie groß ist die Wahrscheinlichkeit, dass Y = 0 ist?
|type="{}"}
$Pr(Y = 0)$ = { 0 3% }

{Welche der folgenden Aussagen sind richtig?
|type="[]"}
- Das Ergebnis Y = 0 ist unmöglich.
+ Das Ergebnis Y = 3 ist unmöglich.

{Wie groß sind die folgenden Wahrscheinlichkeiten?
|type="{}"}
$Pr(Y > 0)$ = { 0.5 3% }
$Pr(|Y| ≤ 1)$ = { 0.818 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
[[File:P_ID2857__Inf_A_4_1a_neu.png|right|]]
a)  Die Verteilungsfunktion (VTF) FX(x) ergibt sich aus der Wahrscheinlichkeitsdichtefunktion fX(x) durch Integration über die (umbenannte) Zufallsgröße im Bereich von –∞ bis x. Die Umkehrung lautet: Ist die VTF gegeben, so erhält man die WDF durch Differentiation.
Die vorgegebene VTF beinhaltet fünf Unstetigkeitsstellen, die nach der Differentiation zu fünf Diracfunktionen führen:
$$f_X(x) \hspace{-0.15cm} = \hspace{-0.15cm} 0.1 \cdot {\rm \delta}( x+2)
+ 0.2 \cdot {\rm \delta}( x+1) $$ $$\
+ \hspace{-0.15cm} 0.4 \cdot {\rm \delta}( x) + 0.2 \cdot {\rm \delta}( x-1) $$ $$\
+\hspace{-0.15cm} 0.1 \cdot {\rm \delta}( x-2)\hspace{0.05cm}.$$
Die Diracgewichte geben die Auftrittswahrscheinlichkeiten der Zufallsgröße X = {–2, –1, 0, +1, +2} an, zum Beispiel:
$${\rm Pr}(X = 0) \hspace{-0.15cm} = \hspace{-0.15cm} F_X(x \hspace{0.05cm}\rightarrow\hspace{0.05cm}0^{+}) - F_X(x \hspace{0.05cm}\rightarrow\hspace{0.05cm}0^{-})$$ $$=\
\hspace{-0.15cm} 0.7 - 0.3 = 0.4\hspace{0.05cm}.$$
Dementsprechend lauten die weiteren Wahrscheinlichkeiten:
$${\rm Pr}(X = +1) = {\rm Pr}(X = -1) = 0.2\hspace{0.05cm},\hspace{0.3cm}
{\rm Pr}(X = +2) = {\rm Pr}(X = -2) = 0.1\hspace{0.05cm}.$$
Richtig sind somit die Lösungsvorschläge 1 und 2.

b)  Aus der eben berechneten WDF erhält man:
$${\rm Pr}(X >0) \hspace{-0.15cm} = \hspace{-0.15cm} {\rm Pr}(X = +1) + {\rm Pr}(X = +2)
\hspace{0.15cm}\underline {= 0.3}\hspace{0.05cm},$$ $$\
{\rm Pr}(|X| \le 1) \hspace{-0.15cm} = \hspace{-0.15cm}
{\rm Pr}(X = -1) + {\rm Pr}(X = 0) + {\rm Pr}(X = +1) = 0.2 + 0.4 +0.2
\hspace{0.15cm}\underline {= 0.8}\hspace{0.05cm}.$$

Zum gleichen Ergebnis kommt man über die Verteilungsfunktion. Hier lautet die allgemeine Gleichung, die für wertdiskrete und wertkontinuierliche Zufallsgrößen gleichermaßen gilt:
$${\rm Pr}(A < X \le B) =F_X(B) - F_X(A) \hspace{0.05cm}.$$

:* Mit A = 0 und B = +2 erhält man somit:
$${\rm Pr}(0 < X \le +2) = {\rm Pr}(X >0)= F_X(+2) - F_X(0) = 1 - 0.7 \hspace{0.15cm}\underline {= 0.3} \hspace{0.05cm}.$$
:*Setzt man A = –2 und B = +1, so ergibt sich:
$${\rm Pr}(-2 < X \le +1) = {\rm Pr}(|X| \le 1)= F_X(+1) - F_X(-2) = 0.9 - 0.1 \hspace{0.15cm}\underline {= 0.8} \hspace{0.05cm}.$$

c)  Die Verteilungsfunktion FY(y) ergibt sich aus der (umbenannten) WDF fY(η) durch Integration von –∞ bis y. Aufgrund der Symmetrie kann hierfür im Bereich 0 ≤ y ≤ 2 geschrieben werden:
$$F_Y(y) = \int_{-\infty}^{\hspace{0.05cm}y} \hspace{-0.1cm}f_Y(\eta) \hspace{0.1cm}{\rm d}\eta =\frac{1}{2}+\int_{0}^{\hspace{0.05cm}y} \hspace{-0.1cm}f_Y(\eta) \hspace{0.1cm}{\rm d}\eta.$$
$$\Rightarrow \hspace{0.3cm}F_Y(y) = \frac{1}{2}+\int_{0}^{\hspace{0.05cm}y} \hspace{0.1cm}\frac{1}{2} \cdot \cos^2(\frac{\pi}{4} \cdot \eta) \hspace{0.1cm}{\rm d}\eta = \frac{1}{2}+\frac{y}{4} + \frac{1}{2\pi} \cdot \sin(\frac{\pi}{2} \cdot y).$$
[[File:P_ID2858__Inf_A_4_1c_neu.png|right|]]
Die Gleichung gilt im gesamten Bereich –2 ≤ y ≤ +2. Die gesuchten VTF–Werte sind damit:
:*FY(y = 0) = 0.5 (Integral über die halbe WDF)
:*FY(y = 2) = 1 (Integral über die gesamte WDF)
:*FY(y = 1) = 3/4 + 1/(2 π) ≈ 0.909 (rot hinterlegte Fläche in der WDF)

 d)  Die Wahrscheinlichkeit, dass die wertkontinuierliche Zufallsgröße Y im Bereich von –ε bis +ε liegt, kann mit der angegebenen Gleichung wie folgt berechnet werden:
$${\rm Pr}(-\varepsilon \le Y \le +\varepsilon) = F_Y(+\varepsilon) - F_Y(-\varepsilon) \hspace{0.05cm}.$$

Berücksichtigt wurde, dass man bei der kontinuierlichen Zufallsgröße Y das &bdquo;<”–Zeichen ohne Verfälschung durch das &bdquo;≤”–Zeichen ersetzen kann. Mit dem Grenzübergang ε → 0 ergibt sich die gesuchte Wahrscheinlichkeit:
$${\rm Pr}(Y = 0) \hspace{-0.15cm} = \hspace{-0.15cm} \ lim_{\varepsilon\hspace{0.05cm}\rightarrow\hspace{0.05cm}0}\hspace{0.1cm}{\rm Pr}(-\varepsilon \le Y \le +\varepsilon) =
\lim_{\varepsilon\hspace{0.05cm}\rightarrow\hspace{0.05cm}0}\hspace{0.1cm} F_Y(+\varepsilon) - \lim_{\varepsilon\hspace{0.05cm}\rightarrow\hspace{0.05cm}0}\hspace{0.1cm} F_Y(-\varepsilon)$$ $$=\
\hspace{-0.15cm} F_Y(y \hspace{0.05cm}\rightarrow\hspace{0.05cm}0^{+}) - F_Y(y \hspace{0.05cm}\rightarrow\hspace{0.05cm}0^{-})\hspace{0.05cm}.$$

Da bei einer kontinuierlichen Zufallsgröße die beiden Grenzwerte gleich sind, gilt Pr(Y = 0) = 0.

Allgemein gilt: Die Wahrscheinlichkeit Pr(Y = y0), dass eine wertkontinuierliche Zufallsgröße Y einen festen Wert y0 annimmt, ist stets 0.

e)  Richtig ist der Lösungsvorschlag 2: Aufgrund der vorliegenden WDF kann das Ergebnis Y = 3 ausgeschlossen werden. Das Ergebnis Y = 0 ist dagegen durchaus möglich, obwohl Pr(Y = 0) = 0 ist. Führt man zum Beispiel ein Zufallsexperiment N → ∞ mal durch und erhält dabei N0 mal das Ergebnis Y = 0, so gilt bei endlichem N0 nach der klassischen Definition:
$${\rm Pr}(Y = 0) = \lim_{N\hspace{0.05cm}\rightarrow\hspace{0.05cm}\infty}\hspace{0.1cm}{N_0}/{N} = 0\hspace{0.05cm}.$$

f)  Wir gehen wieder von der Gleichung Pr(A ≤ Y ≤ B) = FY(B) – FY(A) aus. Mit A = 0 und B → ∞ (bzw. B = 2) erhält man:
$${\rm Pr}( Y > 0) = {\rm Pr}(0 \le Y \le \infty)
= {\rm Pr}(0 \le Y \le 2) = F_Y(2) - F_Y(0)
\hspace{0.15cm}\underline {= 0.5}\hspace{0.05cm}.$$

Bei der symmetrischen kontinuierlichen Zufallsgröße Y ist erwartungsgemäß Pr(Y > 0) = 1/2. Obwohl auch die wertdiskrete Zufallsgröße X symmetrisch um x = 0 ist, wurde dagegen oben Pr(X > 0) = 0.3 ermittelt. Weiter erhält man mit A = –1 und B = +1 wegen FY(–1) = 1 –
FY(+1):

$${\rm Pr}( |Y| \le 1) = {\rm Pr}(-1 \le Y \le +1)
= F_Y(+1) - F_Y(-1) $$ $$\
= 2 \cdot F_Y(+1) -1 = 2 \cdot 0.909 -1 \hspace{0.15cm}\underline {= 0.818}. $$

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.1 Differentielle Entropie^]]

Aufgaben:Exercise 4.4: Conventional Entropy and Differential Entropy

2017-03-24T16:58:57Z

Khalil:

{{quiz-Header|Buchseite=Informationstheorie/Differentielle Entropie
}}

[[File:P_ID2878__Inf_A_4_4.png|right|]]
Wir betrachten die zwei wertkontinuierlichen Zufallsgrößen X und Y mit den Wahrscheinlichkeitsdichtefunktionen fX(x) und fY(y). Für diese Zufallsgrößen kann man
:* die herkömmlichen Entropien H(X), H(Y) nicht angeben,
:* jedoch aber die differentiellen Entropien h(X) und h(Y).
Wir betrachten außerdem zwei wertdiskrete Zufallsgrößen:
:*ZX,M ergibt sich durch (geeignete) Quantisierung der Zufallsgröße X mit der Quantisierungsstufenzahl M  ⇒  Quantisierungsintervallbreite Δ = 0.5/M.
:* Die Zufallsgröße ZY,M ergibt sich nach Quantisierung der wertkontinuierlichen Zufallsgröße Y mit der Quantisierungsstufenzahl M  ⇒  Quantisierungsintervallbreite Δ = 2/M.

Die Wahrscheinlichkeitsdichtefunktionen dieser diskreten Zufallsgrößen setzen sich jeweils aus M Diracfunktionen zusammen, deren Impulsgewichte durch die Intervallflächen der zugehörigen wertkontinuierlichen Zufallsgrößen gegeben sind. Daraus lassen sich die Entropien H(ZX,M) und H(ZY,M) in herkömmlicher Weise (entsprechend Kapitel 3) bestimmen.

Im [http://en.lntwww.de/Informationstheorie/Differentielle_Entropie#Entropie_wertkontinuierlicher_Zufallsgr.C3.B6.C3.9Fen_nach_Quantisierung '''Theorieteil'''] wurde auch eine Näherung angegeben. Beispielsweise gilt:
$$H(Z_{X, \hspace{0.05cm}M}) \approx -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(X)\hspace{0.05cm}. $$
Sie werden im Laufe der Aufgabe feststellen, dass bei rechteckförmiger WDF ⇒ Gleichverteilung diese &bdquo;Näherung” genau das gleiche Ergebnis liefert wie die direkte Berechnung.
Aber im allgemeinen Fall – zum Beispiel bei [http://en.lntwww.de/Informationstheorie/Differentielle_Entropie#Entropie_wertkontinuierlicher_Zufallsgr.C3.B6.C3.9Fen_nach_Quantisierung '''dreieckförmiger WDF'''] – stellt obige Gleichung tatsächlich nur eine Näherung dar, die erst im Grenzfall Δ → 0 mit der tatsächlichen Entropie H(ZX,M) übereinstimmt.

Hinweis: Die Aufgabe gehört zum Themengebiet von [http://en.lntwww.de/Informationstheorie/Differentielle_Entropie '''Kapitel 4.1''']

===Fragebogen===

<quiz display=simple>

{Berechnen Sie die differentielle Entropie h(X).
|type="{}"}
$ h(X)$ = { 1 3% }

{Berechnen Sie die differentielle Entropie h(Y).
|type="{}"}
$ h(Y)$ = { 1 3% }

{Berechnen Sie die Entropie der wertdiskreten Zufallsgrößen ZX, M = 4.
|type="{}"}
$direkte Berechnung: H(Z_{ X, M = 4})$ = { 2 3% }
$mit Näherung: H(Z_{ X, M = 4})$ = { 2 3% }

{Berechnen Sie die Entropie der wertdiskreten Zufallsgröße ZY, M = 4.
|type="{}"}
$mit Näherung: H(Z_{ Y, M = 4})$ = { 2 3% }

{Berechnen Sie die Entropie der wertdiskreten Zufallsgröße ZY, M = 8.
|type="{}"}
$mit Näherung: H(Z_{ Y, M = 8})$ = { 3 3% }

{Welche der folgenden Aussagen sind zutreffend?
|type="[]"}
+ Die Entropie einer diskreten Zufallsgröße Z ist stets H(Z) ≥ 0.
+ Die differentielle Entropie einer kontinuierlichen Zufallsgröße X ist stets h(X) ≥ 0.

</quiz>

===Musterlösung===
{{ML-Kopf}}
a)  Gemäß der entsprechenden [http://en.lntwww.de/Informationstheorie/Differentielle_Entropie#Definition_und_Eigenschaften_der_differentiellen_Entropie '''Theorieseite'''] gilt mit xmin = 0 und xmax = 1/2:
$$h(X) = {\rm log}_2 \hspace{0.1cm} (x_{\rm max} - x_{\rm min}) = {\rm log}_2 \hspace{0.1cm} (1/2) \hspace{0.15cm}\underline{= - 1\,{\rm bit}}\hspace{0.05cm}.$$

b)  Mit ymin = –1 und ymax = +1 ergibt sich für die differentielle Entropie der Zufallsgröße Y:
$$h(Y) = {\rm log}_2 \hspace{0.1cm} (x_{\rm max} - x_{\rm min}) = {\rm log}_2 \hspace{0.1cm} (2) \hspace{0.15cm}\underline{= + 1\,{\rm bit}}\hspace{0.05cm}. $$

c)  Die nachfolgende Grafik verdeutlicht die bestmögliche Quantisierung der Zufallsgröße X mit der Quantisierungsstufenzahl M = 4  ⇒  Zufallsgröße ZX, M = 4:

[[File:P_ID2879__Inf_A_4_4c.png|right|]]
:*Die Intervallbreite ist hier gleich Δ = 0.5/4 = 1/8.
:*Die möglichen Werte (jeweils in der Intervallmitte) sind z ∈ {0.0625, 0.1875, 0.3125, 0.4375}.
:*Die direkte Berechnung der Entropie ergibt mit der Wahrscheinlichkeitsfunktion PZ(Z) = [1/4, ... , 1/4]:
$$H(Z_{X, M = 4}) = {\rm log}_2 \hspace{0.1cm} (4) \hspace{0.15cm}\underline{= 2\,{\rm bit}}
\hspace{0.05cm}.$$
:* Mit der Näherung erhält man unter Berücksichtigung des Ergebnisses der Teilaufgabe (a):
$$H(Z_{X, M = 4}) \approx -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(X) =
3\,{\rm bit} +(- 1\,{\rm bit})\hspace{0.15cm}\underline{= 2\,{\rm bit}}\hspace{0.05cm}. $$
Hinweis: Nur bei der Gleichverteilung liefert die Näherung genau das gleiche Ergebnis.

d)  Aus der zweiten Grafik erkennt man die Gemeinsamkeiten / Unterschiede zur Teilaufgabe (c):
[[File:P_ID2880__Inf_A_4_4d.png|right|]]
:* Der Quantisierungsparameter ist nun Δ = 2/4 = 1/2.
:* Die möglichen Werte sind nun z ∈ {±0.75, ±0.25}.
:* Somit liefert hier die &bdquo;Näherung” (ebenso wie die direkte Berechnung) das Ergebnis:
$$H(Z_{Y, M = 4}) \approx -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(Y)$$ $$ =\
\hspace{-0.15cm} 1\,{\rm bit} + 1\,{\rm bit}\hspace{0.15cm}\underline{= 2\,{\rm bit}}\hspace{0.05cm}.$$
[[File:P_ID2881__Inf_A_4_4e.png|right|]]
e)  Im Gegensatz zur Teilaufgabe (d) gilt nun Δ = 1/4. Daraus folgt für die &bdquo;Näherung”:
$$H(Z_{Y, M = 8}) \approx -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(Y)$$ $$ =\
\hspace{-0.15cm} 2\,{\rm bit} + 1\,{\rm bit}\hspace{0.15cm}\underline{= 3\,{\rm bit}}\hspace{0.05cm}.$$
Wieder gleiches Ergebnis bei direkter Berechnung.

f)  Richtig ist nur die Aussage 1:
:* Die Entropie H(Z) einer diskreten Zufallsgröße Z = {z1, ... , zM} kann nie negativ werden. Der Grenzfall H(Z) = 0 ergibt sich z.B. für Pr(Z = z1) = 1 und Pr(Z = zμ) = 0 für 2 ≤ μ ≤ M.

:* Dagegen kann die differentielle Entropie h(X) einer kontinuierlichen Zufallsgröße X negativ (Teilaufgabe a), positiv (Teilaufgabe b) oder auch h(X) = 0 (z.B. xmin = 0, xmax = 1) sein.

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.1 Differentielle Entropie^]]

Aufgaben:Exercise 4.4: Conventional Entropy and Differential Entropy

2017-03-24T16:21:53Z

Khalil: Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/Differentielle Entropie }} right| Wir betrachten die zwei wertkontinuierlichen…“

Aufgaben:Exercise 4.3Z: Exponential and Laplace Distribution

2017-03-21T20:10:55Z

Khalil: /* Musterlösung */

{{quiz-Header|Buchseite=Informationstheorie/Differentielle Entropie
}}

[[File:P_ID2875__Inf_Z_4_3.png|right|]]
Wir betrachten hier die Wahrscheinlichkeitsdichtefunktionen (WDF) zweier wertkontinuierlicher Zufallsgrößen:
:* X ist exponentialverteilt (siehe obere Darstellung): Für x < 0 ist fX(x) = 0, und für positive x–Werte gilt:
$$f_X(x) = \lambda \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x}\hspace{0.05cm}. $$
:* Dagegen gilt für die laplaceverteilte Zufallsgröße Y im gesamten Bereich –∞ < y < +∞ (untere Skizze):
$$f_Y(y) = \lambda/2 \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}|y|}\hspace{0.05cm}.$$
Zu berechnen sind die differentiellen Entropien h(X) und h(Y) abhängig vom WDF–Parameter λ. Zum Beispiel gilt:
$$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}
\hspace{0.03cm}(\hspace{-0.03cm}f_X)} \hspace{-0.55cm} f_X(x) \cdot {\rm log}_2 \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x
\hspace{0.05cm}.$$
Bei Verwendung von &bdquo;log2” ist die Pseudo–Einheit &bdquo;bit” anzufügen.

In den Teilaufgaben (b) und (d) ist die differentielle Entropie in folgender Form anzugeben:
$$h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.05cm} \rm L} \cdot \sigma^2)
\hspace{0.5cm}{\rm bzw.} \hspace{0.5cm}h(Y) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.05cm} \rm L} \cdot \sigma^2)
\hspace{0.05cm}.$$
Zu ermitteln ist, durch welche Faktoren ΓL die Exponentialverteilung und die Laplaceverteilung charakterisiert werden.

Hinweis: Die Aufgabe bezieht sich auf das Themengebiet von [http://en.lntwww.de/Informationstheorie/Differentielle_Entropie '''Kapitel 4.1'''] Für die Varianzen der beiden betrachteten Zufallsgrößen gilt, wie in [http://en.lntwww.de/Aufgaben:4.01Z_Momentenberechnung '''Aufgabe Z4.1'''] hergeleitet:
:* Exponentialverteilung  ⇒  Zufallsgröße X:    σ2 = 1/λ2,
:* Laplaceverteilung       ⇒  Zufallsgröße Y:    σ2 = 2/λ2.
===Fragebogen===

<quiz display=simple>

{Berechnen Sie die differentielle Entropie der Exponentialverteilung.
|type="{}"}
$λ = 1: h(X) $ = { 1.443 3% }

{Welche Kenngröße ergibt sich für die Form h(X) = 1/2 · log2 (ΓL · σ2)?
|type="{}"}
$Exponentialverteilung: ΓL$ = { 7.39 3% }

{Berechnen Sie die differentielle Entropie der Laplaceverteilung.
|type="{}"}
$ λ = 1: h(Y) $ = { 2.443 3% }

{Welche Kenngröße ergibt sich für die Form h(Y) = 1/2 · log2 (ΓL · σ2)?
|type="{}"}
$Laplaceverteilung: ΓL$ = { 14.78 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
a)  Obwohl in dieser Aufgabe das Ergebnis in &bdquo;bit” angegeben werden soll, verwenden wir zur Herleitung den natürlichen Logarithmus. Dann gilt für die differentielle Entropie:
$$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}
\hspace{0.03cm}(\hspace{-0.03cm}f_X)} \hspace{-0.35cm} f_X(x) \cdot {\rm ln} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x
\hspace{0.05cm}.$$
Für die Exponentialverteilung sind die Integrationsgrenzen 0 und +∞ anzusetzen. In diesem Bereich wird die auf dem Angabenblatt angegebene WDF fX(x) eingesetzt:
$$h(X) \hspace{-0.15cm} = \hspace{-0.15cm} - \int_{0}^{\infty} \hspace{-0.15cm}
\lambda \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x}
\hspace{0.05cm} \cdot \hspace{0.05cm} \left [ {\rm ln} \hspace{0.1cm} (\lambda) +
{\rm ln} \hspace{0.1cm} ({\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x})\right ]\hspace{0.1cm}{\rm d}x $$ $$= \
\hspace{-0.15cm} - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda) \cdot \int_{0}^{\infty} \hspace{-0.15cm}
\lambda \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x}\hspace{0.1cm}{\rm d}x
\hspace{0.1cm} + \hspace{0.1cm} \lambda \cdot \int_{0}^{\infty} \hspace{-0.15cm}
\lambda \cdot x \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x}\hspace{0.1cm}{\rm d}x
\hspace{0.05cm}.$$
Man erkennt:
:* Der erste Integrand ist identisch mit der hier betrachteten WDF fX(x). Das Integral über den gesamten Integrationsbereich ergibt somit 1.
:* Das zweite Integral entspricht genau der Definition des Mittelwertes m1 (Moment erster Ordnung). Für die Exponentialverteilung gilt m1 = 1/λ. Daraus folgt:
$$h(X) = - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda) + 1 =
- \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda) + \hspace{0.05cm} {\rm ln} \hspace{0.1cm} ({\rm e}) = {\rm ln} \hspace{0.1cm} ({\rm e}/\lambda)
\hspace{0.05cm}.$$
Dieses Ergebnis ist mit der Zusatzeinheit &bdquo;nat” zu versehen. Mit &bdquo;log2” anstelle von &bdquo;ln” erhält man die differentielle Entropie in &bdquo;bit”:
$$h(X) = {\rm log}_2 \hspace{0.1cm} ({\rm e}/\lambda)
\hspace{0.3cm} \Rightarrow \hspace{0.3cm} \lambda = 1{\rm :}
\hspace{0.3cm} h(X) = {\rm log}_2 \hspace{0.1cm} ({\rm e}) = \frac{{\rm ln} \hspace{0.1cm} ({\rm e})}{{\rm ln} \hspace{0.1cm} (2)}
\hspace{0.15cm}\underline{= 1.443\,{\rm bit}}
\hspace{0.05cm}.$$
b)  Unter Berücksichtigung der für die Exponentialverteilung gültigen Gleichung σ2 = 1/λ2 kann man das in der Teilaufgabe a) gefundene Ergebnis wie folgt umformen:
$$h(X) = {\rm log}_2 \hspace{0.1cm} ({\rm e}/\lambda) =
\frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ({\rm e}^2/\lambda^2)
=
\frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ({\rm e}^2 \cdot \sigma^2)
\hspace{0.05cm}.$$
Ein Vergleich mit der geforderten Grundform 1/2 · log2 (ΓL · σ2) führt zum Ergebnis:
$${\it \Gamma}_{\rm L} = {\rm e}^2 \hspace{0.15cm}\underline{\approx 7.39}
\hspace{0.05cm}.$$
c)  Bei der Laplaceverteilung unterteilen wir den Integrationsbereich in zwei Teilbereiche:
:* Y negativ  ⇒  Anteil hneg(Y),
:* Y positiv  ⇒  Anteil hpos(Y).

Die gesamte differentielle Entropie ergibt sich unter Berücksichtigung von hneg(Y) = hpos(Y) zu
$$h(Y) = h_{\rm neg}(Y) + h_{\rm pos}(Y) = 2 \cdot h_{\rm pos}(Y) $$
$$\Rightarrow \hspace{0.3cm} h(Y) \hspace{-0.15cm} = \hspace{-0.15cm} - 2 \cdot \int_{0}^{\infty} \hspace{-0.15cm}
\lambda/2 \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}y}
\hspace{0.05cm} \cdot \hspace{0.05cm} \left [ {\rm ln} \hspace{0.1cm} (\lambda/2) +
{\rm ln} \hspace{0.1cm} ({\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}y})\right ]\hspace{0.1cm}{\rm d}y $$ $$= \
\hspace{-0.15cm} - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda/2) \cdot \int_{0}^{\infty} \hspace{-0.15cm}
\lambda \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}y}\hspace{0.1cm}{\rm d}y
\hspace{0.1cm} + \hspace{0.1cm} \lambda \cdot \int_{0}^{\infty} \hspace{-0.15cm}
\lambda \cdot y \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}y}\hspace{0.1cm}{\rm d}y
\hspace{0.05cm}.$$

Berücksichtigen wir wiederum, dass
:* das erste Integral den Wert 1 ergibt (WDF–Fläche), und
:* das zweite Integral den Mittelwert m1 = 1/λ angibt,

so erhalten wir:
$$h(Y) = - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda/2) + 1 =
- \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda/2) + \hspace{0.05cm} {\rm ln} \hspace{0.1cm} ({\rm e}) = {\rm ln} \hspace{0.1cm} (2{\rm e}/\lambda)
\hspace{0.05cm}.$$
Da das Ergebnis in &bdquo;bit” gefordert ist, muss noch &bdquo;ln” durch &bdquo;log2” ersetzt werden:
$$h(Y) = {\rm log}_2 \hspace{0.1cm} (2{\rm e}/\lambda)
\hspace{0.3cm} \Rightarrow \hspace{0.3cm} \lambda = 1{\rm :}
\hspace{0.3cm} h(Y) = {\rm log}_2 \hspace{0.1cm} (2{\rm e})
\hspace{0.15cm}\underline{= 2.443\,{\rm bit}}
\hspace{0.05cm}.$$
d)  Bei der Laplaceverteilung gilt der Zusammenhang σ2 = 2/λ2. Damit erhält man:
$$h(X) = {\rm log}_2 \hspace{0.1cm} (\frac{2{\rm e}}{\lambda}) =
\frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} (\frac{4{\rm e}^2}{\lambda^2})
=
\frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} (2 {\rm e}^2 \cdot \sigma^2)$$
$$\Rightarrow \hspace{0.3cm} {\it \Gamma}_{\rm L} = 2 \cdot {\rm e}^2 \hspace{0.15cm}\underline{\approx 14.78}
\hspace{0.05cm}.$$
Der ΓL–Wert ist bei der Laplaceverteilung doppelt so groß wie bei der Exponentialverteilung. Damit ist offensichtlich, dass die Laplaceverteilung hinsichtlich der differentiellen Entropie h(X) deutlich besser ist als die Exponentialverteilung, wenn man von leistungsbegrenzten Signalen ausgeht. Unter der Nebenbedingung der Spitzenwertbegrenzung sind sowohl die Exponential– als auch die Laplaceverteilung völlig ungeeignet, ebenso wie die Gaußverteilung. Diese reichen alle bis ins Unendliche.

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^4.1 Differentielle Entropie^]]

Aufgaben:Exercise 4.3Z: Exponential and Laplace Distribution

2017-03-21T19:47:48Z

Khalil: /* Fragebogen */