Betrachtet werden zwei Wahrscheinlichkeitsdichtefunktionen (kurz WDF) mit dreieckförmigem Verlauf.
Two probability density functions $\rm (PDF)$ with triangular shapes are considered.
* Die Zufallsgröße $X$ ist auf den Wertebereich von $0$ bis $1$ begrenzt, und es gilt für die WDF (obere Skizze):
* The random variable $X$ is limited to the range from $0$ to $1$ , and it holds for the PDF (upper sketch):
*If, on the other hand, the result is asked in "bit" then the "dual logarithm" ⇒ "$\log_2$" is to be used.
\hspace{0.05cm}.$$
*Verwendet man den ''natürlichen Logarithmus'', so ist die Pseudo–Einheit "nat" anzufügen.
*Ist das Ergebnis dagegen in "bit" gefragt, so ist der <i>Logarithmus dualis</i> ⇒ "$\log_2$" zu verwenden.
In der vierten Teilaufgabe wird die neue Zufallsgröße $Z = A \cdot Y$ betrachtet. Der WDF–Parameter $A$ ist dabei so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße $Z$ genau $1$ bit ergibt:<br>
In the fourth subtask, the new random variable $Z = A \cdot Y$ is considered. Here, the PDF parameter $A$ is to be determined in such a way that the differential entropy of the new random variable $Z$ yields exactly $1$ bit :<br>
:$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
:$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\ {\rm bit} \hspace{0.05cm}.$$
Line 32:
Line 27:
''Hinweise:''
Hints:
*Die Aufgabe gehört zum Kapitel [[Information_Theory/Differentielle_Entropie|Differentielle Entropie]].
*The task belongs to the chapter [[Information_Theory/Differentielle_Entropie|Differential Entropy]].
*Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im dritten Kapitel "Kontinuierliche Zufallsgrößen" des Buches [[Stochastische Signaltheorie]].
*Useful hints for solving this task and further information on continuous random variables can be found in the third chapter "Continuous Random Variables" of the book [[Theory of Stochastic Signals]].
*Vorgegeben ist das folgende unbestimmte Integral:
{Berechnen Sie die differentielle Entropie der Zufallsgröße $X$ in "nat".
{Calculate the differential entropy of the random variable $X$ in "nat".
|type="{}"}
|type="{}"}
$h(X) \ = \ $ { -0.199--0.187 } $\ \rm nat$
$h(X) \ = \ $ { -0.199--0.187 } $\ \rm nat$
{Welches Ergebnis erhält man mit der Pseudoeinheit "bit"?
{What result is obtained with the pseudo-unit "bit"?
|type="{}"}
|type="{}"}
$h(X) \ = \ $ { -0.288--0.270 } $\ \rm bit$
$h(X) \ = \ $ { -0.288--0.270 } $\ \rm bit$
{Berechnen Sie die differentielle Entropie der Zufallsgröße $Y$.
{Calculate the differential entropy of the random variable $Y$.
|type="{}"}
|type="{}"}
$h(Y) \ = \ $ { 0.721 3% } $\ \rm bit$
$h(Y) \ = \ $ { 0.721 3% } $\ \rm bit$
{Bestimmen Sie den WDF–Parameter $A$ derart, dass $\underline{h(Z) = h (A \cdot Y) = 1 \ \rm bit}$ gilt.
{Determine the PDF parameter $A$ such that $\underline{h(Z) = h (A \cdot Y) = 1 \ \rm bit}$ .
|type="{}"}
|type="{}"}
$A\ = $ { 1.213 3% }
$A\ = $ { 1.213 3% }
Line 65:
Line 58:
</quiz>
</quiz>
===Musterlösung===
===Solution===
{{ML-Kopf}}
{{ML-Kopf}}
'''(1)''' Für die Wahrscheinlichkeitsdichtefunktion gilt im Bereich $0 \le X \le 1$ vereinbarungsgemäß:
'''(1)''' For the probability density function, in the range $0 \le X \le 1$ , it is agreed that:
:$$f_X(x) = 2x = C \cdot x
:$$f_X(x) = 2x = C \cdot x\hspace{0.05cm}.$$
\hspace{0.05cm}.$$
*Here we have replaced "2" by $C$ ⇒ generalization in order to be able to use the following calculation again in subtask $(3)$ .
*Wir haben hierbei "2" durch $C$ ersetzt ⇒ Verallgemeinerung, um in der Teilaufgabe $(3)$ die nachfolgende Berechnung nochmals nutzen zu können.
*Da die differentielle Entropie in "nat" gesucht ist, verwenden wir den natürlichen Logarithmus. Mit der Substitution $\xi = C \cdot x$ erhalten wir:
*Since the differential entropy is sought in "nat", we use the natural logarithm. With the substitution $\xi = C \cdot x$ we obtain:
:$$h_{\rm nat}(X) = \hspace{0.1cm} - \int_{0}^{1} \hspace{0.1cm} C \cdot x \cdot {\rm ln} \hspace{0.1cm} \big[ C \cdot x \big] \hspace{0.1cm}{\rm d}x =
*Diese Umrechnung kann man sich sparen, wenn man bereits im analytischen Ergebnis der Teilaufgabe $(1)$ direkt "ln" durch "log<sub>2</sub>" ersetzt:
*You can save this conversion if you directly replace $(1)$ direct "ln" by "log<sub>2</sub>" already in the analytical result of subtask:
*Das erste Integral für den Bereich $-1 \le y \le 0$ ist formgleich mit dem der Teilaufgabe $(1)$ und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst.
*Zu berücksichtigen ist nun die Höhe $C = 1$ anstelle von $C = 2$:
*Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ $I_{\rm pos} = I_{\rm neg}$:
'''(3)''' We again use the natural logarithm and divide the integral into two partial integrals:
*The first integral for the range $-1 \le y \le 0$ is identical in form to that of subtask $(1)$ and only shifted with respect to it, which does not affect the result.
*Now the height $C = 1$ instead of $C = 2$ has to be considered:
*The second integrand is identical to the first except for a shift and reflection. Moreover, the integration intervals do not overlap ⇒ $I_{\rm pos} = I_{\rm neg}$:
If the "natural logarithm", the pseudo-unit "nat" must be added.
If, on the other hand, the result is asked in "bit" then the "dual logarithm" ⇒ "$\log_2$" is to be used.
In the fourth subtask, the new random variable $Z = A \cdot Y$ is considered. Here, the PDF parameter $A$ is to be determined in such a way that the differential entropy of the new random variable $Z$ yields exactly $1$ bit :
$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\ {\rm bit} \hspace{0.05cm}.$$
Useful hints for solving this task and further information on continuous random variables can be found in the third chapter "Continuous Random Variables" of the book Theory of Stochastic Signals.
The first integral for the range $-1 \le y \le 0$ is identical in form to that of subtask $(1)$ and only shifted with respect to it, which does not affect the result.
Now the height $C = 1$ instead of $C = 2$ has to be considered:
The second integrand is identical to the first except for a shift and reflection. Moreover, the integration intervals do not overlap ⇒ $I_{\rm pos} = I_{\rm neg}$:
