LNTwww - User contributions [en]

Information Theory/Discrete Memoryless Sources

2020-11-02T13:45:05Z

Rosa:

{{FirstPage}}
{{Header
|Untermenü=Entropie wertdiskreter Nachrichtenquellen
|Vorherige Seite=
|Nächste Seite=Nachrichtenquellen mit Gedächtnis
}}

== # OVERVIEW OF THE FIRST MAIN CHAPTER # ==
 
This first chapter describes the calculation and the meaning of entropy.  According to the Shannonian information definition, entropy is a measure of the mean uncertainty about the outcome of a statistical event or the uncertainty in the measurement of a stochastic quantity.  Somewhat casually expressed, the entropy of a random quantity quantifies its "randomness".

In detail are discussed:

*the ''decision content''  and the ''entropy''  of a memoryless news source,
*the ''binary entropy function''  and its application to ''non-binary sources'',
*the entropy calculation for ''memory sources''  and suitable approximations,
*the peculiarities of ''Markov sources''  regarding the entropy calculation,
*the procedure for sources with a large number of symbols, for example ''natural texts'',
*the ''entropy estimates''  according to Shannon and Küpfmüller.

Further information on the topic as well as Exercises, simulations and programming exercises can be found in the experiment "Value Discrete Information Theory" of the practical course "Simulation Digitaler Übertragungssysteme" (english: Simulation of Digital Transmission Systems).  This (former) LNT course at the TU Munich is based on

*the Windows program  [http://en.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]   ⇒   the link points to the ZIP version of the program and
*the associated  [http://en.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Internship guide]   ⇒   the link refers to the PDF version.

== Model and requirements ==
 
We consider a value discrete message source  $\rm Q$, which gives a sequence  $ \langle q_ν \rangle$  of symbols.
*For the run variable  $ν = 1$, ... , $N$, where  $N$  should be "sufficiently large".
*Each individual source symbol  $q_ν$  comes from a symbol set  $\{q_μ \}$  where  $μ = 1$, ... , $M$, where  $M$  denotes the symbol range:

:$$q_{\nu} \in \left \{ q_{\mu} \right \}, \hspace{0.25cm}{\rm with}\hspace{0.25cm} \nu = 1, \hspace{0.05cm} \text{ ...}\hspace{0.05cm} , N\hspace{0.25cm}{\rm and}\hspace{0.25cm}\mu = 1,\hspace{0.05cm} \text{ ...}\hspace{0.05cm} , M \hspace{0.05cm}.$$

The figure shows a quaternary message source  $(M = 4)$  with the alphabet  $\rm \{A, \ B, \ C, \ D\}$  and an exemplary sequence of length  $N = 100$.

[[File:P_ID2227_Inf_T_1_1_S1a_neu.png|frame|Memoryless Quaternary Message Source]]

The following requirements apply:
*The quaternary news source is fully described by  $M = 4$  symbol probabilities  $p_μ$.  In general it applies:
:$$\sum_{\mu = 1}^M \hspace{0.1cm}p_{\mu} = 1 \hspace{0.05cm}.$$
*The message source is memoryless, i.e., the individual sequence elements are  [[Theory_of_Stochastic_Signals/Statistical Dependence and Independence#General_definition_of_statistical_dependence|statistically independent of each other]]:
:$${\rm Pr} \left (q_{\nu} = q_{\mu} \right ) = {\rm Pr} \left (q_{\nu} = q_{\mu} \hspace{0.03cm} | \hspace{0.03cm} q_{\nu -1}, q_{\nu -2}, \hspace{0.05cm} \text{ ...}\hspace{0.05cm}\right ) \hspace{0.05cm}.$$
*Since the alphabet consists of symbols  (and not of random variables) , the specification of  [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments|expected values]]  (linear mean, quadratic mean, dispersion, etc.) is not possible here, but also not necessary from an information-theoretical point of view.

These properties will now be illustrated with an example.

[[File:Inf_T_1_1_S1b_vers2.png|right|frame|Relative frequencies as a function of  $N$]]
{{GraueBox|TEXT=
$\text{Example 1:}$ 
For the symbol probabilities of a quaternary source applies:
:$$p_{\rm A} = 0.4 \hspace{0.05cm},\hspace{0.2cm}p_{\rm B} = 0.3 \hspace{0.05cm},\hspace{0.2cm}p_{\rm C} = 0.2 \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D} = 0.1\hspace{0.05cm}.$$
For an infinitely long sequence  $(N \to \infty)$
*the  [[Theory_of_Stochastic_Signals/From_Random_Experiment_to_Random_Variable#Bernoulli's_Law_of_Large_Numbers|relative frequencies]]  $h_{\rm A}$,  $h_{\rm B}$,  $h_{\rm C}$,  $h_{\rm D}$   ⇒   a-posteriori parameters
*were identical to the  [[Theory_of_Stochastic_Signals/Some_Basic_Definitions#Event_and_Event_set|probabilities]]  $p_{\rm A}$,  $p_{\rm B}$,  $p_{\rm C}$,  $p_{\rm D}$   ⇒   a-priori parameters.

With smaller  $N$  deviations may occur, as the adjacent table (result of a simulation) shows.

*In the graphic above an exemplary sequence is shown with  $N = 100$  symbols.
*Due to the set elements  $\rm A$,  $\rm B$,  $\rm C$  and  $\rm D$  no mean values can be given.

However, if you replace the symbols with numerical values, for example  $\rm A \Rightarrow 1$,   $\rm B \Rightarrow 2$,   $\rm C \Rightarrow 3$,   $\rm D \Rightarrow 4$, then you will get     time averaging   ⇒   crossing line     or     ensemble averaging   ⇒   expected value formation
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Linear_Average_-_Direct_Component|linear average]] :
:$$m_1 = \overline { q_{\nu} } = {\rm E} \big [ q_{\mu} \big ] = 0.4 \cdot 1 + 0.3 \cdot 2 + 0.2 \cdot 3 + 0.1 \cdot 4
= 2 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Square_mean_.E2.80.93_Variance_.E2.80.93_Scattering |square mean]]:
:$$m_2 = \overline { q_{\nu}^{\hspace{0.05cm}2} } = {\rm E} \big [ q_{\mu}^{\hspace{0.05cm}2} \big ] = 0.4 \cdot 1^2 + 0.3 \cdot 2^2 + 0.2 \cdot 3^2 + 0.1 \cdot 4^2
= 5 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments#Some_often_used_Central_Moments|standard deviation]] (scattering) according to the "Theorem of Steiner":
:$$\sigma = \sqrt {m_2 - m_1^2} = \sqrt {5 - 2^2} = 1 \hspace{0.05cm}.$$}}

==Decision content - Message content==
 
[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  defined in 1948 in the standard work of information theory  [Sha48]<ref name='Sha48'>Shannon, C.E.: A Mathematical Theory of Communication. In: Bell Syst. Techn. J. 27 (1948), pp. 379-423 and pp. 623-656.</ref>  the concept of information as "decrease of uncertainty about the occurrence of a statistical event".

Let us make a mental experiment with  $M$  possible results, which are all equally probable:   $p_1 = p_2 = \hspace{0.05cm} \text{ ...}\hspace{0.05cm} = p_M = 1/M \hspace{0.05cm}.$

Under this assumption applies:
*Is  $M = 1$, then each individual attempt will yield the same result and therefore there is no uncertainty about the output.
*On the other hand, an observer learns about an experiment with  $M = 2$, for example the "coin toss" with the set of events  $\big \{\rm \boldsymbol{\rm Z}, \rm \boldsymbol{\rm W} \big \}$  and the probabilities  $p_{\rm Z} = p_{\rm W} = 0. 5$, a gain in information; The uncertainty regarding  $\rm Z$  resp.  $\rm W$  is resolved.
*In the experiment "dice"  $(M = 6)$  and even more in roulette  $(M = 37)$  the gained information is even more significant for the observer than in the "coin toss" when he learns which number was thrown or which ball fell.
*Finally it should be considered that the experiment  "triple coin toss"  with the  $M = 8$  possible results  $\rm ZZZ$,  $\rm ZZW$,  $\rm ZWZ$,  $\rm ZWW$,  $\rm WZZ$,  $\rm WZW$,  $\rm WWZ$,  $\rm WWW$  provides three times the information as the single coin toss  $(M = 2)$.

The following definition fulfills all the requirements listed here for a quantitative information measure for equally probable events, indicated only by the symbol range  $M$.

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''decision content'''   of a message source depends only on the symbol range  $M$  and results in

:$$H_0 = {\rm log}\hspace{0.1cm}M = {\rm log}_2\hspace{0.1cm}M \hspace{0.15cm} {\rm (in \ “bit")}
= {\rm ln}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “nat")}
= {\rm lg}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “Hartley")}\hspace{0.05cm}.$$

*The term  ''message content'' is also commonly used for this.
*Since  $H_0$  indicates the maximum value of the  [[Information_Theory/Sources with Memory#Information_Content_and_Entropy|Entropy]]  $H$ , $H_\text{max}$  is also used in our tutorial as short notation . }}

Please note our nomenclature:
*The logarithm will be called "log" in the following, independent of the base.
*The relations mentioned above are fulfilled due to the following properties:

:$${\rm log}\hspace{0.1cm}1 = 0 \hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}37 > {\rm log}\hspace{0.1cm}6 > {\rm log}\hspace{0.1cm}2\hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}M^k = k \cdot {\rm log}\hspace{0.1cm}M \hspace{0.05cm}.$$

* Usually we use the logarithm to the base  $2$   ⇒   ''Logarithm dualis''  $\rm (ld)$, where the pseudo unit "bit", more precisely:  "bit/symbol", is then added:

:$${\rm ld}\hspace{0.1cm}M = {\rm log_2}\hspace{0.1cm}M = \frac{{\rm lg}\hspace{0.1cm}M}{{\rm lg}\hspace{0.1cm}2}
= \frac{{\rm ln}\hspace{0.1cm}M}{{\rm ln}\hspace{0.1cm}2}
\hspace{0.05cm}.$$

*In addition, you can find in the literature some additional definitions, which are based on the natural logarithm  $\rm (ln)$  or the logarithm  $\rm (lg)$ .

==Information content and entropy ==
 
We now waive the previous requirement that all  $M$  possible results of an experiment are equally probable.  In order to keep the spelling as compact as possible, we define for this page only:

:$$p_1 > p_2 > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_\mu > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_{M-1} > p_M\hspace{0.05cm},\hspace{0.4cm}\sum_{\mu = 1}^M p_{\mu} = 1 \hspace{0.05cm}.$$

We now consider the ''information content''  of the individual symbols, where we denote the "logarithm dualis" with $\log_2$:

:$$I_\mu = {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}= -\hspace{0.05cm}{\rm log_2}\hspace{0.1cm}{p_\mu}
\hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

You can see:
*because of  $p_μ ≤ 1$  the information content is never negative.  In the borderline case  $p_μ \to 1$  goes  $I_μ \to 0$.
*However for  $I_μ = 0$   ⇒   $p_μ = 1$   ⇒   $M = 1$  the decision content is also  $H_0 = 0$.
*For decreasing probabilities  $p_μ$  the information content increases continuously:

:$$I_1 < I_2 < \hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_\mu <\hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_{M-1} < I_M \hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$  '''The more improbable an event is, the greater is its information content'''.  This fact is also found in daily life:
*"6 right ones" in the lottery are more likely to be noticed than "3 right ones" or no win at all.
*A tsunami in Asia also dominates the news in Germany for weeks as opposed to the almost standard Deutsche Bahn delays.
*A series of defeats of Bayern Munich leads to huge headlines in contrast to a winning series.  With 1860 Munich exactly the opposite is the case.}}

However, the information content of a single symbol (or event) is not very interesting.  On the other hand
*by ensemble averaging over all possible symbols  $q_μ$  bzw. 
*by time averaging over all elements of the sequence  $\langle q_ν \rangle$

one of the central variables of information theory.

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''Entropy'''  $H$  of a source indicates the ''mean information content of all symbols'' :

:$$H = \overline{I_\nu} = {\rm E}\hspace{0.01cm}[I_\mu] = \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}=
-\sum_{\mu = 1}^M p_{\mu} \cdot{\rm log_2}\hspace{0.1cm}{p_\mu} \hspace{0.5cm}\text{(unit: bit, more precisely: bit/symbol)}
\hspace{0.05cm}.$$

The overline marks again a time averaging and  $\rm E[\text{...}]$  a ensemble averaging.}}

Entropy is among other things a measure for
*the mean uncertainty about the outcome of a statistical event,
*the "randomness" of this event,  and
*the average information content of a random variable.

==Binary entropy function ==
 
At first we will restrict ourselves to the special case  $M = 2$  and consider a binary source, which returns the two symbols  $\rm A$  and  $\rm B$    The occurrence probabilities are   $p_{\rm A} = p$  and  $p_{\rm B} = 1 - p$.

For the entropy of this binary source applies:

:$$H_{\rm bin} (p) = p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p} \hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

The function is called  $H_\text{bin}(p)$  the  '''binary entropy function'''.  The entropy of a source with a larger symbol range  $M$  can often be expressed using  $H_\text{bin}(p)$ .

{{GraueBox|TEXT=
$\text{Example 2:}$ 
The figure shows the binary entropy function for the values  $0 ≤ p ≤ 1$  of the symbol probability of  $\rm A$  $($or also of  $\rm B)$.  You can see

[[File:Inf_T_1_1_S4_vers2.png|frame|Binary entropy function as function of  $p$|right]]
*The maximum value  $H_\text{max} = 1\; \rm bit$  results for  $p = 0.5$, thus for equally probable binary symbols.  Then   $\rm A$  and  $\rm B$  contribute the same amount to entropy.
* $H_\text{bin}(p)$  is symmetrical about  $p = 0.5$.  A source with  $p_{\rm A} = 0.1$  and  $p_{\rm B} = 0. 9$  has the same entropy  $H = 0.469 \; \rm bit$  as a source with  $p_{\rm A} = 0.9$  and  $p_{\rm B} = 0.1$.
*The difference  $ΔH = H_\text{max} - H$ gives  the  ''redundancy''  of the source and  $r = ΔH/H_\text{max}$  the  ''relative redundancy''.   In the example,  $ΔH = 0.531\; \rm bit$  and  $r = 53.1 \rm \%$.
*For  $p = 0$  this results in  $H = 0$, since the symbol sequence  $\rm B \ B \ B \text{...}$  can be predicted with certainty.   Actually, the symbol range is now only  $M = 1$.  The same applies to  $p = 1$   ⇒   symbol sequence  $\rm A \ A \ A \ text{...}$.
*$H_\text{bin}(p)$  is always a  ''concave function'', since the second derivative after the parameter  $p$  is negative for all values of  $p$ :
:$$\frac{ {\rm d}^2H_{\rm bin} (p)}{ {\rm d}\,p^2} = \frac{- 1}{ {\rm ln}(2) \cdot p \cdot (1-p)}< 0
\hspace{0.05cm}.$$}}

==Message sources with a larger symbol range==
 
In the  [[Information_Theory/Sources with Memory#Model_and_Prerequisites|first section]]  of this chapter we have a quaternary message source  $(M = 4)$  with the symbol probabilities  $p_{\rm A} = 0. 4$,   $p_{\rm B} = 0.3$,   $p_{\rm C} = 0.2$   and  $ p_{\rm D} = 0.1$  considered.  This source has the following entropy:

:$$H_{\rm quat} = 0.4 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0. 3} + 0.2 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.1}.$$

For numerical calculation, the detour via the decimal logarithm  $\lg \ x = {\rm log}_{10} \ x$ , is often necessary. Since the ''logarithm dualis''  $ {\rm log}_2 \ x$  is mostly not found on pocket calculators.

:$$H_{\rm quat}=\frac{1}{{\rm lg}\hspace{0.1cm}2} \cdot \left [ 0.4 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0. 3} + 0.2 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.2} + 0.1 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.1} \right ] = 1.845\,{\rm bit}
\hspace{0.05cm}.$$

{{GraueBox|TEXT=
$\text{Example 3:}$ 
Now there are certain symmetries between the symbol probabilities:
[[File:Inf_T_1_1_S5_vers2.png|frame|Entropy of binary source and quaternary source]]

:$$p_{\rm A} = p_{\rm D} = p \hspace{0.05cm},\hspace{0.4cm}p_{\rm B} = p_{\rm C} = 0.5 - p \hspace{0.05cm},\hspace{0.3cm}{\rm with} \hspace{0.15cm}0 \le p \le 0.5 \hspace{0.05cm}.$$

In this case, the binary entropy function can be used to calculate the entropy:

:$$H_{\rm quat} = 2 \cdot p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm} } + 2 \cdot (0.5-p) \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.5-p}$$
$$\Rightarrow \hspace{0.3cm} H_{\rm quat} = 1 + H_{\rm bin}(2p) \hspace{0.05cm}.$$

The graphic shows as a function of  $p$
*the entropy of the quaternary source (blue)
*in comparison to the entropy course of the binary source (red).

For the quaternary source only the abscissa  $0 ≤ p ≤ 0.5$  is allowed.
 
You can see from the blue curve for the quaternary source:
*The maximum entropy  $H_\text{max} = 2 \; \rm bit/symbol$  results for  $p = 0.25$   ⇒   equally probable symbols:   $p_{\rm A} = p_{\rm B} = p_{\rm C} = p_{\rm A} = 0.25$.
*With  $p = 0$  resp.  $p = 0.5$  the quaternary source degenerates to a binary source with  $p_{\rm B} = p_{\rm C} = 0. 5$  and  $p_{\rm A} = p_{\rm D} = 0$   ⇒   entropy  $H = 1 \; \rm bit/symbol$.
*The source with  $p_{\rm A} = p_{\rm D} = 0.1$  and  $p_{\rm B} = p_{\rm C} = 0.4$  has the following characteristics (each with the pseudo unit "bit/symbol"):

:     '''(1)'''   entropy:   $H = 1 + H_{\rm bin} (2p) =1 + H_{\rm bin} (0.2) = 1.722,$

:     '''(2)'''   Redundancy:   ${\rm \Delta }H = {\rm log_2}\hspace{0.1cm} M - H =2- 1.722= 0.278,$

:     '''(3)'''   relative redundancy:   $r ={\rm \delta }H/({\rm log_2}\hspace{0.1cm} M) = 0.139\hspace{0.05cm}.$

*The redundancy of the quaternary source with  $p = 0.1$  is equal to  $ΔH = 0.278 \; \rm bit/symbol$  and thus exactly the same as the redundancy of the binary source with  $p = 0.2$.}}

== Exercises for chapter==
 
[[Aufgaben:1.1 Wetterentropie|Aufgabe 1.1: Wetterentropie]]

[[Aufgaben:1.1Z Binäre Entropiefunktion|Aufgabe 1.1Z: Binäre Entropiefunktion]]

[[Aufgaben:1.2 Entropie von Ternärquellen|Aufgabe 1.2: Entropie von Ternärquellen]]

==List of sources==
<references />

{{Display}}

Information Theory/Discrete Sources with Memory

2020-11-02T13:44:27Z

Rosa:

{{Header
|Untermenü=Entropie wertdiskreter Nachrichtenquellen
|Vorherige Seite=Gedächtnislose Nachrichtenquellen
|Nächste Seite=Natürliche wertdiskrete Nachrichtenquellen
}}

==A simple introductory example ==
 
{{GraueBox|TEXT=
$\text{Example 1:}$ 
At the  [[Information_Theory/Discrete Memoryless Sources#Model_and_requirements|beginning of the first chapter]]  we have considered a memoryless message source with the symbol set  $\rm \{A, \ B, \ C, \ D\}$   ⇒   $M = 4$  .   An exemplary symbol sequence is shown again in the following figure as source  $\rm Q1$ .

With the symbol probabilities  $p_{\rm A} = 0.4 \hspace{0.05cm},\hspace{0.2cm}p_{\rm B} = 0.3 \hspace{0.05cm},\hspace{0.2cm}p_{\rm C} = 0.2 \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D} = 0.1\hspace{0.05cm}$  the entropy is

:$$H \hspace{-0.05cm}= 0.4 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.3} + 0.2 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.2} + 0.1 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.1} \approx 1.84 \hspace{0.05cm}{\rm bit/symbol}
\hspace{0.01cm}.$$

Due to the unequal symbol probabilities the entropy is smaller than the decision content  $H_0 = \log_2 M = 2 \hspace{0.05cm}. \rm bit/symbol$.

[[File:P_ID2238__Inf_T_1_2_S1a_neu.png|right|frame|Quaternary message source without/with memory]]
 
The source  $\rm Q2$  is almost identical to the source  $\rm Q1$, except that each individual symbol is output not only once, but twice in a row:  $\rm A ⇒ AA$,  $\rm B ⇒ BB$,  and so on.
*It is obvious that  $\rm Q2$  has a smaller entropy (uncertainty) than  $\rm Q1$.
*Because of the simple repetition code, 
:$$H = 1.84/2 = 0.92 \hspace{0.05cm} \rm bit/symbol$$
:only half the size, although the occurrence probabilities have not changed.}}

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
This example shows:
*The entropy of a source with memory is smaller than the entropy of a memoryless source with equal symbol probabilities.
*The statistical bonds within the sequence  $〈 q_ν 〉$  have to be considered now,
*namely the dependency of the symbol  $q_ν$  from the predecessor symbols  $q_{ν-1}$,  $q_{ν-2}$, ... }}

== Entropy with respect to two-tuples ==
 
We continue to look at the source symbol sequence  $〈 q_1, \hspace{0.05cm} q_2,\hspace{0.05cm}\text{ ...} \hspace{0.05cm}, q_{ν-1}, \hspace{0.05cm}q_ν, \hspace{0.05cm}\hspace{0.05cm}q_{ν+1} .\hspace{0.05cm}\text{...} \hspace{0.05cm}〉$  and now consider the entropy of two successive source symbols.
*All source symbols  $q_ν$  are taken from an alphabet with the symbol beginning  $M$, so that it is not necessary for the combination  $(q_ν, \hspace{0.05cm}q_{ν+1})$  exactly  $M^2$  there are possible symbol pairs with the following [[Theory_of_Stochastic_Signals/Set Theory Basics#Intersection|combined probabilities]]:

:$${\rm Pr}(q_{\nu}\cap q_{\nu+1})\le {\rm Pr}(q_{\nu}) \cdot {\rm Pr}( q_{\nu+1})
\hspace{0.05cm}.$$

*From this, the  ''compound entropy''  of an ordered pair can be computed:

:$$H_2\hspace{0.05cm}' = \sum_{q_{\nu}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm}q_{\mu}\hspace{0.01cm} \}} \sum_{q_{\nu+1}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm} q_{\mu}\hspace{0.01cm} \}}\hspace{-0.1cm}{\rm Pr}(q_{\nu}\cap q_{\nu+1}) \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{{\rm Pr}(q_{\nu}\cap q_{\nu+1})} \hspace{0.4cm}({\rm unit\hspace{-0.1cm}: \hspace{0.1cm}bit/order pair})
\hspace{0.05cm}.$$

:The index "2" symbolizes that the entropy thus calculated refers to two-tuples.

To get the average information content per symbol,  $H_2\hspace{0.05cm}'$  has to be divided in half:

:$$H_2 = {H_2\hspace{0.05cm}'}/{2} \hspace{0.5cm}({\rm unit\hspace{-0.1cm}: \hspace{0.1cm}bit/symbol})
\hspace{0.05cm}.$$

In order to achieve a consistent nomenclature, we now label the entropy defined in chapter  [[Information_Theory/Discrete Memoryless Sources#Model_and_Prerequisites|Memoryless Message Sources]]  with  $H_1$:

:$$H_1 = \sum_{q_{\nu}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm}q_{\mu}\hspace{0.01cm} \}} {\rm Pr}(q_{\nu}) \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{{\rm Pr}(q_{\nu})} \hspace{0.5cm}({\rm unit\hspace{-0.1cm}: \hspace{0.1cm}bit/symbol})
\hspace{0.05cm}.$$

The index "1" is supposed to indicate that  $H_1$  considers only the symbol probabilities and not statistical links between symbols within the sequence.  With the decision content  $H_0 = \log_2 \ M$  the following size relation results:

$$H_0 \ge H_1 \ge H_2
\hspace{0.05cm}.$$

With statistical independence of the sequence elements  $H_2 = H_1$.

The previous equations each indicate a share mean value.   The probabilities required for the calculation of  $H_1$  and  $H_2$  can, however, also be calculated as time averages from a very long sequence or, more precisely, approximated by the corresponding  [[Theory_of_Stochastic_Signals/From Random Experiment to Random Variable#Bernoulli's_Law_of_Large_Numbers|relative frequencies]].

Let us now illustrate the calculation of entropy approximations  $H_1$  and  $H_2$  with three examples.

{{GraueBox|TEXT=
$\text{Example 2:}$ 
We will first look at the sequence  $〈 q_1$, ... , $q_{50} \rangle $  according to the graphic, where the sequence elements  $q_ν$  originate from the alphabet $\rm \{A, \ B, \ C \}$   ⇒   the symbol range is  $M = 3$.

[[File:Inf_T_1_2_S2_vers2.png|center|frame|Ternary symbol sequence and formation of two-tuples]]

By time averaging over the  $50$  symbols one gets the symbol probabilities  $p_{\rm A} ≈ 0.5$,   $p_{\rm B} ≈ 0.3$  and  $p_{\rm C} ≈ 0.2$, with which one can calculate the first order entropy approximation:

:$$H_1 = 0.5 \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{0.5} + 0.3 \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{0.3} + 0.2 \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{0.2} \approx \, 1.486 \,{\rm bit/symbol}
\hspace{0.05cm}.$$

Due to the not equally probable symbols  $H_1 < H_0 = 1.585 \hspace{0.05cm}. \rm bit/symbol$.  As an approximation for the probabilities of two-tuples one gets from the above sequence:

:$$\begin{align*}p_{\rm AA} \hspace{-0.1cm}& = \hspace{-0.1cm} 14/49\hspace{0.05cm}, \hspace{0.2cm}p_{\rm AB} = 8/49\hspace{0.05cm}, \hspace{0.2cm}p_{\rm AC} = 3/49\hspace{0.05cm}, \\\
p_{\rm BA} \hspace{-0.1cm}& = \hspace{0.07cm} 7/49\hspace{0.05cm}, \hspace{0.25cm}p_{\rm BB} = 2/49\hspace{0.05cm}, \hspace{0.2cm}p_{\rm BC} = 5/49\hspace{0.05cm}, \\\
p_{\rm CA} \hspace{-0.1cm}& = \hspace{0.07cm} 4/49\hspace{0.05cm}, \hspace{0.25cm}p_{\rm CB} = 5/49\hspace{0.05cm}, \hspace{0.2cm}p_{\rm CC} = 1/49\hspace{0.05cm}.\end{align*}$$

Please note that the  $50$  sequence elements can only be formed from  $49$  two-tuples  $(\rm AA$, ... , $\rm CC)$  which are marked in different colors in the graphic.

*The entropy approximation  $H_2$  should actually be equal to  $H_1$  since the given symbol sequence comes from a memoryless source.
*Because of the short sequence length  $N = 50$  and the resulting statistical inaccuracy, however, a smaller value results:  
:$$H_2 ≈ 1.39\hspace{0.05cm} \rm bit/symbol.$$}}

{{GraueBox|TEXT=
$\text{Example 3:}$ 
Now let us consider a  ''memoryless  binary source''  with equally probable symbols, i.e. there would be  $p_{\rm A} = p_{\rm B} = 1/2$.  The first twenty subsequent elements are   $〈 q_ν 〉 =\rm BBAAABAABBBBBAAAABABAB$ ...
*Because of the equally probable binary symbols   $H_1 = H_0 = 1 \hspace{0.05cm} \rm bit/symbol$.
*The compound probability  $p_{\rm AB}$  of the combination  $\rm AB$  is equal to  $p_{\rm A} - p_{\rm B} = 1/4$.  Also $p_{\rm AA} = p_{\rm BB} = p_{\rm BA} = 1/4$.
*This gives for the second entropy approximation

:$$H_2 = {1}/{2} \cdot \big [ {1}/{4} \cdot {\rm log}_2\hspace{0.1cm}4 + {1}/{4} \cdot {\rm log}_2\hspace{0.1cm}4 +{1}/{4} \cdot {\rm log}_2\hspace{0.1cm}4 +{1}/{4} \cdot {\rm log}_2\hspace{0.1cm}4 \big ] = 1 \,{\rm bit/symbol} = H_1 = H_0
\hspace{0.05cm}.$$

''Note'':   Due to the short length of the given sequence the probabilities are slightly different:  $p_{\rm AA} = 6/19$,  $p_{\rm BB} = 5/19$,  $p_{\rm AB} = p_{\rm BA} = 4/19$.}}

{{GraueBox|TEXT=
$\text{Example 4:}$ 
The third sequence considered here results from the binary sequence of  $\text{Example 3}$  by using a simple repeat code:
:$$〈 q_ν 〉 =\rm BbBbAaAaAaBbAaAaBbBb \text{...} $$
*The repeated symbols are marked by corresponding lower case letters.  It still applies  $M=2$.
*Because of the equally probable binary symbols, this also results in  $H_1 = H_0 = 1 \hspace{0.05cm} \rm bit/symbol$.
*As shown in  [[Aufgaben:1.3_Entropienäherungen|Exercise 1.3]]  for the compound probabilities we obtain  $p_{\rm AA}=p_{\rm BB} = 3/8$  and  $p_{\rm AB}=p_{\rm BA} = 1/8$.  Hence
:$$\begin{align*}H_2 ={1}/{2} \cdot \big [ 2 \cdot {3}/{8} \cdot {\rm log}_2\hspace{0.1cm} {8}/{3} +
2 \cdot {1}/{8} \cdot {\rm log}_2\hspace{0.1cm}8\big ] = {3}/{8} \cdot {\rm log}_2\hspace{0.1cm}8 - {3}/{8} \cdot{\rm log}_2\hspace{0.1cm}3 + {1}/{8} \cdot {\rm log}_2\hspace{0.1cm}8 \approx 0.906 \,{\rm bit/symbol} < H_1 = H_0
\hspace{0.05cm}.\end{align*}$$

A closer look at the task at hand leads to the following conclusion:
*The entropy should actually be  $H = 0.5 \hspace{0.05cm} \rm bit/symbol$  its (every second symbol does not provide new information)
*The second entropy approximation  $H_2 = 0.906 \hspace{0.05cm} \rm bit/symbol$  but is much larger than the entropy  $H$.
*For the determination of entropy the second order approximation is not sufficient.  rather, larger continuous blocks must be considered with  $k > 2$  symbols.
*In the following, such a block is referred to as  $k$-tuple.}}

==Generalization to $k$-tuple and boundary crossing ==
 
For abbreviation we write using the compound probability  $p_i^{(k)}$  a  $k$-tuple in general:

:$$H_k = \frac{1}{k} \cdot \sum_{i=1}^{M^k} p_i^{(k)} \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{p_i^{(k)}} \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})
\hspace{0.05cm}.$$

The control variable  $i$  stands for one of the  $M^k$ Tuple.  The previously calculated approximation  $H_2$  results with  $k = 2$.

{{BlaueBox|TEXT=
$\text{Definition:}$ 
The  '''Entropy of a message source with memory'''  has the following limit
:$$H = \lim_{k \rightarrow \infty }H_k \hspace{0.05cm}.$$

For the  ''entropy approximations''  $H_k$  the following relations apply  $(H_0$ is the decision content$)$:
:$$H \le \text{...} \le H_k \le \text{...} \le H_2 \le H_1 \le H_0 \hspace{0.05cm}.$$}}

The computational effort will increase with increasing  $k$  except for a few special cases (see the following example) and depends on the symbol size  $M$  of course:
*For the calculation of  $H_{10}$  a binary source  $(M = 2)$  is to be averaged over  $2^{10} = 1024$  terms.
*With each further increase of  $k$  by  $1$  the number of sum terms doubles.
*In case of a quaternary source  $(M = 4)$  it must already be averaged over  $4^{10} = 1\hspace{0.08cm}048\hspace{0.08cm}576$  summation terms must be averaged for the determination of  $H_{10}$.
* Considering that each of these  $4^{10} =2^{20} >10^6$  $k$-tuple should occur in simulation/time averaging about  $100$  times (statistical guideline) to ensure sufficient simulation accuracy, it follows that the sequence length should be greater than  $N = 10^8$ .

{{GraueBox|TEXT=
$\text{Example 5:}$ 
We consider an alternating binary sequence   ⇒   $〈 q_ν 〉 =\rm ABABABAB$ ...  .  Accordingly it holds that  $H_0 = H_1 = 1 \hspace{0.1cm} \rm bit/symbol$.

In this special case, the  $H_k$ approximation must be determined independently from  $k$  by averaging only two compound probabilities:
* $k = 2$:    $p_{\rm AB} = p_{\rm BA} = 1/2$     ⇒     $H_2 = 1/2 \hspace{0.2cm} \rm bit/symbol$,
* $k = 3$:    $p_{\rm ABA} = p_{\rm BAB} = 1/2$     ⇒     $H_3 = 1/3 \hspace{0.2cm} \rm bit/symbol$,
* $k = 4$:    $p_{\rm ABAB} = p_{\rm BABA} = 1/2$     ⇒     $H_4 = 1/4 \hspace{0.2cm} \rm bit/symbol$.

The (actual) entropy of this alternating binary sequence is therefore
:$$H = \lim_{k \rightarrow \infty }{1}/{k} = 0 \hspace{0.05cm}.$$

The result was to be expected, since the considered sequence has only minimal information, which does not affect the entropy end value  $H$  namely:     "Does  $\rm A$  occur at the even or the odd times?"

You can see that  $H_k$  comes closer to this final value  $H = 0$  very slowly:  The twentieth entropy approximation still returns  $H_{20} = 0.05 \hspace{0.05cm} \rm bit/symbol$. }}

{{BlaueBox|TEXT=
$\text{Summary of the results of the last pages:}$ 

*Generally it applies to the  '''Entropy of a message source''':
:$$H \le \text{...} \le H_3 \le H_2 \le H_1 \le H_0
\hspace{0.05cm}.$$
*A  '''redundancy-free source''   exists if all  $M$  symbols are equally probable and there are no statistical bonds within the sequence. For these,  $(r$  denotes the ''relative redundancy'' $)$:
:$$H = H_0 = H_1 = H_2 = H_3 = \text{...}\hspace{0.5cm}
\Rightarrow \hspace{0.5cm} r = \frac{H - H_0}{H_0}= 0 \hspace{0.05cm}.$$
*A  '''memoryless source'''   can be quite redundant  $(r> 0)$.  This redundancy then is solely due to the deviation of the symbol probabilities from the uniform distribution.  Here the following relations are valid
:$$H = H_1 = H_2 = H_3 = \text{...} \le H_0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm}0 \le r = \frac{H_1 - H_0}{H_0}< 1 \hspace{0.05cm}.$$
*The corresponding condition for a  '''source with memory'''  is
:$$ H <\text{...} < H_3 < H_2 < H_1 \le H_0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm} 0 < r = \frac{H_1 - H_0}{H_0}\le1 \hspace{0.05cm}.$$
*If  $H_2 < H_1$, then  $H_3 < H_2$,   $H_4 < H_3$, etc.   ⇒   In the general equation, the  "≤" character must be replaced by the  "<" character.
*If the symbols are equally probable, then again  $H_1 = H_0$, while  $H_1 < H_0$  applies to symbols which are not equally probable.}}

==The entropy of the AMI code ==
 
In chapter  [[Digital_Signal_Transmission/Symbol-Wise Coding with Pseudo Ternary Codes#Properties_of_AMI Code|Symbol-wise Coding with Pseudo-Ternary Codes]]  of the book "Digital Signal Transmission", among other things, the AMI pseudo-ternary code is discussed.
*This converts the binary sequence  $〈 q_ν 〉$  with  $q_ν ∈ \{ \rm L, \ H \}$  into the ternary sequence  $〈 c_ν 〉$  with  $q_ν ∈ \{ \rm M, \ N, \ P \}$.
*The names of the source symbols stand for  $\rm L$ow  and  $\rm H$igh  and those of the code symbols for  $\rm M$inus,  $\rm N$ull  and  $\rm P$lus".

The coding rule of the AMI code ("Alternate Mark Inversion") is
[[File:P_ID2240__Inf_T_1_2_S4_neu.png|right|frame|Signals and symbol sequences for AMI code]]

*Each binary symbol  $q_ν =\rm L$  is represented by the code symbol  $c_ν =\rm N$ .
*In contrast,  $q_ν =\rm H$  alternates with  $c_ν =\rm P$  and  $c_ν =\rm M$  coded   ⇒   name "AMI".

This special encoding adds redundancy with the sole purpose of ensuring that the code sequence does not contain a DC component.
 
However, we do not consider the spectral properties of the AMI code here, but interpret this code information-theoretically:
*Based on the number of steps  $M = 3$  the decision content of the (ternary) code sequence is equal to  $H_0 = \log_2 \ 3 ≈ 1.585 \hspace{0.05cm} \rm bit/symbol$.  The first entropy approximation returns  $H_1 = 1.5 \hspace{0.05cm} \rm bit/Symbol$, as shown in the following calculation:

:$$p_{\rm H} = p_{\rm L} = 1/2 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}
p_{\rm N} = p_{\rm L} = 1/2\hspace{0.05cm},\hspace{0.2cm}p_{\rm M} = p_{\rm P}= p_{\rm H}/2 = 1/4\hspace{0.3cm}
\Rightarrow \hspace{0.3cm} H_1 = 1/2 \cdot {\rm log}_2\hspace{0.1cm}2 + 2 \cdot 1/4 \cdot{\rm log}_2\hspace{0.1cm}4 = 1.5 \,{\rm bit/symbol}
\hspace{0.05cm}.$$

*Let's now look at two-tuples.  With AMI code,  $\rm P$  cannot follow  $\rm P$  and  $\rm M$  cannot follow  $\rm M$  follow  The probability for  $\rm NN$  is equal to  $p_{\rm L} - p_{\rm L} = 1/4$.  All other (six) two-tuples occur with the probability  $1/8$  on.  From this follows for the second entropy approximation:
:$$H_2 = 1/2 \cdot \big [ 1/4 \cdot {\rm log_2}\hspace{0.1cm}4 + 6 \cdot 1/8 \cdot {\rm log_2}\hspace{0.1cm}8 \big ] = 1,375 \,{\rm bit/symbol} \hspace{0.05cm}.$$

*For the further entropy approximations  $H_3$,  $H_4$, ...  and the actual entropy  $H$  will apply:
:$$ H < \hspace{0.05cm}\text{...}\hspace{0.05cm} < H_5 < H_4 < H_3 < H_2 = 1.375 \,{\rm bit/symbol} \hspace{0.05cm}.$$

*Exceptionally in this example we know the actual entropy  $H$  of the code symbol sequence  $〈 c_ν 〉$:   since no new information is added by the coder and no information is lost, it is the same entropy  $H = 1 \,{\rm bit/symbol} $  as the one of the redundancy-free binary sequence $〈 q_ν 〉$.

The  [[Aufgaben:1.4_Entropienäherungen_für_den_AMI-Code|Exercise 1.4]]  shows the considerable effort required to calculate the entropy approximation  $H_3$.   Moreover,  $H_3$  still deviates significantly from the final value  $H = 1 \,{\rm bit/symbol} $.  A faster result is achieved if the AMI code is described by a markov chain as explained in the next section.

==Binary sources with Markov properties ==
 
[[File:Inf_T_1_2_S5_vers2.png|right|frame|Markov processes with  $M = 2$  states]]

Sequences with statistical bonds between the sequence elements (symbols) are often modeled by  [[Theory_of_Stochastic_Signals/Markov_Chains|Markov processes]]  where we limit ourselves here to first-order Markov processes.  First we consider a binary Markov process  $(M = 2)$  with the states (symbols)  $\rm A$  and  $\rm B$.

On the right, you can see the transition diagram for a first-order binary Markov process  however, only two of the four transfer probabilities given are freely selectable, for example
* $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}} = \rm Pr(A\hspace{0.01cm}|\hspace{0.01cm}B)$   ⇒   conditional probability that  $\rm A$  follows  $\rm B$ .
* $p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}} = \rm Pr(B\hspace{0.01cm}|\hspace{0.01cm}A)$   ⇒   conditional probability that  $\rm B$  follows  $\rm A$ .

For the other two transition probabilities  $p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = 1- p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}$  and   $p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} = 1- p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}
\hspace{0.05cm}.$

Due to the presupposed properties  [[Theory_of_Stochastic_Signals/Auto Correlation Function (ACF)#Stationary_Random Processes|Stationarity]]  and  [[Theory_of_Stochastic_Signals/Auto Correlation Function (ACF)#Ergodic_Random Processes|Ergodicity]]  the following applies to the state or symbol probabilities:

:$$p_{\rm A} = {\rm Pr}({\rm A}) = \frac{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}}{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}
\hspace{0.05cm}, \hspace{0.5cm}p_{\rm B} = {\rm Pr}({\rm B}) = \frac{p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}
\hspace{0.05cm}.$$

These equations allow first information theoretical statements about the Markov processes:
* For  $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}} = p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$  the symbols are equally likely   ⇒   $p_{\text{A}} = p_{\text{B}}= 0.5$.  The first entropy approximation returns  $H_1 = H_0 = 1 \hspace{0.05cm} \rm bit/symbol$, independent of the actual values of the (conditional) transition probabilities  $p_{\text{A|B}}$   or   $p_{\text{B|A}}$.
*The source entropy  $H$  as the threshold value  $($for  $k \to \infty)$  of the  [[Information_Theory/Discrete Memoryless Sources#Generalization_to_.7F.27 .22.60UNIQ-MathJax109-QINU.60.22.27.7F.E2.80.93Tuple_and_boundary.C3.BCtransition|Entropy approximation  $k$th order]]   ⇒   $H_k$  but depends very much on the actual values of  $p_{\text{A|B}}$  and  $p_{\text{B|A}}$  and not only on their quotients.  This is shown by the following example.

{{GraueBox|TEXT=
$\text{Example 6:}$ 
We consider three binary symmetric Markov sources that are represented by the numerical values of the symmetric transition probabilities  $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} }$ .  For the symbol probabilities the following applies:  $p_{\rm A} = p_{\rm B}= 0.5$, and the other transition probabilities have the values

[[File:P_ID2242__Inf_T_1_2_S5b_neu.png|right|frame|Three examples of binary Markov sources]]
:$$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } =
p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}B} }.$$

*The middle (blue) symbol sequence with  $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.5$  has the entropy  $H ≈ 1 \hspace{0.1cm} \rm bit/symbol$.  That means:   In this special case there are no statistical bonds within the sequence.

*The left (red) sequence with  $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.2$  has less changes between  $\rm A$  and  $\rm B$  and  $\rm B$  Due to statistical dependencies between neighboring symbols the entropy is now smaller  $H ≈ 0.72 \hspace{0.1cm} \rm bit/symbol$.

*The right (green) symbol sequence with  $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.8$  has the exact same entropy  $H ≈ 0.72 \hspace{0.1cm} \rm bit/symbol$  as the red sequence.  Here you can see many areas with alternating symbols  $($... $\rm ABABAB$ ... $)$.}}

This example is worth noting:
*If you had not used the markup properties of the red and green sequences, you would have reached the respective result  $H ≈ 0.72 \hspace{0.1cm} \rm bit/symbol$  only after lengthy calculations.
*The following pages show that for a source with mark properties the final value  $H$  can be determined from the entropy approximations  $H_1$  and  $H_2$  alone.   Likewise, all entropy approximations  $H_1$  and  $H_2$  can also be calculated from  $H_k$  for  $k$-tuples in a simple manner   ⇒   $H_3$,  $H_4$,  $H_5$, ...   $H_{100}$, ...

== Simplified entropy calculation for Markov sources ==
 
[[File:Inf_T_1_2_S5_vers2.png|right|frame|Markov processes with  $M = 2$  states]]
We continue to assume the first-order symmetric binary Markov source.  As on the previous page, we use the following nomenclature for
*the transition probabilities  $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}}$,   $p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$,  $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}A}}= 1- p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$,   $p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}B}} = 1 - p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}}$,  
*the ergodic probabilities  $p_{\text{A}}$  and  $p_{\text{B}}$,
*the compound probabilities, for example  $p_{\text{AB}} = p_{\text{A}} - p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$.

We now compute the  [[Information_Theory/Sources with Memory#Entropy_in_Two_Tuple|Entropy of a two-tuple]]  (with the unit "bit/two-tuple"):

:$$H_2\hspace{0.05cm}' = p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm B} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm B} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
\hspace{0.05cm}.$$

If one now replaces the logarithms of the products by corresponding sums of logarithms, one gets the result  $H_2\hspace{0.05cm}' = H_1 + H_{\text{M}}$  with
:$$H_1 = p_{\rm A} \cdot (p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A})\cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_{\rm A}} + p_{\rm B} \cdot (p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B})\cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_{\rm B}} = p_{\rm A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_{\rm A}} + p_{\rm B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_{\rm B}} = H_{\rm bin} (p_{\rm A})= H_{\rm bin} (p_{\rm B})
\hspace{0.05cm},$$
:$$H_{\rm M}= p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm B} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm B} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$  Thus the  '''second entropy approximation'''  (with the unit "bit/symbol"):
:$$H_2 = {1}/{2} \cdot {H_2\hspace{0.05cm}'} = {1}/{2} \cdot \big [ H_{\rm 1} + H_{\rm M} \big]
\hspace{0.05cm}.$$}}

is to be noted:
*The first summand  $H_1$   ⇒   first entropy approximation depends only on the symbol probabilities.
*For a symmetrical markov process   ⇒   $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}} = p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}} $   ⇒   $p_{\text{A}} = p_{\text{B}} = 1/2$   this is the result for this first summand  $H_1 = 1 \hspace{0.1cm} \rm bit/symbol$.
*The second summand  $H_{\text{M}}$  must be calculated according to the second of the two upper equations.
*For a symmetrical Markov process you get  $H_{\text{M}} = H_{\text{bin}}(p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B})$.

Now, this result is extended to the  $k$-th entropy approximation.  Here, the advantage of Markov sources over other sources is taken advantage of, that the entropy calculation for  $k$-tuples is very simple.  For each Markov source, the following applies

:$$H_k = {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H_{\rm M}\big ] \hspace{0.3cm} \Rightarrow \hspace{0.3cm}
H_2 = {1}/{2} \cdot \big [ H_{\rm 1} + H_{\rm M} \big ]\hspace{0.05cm}, \hspace{0.3cm}
H_3 ={1}/{3} \cdot \big [ H_{\rm 1} + 2 \cdot H_{\rm M}\big ] \hspace{0.05cm},\hspace{0.3cm}
H_4 = {1}/{4} \cdot \big [ H_{\rm 1} + 3 \cdot H_{\rm M}\big ]
\hspace{0.05cm},\hspace{0.15cm}{\rm usw.}$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$  With the boundary condition for  $k \to \infty$, one obtains the actual source entropy
:$$H = \lim_{k \rightarrow \infty} H_k = H_{\rm M} \hspace{0.05cm}.$$
From this simple result important insights for the entropy calculation follow:
*For Markov sources it is sufficient to determine the entropy approximations  $H_1$  and  $H_2$.  Thus, the entropy of a Markov source is
:$$H = 2 \cdot H_2 - H_{\rm 1} \hspace{0.05cm}.$$

*Through  $H_1$  and  $H_2$  all further entropy approximations  $H_k$  are also fixed for  $k \ge 3$ :

:$$H_k = \frac{2-k}{k} \cdot H_{\rm 1} + \frac{2\cdot (k-1)}{k} \cdot H_{\rm 2}
\hspace{0.05cm}.$$}}

However, these approximations are not very important.  Mostly only the limit value  $H$.  For sources without markov properties the approximations  $H_k$  are calculated only to be able to estimate this limit value, i.e. the actual entropy.

''Notes'':
*In the  [[Aufgaben:1.5_Binäre_Markovquelle|Exercise 1.5]]  the above equations are applied to the more general case of an asymmetric binary source.
*All equations on this page also apply to non-binary Markov sources  $(M > 2)$ as shown on the next page.

==Non-binary Markov sources ==
 
[[File:P_ID2243__Inf_T_1_2_S6_neu.png|right|frame|Ternary and Quaternary First Order Markov Source]]

The following equations apply to each Markov source regardless of the symbol range:

:$$H = 2 \cdot H_2 - H_{\rm 1} \hspace{0.05cm},$$
:$$H_k = {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H_{\rm M}\big ] \hspace{0.05cm},$$
:$$ \lim_{k \rightarrow \infty} H_k = H
\hspace{0.05cm}.$$

These equations allow the simple calculation of the entropy  $H$  from the approximations  $H_1$  and  $H_2$.

We now look at the transition diagrams sketched on the right
*a ternary Markov source  $\rm MQ3$  $($  $M = 3$,  blue coloring$)$ and
*a quaternary Markov source  $\rm MQ4$  $(M = 4$,  red color$)$.
 
In  [[Aufgaben:1.6_Nichtbinäre_Markovquellen|Exercise 1.6]]  the entropy approximations  $H_k$  and the source entropy  $H$  are calculated as the limit of  $H_k$  for  $k \to \infty$ .   The results are shown in the following figure.  All entropies specified there have the unit "bit/symbol".

[[File:P_ID2244__Inf_T_1_2_S6b_neu.png|center|frame|Entropies for  $\rm MQ3$,  $\rm MQ4$  and the  $\rm AMI-Code$]]

These results can be interpreted as follows:
*For the ternary markov source  $\rm MQ3$  the entropy approximations of  $H_1 = 1,500$  above  $H_2 = 1,375$  up to the limit  $H = 1,250$  continuously decreasing  paths  $M = 3$  the decision content is  $H_0 = 1,585$.
*For the quaternary Markov source  $\rm MQ4$  one receives  $H_0 = H_1 = 2,000$  (since four equally probable states) and  $H_2 = 1.5$.   From the  $H_1$-  and  $H_2$-value all entropy approximations  $H_k$  and the final value  $H = 1.000$  can be calculated.
*The two models  $\rm MQ3$  and  $\rm MQ4$  were created during the attempt to calculate the  [[Information_Theory/Sources_with_Memory#The_Entropy_of_AMI.E2.80. 93Codes|AMI-Code]]  to be described information theoretically by Markov sources.  The symbols  $\rm M$,  $\rm N$  and  $\rm P$  stand for "minus", "zero" and "plus".
*The entropy approximations  $H_1$,  $H_2$  and  $H_3$  of the AMI code (green markers) were calculated in the  [[Aufgaben:Aufgabe 1.4: Entropienäherungen für den AMI-Code|Exercise 1.4]]  on the calculation of  $H_4$,  $H_5$, ... had to be omitted for reasons of effort.  But the final value of  $H_k$  for  $k \to \infty$   ⇒   $H = 1,000$ is known.
*You can see that the Markov model  $\rm MQ3$  for  $H_0 = 1,585$,  $H_1 = 1,500$  and  $H_2 = 1,375$  yields exactly the same numerical values as the AMI code.   On the other hand  $H_3$  ⇒   $(1,333$  instead of  $1,292)$  and especially the final value  $H$  ⇒   $(1,250$  compared to  $1,000)$.
*The model  $\rm MQ4$  $(M = 4)$  differs from the AMI code  $(M = 3)$  with respect to the decision content  $H_0$  and also with respect to all entropy approximations  $H_k$.   Nevertheless, $\rm MQ4$  is the more suitable model for the AMI code, since the final value  $H = 1,000$  is the same.
*The model  $\rm MQ3$  yields entropy values that are too large, since the sequences  $\rm PNP$  and  $\rm MNM$  are possible here, which cannot occur in the AMI code.   Already with the approximation  $H_3$  the difference is slightly noticeable, in the final value  $H$  even clearly  $(1.25$  instead of  $1)$.

In the model  $\rm MQ4$  the state  "Null"  was split into two states  $\rm N$  and  $\rm O$  (see upper right figure on this page):
*Here applies to the state  $\rm N$:   The current binary symbol  $\rm L$  is displayed with the amplitude value  $0$  (zero), as per the AMI rule.  The next occurring  $\rm H$ symbol, on the other hand, is displayed as  $-1$  (minus), because the last  $\rm H$ symbol was encoded as  $+1$  (plus).
*The current binary symbol  $\rm O$  is also displayed with the state  $\rm L$  with the ternary value  $0$ .   In contrast to the state  $\rm N$  however, the next occurring  $\rm H$ symbol is now displayed as  $+1$  (Plus) since the last  $\rm H$ symbol was encoded as  $-1$  (Minus).

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*The  $\rm MQ4$–Output sequence actually follows the rules of the AMI code and assigns the entropy  $H = 1.000 \hspace{0.15cm} \rm bit/symbol$  up.
*Because of the new state  $\rm O$  but is now  $H_0 = 2.000 \hspace{0.15cm} \rm bit/symbol$  $($against  $1.585 \hspace{0.15cm} \rm bit/symbol)$  clearly too large.
*Also all  $H_k$ approximations are larger than in AMI code.
*First for  $k \to \infty$  the model  $\rm MQ4$  and the AMI code match exactly:   $H = 1,000 \hspace{0.15cm} \rm bit/symbol$.}}

== Exercises for chapter==
 
[[Aufgaben:1.3 Entropienäherungen|Aufgabe 1.3: Entropienäherungen]]

[[Aufgaben:1.4 Entropienäherungen für den AMI-Code|Aufgabe 1.4: Entropienäherungen für den AMI-Code]]

[[Aufgaben:1.4Z Entropie der AMI-Codierung|Zusatzaufgabe 1.4Z: Entropie der AMI-Codierung]]

[[Aufgaben:1.5 Binäre Markovquelle|Aufgabe 1.5: Binäre Markovquelle]]

[[Aufgaben:1.5Z Symmetrische Markovquelle|Aufgabe 1.5Z: Symmetrische Markovquelle]]

[[Aufgaben:1.6 Nichtbinäre Markovquellen|Aufgabe 1.6: Nichtbinäre Markovquellen]]

[[Aufgaben:1.6Z Ternäre Markovquelle|Aufgabe 1.6Z:Ternäre Markovquelle]]

{{Display}}

Information Theory/Natural Discrete Sources

2020-11-02T13:37:57Z

Rosa:

{{Header
|Untermenü=Entropie wertdiskreter Nachrichtenquellen
|Vorherige Seite=Nachrichtenquellen mit Gedächtnis
|Nächste Seite=Allgemeine Beschreibung
}}

==Difficulties with the determination of entropy ==
 
Up to now, we have been dealing exclusively with artificially generated symbol sequences.  Now we consider written texts.  Such a text can be seen as a natural discrete-value message source, which of course can also be analyzed information-theoretically by determining its entropy.

Even today (2011), natural texts are still often represented with the 8 bit character set according to ANSI (''American National Standard Institute''), although there are several "more modern" encodings;

The  $M = 2^8 = 256$  ANSI characters are used as follows:
* '''No.  0   to   31''':   control commands that cannot be printed or displayed,
* '''No.  32   to  127''':   identical to the characters of the 7 bit ASCII code,
* '''No.  128   to 159''':   additional control characters or alphanumeric characters for Windows,
* '''No.  160   to   255''':   identical to the Unicode charts.

Theoretically, one could also define the entropy here as the border crossing point of the entropy approximation  $H_k$  for  $k \to \infty$,  according to the procedure from the  [[Information_Theory/Sources_with_Memory#Generalization to k -tuple and boundary crossing|last chapter]].  In practice, however, insurmountable numerical limitations can be found here as well:

*Already for the entropy approximation  $H_2$  there is  $M^2 = 256^2 = 65\hspace{0.1cm}536$  possible two-tuples.  Thus, the calculation requires the same amount of memory (in bytes).   If you assume that you need   $100$  equivalents per tuple on average, for a sufficiently safe statistic, the length of the source symbol sequence should already be  $N > 6.5 · 10^6$ .
*The number of possible three-tuples is  $M^3 > 16 · 10^7$  and thus the required source symbol length is already  $N > 1.6 · 10^9$.  This corresponds to  $42$  lines per page and  $80$  characters per line to a book with about  $500\hspace{0.1cm}000$  pages.
*For a natural text the statistical bonds extend much further than two or three characters.  Küpfmüller gives a value of  $100$ for the german language.  To determine the 100th entropy approximation you need  $2^{800}$ ≈ $10^{240}$  frequencies and for the safe statistics   $100$ times more characters.

A justified question is therefore:   How did  [https://de.wikipedia.org/wiki/Karl_K%C3%BCpfm%C3%BCller Karl Küpfmüller]  determined the entropy of the German language in 1954? How did  [https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  do the same for the English language, even before Küpfmüller?  One thing is revealed beforehand:   Not with the approach described above.

==Entropy estimation according to Küpfmüller ==
 
Karl Küpfmüller has investigated the entropy of German texts in his published assessment   [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>  the following assumptions are made:
*an alphabet with  $26$  letters  (no umlauts or punctuation marks),
*Not taking into account the space character,
*no distinction between upper and lower case.

The content of the decision is therefore  $H_0 = \log_2 (26) ≈ 4.7\ \rm bit/letter$.

Küpfmueller's estimation is based on the following considerations:

'''(1)'''  The  '''first entropy approximation'''  results from the letter frequencies in German texts.  According to a study of 1939, "e" is with a frequency of   $16. 7\%$  the most frequent, the rarest is "x" with  $0.02\%$.  Averaged over all letters we obtain  $H_1 \approx 4.1\,\, {\rm bit/letter}\hspace{0.05 cm}.$

'''(2)'''  Regarding the  '''syllable frequency'''  Küpfmüller evaluates the "Häufigkeitswörterbuch der deutschen Sprache" (Frequency Dictionary of the German Language), published by  [https://de.wikipedia.org/wiki/Friedrich_Wilhelm_Kaeding Friedrich Wilhelm Kaeding]  1898; He distinguishes between root syllables, prefixes, and ending syllables and thus arrives at the average information content of all syllables:

:$$H_{\rm syllable} = \hspace{-0.1cm} H_{\rm stem} + H_{\rm front} + H_{\rm end} + H_{\rm rest} \approx
4.15 + 0.82+1.62 + 2.0 \approx 8.6\,\, {\rm bit/syllable}
\hspace{0.05cm}.$$

:The following proportions were taken into account:
:*According to the Kaeding study of 1898, the  $400$  most common root syllables  (beginning with "de")  represent $47\%$  of a German text and contribute to the entropy with  $H_{\text{Root}} ≈ 4.15 \ \rm bit/syllable$ .
:*The contribution of  $242$  most common prefixes - in the first place "ge" with  $9\%$ - is numbered by Küpfmüller with  $H_{\text{Pre}} ≈ 0.82 \ \rm bit/syllable$.
:*The contribution of the  $118$  most used ending syllables is  $H_{\text{End}} ≈ 1.62 \ \rm bit/syllable$.  Most often, "en" appears at the end of words with  $30\%$ .
:*The remaining  $14\%$  is distributed over syllables not yet measured.  Küpfmüller assumes that there are  $4000$  and that they are equally distributed  He assumes  $H_{\text{Rest}} ≈ 2 \ \rm bit/syllable$  for this.

'''(3)'''  As average number of letters per syllable Küpfmüller determined the value  $3.03$.  From this he deduced the  '''third entropy approximation''''  regarding the letters:
:$$H_3 \approx {8.6}/{3.03}\approx 2.8\,\, {\rm bit/letter}\hspace{0.05 cm}.$$

'''(4)'''  Küpfmueller's estimation of the entropy approximation  $H_3$  based mainly on the syllable frequencies according to  '''(2)'''  and the mean value of  $3.03$  letters per syllable. To get another entropy approximation  $H_k$  with greater  $k$  Küpfmüller additionally analyzed the words in German texts.  He came to the following results:

:*The  $322$  most common words provide an entropy contribution of  $4.5 \ \rm bit/word$.
:*The contributions of the remaining  $40\hspace{0.1cm}000$ words  were estimated.  Assuming that the frequencies of rare words are reciprocal to their ordinal number ([https://en.wikipedia.org/wiki/Zipf%27s_law Zipf's Law]).
*With these assumptions the average information content (related to words) is about   $11 \ \rm bit/word$.

'''(5)'''  The counting "letters per word" resulted in average  $5.5$.  Analogous to point  '''(3)'''  the entropy approximation for  $k = 5.5$  was approximated. Küpfmüller gives the value  $H_{5.5} \approx {11}/{5.5}\approx 2\,\, {\rm bit/letter}\hspace{0.05 cm}.$  Of course,  $k$  can only assume integer values,  according to  [[Information_Theory/Sources_with_Memory#Generalization to k-tuple and boundary crossing|its definition]].  This equation is therefore to be interpreted in such a way that for  $H_5$  a somewhat larger and for  $H_6$  a somewhat smaller value than  $2 \ {\rm bit/letter}$  will result.

[[File:P_ID2303__Inf_T_1_3_S2.png|right|frame|Approximate values of the entropy of the German language according to Küpfmüller]]
'''(6)'''  Now you can try to get the final value of entropy for  $k \to \infty$  by extrapolation from these three points:
:*The continuous line, taken from Küpfmüller's original work  [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>, leads to the final entropy value  $H = 1.6 \ \rm bit/letter$.
:*The green curves are two extrapolation attempts (of a continuous function course through three points) of the  $\rm LNTwww$'s author.
:*These and the brown arrows are actually only meant to show that such an extrapolation  (carefully worded)  is somewhat vague.

'''(7)'''  Küpfmüller then tried to verify the final value  $H = 1.6 \ \rm bit/letter$  found by him with this first estimation with a completely different methodology - see next section. After this estimation he revised his result slightly to  $H = 1.51 \ \rm bit/letter$.

'''(8)'''  Three years earlier, after a completely different approach, Claude E. Shannon had given the entropy value  $H ≈ 1 \ \rm bit/letter$  for the English language, but taking into account the space character.  In order to be able to compare his results with Shannom, Küpfmüller subsequently included the space character in his result.

:*The correction factor is the quotient of the average word length without considering the space  $(5.5)$  and the average word length with consideration of the space  $(5.5+1 = 6.5)$.
:*This correction led to Küpfmueller's final result  $H =1.51 \cdot {5.5}/{6.5}\approx 1.3\,\, {\rm bit/letter}\hspace{0.05 cm}.$

==A further entropy estimation by Küpfmüller ==
 
For the sake of completeness, Küpfmüller's considerations are presented here, which led him to the final result  $H = 1.51 \ \rm bit/letter$    Since there was no documentation for the statistics of word groups or whole sentences, he estimated the entropy value of the German language as follows:
*Any contiguous German text is covered behind a certain word.  The preceding text is read and the reader should try to determine the following word from the context of the preceding text.
*For a large number of such attempts, the percentage of hits gives a measure of the links between words and sentences  It can be seen that for one and the same type of text (novels, scientific writings, etc.) by one and the same author, a constant final value of this hit ratio is reached relatively quickly  (about one hundred to two hundred attempts).
*The hit ratio, however, depends quite strongly on the type of text.  For different texts, values between  $15\%$  and  $33\%$, with the mean value at  $22\%$, are obtained.  This also means:   On average,  $22\%$  of the words in a German text can be determined from the context.
*Alternatively:   The word count of a long text can be reduced with the factor  $0.78$  without a significant loss of the message content of the text.  Starting from the reference value  $H_{5. 5} = 2 \ \rm bit/letter$  $($see dot  '''(5)'''  in the last section$)$  for a word of medium length this results in the entropy  $H ≈ 0.78 · 2 = 1.56 \ \rm bit/letter$.
*Küpfmüller verified this value with a comparable empirical study regarding the syllables and thus determined the reduction factor  $0.54$  (regarding syllables).  As final result Küpfmüller  $H = 0. 54 · H_3 ≈ 1.51 \ \rm bit/letter$, where  $H_3 ≈ 2.8 \ \rm bit/letter$  corresponds to the entropy of a syllable of medium length  $($about three letters, see point  '''(3)'''  on the last page$)$ .

The remarks on this and the previous page, which may be perceived as very critical, are not intended to diminish the importance of neither Küpfmüller's entropy estimation, nor Shannon's contributions to the same topic are not.
*They are only meant to point out the great difficulties that arise in this task.
*This is perhaps also the reason why no one has dealt with this problem intensively since the 1950s.

==Some own simulation results==
 
The information given by Karl Küpfmüller regarding the entropy of the German language shall now be compared with some (very simple) simulation results, which were developed by the author of this chapter (Günter Söder) at the Chair of Communications Engineering at the Technical University of Munich in the course of an internship.  The results are based on
*the Windows program  [http://en.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]  ⇒  the link refers to the ZIP version of the program;
*the associated practical training manual  [http://en.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Wertdiskrete Informationstheorie (Value Discrete Information Theory)].   ⇒   the link refers to the PDF version;
*the German Bible in ASCII format with  $N \approx 4.37 \cdot 10^6$  characters. This corresponds to a book with  $1300$  pages at  $42$  lines per page and  $80$  characters per line.

The symbol range has been reduced to  $M = 33$  and includes the characters '''a''',  '''b''',  '''c''',  ... .  '''x''',  '''y''',  '''z''',  '''ä''',  '''ö''',  '''ü''',  '''ß''',  $\rm LZ$,  $\rm ZI$,  $\rm IP$.   Our analysis did not differentiate between upper and lower case letters.

In contrast to Küpfmüller's analysis, we also took into account:
*the German umlauts  '''ä''',  '''ö''',  '''ü'''  and  '''ß''', which make up about  $1.2\%$  of the biblical text,
*the class punctuation  $\rm IP$  (Interpunktion) with ca.  $3\%$,
*the class digit  $\rm ZI$  (Ziffer) with ca.  $1.3\%$  because of the verse numbering within the bible,
*the space (Leerzeichen)  $\rm (LZ)$  as the most common character  $(17.8\%)$, even more than the "e"  $(12.8\%)$.

The following table summarizes the results   $N$  indicates the analyzed file size in characters (bytes).   The decision content  $H_0$  as well as the entropy approximations  $H_1$,  $H_2$  and  $H_3$  were each determined from  $N$  characters and are each given in "bit/characters".

[[File:Inf_T_1_3_S3_vers2.png|left|frame|Entropy values (in bit/characters) of the German Bible]]
 
*Please do not consider these results to be scientific research.
*It is only an attempt to give students an understanding of the subject matter in an internship.
*The basis of this study was the Bible, since we had both its German and English versions available to us in the appropriate ASCII format.
 
The results of the above table can be summarized as follows:
*In all rows the entropy approximations  $H_k$  decreases monotously with increasing  $k$.  The decrease is convex, that means   $H_1 - H_2 > H_2 - H_3$.   The extrapolation of the final value  $(k \to \infty)$  is not (or only extremely vague) possible from the three entropy approximations determined in each case.
*If the evaluation of the numbers  $(\rm ZI$, line 2   ⇒   $M = 32)$  and additionally the evaluation of the punctuation marks  $(\rm IP$, line 3   ⇒   $M = 31)$ is omitted, the entropy approximations  $H_1$  $($by  $0. 114)$,  $H_2$  $($by  $0.063)$  and  $H_3$  $($by  $0.038)$  decrease.   On the final value  $H$  as the limit value of  $H_k$  for  $k \to \infty$  the omission of numbers and punctuation will probably have little effect.
*If one leaves the space  $(\rm LZ$, line 4   ⇒   $M = 30)$  out of consideration, the result is almost the same constellation as Küpfmüller originally considered. The only difference are the rather rare German special characters '''ä''',  '''ö''',  '''ü'''  and  '''ß'''.
*The  $H_1$-value  $(4.132)$  indicated in the last line corresponds very well with the value  $H_1 ≈ 4.1$  determined by Küpfmüller.   However, with regard to the  $H_3$-values there are clear differences:   Our analysis yields  $H_3 ≈ 3.4$, while Küpfmüller  $H_3 ≈ names 2.8$  (all data in bit/letter).
*From the frequency of occurrence of the space  $(17.8\%)$  here results an average word length of  $1/0.178 - 1 ≈ 4.6$, a smaller value than Küpfmüller  ($5.5$)  given.  The discrepancy can be partly explained with our analysis file "Bible" (many spaces due to verse numbering).
*Interesting is the comparison of lines 3 and 4.  If the space is taken into account, then although  $H_0$  from  $\log_2 \ (30) \approx 4.907$  to  $\log_2 \ (31) \approx 4. 954$  enlarges, but thereby reduces  $H_1$  $($by the factor  $0.98)$,  $H_2$  $($by  $0.96)$  and  $H_3$  $($by  $0.93)$. Küpfmüller has intuitively taken this factor into account with  $85\%$ .

Although we consider this own research to be rather insignificant, we believe that for today's texts the  $1.0 \ \rm bit/letter$  given by Shannon are somewhat too low for the English language and also Küpfmüllers  $1.3 \ \rm bit/letter$  for the German language, among other things because
*the symbol range today is larger than that considered by Shannon and Küpfmüller in the 1950s; for example, for the ASCII character set  $M = 256$,
*the multiple formatting options (underlining, bold and italics, indents, colors) further increase the information content of a document.

==Synthetically generated texts ==
 
The graphic shows artificially generated German and English texts, which are taken from  [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>  taken from The underlying symbol range is  $M = 27$,  that means, all letters  (without umlauts and '''ß''')  and the space character are considered.

[[File:Inf_T_1_3_S4_vers2.png|right|frame|artificially generated German and English texts]]

*The  ''Zero-order letter approximation''  assumes equally probable characters in each case.  There is therefore no difference between German (red) and English (blue).

*The  ''first letter approximation''  already considers the different frequencies, the higher order approximations also the preceding characters.

*In the  ''4th order synthesis''  one can already recognize meaningful words.  Here the probability for a new letter depends on the last three characters.

*The  ''First-order word approximation''  synthesizes sentences according to the word probabilities that  ''Second-order word approximation''  also considers the previous word.

Further information on the synthetic generation of German and English texts can be found in the  [[Aufgaben:1.8_Synthetisch_erzeugte_Texte|Exercise 1.8]].

==Exercises for chapter==
 
[[Aufgaben:1.7 Entropie natürlicher Texte|Aufgabe 1.7: Entropie natürlicher Texte]]

[[Aufgaben:1.8 Synthetisch erzeugte Texte|Aufgabe 1.8: Synthetisch erzeugte Texte]]

==Quellenverzeichnis==
<references/>

{{Display}}

Information Theory/General Description

2020-11-02T13:33:38Z

Rosa:

{{Header
|Untermenü=Quellencodierung – Datenkomprimierung
|Vorherige Seite=Natürliche wertdiskrete Nachrichtenquellen
|Nächste Seite=Komprimierung nach Lempel, Ziv und Welch
}}

== # OVERVIEW OF THE SECOND MAIN CHAPTER # ==
 
The Shannon information theory is used for example in  ''source coding''  of digital (i.e. value and time discrete) message sources.  One speaks in this context also of  ''data compression''.
*Attempts are made to reduce the redundancy of natural digital sources such as measurement data, texts, or voice and image files (after digitization) by recoding them, so that they can be stored and transmitted more efficiently.
*In most cases, source encoding is associated with a change of the symbol range.  in the following, the output sequence is always binary.

The following is a detailed discussion:

*the different destinations of ''source coding'', ''channel coding''  and ''line coding'',
*''lossy''  encoding methods for analog sources, for example GIF, TIFF, JPEG, PNG, MP3,
*the ''source encoding theorem'', which specifies a limit for the average codeword length,
*the frequently used data compression according to ''Lempel'', ''Ziv''  and ''Welch'',
*the ''Huffman code''  as the best known and most efficient form of entropy coding,
*the ''Shannon-Fano-Code''  as well as the ''arithmetic coding'' - both belong to the class of entropy encoders as well,
*the ''run-length encoding''  and the ''Burrows-Wheeler Transformation''  (BWT).

Further information on the topic as well as Exercises, simulations and programming exercises can be found in the experiment "Value Discrete Information Theory" (Wertdiskrete Informationstheorie) of the practical course "Simulation of Digital Transmission Systems" (Simulation Digitaler Übertragungssysteme).  This (former) LNT course at the TU Munich is based on

*the Windows program  [http://en.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]  ⇒  Link points to the ZIP version of the program; and
*the associated  [http://en.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Internship guide] nbsp;⇒  Link refers to the PDF version.

== Source coding - Channel coding - Line coding ==
 
For the descriptions in this second chapter we consider the following digital transfer model:
*The source signal  $q(t)$  can be analog as well as digital, just like the sink signal  $v(t)$  All other signals in this block diagram, even those not explicitly named here, are digital signals.
*In particular also the signals  $x(t)$  and  $y(t)$  at the input and output of the "Digital Channel" are digital and can therefore also be described completely by the symbol sequences  $〈x_ν〉$  and  $〈y_ν〉$ .
*The "digital channel" includes not only the transmission medium and interference (noise) but also components of the transmitter (modulator, transmitter pulse shaper, etc.) and the receiver (demodulator, receive filter or detector, decision maker).
*The chapter  [[Digital_Signal_Transmission/Parameters of Digital Channel Models|Parameters of Digital Channel Models]]  in the book "Digital Signal Transmission" describes the modeling of the "Digital Channel" .

[[File:P_ID2315__Inf_T_2_1_S1_neu.png|center|frame|Simplified model of a message transmission system]]

As can be seen from this block diagram, there are three different types of coding, depending on the target direction, each of which is realized by the encoder on the transmission side (coder) and the corresponding decoder at the receiver:

Exercise of  '''source coding'''   is the redundancy reduction for data compression, as it is used for example in image coding.  By using statistical bonds between the individual points of an image or between the brightness values of a pixel at different times  (for moving picture sequences)  procedures can be developed which lead to a noticeable reduction of the amount of data (measured in bit or byte) with nearly the same picture quality.  A simple example is the ''differential pulse code modulation''  (DPCM).

With  '''channel coding'''  on the other hand, a noticeable improvement of the transmission behavior is achieved by using a redundancy specifically added at the transmitter to detect and correct transmission errors at the receiver side.  Such codes, whose most important representatives are block codes, convolutional codes and turbo codes, are of great importance, especially for heavily disturbed channels. The greater the relative redundancy of the coded signal, the better the correction properties of the code, but at a reduced payload data rate.

A  '''line coding'''  - sometimes also called ''transmission coding''  - is used to adapt the transmitted signal to the spectral characteristics of channel and receiving equipment by recoding the source symbols.   For example, in the case of an (analog) transmission channel over which no direct signal can be transmitted, for which thus  $H_{\rm K}(f = 0) = 0$, it must be ensured by line coding that the code symbol sequence does not contain long sequences of the same polarity.

The focus of this chapter is on lossless source coding, which generates a data-compressed code symbol sequence  $〈q_ν〉$  based on the results of information theory.

* Channel coding is the subject of a separate book in our tutorial with the following  [[Channel_Coding|Content]] .
*The channel coding is discussed in detail in the chapter "Coded and multilevel transmission" of the book  [[Digital_Signal_Transmission]] .

''Note'':   We uniformly use "$\nu$" here as a control variable of a symbol sequence.  Normally, for  $〈q_ν〉$,  $〈c_ν〉$  and  $〈x_ν〉$  different indices should be used if the rates do not match.

== Lossy source encoding for images==
 
For digitizing analog source signals such as speech, music or pictures, only lossy source coding methods can be used.  Even the storage of a photo in  [https://de.wikipedia.org/wiki/Windows_Bitmap BMP]-format is always associated with a loss of information due to sampling, quantization and the finite color depth.

However, there are also a number of compression methods for images that result in much smaller image files than "BMP", for example:
*[https://en.wikipedia.org/wiki/GIF GIF]  (''Graphics Interchange Format'' ), developed by Steve Wilhite in 1987.
*[https://de.wikipedia.org/wiki/JPEG JPEG]  - a format that was introduced in 1992 by the ''Joint Photography Experts Group''  and is now the standard for digital cameras.  ending:   "jpeg" or "jpg".
*[https://de.wikipedia.org/wiki/Tagged_Image_File_Format TIFF]  (''Tagged Image File Format''), around 1990 by Aldus Corp. (now Adobe) and Microsoft, still the quasi-standard for print-ready images of the highest quality.
*[https://de.wikipedia.org/wiki/Portable_Network_Graphics PNG]  (''Portable Network Graphics''), designed in 1995 by T. Boutell & T. Lane as a replacement for the patent-encumbered GIF format, is less complex than TIFF.

These compression methods partly use
*Vector quantization for redundancy reduction of correlated pixels,
*at the same time the lossless compression algorithms according to  [[Information_Theory/Entropy Coding According to Huffman#The_Huffman.E2.80.93Algorithm|Huffman]]  and  [[Information_Theory/Compression According to Lempel, Ziv and Welch|Lempel/Ziv]],
*possibly also transformation coding based on DFT  (''Discrete Fourier Transformation'' )  and  DCT  (''Discrete Cosine Transformation'' ),
*then quantization and transfer in the transformed range.

We now compare the effects of two compression methods on the subjective quality of photos and graphics, namely:
*'''JPEG'''  $($with compression factor  $8)$,  and
*'''PNG'''  $($with compression factor  $24)$.

{{GraueBox|TEXT=
$\text{Example 1:}$ 
In the upper part of the following figure you can see two compressions of a photo.
[[File:P_ID2920__Inf_T_2_1_S2_neu.png|right|frame|Compare JPEG and PNG compression]]
The format  '''JPEG'''   (left image) allows a compression factor of  $8$  to  $15$  with (nearly) lossless compression.
*Even with the compression factor  $35$  the result can still be called "good".
*For most consumer digital cameras, "JPEG" is the default storage format.

The image shown on the right was compressed with  '''PNG''' .
*The quality is similar to the left JPEG image, although the compression is about  $3$ stronger.
*In contrast, PNG achieves a worse compression result than JPEG if the photo contains a lot of color gradations.
 
PNG is also better suited for line drawings with captions than JPEG (lower images).  The quality of the JPEG compression (left) is significantly worse than the PNG result, although the resulting file size is about three times as large.  Especially fonts look "washed out".

''Note'':   Due to technical limitations of  $\rm LNTww$  all graphics had to be saved as "PNG".
*In the above graphic, "JPEG" means the PNG conversion of a file previously compressed with "JPEG".
*However, the associated loss is negligible. }}

== Lossy source coding for audio signals==
 
A first example of source coding for speech and music is the  [https://en.wikipedia.org/wiki/Pulse-code_modulation Pulse-code modulation]  (PCM), invented in 1938, which extracts the code symbol sequence  $〈c_ν〉 $ from an analog source signal  $q(t)$, corresponding to the three processing blocks
[[File:P_ID2925__Mod_T_4_1_S1_neu.png|right|frame|Principle of Pulse Code Modulation (PCM)]]
*Sampling,
*Quantization, and
*PCM encoding.

The graphic illustrates the PCM principle.  A detailed description of the picture can be found on the first pages of the chapter  [[Modulation_Methods/Pulse Code Modulation|Pulse Code Modulation]]  in the book "Modulation Methods".

Because of the necessary band limitation and quantization, this transformation is always lossy.  That means
*The code sequence  $〈c_ν〉$  has less information than the signal  $q(t)$.
*The sink signal  $v(t)$  is fundamentally different from  $q(t)$.
*Mostly, however, the deviation is not very large.
 
We will now mention two transmission methods based on pulse code modulation as examples.

{{GraueBox|TEXT=
$\text{Example 2:}$ 
The following data is taken from the  [[Examples_of_Communication_Systems/Entire GSM Transmission System#Components_of_Language.E2.80.93_and_Data.C3.BCtransmission|GSM-Specification]] :
*If a speech signal is spectrally limited to the bandwidth  $B = 4 \, \rm kHz$   ⇒   sampling rate $f_{\rm A} = 8 \, \rm kHz$  with a quantization of $13 \, \rm Bit$   ⇒   number of quantization levels  $M = 2^{13} = 8192$  a binary data stream of data rate  $R = 104 \, \rm kbit/s$ results.
*The quantization noise ratio is then  $20 - \lg M ≈ 78 \, \rm dB$.
*For quantization with  $16 \, \rm Bit$  this increases to  $96 \, \rm dB$.  At the same time, however, the required data rate increases to  $R = 128 \, \rm kbit/s$.

The interactive applet  [[Applets:Bandwidth Limitation|Impact of a Bandwidth Limitation for Speech and Music]] illustrates the effects of a bandwidth limitation.}

{{GraueBox|TEXT=
$\text{Example 3:}$ 
The standard  [[Examples_of_Communication_Systems/General_Description_of_ISDN|ISDN]]  (''Integrated Services Digital Network'' ) for telephony via two-wire line is also based on the PCM principle, whereby each user is assigned two B-channels  (''Bearer Channels'' )  with  $64 \, \rm kbit/s$   ⇒   $M = 2^{8} = 256$  and a D-channel  (''Data Channel'' )  with  $ 16 \, \rm kbit/s$.
*The net data rate is thus  $R_{\rm net} = 144 \, \rm kbit/s$.
*In consideration of the channel coding and the control bits (required for organizational reasons), the ISDN gross data rate of  $R_{\rm gross} = 192 \, \rm kbit/s$.}}

In mobile communications, very high data rates often could not (yet) be handled.  In the 1990s, voice coding procedures were developed that led to data compression by the factor  $8$  and more.  From today's point of view, it is worth mentioning
*the  [[Examples_of_Communication_Systems/Voice Coding#Halfrate_Vocoder_and_Enhanced_Fullrate_Codec|Enhanced Full-Rate Codec]]  ('''EFR'''), which extracts  exactly  $244 \, \rm Bit$  for each speech frame of  $20\, \rm ms$ $($Data rate:   $12. 2 \, \rm kbit/s)$; this data compression of more than the factor  $8$  is achieved by stringing together several procedures:
:#  ''Linear Predictive Coding''  ('''LPC''', short term prediction),
:#  ''Long Term Prediction''  ('''LTP''', long term prediction) and
:#  ''Regular Pulse Excitation''  (''RPE''');
*the  [[Examples_of_Communication_Systems/Voice Coding#Adaptive_Multi.E2.80. 93Rate_Codec|Adaptive Multi-Rate Codec]]  ('''AMR''') based on  [[Examples_of_Communication_Systems/Voice Coding#Algebraic_Code_Excited_Linear_Prediction|ACELP]]  (''Algebraic Code Excited Linear Prediction'') and several modes between  $12. 2 \, \rm kbit/s$  (EFR) and  $4.75 \, \rm kbit/s$  so that improved channel coding can be used in case of poorer channel quality;
*the  [[Examples_of_Communication_Systems/Voice Coding#Various_Language Coding Methods|Wideband-AMR]]  ('''WB-AMR''') with nine modes between  $6.6 \, \rm kbit/s$  and  $23.85 \, \rm kbit/s$.   This is used with  [[Examples_of_Communication_Systems/General_Description_of_UMTS|UMTS]]  and is suitable for broadband signals between  $200 \, \rm Hz$  and  $7 \, \rm kHz$ .   Sampling is done with  $16 \, \rm kHz$, quantization with  $4 \, \rm Bit$.

All these compression methods are described in detail in the chapter  [[Examples_of_Communication_Systems/Voice Coding|Voice Coding]]  of the book "Examples of Communication Systems"   The Audio Module  [[Applets:Quality of different voice codecs (Applet)|Quality of different voice codecs (Applet)]]  allows a subjective comparison of these codecs.

==MPEG-2 Audio Layer III - short MP3 ==
 
Today (2015) the most common compression method for audio files is  [https://en.wikipedia.org/wiki/MP3 MP3].  This format was developed from 1982 on at the Fraunhofer Institute for Integrated Circuits (IIS) in Erlangen under the direction of Prof.  [https://de.wikipedia. org/wiki/Hans-Georg_Musmann Hans-Georg Musmann]  in collaboration with the Friedrich Alexander University Erlangen-Nuremberg and AT&T Bell Labs.  Other institutions are also asserting patent claims in this regard, so that since 1998 various lawsuits have been filed which, to the authors' knowledge, have not yet been finally concluded.

In the following some measures are called, which are used with MP3, in order to reduce the data quantity in relation to the raw version in the  [https://en.wikipedia.org/wiki/WAV WAV]-format.  The compilation is not complete.  A comprehensive representation about this can be found for example in a  [https://de.wikipedia.org/wiki/MP3 Wikipedia article].
*The audio compression method "MP3" uses among other things psychoacoustic effects of perception.  So a person can only distinguish two sounds from each other from a certain minimum difference in pitch.  One speaks of so-called "masking effects".
*Using the masking effects, MP3 signals that are less important for the auditory impression are stored with less bits (reduced accuracy).  A dominant tone at  $4 \, \rm kHz$  can, for example, cause neighboring frequencies to be of only minor importance for the current auditory sensation up to  $11 \, \rm kHz$ .
*The greatest saving of MP3 coding, however, is that the sounds are stored with just enough bits so that the resulting  [[Modulation_Methods/Pulse Code Modulation#Quantization_and_Quantization Noise|Quantization Noise]]  is still masked and is not audible.
*Other MP3 compression mechanisms are the exploitation of the correlations between the two channels of a stereo signal by difference formation as well as the  [[Information_Theory/Entropy Coding According to Huffman|Huffman Coding]]  of the resulting data stream.  Both measures are lossless.

A disadvantage of the MP3 coding is that with strong compression also "important" frequency components are unintentionally captured and thus audible errors occur.  Furthermore it is disturbing that due to the blockwise application of the MP3 procedure gaps can occur at the end of a file.  A remedy is the use of the so-called  [https://en.wikipedia.org/wiki/LAME LAME]-Coder, an ''Open Source Project'', and a corresponding player.

==Description of lossless source encoding – Requirements==
 
In the following, we only consider lossless source coding methods and make the following assumptions:
*The digital source has the symbol range  $M$.  For the individual source symbols of the sequence  $〈q_ν〉$  applies with the symbol range  $\{q_μ\}$:

:$$q_{\nu} \in \{ q_{\mu} \}\hspace{0.05cm}, \hspace{0.2cm}\mu = 1, \hspace{0.05cm}\text \hspace{0.05cm}, M \hspace{0.05cm}. $$

The individual sequence elements  $q_ν$  may be statistically independent or may have statistical bonds;
* First we consider  '''message sources without memory''', which are fully characterized by symbol probabilities alone, for example:
$$M = 4\text{:} \ \ \ q_μ \in \{ {\rm A}, \ {\rm B}, \ {\rm C}, \ {\rm D} \}, \hspace{2.5cm} \text{with the probabilities}\ p_{\rm A},\ p_{\rm B},\ p_{\rm C},\ p_{\rm D},$$
:$$M = 8\text{:} \ \ \ q_μ \in \{ {\rm A}, \ {\rm B}, \ {\rm C}, \ {\rm D},\ {\rm E}, \ {\rm F}, \ {\rm G}, \ {\rm H} \}, \hspace{0.5cm} \text{with the probabilities }\ p_{\rm A},\hspace{0.05cm}\text{...} \hspace{0.05cm} ,\ p_{\rm H}.$$

*The source encoder replaces the source symbol  $q_μ$  with the code word  $\mathcal{C}(q_μ)$, consisting of  $L_μ$  code symbols of a new alphabet with the symbol range  $D$  $\{0, \ 1$, ... ,  $D - 1\}$.  This gives the  '''average code word length''':

:$$L_{\rm M} = \sum_{\mu=1}^{M} \hspace{0.1cm} p_{\mu} \cdot L_{\mu} \hspace{0.05cm}, \hspace{0.2cm}{\rm mit} \hspace{0.2cm}p_{\mu} = {\rm Pr}(q_{\mu}) \hspace{0.05cm}. $$

{{GraueBox|TEXT=
$\text{Example 4:}$  We consider two different types of source encoding, each with the parameters  $M = 9$  and  $D = 3$.

*In the first encoding  $\mathcal{C}_1(q_μ)$  according to line 2 (red) of the lower table, each source symbol  $q_μ$  is replaced by two ternary symbols  $(0$,  $1$  or  $2)$    For example, the mapping:
: $$\rm A C F B I G \ ⇒ \ 00 \ 02 \ 12 \ 01 \ 22 \ 20.$$
*With this coding, all code words have  $\mathcal{C}_1(q_μ)$  with  $1 ≤ μ ≤ 6$  the same length  $L_μ = 2$.  Thus, the average code word length  $L_{\rm M} = 2$.

[[File:P_ID2316__Inf_T_2_1_S3_Ganz_neu.png|center|frame|Two examples of source encoding]]

*The second, the blue source coder  $L_μ ∈ \{1, 2 \}$  and accordingly, the average code word length  $L_{\rm M}$  will be less than two code symbols per source symbol. Here we have for example this mapping:
: $$\rm A C F B I G \ ⇒ \ 0 \ 02 \ 12 \ 01 \ 22 \ 2.$$

*It is obvious that this second code symbol sequence cannot be decoded unambiguously, since the symbol sequence naturally does not include the spaces inserted in this text for display reasons. }}

==Kraft–McMillan inequality - Prefix-free codes ==
 
Binary codes for compressing a memoryless value discrete source are characterized by the fact that the individual symbols are represented by code symbol sequences of different lengths:

:$$L_{\mu} \ne {\rm const.} \hspace{0.4cm}(\mu = 1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, M ) \hspace{0.05cm}.$$

Only then it is possible,
*that the  '''average code word length becomes minimal''' ,
*if the  '''source symbols are not equally probable'''  are

To enable a unique decoding, the code must also be "prefix-free".

{{BlaueBox|TEXT=
$\text{Definition:}$  The property  '''prefix-free'''  indicates that no codeword may be the prefix (beginning) of a longer codeword.  Such a codeword is immediately decodable.}}

*The blue code in the  [[Information_Theory/General_Description#Description_of_lossless_source_encoding_.E2.80.93_Prerequisites|Example 4]]  is not prefix-free.  For example, the code symbol sequence "01" could be interpreted by the decoder as  $\rm AD$  but also as  $\rm B$.
*The red code, on the other hand, is prefix-free, although prefix freedom would not be absolutely necessary here because of  $L_μ = \rm const.$ .

{{BlaueBox|TEXT=
$\text{Without proof:}$ 
The necessary  '''Condition for the existence of a prefix-free code'''  was specified by Leon Kraft in his master thesis 1949 at  ''Massachusetts Institute of Technology''  (MIT) :

:$$\sum_{\mu=1}^{M} \hspace{0.2cm} D^{-L_{\mu} \le 1 \hspace{0.05cm}.$$}}

{{GraueBox|TEXT=
$\text{Example 5:}$ 
If you check the second (blue) code of  [[Information_Theory/General_Description#Description of lossless source encoding.E2.80.93_Requirements|Example 4]]  with  $M = 9$  and  $D = 3$, you get:

:$$3 \cdot 3^{-1} + 6 \cdot 3^{-2} = 1.667 > 1 \hspace{0.05cm}.$$

From this you can see that this code cannot be prefix-free }}

{{GraueBox|TEXT=
$\text{Example 6:}$  Let's look at the binary code

:$$\boldsymbol{\rm A } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 0
\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm B } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 00
\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm C } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 11
\hspace{0.05cm}, $$

it is obviously not prefix-free.  The equation

:$$1 \cdot 2^{-1} + 2 \cdot 2^{-2} = 1 $$

does not mean that this code is actually prefix-free, it just means that there is a prefix-free code with the same length distribution, for example

:$$\boldsymbol{\rm A } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 0
\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm B } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 10
\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm C } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 11
\hspace{0.05cm}.$$}}

== Source encoding theorem==
 
We now look at a redundant message source with the symbol set  $〈q_μ〉$, where the control variable  $μ$  takes all values between  $1$  and the symbol range  $M$.  The source entropy  $H$  is smaller than the message content  $H_0$.

The redundancy  $(H_0- H)$  is either caused by
*not equally probable symbols   ⇒   $p_μ ≠ 1/M$,  and/or
*statistical bonds within the sequence  $〈q_\nu〉$.

A source encoder replaces the source symbol  $q_μ$  with the binary codeword  $\mathcal{C}(q_μ)$, consisting of  $L_μ$  binary symbols (zeros or ones).  This results in an average codeword length:

:$$L_{\rm M} = \sum_{\mu=1}^{M} \hspace{0.2cm} p_{\mu} \cdot L_{\mu} \hspace{0.05cm}, \hspace{0.2cm}{\rm mit} \hspace{0.2cm}p_{\mu} = {\rm Pr}(q_{\mu}) \hspace{0.05cm}. $$

For the source encoding task described here the following  '''limit'''  can be specified:

{{BlaueBox|TEXT=
$\text{Theorem:}$ 
For the possibility of a complete reconstruction of the sent string from the binary sequence it is sufficient, but also necessary, that

*for encoding on the transmitting side at least  $H$  binary symbols per source symbol are used.

*the average code word length  $L_{\rm M}$  cannot be smaller than the entropy  $H$  of the source symbol sequence:  
:$$L_{\rm M} \ge H \hspace{0.05cm}. $$

This regularity is called  ''' Source Coding Theorem''', which goes back to  [https://en.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]    If the source coder considers only the different probabilities of occurrence, but not the inner statistical bonds of the sequence, then  $L_{\rm M} ≥ H_1$   ⇒   [[Information_Theory/Sources with Memory#Entropy with respect to two-tuples|first Entropy Approximation]].}}

{{GraueBox|TEXT=
$\text{Example 7:}$ 
For a quaternary source with the symbol probabilities

:$$p_{\rm A} = 2^{-1}\hspace{0.05cm}, \hspace{0.2cm}p_{\rm B} = 2^{-2}\hspace{0.05cm}, \hspace{0.2cm}p_{\rm C} = p_{\rm D} = 2^{-3}
\hspace{0.3cm} \Rightarrow \hspace{0.3cm} H = H_1 = 1.75\,\, {\rm bit/source symbol} $$

equality in the above equation   ⇒   $L_{\rm M} = H$ results, if for example the following assignment is chosen

:$$\boldsymbol{\rm A } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 0
\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm B } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 10
\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm C} \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 110
\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm D }\hspace{0.15cm} \Rightarrow \hspace{0.15cm} 111
\hspace{0.05cm}. $$

In contrast, with the same mapping and

:$$p_{\rm A} = 0.4\hspace{0.05cm}, \hspace{0.2cm}p_{\rm B} = 0.3\hspace{0.05cm}, \hspace{0.2cm}p_{\rm C} = 0.2
\hspace{0.05cm}, \hspace{0.2cm}p_{\rm D} = 0.1\hspace{0.05cm}
\hspace{0.3cm} \Rightarrow \hspace{0.3cm} H = 1.845\,\, {\rm bit/source symbol}$$

the average code word length

:$$L_{\rm M} = 0.4 \cdot 1 + 0.3 \cdot 2 + 0.2 \cdot 3 + 0.1 \cdot 3
= 1.9\,\, {\rm bit/source symbol}\hspace{0.05cm}. $$

Because of the unfavorably chosen symbol probabilities (no powers of two) $L_{\rm M} > H$.}}

{{GraueBox|TEXT=
$\text{Example 8:}$ 
We will look at some very early attempts at source encoding for the transmission of natural texts, based on the letter frequencies given in the table.
*In the literature many different frequencies are found,  also because,  the investigations were carried out for different languages.
*Mostly, however, the list starts with the blank and "E" and ends with letters like "X",  "Y"  and  "Q".

[[File:P_ID2323__Inf_T_2_1_S6_ganz_neu.png|center|frame|Letter encodings according to Bacon/Bandot, Morse and Huffman]]

Please note the following about this table:
*The entropy of this alphabet with  $M = 27$  character will be  $H≈ 4 \, \rm bit/character$  is  We have not recalculated this.  [https://en.wikipedia.org/wiki/Francis_Bacon Francis Bacon]  had already given a binary code in 1623, where each letter is represented by five bits:   $L_{\rm M} = 5$.
*About 250 years later  [https://en.wikipedia.org/wiki/Baudot_code Jean-Maurice-Émile Baudot]  adopted this code, which was later standardized for the entire telegraphy.  One consideration important to him was that a code with a uniform five binary characters per letter is more difficult for an enemy to decipher, since he cannot draw conclusions about the transmitted character from the frequency of its occurrence.
*The last line in the above table gives an exemplary  [[Information_Theory/Entropy_Coding_According_to_Huffman#The_Huffman.E2.80.93Algorithm|Huffman-Code]]  for the above frequency distribution.  Probable characters like "E" or "N" and also the "Blank" are represented with only three bits, the rare "Q" on the other hand with  $11$ bit.
*The average code word length  $L_{\rm M} = H + ε$  is slightly larger than  $H$, whereby we will not go into more detail here about the small positive size  $ε$    Only this much:   There is no prefix-free code with smaller average word length than the Huffman code.
*Also  [https://en.wikipedia.org/wiki/Morse_code Samuel Morse]  took into account the different frequencies in his code for telegraphy, already in the 1830s.  The Morse code of each character consists of two to four binary characters, which are designated here according to the application with dot ("short") and bar ("long").
*It is obvious that for the Morse code  $L_{\rm M} < 4$  will apply, according to the penultimate line.  But this is connected with the fact that this code is not prefix-free.  Therefore, the radio operator had to take a break between each short-long sequence so that the other station could decode the radio signal as well.}}

== Exercises for chapter==
 
[[Aufgaben:2.1 Codierung mit und ohne Verlust|Aufgabe 2.1: Codierung mit und ohne Verlust]]

[[Aufgaben:2.2 Kraftsche Ungleichung|Aufgabe 2.2: Kraftsche Ungleichung]]

[[Aufgaben:2.2Z Mittlere Codewortlänge|Aufgabe 2.2Z: Mittlere Codewortlänge]]

{{Display}}

Information Theory/Compression According to Lempel, Ziv and Welch

2020-11-02T13:29:28Z

Rosa:

{{Header
|Untermenü=Quellencodierung – Datenkomprimierung
|Vorherige Seite=Allgemeine Beschreibung
|Nächste Seite=Entropiecodierung nach Huffman
}}

==Static and dynamic dictionary techniques ==
 
Many data compression methods use dictionaries.  the idea is the following:
*Construct a list of character patterns that occur in the text,
*and encode these patterns as indices of the list.

This procedure is particularly efficient if certain patterns are repeated frequently in the text and this is also taken into account in the coding.  A distinction is made here
*Procedure with static dictionary,
*Procedure with dynamic dictionary.

 
$\text{(1) Procedure with static dictionary}$

A static dictionary is only useful for very special applications, for example for a file of the following form:

[[File:P_ID2424__Inf_T_2_2_S1a.png|center|frame|File to edit in this section]]

For example, the assignments result in

:$$"\boldsymbol{\rm 0}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 000000} \hspace{0.05cm},\hspace{0.15cm} ... \hspace{0.15cm},\hspace{0.05cm}
"\boldsymbol{\rm 9}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 001001} \hspace{0.05cm},
"\hspace{-0.03cm}\_\hspace{-0.03cm}\_\hspace{0.03cm}" \hspace{0.1cm}{\rm (Blank)}\hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 001010} \hspace{0.05cm},$$

:$$"\hspace{-0.01cm}.\hspace{-0.01cm}" \hspace{0.1cm}{\rm (Punkt)}\hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 001011} \hspace{0.05cm},
"\hspace{-0.01cm},\hspace{-0.01cm}" \hspace{0.1cm}{\rm (Komma)}\hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 001011} \hspace{0.05cm},
" {\rm end\hspace{-0.1cm}-\hspace{-0.1cm}of\hspace{-0.1cm}-\hspace{-0.1cm}line}\hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 001101} \hspace{0.05cm},$$

:$$"\boldsymbol{\rm A}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 100000} \hspace{0.05cm},\hspace{0.15cm} ... \hspace{0.15cm},\hspace{0.05cm}
"\boldsymbol{\rm E}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 100100} \hspace{0.05cm},
\hspace{0.15cm} ... \hspace{0.15cm},\hspace{0.05cm}
"\boldsymbol{\rm L}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 101011} \hspace{0.05cm},\hspace{0.15cm}"\boldsymbol{\rm M}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 101100} \hspace{0.05cm},$$

:$$"\boldsymbol{\rm O}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 101110} \hspace{0.05cm},\hspace{0.15cm} ... \hspace{0.15cm},\hspace{0.05cm}
"\boldsymbol{\rm U}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 110100} \hspace{0.05cm},
"\boldsymbol{\rm Name\hspace{-0.1cm}:\hspace{-0.05cm}\_\hspace{-0.03cm}\_}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 010000} \hspace{0.05cm},\hspace{0.05cm}$$

:$$"\boldsymbol{\rm ,\_\hspace{-0.03cm}\_Vorname\hspace{-0.1cm}:\hspace{-0.05cm}\_\hspace{-0.03cm}\_}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 010001} \hspace{0.05cm},\hspace{0.05cm}
"\boldsymbol{\rm ,\_\hspace{-0.03cm}\_Wohnort\hspace{-0.1cm}:\hspace{-0.05cm}\_\hspace{-0.03cm}\_}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 010010} \hspace{0.05cm},\hspace{0.15cm} ... \hspace{0.15cm}$$

for the first line of the above text, binary source coded with six bits per character:

:$$\boldsymbol{010000} \hspace{0.15cm}\boldsymbol{100000} \hspace{0.15cm}\boldsymbol{100001} \hspace{0.15cm}\boldsymbol{100100} \hspace{0.15cm}\boldsymbol{101011} \hspace{0.3cm}
\Rightarrow \hspace{0.3cm}
\boldsymbol{(\rm Name\hspace{-0.1cm}:\hspace{-0.05cm}\_\hspace{-0.03cm}\_)
\hspace{0.05cm}(A)\hspace{0.05cm}(B)\hspace{0.05cm}(E)\hspace{0.05cm}(L)}$$

:$$\boldsymbol{010001} \hspace{0.15cm}\boldsymbol{101011}\hspace{0.15cm} \boldsymbol{100100} \hspace{0.15cm}\boldsymbol{101110}
\hspace{0.3cm}
\Rightarrow \hspace{0.3cm}
\boldsymbol{(,\hspace{-0.05cm}\_\hspace{-0.03cm}\_\rm Vorname\hspace{-0.1cm}:\hspace{-0.05cm}\_\hspace{-0.03cm}\_)
\hspace{0.05cm}(L)\hspace{0.05cm}(E)\hspace{0.05cm}(O)}$$

:$$\boldsymbol{010010} \hspace{0.15cm}\boldsymbol{110100} \hspace{0.15cm}\boldsymbol{101011} \hspace{0.15cm}\boldsymbol{101100}
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
\boldsymbol{(,\hspace{-0.05cm}\_\hspace{-0.03cm}\_\rm Wohnort\hspace{-0.1cm}:\hspace{-0.05cm}\_\hspace{-0.03cm}\_)
\hspace{0.05cm}(U)\hspace{0.05cm}(L)\hspace{0.05cm}(M)}
\hspace{0.05cm} $$

:$$\boldsymbol{001101}
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
({\rm end\hspace{-0.1cm}-\hspace{-0.1cm}of\hspace{-0.1cm}-\hspace{-0.1cm}line})
\hspace{0.05cm}$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
In this specific application the first line can be displayed with  $14 \cdot 6 = 84$  Bit.
*In contrast, conventional binary coding would require  $39 \cdot 7 = 273$  bits since:
*Because of the lowercase letters in the text, six bits per character are not sufficient here.
*For the entire text, this results in  $103 \cdot 6 = 618$  Bit versus  $196 \cdot 7 = 1372$  Bit.
*However, the code table must also be known to the recipient.}}

 
$\text{(2) Procedure with dynamic dictionary}$

Nevertheless, all relevant compression methods do not work with static dictionaries, but with ''dynamic dictionaries'', which are created successively only during the coding:
*Such procedures are flexible and do not have to be adapted to the application   One speaks of ''universal source coding procedures''.
*A single pass is sufficient, whereas with a static dictionary the file must first be analyzed before the encoding process.
*At the sink, the dynamic dictionary is generated in the same way as for the source .  this eliminates the need to transfer the dictionary.

[[File:P_ID2926__Inf_T_2_2_S1b_neu.png|frame|Extract from the hexdump of a natural image in BMP format]]
{{GraueBox|TEXT=
$\text{Example 1:}$ 
The graphic shows a small section of  $80$  Byte of a  [[Digital_Signal_Transmission/Applications for Multimedia Files#Pictures_in_BMP.E2.80.93Format_.281.29|BMP-File]]  in hexadecimal representation.  It is the uncompressed representation of a natural picture.

*You can see that in this small section of a landscape image the bytes  $\rm FF$,  $\rm 55$  and  $\rm 47$  occur very frequently.
*Data compression is therefore promising.
*But since other parts of the  $\text{4 MByte}$ file or other byte combinations dominate in other image contents, the use of a static dictionary would not be appropriate here.}}

[[File:P_ID2927__Inf_T_2_2_S1c_GANZ_neu.png|right|frame|Possible encoding of a simple graphic]]
{{GraueBox|TEXT=
$\text{Example 2:}$ 
For an artificially created graphic, for example a form, you could work with a static dictionary.

We are looking at a b/w image with  $27 × 27$  pixels, where the mapping "black"   ⇒   '''0'''  and "white"   ⇒   '''1'''  has been agreed upon.

*At the top (black marker) each line is described by  $27$  zeros.
*In the middle (blue marking), three zeros and three ones always alternate.
*At the bottom (red mark), each line is delimited by  $25$  ones by two zeros.}}

==LZ77 - the basic form of the Lempel-Ziv-algorithms ==
 
The most important procedures for data compression with a dynamic dictionary go back to  [https://en.wikipedia.org/wiki/Abraham_Lempel Abraham Lempel]  and  [https://en.wikipedia.org/wiki/Jacob_Ziv Jacob Ziv]  zurück.  The entire Lempel-Ziv family  (in the following we will use for this briefly:   LZ procedure)  can be characterized as follows
*Lempel-Ziv methods use the fact that often whole words, or at least parts of them, occur several times in a text.  One collects all word fragments, which are also called  ''phrases''  in a sufficiently large dictionary.
*Contrary to the entropy coding developed before (by Shannon and Huffman), the frequency of single characters or character strings is not the basis of the compression here, so that the LZ procedures can be applied even without knowledge of the source statistics.
*LZ compression accordingly manages with a single pass and also the source symbol range  $M$  and the symbol set  $\{q_μ\}$  with  $μ = 1$, ... , $M$  does not have to be known.  This is called ''Universal Source Coding''.

We first look at the Lempel-Ziv algorithm in its original form from 1977, known as  [https://en.wikipedia.org/wiki/LZ77_and_LZ78#LZ77 LZ77]:
*This works with a window that is successively moved over the text  one also speaks of a  ''sliding window''.
*The window size  $G$  is an important parameter that decisively influences the compression result.

[[File:P_ID2426__Inf_T_2_2_S2a_neu.png|center|frame|Sliding window with LZ77 compression]]

The graphic shows an example of the  ''sliding windows''.  This is divided into
*the preview buffer  $($blue background),  and
*the search buffer  $($red background, with the positions  $P = 0$, ... , $7$   ⇒   window size  $G = 8)$.

The edited text consists of the four words  '''Miss''',  '''Mission'''',  '''Mississippi''''  and  '''Mistral'''', each separated by a hyphen.  At the time in question the preview buffer contains  '''Mississi'''.
*Search now in the search buffer for the best match   ⇒   the string with the maximum match length  $L$.  This is the result for the position  $P = 7$  and the length  $L = 5$  to  '''Missi'''.
*This step is then expressed by the ''triple''  $(7,  5,  $ '''s'''$)$  expressed   ⇒   general  $(P, \ L, \ Z)$, where  $Z =$ '''s'''  specifies the character that no longer matches the string found in the search buffer.
*At the end the window is moved by  $L + 1 = 6$  character is moved to the right.  In the preview buffer there is now  '''sippi-Mi'',  in the search buffer  '''n-Missis'''  and the encoding gives the triple  $(2, 2,$  '''p'''$)$.

In the following example the LZ77-coding algorithms are described in more detail.  The decoding runs in a similar way.

{{GraueBox|TEXT=
$\text{Example 3:}$ 
We consider the LZ77 encoding of the string  '''ABABCBCBAABCABe'''  according to the following graphic.  The input sequence has the length $N = 15$. 

Further is assumed:
*For the characters apply  $Z ∈ \{$ '''A''',  '''B''',  '''C''',  '''e''' $\}$,  where  '''e'''  corresponds to the  ''end-of-file''  (end of the input string)
*The size of the preview and search buffer are  $G = 4$   ⇒   Position  $P ∈ {0, 1, 2, 3}$.

[[File:P_ID2427__Inf_T_2_2_S2b_neu.png|frame|To illustrate the LZ77 encoding]]
 
Display of the encoding process:

Step 1 and 2:   The characters  '''A'''  and  '''B'''  are encoded by the triple  $(0, 0,  $ '''A'''$)$  and  $(0, 0,  $ '''B'''$)$, because they are not yet stored in the search buffer.   Then move the Sliding Window by 1.

step 3:   '''AB'''  is masked by the search buffer and at the same time the still unknown character  '''C'''  is appended.  After that the Sliding Window is moved three positions to the right.

Step 4:   This shows that the search string  '''BCB'''  may also end in the preview buffer.  Now the window can be moved four positions to the right.

Step 5:   Only  '''A'''  is found in the search buffer and  '''B'''  is dropped.  If the search buffer is larger, however,  '''ABC'''  could be masked together.  For this purpose  $G ≥ must be 7$ .

Step 6:   Likewise, the character  '''C'''  must be coded separately due to the buffer being too small.  But since  '''CA'''  hasn't occurred before,  would not improve the compression here  $G = 7$ 

Step 7:   With the consideration of the end-of-file  ('''e''')  together with  '''AB'''  from the search buffer, the encoding process is finished.

Before transmission, the specified triples must of course be binary coded.  In this example you need
*the position  $P ∈ \{0, 1, 2, 3\}$  two Bit  (yellow background in the table above),
*the copy length  $L$  three bits  (green background), so that one could also  $L = 7$  still be displayed,
*all characters are two bits  (white background),  for example  '''A''' → '''00''',  '''B''' → '''01''',  '''C''' → '''10''',  '''e''' ("end-of-file") → '''11'''.

Thus the LZ77 output sequence has a length of  $7 - 7 = 49$  bit, while the input sequence only needed  $15 - 2 = 30$  bit.}}

{{BlaueBox|TEXT=
$\text{Conclusion:}$  '''A Lempel-Ziv compression only makes sense with large files !'''}}

==The Lempel-Ziv-Variant LZ78 ==
 
The LZ77-algorithm produces very inefficient output if more frequent strings are repeated only with a larger distance.  Such repetitions can often not be recognized due to the limited buffer size  $G$  des  ''Sliding Window'' .

Lempel and Ziv corrected this shortcoming already one year after the release of the first version LZ77:
*The algorithm LZ78 uses a global dictionary for compression instead of the local dictionary (search buffer).
*The size of the dictionary allows efficient compression of phrases that have been used for a long time before.

{{GraueBox|TEXT=
$\text{Example 4:}$ 
To explain the LZ78 algorithm we consider the same sequence  '''ABABCBCBAABCABe'''  as for the LZ77-$\text{Example 3}$.

[[File:Inf_T_2_2_S3_neu.png|frame|Generation of the dictionary and output at LZ78]]

*The graphic shows  (with red background)  the dictionary with index  $I $  (in decimal and binary representation, column 1 and 2)  and the corresponding content (column 3), which is entered for coding step  $i $  (column 4).

*For LZ78 both encoding and decoding are always  $i = I$.

*In column 5 you find the formalized code output  $($Index  $I$,  new character  $Z)$.

*In column 6 the corresponding binary coding is given with four bits for the index and the same character assignment  '''A''' → '''00''',  '''B''' → '''01''',  '''C''' → '''10''',  '''e''' ("end-of-file") → '''11'''  as in  $\text{Example 3}$.
 
*At the beginning  (step $\underline{i = 0}$)  the dictionary is  (WB)  empty except for the entry  '''ε'''  $($empty character, not to be confused with the space character, which is not used here$)$  with index  $I = 0$.
*In the step  $\underline{i = 1}$  there is no usable entry in the dictionary yet, and it becomes  ('''0,  A''')  output  ('''A'''  follows  '''ε''').   In the dictionary, the entry  '''A'''  follows in line  $I = 1$  (abbreviated  '''1: A''').
*The procedure in the second step  ($\underline{i = 2}$).  The output is  ('''0,  B''')  and the dictionary entry is  '''2: B''' .
*As the entry  $\underline{i = 3}$  is already found in step  '''1: A''' , the characters  '''AB'''  can be coded together by  ('''1, B''')  and the new dictionary entry  '''3: AB'''  is made.
*After coding and insertion of the new character  '''C'''  in step  $\underline{i = 4}$  the pair of characters  '''BC'''  is coded together   ⇒   ('''2, C''') and entered into the dictionary  '''5: BC'''  in step  $\underline{i = 5}$ .
*In step  $\underline{i = 6}$  two characters are treated together with  ''''6: BA'''  and in the last two steps three each, namely  '''7: ABC'''  and  '''8: ABe'''.
*The output  (3, '''C''')  in step  $\underline{i = 7}$  stands for  "WB(3) + '''C''' = '''ABC'''   and the output  (3, '''e''')  in step  $\underline{i = 8}$  for  '''ABe'''.

In this  $\text{Example 4}$  the LZ78 code symbol sequence thus consists of  $8 - 6 = 48$  Bit.  The result is comparable to the LZ77-$\text{Example 3}$  $(49$ Bit$)$.}}

{{BlaueBox|TEXT=
$\text{Conclusion:}$  Details and improvements of LZ78 will be omitted here.  Here we refer to the  [[Information_Theory/Compression According to Lempel, Ziv and Welch#The_Lempel. E2.80.93Ziv.E2.80.93Welch.E2.80.93Algorithm|LZW-Algorithm]], which will be described on the following pages.  Only this much will be said now:
*The index  $I$  is uniformly represented here with four bits, whereby the dictionary is limited to  $16$  entries.  By a ''variable number of bits''  for the index one can bypass this limitation.  At the same time one gets a better compression factor.
*The dictionary does not have to be transmitted with all LZ variants, but is generated with the decoder in exactly the same way as on the coder side.  The decoding is also done with LZ78, but not with LZW, in the same way as the coding.
*All LZ procedures are asymptotically optimal, i.e., for infinitely long sequences the mean code word length  $L_{\rm M}$  per source symbol is equal to the source entropy  $H$ .
*For short sequences, however, the deviation is considerable.  More about this at  [[Information_Theory/Compression According to Lempel, Ziv and Welch#Quantitative statements on asymptotic optimality|end of chapter]].}}

==The Lempel-Ziv-Welch algorithm ==
 
The most common variant of Lempel-Ziv compression used today was designed by  [https://en.wikipedia.org/wiki/Terry_Welch Terry Welch]  and published in 1983.  In the following we refer to it as the  ''Lempel-Ziv-Welch-Algorithm'', abbreviated as "LZW".   Just as LZ78 has slight advantages over LZ77  (as expected, why else would the algorithm have been modified?),  LZW also has more advantages than disadvantages compared to LZ78.

[[File:P_ID2430__Inf_T_2_2_S4_neu.png|center|frame|LZW encoding of the sequence  '''ABABCBCBAABCABe'']]

The graphic shows the coder output for the exemplary input sequence  '''ABABCBCBAABCABe'''.  On the right is the dictionary (highlighted in red), which is successively generated during LZW encoding.  The differences to LZ78 can be seen in comparison to the graphic on the last page, namely
*For LZW, all characters occurring in the text are already entered at the beginning of  $(i = 0)$  and assigned to a binary sequence, in the example with the indices  $I = 0$, ... ,  $I = 3$.  This also means that LZW requires some knowledge of the message source, whereas LZ78 is a "true universal encoding".
*For LZW, only the dictionary index  $I$  is transmitted for each encoding step  $i$  while for LZ78 the output is the combination  $(I$,  $Z)$, where $Z$  denotes the current new character.   Due to the absence of  $Z$  in the code output, LZW decoding is more complicated than with LZ78, as described on page  [[Information_Theory/Compression_According_to_Lempel,_Ziv_and_Welch#Decoding_of_LZW.E2.80.93Algorithm|Decoding of LZW–Algorithm]] .

{{GraueBox|TEXT=
$\text{Example 5:}$  For this exemplary LZW encoding, as with "LZ77" and "LZ78" again the input sequence  '''ABABCBCBAABCABe'''  is assumed.  So the following description refers to the above graphic.

Step i = 0 (default):   The allowed characters  '''A''',  '''B''',  '''C'''  and  '''e'''  ("end-of-file") are entered into the dictionary and assigned to the indices  $I = 0$, ... , $I = 3$ .

Step i = 1:   '''A'''  is coded by the decimal index  $I = 0$  and its binary representation  '''0000'''  is transmitted.   Then the combination of the current character  '''A'''  and the following character  '''B'''  of the input sequence is stored in the dictionary under the index  $I = 4$ .

step i = 2:   representation of  '''B'''  by index  $I = 1$  or.  '''0001'''  (binary) as well as dictionary entry of  '''BA'''  placed under index  $I = 5$.

Step i = 3:   Because of the entry  '''AB'''  at time  $i = 1$  the index to be transmitted is  $I = 4$  (binary: '''0100''').  New dictionary entry of  '''ABC'''  under  $I = 6$.

Step i = 8:   Here the characters  '''ABC'''  are represented together by the index  $I = 6$  (binary: '''0110''')  and the entry for  '''ABCA'''  is made.

With the encoding of  '''e'''  (EOF mark) the encoding process is finished after ten steps.  With LZ78 only eight steps were needed.  But it has to be considered:
*The LZW algorithm needs only  $10 \cdot 4 = 40$  Bit versus the  $8 \cdot 6 = 48$  Bit for LZ78.  Provided that for this simple calculation, four bits each are needed for index representation.
*LZW as well as LZ78 require less bits  $($namely   $34$  or   $42)$, if one considers that for the step  $i = 1$  the index has to be coded with two bits only  $(I ≤ 3)$  and for  $2 ≤ i ≤ 5$  three bits are sufficient  $(I ≤ 7)$.}}

The following pages describe in detail the variable bit count for index representation and the decoding of LZ78- and LZW-encoded binary sequences.

==Lempel-Ziv-Coding with variable index bit length ==
 
For reasons of a most compact representation, we now consider only binary sources with the value set  $\{$'''A''', '''B'''$\}$.  The terminating character  '''end-of-file'''  is also not considered.

[[File:P_ID2432__Inf_T_2_2_S5_neu.png|center|frame|LZW-Coding of a binary input sequence]]

We demonstrate the LZW coding by means of a screenshot of our interactive Flash module  [[Applets:Lempel-Ziv-Welch|Lempel-Ziv-Welch–Algorithms]].

*In the first coding step  $(i = 1)$  '''A'''   ⇒  '''0'''.  Afterwards the entry with index  $I = 2$  and  content  '''AB'''.
*As there are only two entries in step  $i = 1$  in the dictionary (  '''A'''  and  '''B''' ) one bit is sufficient.   On the other hand, for step  $i = 2$  and  $i = 3$  for  '''B'''  ⇒  '''01'''  and   '''A'''  ⇒  '''00'''  two bits are needed in each case.
*Starting on  $i = 4$ , the index representation is done with three bits, then from   $i = 8$  with four bits and from  $i = 16$  with five bits.  A simple algorithm for the respective index bit number  $L(i)$  can be derived.
*Let's finally consider the coding step  $i = 18$.  Here, the sequence  '''ABABB''' marked in red, which was entered into the dictionary at time  $i = 11$  at time  $($Index  $I = 13$ ⇒ '''1101'''$)$  is edited.   However, the coder output is now  '''01101''' because of  $i ≥ 16$  (green mark at the coder output).

The statements also apply to  [[Information_Theory/Compression According to Lempel, Ziv and Welch#The_Lempel.E2.80.93Ziv.E2.80.93Variant_LZ78|LZ78]].  That is:   With the LZ78 a variable index bit length results in the same improvement as with the LZW.

==Decoding of the LZW algorithm ==
 
The decoder now displays the decoded output on the  [[Information_Theory/Compression_by_Lempel,_Ziv_and_Welch#Lempel-Ziv-Coding with variable index bit length|last page]]  as input sequence.  The graphic shows that it is possible to uniquely decode this sequence even with variable index bit lengths. Please note:

*The decoder knows that in the first coding step  $(i = 1)$  the index  $I $ was coded with only one bit, in the steps  $i = 2$  and  $i = 3$  with two bit, from   $i = 4$  with three bit, from  $i = 8$  with four bit, and so on.
*The decoder generates the same dictionary as the coder, but the dictionary entries are made one time step later.

[[File:P_ID2433__Inf_T_2_2_S6_neu.png|center|frame|LZW-Decoding of a binary input sequence]]

*At step  $\underline{i = 1}$  the adjacent symbol  '''0'''  is decoded as  '''A''' .   Likewise, the following results for step  $\underline{i = 2}$  from the preassignment of the dictionary and the two-bit representation agreed upon for this:   '''01'''   ⇒   '''B'''.
*The entry of the line  $\underline{I = 2}$  $($content:   '''AB'''$)$  of the dictionary is therefore only made at the step  $\underline{i = 2}$, while at the  [[Information_Theory/Compression According to Lempel, Ziv and Welch#Lempel-Ziv-Coding with variable index bit length|Coding process]]  this could already be done at the end of step  $i = 1$ .
*Let us now consider the decoding for  $\underline{i = 4}$.   The index  $\underline{I = 2}$  returns the decoding result  '''010'''   ⇒   '''AB'''  and in the next step  $(\underline{i = 5})$  the dictionary line  $\underline{I = 5}$  will be filled with  '''ABA''' .
*This time difference with respect to the dictionary entries can lead to decoding problems.  For example, for step  $\underline{i = 7}$  there is no dictionary entry with index  $\underline{I= 7}$.
*What is to do in such a case as  $(\underline{I = i})$?  In this case you take the result of the previous decoding step  $($here:   '''BA'''  for  $\underline{i = 6})$  and append the first character of this sequence at the end again.   This gives the decoding result for  $\underline{i = 7}$  to  '''111'''   ⇒   '''BAB'''.
*Naturally, it is unsatisfactory to specify only one recipe.  In the  [[Aufgaben:Aufgabe_2.4Z:_Nochmals_LZW-Codierung_und_-Decodierung|Exercise 2.4Z]]  you should justify the procedure demonstrated here.  We refer to the sample solution for this exercise.

With LZ78 decoding, the problem described here does not occur because not only the index  $I $ but also the current character  $Z$  is included in the encoding result and is transmitted.

==Remaining redundancy as a measure for the efficiency of encoding methods==
 
For the rest of this chapter we assume the following prerequisites:
*The  ''symbol range''  the source  $($or in the transmission sense:   the number of stages)  sei  $M$, where  $M$  represents a power of two   ⇒   $M = 2, \ 4, \ 8, \ 16$, ....
*The source entropy is  $H$.  If there are no statistical bonds between the symbols and if they are equally probable, then  $H = H_0$, where  $H_0 = \log_2 \ M$  indicates the decision content.  Otherwise, $H < H_0$ applies.
*A symbol sequence of length  $N$  is source-coded and returns a binary code sequence of length  $L$.  For the time being we do not make any statement about the type of source coding.

According to the  [[Information_Theory/General_Description#Source Encoding Theorem|Source Encoding Theorem]]  the mean code word length  $L_{\rm M}$  must be greater than or equal to the source entropy  $H$  (in bit/source symbol).  This means
*for the total length of the source-encoded binary sequence:
:$$L \ge N \cdot H \hspace{0.05cm},$$
*for the relative redundancy of the code sequence, in the following called  '''Rest Redundancy''':
:$$r = \frac{L - N \cdot H}{L} \hspace{0.05cm}.$$

{{GraueBox|TEXT=
$\text{Example 6:}$  If there were a  ''perfect source encoding'' for a redundancy-free binary source symbol sequence  $(M = 2,\ p_{\rm A} = p_{\rm B} = 0.5$,  without statistical bonds$)$  of length  $N = 10000$, the code sequence would have length  $L = 10000$.

Consequence:   If in a code the result  $L = N$  is never possible, then this code is called  ''not–perfect''.
*Lempel-Ziv is not suitable for this redundancy-free message source.  It will always be  $L > N$    You can also put it quite succinctly like this:   The perfect source encoding here is "no encoding at all".
*A redundant binary source with  $p_{\rm A} = 0.89$,  $p_{\rm B} = 0.11$   ⇒   $H = 0.5$  could be represented with a perfect source encoding with $L = 5000$  bit, without being able to say what this perfect source encoding looks like.
*For a quaternary source,  $H > 1 \ \rm (bit/source symbol)$  is possible, so that even with perfect source encoding there will always be  $L > N$ .  If the source is redundancy-free  (no bonds, all  $M$  symbols equally probable), it has entropy  $H= 2 \ \rm (bit/source symbol)$.

For all these examples of perfect source encoding, the relative redundancy of the code sequence (residual redundancy) is  $r = 0$. That is:   The zeros and ones are equally probable and there are no statistical bonds between the individual binary symbols.
 

'''The problem is:   At finite sequence length  $N$  there is no perfect source code''' !}}

==Efficiency of Lempel-Ziv encoding ==
 
From the Lempel-Ziv algorithms we know (and can even prove this statement) that they are  '''asymptotically optimal'''   This means that the relative redundancy of the code symbol sequence  (here written as a function of the source symbol sequence length  $N$ )

:$$r(N) = \frac{L(N) - N \cdot H}{L(N)}= 1 - \frac{ N \cdot H}{L(N)}\hspace{0.05cm}$$

for large  $N$  returns the limit value "zero":

:$$\lim_{N \rightarrow \infty}r(N) = 0 \hspace{0.05cm}.$$

But what does the property  "asymptotically optimal"  say for practical sequence lengths?  Not too much, as the following screenshot of our simulation tool  [[Applets:Lempel-Ziv-Welch|Lempel-Ziv-Algorithms]]  shows. All curves apply exactly only to the [[Information_Theory/Compression According to Lempel, Ziv and Welch#The Lempel-Ziv-Welch algorithm|LZW-Algorithm]]].  However, the results for  [[Information_Theory/Compression According to Lempel, Ziv and Welch#LZ77 - the basic form of the Lempel-Ziv-algorithms|LZ77]]  and  [[Information_Theory/Compression According to Lempel, Ziv and Welch#The Lempel-Ziv-Variant LZ78|LZ78]]  are only slightly worse.

The three graphs show for different message sources the dependence of the following sizes on the source symbol sequence length  $N$:
*the required number of bits  $N \cdot \log_2 M$  without source coding  (black curves),
*the required number of bits  $H$ \cdot $N$  with perfect source encoding  (gray dashed),
*the required number of bits  $L(N)$  for LZW coding  (red curves after averaging),
*the relative redundancy   ⇒   residual redundancy  $r(N)$  in case of LZW coding (green curves).

[[File:P_ID2450__Inf_T_2_2_S7b_neu.png|frame|Example curves of  $L(N)$  and  $r(N)$]].

$\underline{\text{Redundant binary source (upper graphic)} }$
:$$M = 2, \hspace{0.1cm}p_{\rm A} = 0.89,\hspace{0.1cm} p_{\rm B} = 0.11$$
:$$\Rightarrow \hspace{0.15cm} H = 0.5 \ \rm bit/source symbol\text{:}$$
*The black and grey curves are true straight lines (not only for this parameter set).
*The red curve  $L(N)$  is slightly curved  (difficult to see with the naked eye).
*Because of this curvature of  $L(N)$  the residual redundancy (green curve) drops slightly.
:$$r(N) = 1 - 0.5 \cdot N/L(N).$$
*The numerical values can be read
:$$L(N = 10000) = 6800,\hspace{0.5cm}
r(N = 10000) = 26.5\%.$$

$\underline{\text{Redundancy-free binary source (middle graphic)} }$
:$$M = 2,\hspace{0.1cm} p_{\rm A} = p_{\rm B} = 0.5$$
:$$\Rightarrow \hspace{0.15cm} H = 1 \ \rm bit/source symbol\text{:}$$
* Here the grey and the black straight line coincide and the slightly curved red curve lies above it, as expected.
*Although the LZW coding brings a deterioration here, recognizable from the indication  $L(N = 10000) = 12330$, the relative redundancy is smaller than in the upper graph:
:$$r(N = 10000) = 18.9\%.$$

$\underline{\text{Redundant quaternary source (lower graphic)} }$
:$$M = 4,\hspace{0.1cm}p_{\rm A} = 0.7,\hspace{0.1cm} p_{\rm B} = p_{\rm C} = p_{\rm D} = 0.1$$
:$$ \Rightarrow \hspace{0.15cm} H \approx 1.357 \ \rm bit/source symbol\text{:}$$
* Without source coding, for  $N = 10000$  Quaternary symbols  $20000$  binary symbols (bit) would be required (black curve).
* If source encoding was perfect, this would result in  $N \cdot H= 13570$  Bit  (grey curve).
* With (imperfect) LZW encoding you need  $L(N = 10000) ≈ 16485$  Bit  (red curve).
*The relative redundancy here is  $r(N = 10000) ≈17.7\%$  (green curve).

==Quantitative statements on asymptotic optimality==
 
The results on the last page have shown that the relative residual redundancy  $r(N = 10000)$  is significantly greater than the theoretically promised value  $r(N \to \infty) = 0$.

This practically relevant result shall now be clarified using the example of the redundant binary source with  $H = 0.5 \ \rm bit/source symbol$  according to the middle graphic on the last page. However, we now consider values between  $N=10^3$  and  $N=10^{12}$  for the source symbol sequence length.

[[File:P_ID2443__Inf_T_2_2_S8_neu.png|frame|LZW-Rest redundancy  $r(N)$  with redundant binary source  $(H = 0.5)$ ]].
{{GraueBox|TEXT=
$\text{Example 7:}$  The graphic shows simulations with  $N = 1000$  binary symbols.
*After averaging over ten series of experiments the result is  $r(N = 1000) ≈35.2\%$.
*below the yellow dot  $($in the example with  $N ≈ 150)$  the LZW algorithm even brings a deterioration.
*In this range, namely  $L > N$, that is:   The red curve is above the black one.

In the table below, the results for this redundant binary source  $(H = 0.5)$  are summarized

[[File:Inf_T_2_2_S8b_neu.png|right|frame|Some numerical values for the efficiency of LZW coding]]

*The compression factor  $K(n)= L(n)/N$  decreases with increasing  $N$  only very slowly  (line 3).
*In line 4 the rest redundancy  $r(N)$  is given for different lengths between  $N =1000$  and  $N =50000$ ;
*According to relevant literature this residual redundancy decreases proportionally to  $\big[\hspace{0.05cm}\lg(N)\hspace{0.05cm}\big]^{-1}$ .
*In line 5 the results of an empirical formula are entered $($adaptation for $N = 10000)$:

:$$r\hspace{0.05cm}'(N) = \frac{A}{ {\rm lg}\hspace{0.1cm}(N)}\hspace{0.5cm}{\rm with}$$
:$$ A = {r(N = 10000)} \cdot { {\rm lg}\hspace{0.1cm}10000} = 0.265 \cdot 4 = 1.06
\hspace{0.05cm}.$$
*You can see the good agreement between our simulation results  $r(N)$  and the rule of thumb  $r\hspace{0.05cm}′(N)$.
*You can also see that the residual redundancy of the LZW algorithm for  $N = 10^{12}$  is still  $8.8\%$ .
*For other sources, with other  $A$–values you will get similar results.  The principle process remains the same.  See also  [[Aufgaben:Aufgabe_2.5:_Restredundanz_bei_LZW-Codierung|Exercise 2.5]]  and  [[Aufgaben:Aufgabe_2.5Z:_Komprimierungsfaktor_vs._Restredundanz|Task 2.5Z]].}}

==Exercises to chapter ==
 
[[Aufgaben:2.3 Zur LZ78-Komprimierung|Aufgabe 2.3: Zur LZ78-Komprimierung]]

[[Aufgaben:2.3Z Zur LZ77-Codierung|Aufgabe 2.3Z: Zur LZ77-Codierung]]

[[Aufgaben:2.4 Zum LZW-Algorithmus|Aufgabe 2.4: Zum LZW-Algorithmus]]

[[Aufgaben:2.4Z Nochmals LZW-Codierung und -Decodierung|Aufgabe 2.4Z: Nochmals LZW-Codierung und -Decodierung]]

[[Aufgaben:Aufgabe_2.5:_Restredundanz_bei_LZW-Codierung|Aufgabe 2.5: Relative Restredundanz bei LZW-Codierung]]

[[Aufgaben:Aufgabe_2.5Z:_Komprimierungsfaktor_vs._Restredundanz|Aufgabe 2.5Z: Komprimierungsfaktor vs. Restredundanz]]

{{Display}}

Information Theory/Natural Discrete Sources

2020-11-02T13:15:50Z

Rosa:

{{Header
|Untermenü=Entropie wertdiskreter Nachrichtenquellen
|Vorherige Seite=Nachrichtenquellen mit Gedächtnis
|Nächste Seite=Allgemeine Beschreibung
}}

==Difficulties with the determination of entropy ==
 
Up to now, we have been dealing exclusively with artificially generated symbol sequences.  Now we consider written texts.  Such a text can be seen as a natural discrete-value message source, which of course can also be analyzed information-theoretically by determining its entropy.

Even today (2011), natural texts are still often represented with the 8 bit character set according to ANSI (''American National Standard Institute''), although there are several "more modern" encodings;

The  $M = 2^8 = 256$  ANSI characters are used as follows:
* '''No.  0   to   31''':   control commands that cannot be printed or displayed,
* '''No.  32   to  127''':   identical to the characters of the 7 bit ASCII code,
* '''No.  128   to 159''':   additional control characters or alphanumeric characters for Windows,
* '''No.  160   to   255''':   identical to the Unicode charts.

Theoretically, one could also define the entropy here as the border crossing point of the entropy approximation  $H_k$  for  $k \to \infty$,  according to the procedure from the  [[Information_Theory/Sources_with_Memory#Generalization to k -tuple and boundary crossing|last chapter]].  In practice, however, insurmountable numerical limitations can be found here as well:

*Already for the entropy approximation  $H_2$  there is  $M^2 = 256^2 = 65\hspace{0.1cm}536$  possible two-tuples.  Thus, the calculation requires the same amount of memory (in bytes).   If you assume that you need   $100$  equivalents per tuple on average, for a sufficiently safe statistic, the length of the source symbol sequence should already be  $N > 6.5 · 10^6$ .
*The number of possible three-tuples is  $M^3 > 16 · 10^7$  and thus the required source symbol length is already  $N > 1.6 · 10^9$.  This corresponds to  $42$  lines per page and  $80$  characters per line to a book with about  $500\hspace{0.1cm}000$  pages.
*For a natural text the statistical bonds extend much further than two or three characters.  Küpfmüller gives a value of  $100$ for the german language.  To determine the 100th entropy approximation you need  $2^{800}$ ≈ $10^{240}$  frequencies and for the safe statistics   $100$ times more characters.

A justified question is therefore:   How did  [https://de.wikipedia.org/wiki/Karl_K%C3%BCpfm%C3%BCller Karl Küpfmüller]  determined the entropy of the German language in 1954? How did  [https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  do the same for the English language, even before Küpfmüller?  One thing is revealed beforehand:   Not with the approach described above.

==Entropy estimation according to Küpfmüller ==
 
Karl Küpfmüller has investigated the entropy of German texts in his published assessment   [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>  the following assumptions are made:
*an alphabet with  $26$  letters  (no umlauts or punctuation marks),
*Not taking into account the space character,
*no distinction between upper and lower case.

The content of the decision is therefore  $H_0 = \log_2 (26) ≈ 4.7\ \rm bit/letter$.

Küpfmueller's estimation is based on the following considerations:

'''(1)'''  The  '''first entropy approximation'''  results from the letter frequencies in German texts.  According to a study of 1939, "e" is with a frequency of   $16. 7\%$  the most frequent, the rarest is "x" with  $0.02\%$.  Averaged over all letters we obtain  $H_1 \approx 4.1\,\, {\rm bit/letter}\hspace{0.05 cm}.$

'''(2)'''  Regarding the  '''syllable frequency'''  Küpfmüller evaluates the "Häufigkeitswörterbuch der deutschen Sprache" (Frequency Dictionary of the German Language), published by  [https://de.wikipedia.org/wiki/Friedrich_Wilhelm_Kaeding Friedrich Wilhelm Kaeding]  1898; He distinguishes between root syllables, prefixes, and ending syllables and thus arrives at the average information content of all syllables:

:$$H_{\rm syllable} = \hspace{-0.1cm} H_{\rm stem} + H_{\rm front} + H_{\rm end} + H_{\rm rest} \approx
4.15 + 0.82+1.62 + 2.0 \approx 8.6\,\, {\rm bit/syllable}
\hspace{0.05cm}.$$

:The following proportions were taken into account:
:*According to the Kaeding study of 1898, the  $400$  most common root syllables  (beginning with "de")  represent $47\%$  of a German text and contribute to the entropy with  $H_{\text{Root}} ≈ 4.15 \ \rm bit/syllable$ .
:*The contribution of  $242$  most common prefixes - in the first place "ge" with  $9\%$ - is numbered by Küpfmüller with  $H_{\text{Pre}} ≈ 0.82 \ \rm bit/syllable$.
:*The contribution of the  $118$  most used ending syllables is  $H_{\text{End}} ≈ 1.62 \ \rm bit/syllable$.  Most often, "en" appears at the end of words with  $30\%$ .
:*The remaining  $14\%$  is distributed over syllables not yet measured.  Küpfmüller assumes that there are  $4000$  and that they are equally distributed  He assumes  $H_{\text{Rest}} ≈ 2 \ \rm bit/syllable$  for this.

'''(3)'''  As average number of letters per syllable Küpfmüller determined the value  $3.03$.  From this he deduced the  '''third entropy approximation''''  regarding the letters:
:$$H_3 \approx {8.6}/{3.03}\approx 2.8\,\, {\rm bit/letter}\hspace{0.05 cm}.$$

'''(4)'''  Küpfmueller's estimation of the entropy approximation  $H_3$  based mainly on the syllable frequencies according to  '''(2)'''  and the mean value of  $3.03$  letters per syllable. To get another entropy approximation  $H_k$  with greater  $k$  Küpfmüller additionally analyzed the words in German texts.  He came to the following results:

:*The  $322$  most common words provide an entropy contribution of  $4.5 \ \rm bit/word$.
:*The contributions of the remaining  $40\hspace{0.1cm}000$ words  were estimated.  Assuming that the frequencies of rare words are reciprocal to their ordinal number ([https://en.wikipedia.org/wiki/Zipf%27s_law Zipf's Law]).
*With these assumptions the average information content (related to words) is about   $11 \ \rm bit/word$.

'''(5)'''  The counting "letters per word" resulted in average  $5.5$.  Analogous to point  '''(3)'''  the entropy approximation for  $k = 5.5$  was approximated. Küpfmüller gives the value  $H_{5.5} \approx {11}/{5.5}\approx 2\,\, {\rm bit/letter}\hspace{0.05 cm}.$  Of course,  $k$  can only assume integer values,  according to  [[Information_Theory/Sources_With_Memory#Generalization to k-tuple and boundary crossing|its definition]].  This equation is therefore to be interpreted in such a way that for  $H_5$  a somewhat larger and for  $H_6$  a somewhat smaller value than  $2 \ {\rm bit/letter}$  will result.

[[File:P_ID2303__Inf_T_1_3_S2.png|right|frame|Approximate values of the entropy of the German language according to Küpfmüller]].
'''(6)'''  Now you can try to get the final value of entropy for  $k \to \infty$  by extrapolation from these three points:
:*The continuous line, taken from Küpfmüller's original work  [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>, leads to the final entropy value  $H = 1.6 \ \rm bit/letter$.
:*The green curves are two extrapolation attempts (of a continuous function course through three points) of the  $\rm LNTwww$'s author.
:*These and the brown arrows are actually only meant to show that such an extrapolation  (carefully worded)  is somewhat vague.

'''(7)'''  Küpfmüller then tried to verify the final value  $H = 1.6 \ \rm bit/letter$  found by him with this first estimation with a completely different methodology - see next section. After this estimation he revised his result slightly to  $H = 1.51 \ \rm bit/letter$.

'''(8)'''  Three years earlier, after a completely different approach, Claude E. Shannon had given the entropy value  $H ≈ 1 \ \rm bit/letter$  for the English language, but taking into account the space character.  In order to be able to compare his results with Shannom, Küpfmüller subsequently included the space character in his result.

:*The correction factor is the quotient of the average word length without considering the space  $(5.5)$  and the average word length with consideration of the space  $(5.5+1 = 6.5)$.
:*This correction led to Küpfmueller's final result  $H =1.51 \cdot {5.5}/{6.5}\approx 1.3\,\, {\rm bit/letter}\hspace{0.05 cm}.$

==A further entropy estimation by Küpfmüller ==
 
For the sake of completeness, Küpfmüller's considerations are presented here, which led him to the final result  $H = 1.51 \ \rm bit/letter$    Since there was no documentation for the statistics of word groups or whole sentences, he estimated the entropy value of the German language as follows:
*Any contiguous German text is covered behind a certain word.  The preceding text is read and the reader should try to determine the following word from the context of the preceding text.
*For a large number of such attempts, the percentage of hits gives a measure of the links between words and sentences  It can be seen that for one and the same type of text (novels, scientific writings, etc.) by one and the same author, a constant final value of this hit ratio is reached relatively quickly  (about one hundred to two hundred attempts).
*The hit ratio, however, depends quite strongly on the type of text.  For different texts, values between  $15\%$  and  $33\%$, with the mean value at  $22\%$, are obtained.  This also means:   On average,  $22\%$  of the words in a German text can be determined from the context.
*Alternatively:   The word count of a long text can be reduced with the factor  $0.78$  without a significant loss of the message content of the text.  Starting from the reference value  $H_{5. 5} = 2 \ \rm bit/letter$  $($see dot  '''(5)'''  in the last section$)$  for a word of medium length this results in the entropy  $H ≈ 0.78 · 2 = 1.56 \ \rm bit/letter$.
*Küpfmüller verified this value with a comparable empirical study regarding the syllables and thus determined the reduction factor  $0.54$  (regarding syllables).  As final result Küpfmüller  $H = 0. 54 · H_3 ≈ 1.51 \ \rm bit/letter$, where  $H_3 ≈ 2.8 \ \rm bit/letter$  corresponds to the entropy of a syllable of medium length  $($about three letters, see point  '''(3)'''  on the last page$)$ .

The remarks on this and the previous page, which may be perceived as very critical, are not intended to diminish the importance of neither Küpfmüller's entropy estimation, nor Shannon's contributions to the same topic are not.
*They are only meant to point out the great difficulties that arise in this task.
*This is perhaps also the reason why no one has dealt with this problem intensively since the 1950s.

==Some own simulation results==
 
The information given by Karl Küpfmüller regarding the entropy of the German language shall now be compared with some (very simple) simulation results, which were developed by the author of this chapter (Günter Söder) at the Chair of Communications Engineering at the Technical University of Munich in the course of an internship.  The results are based on
*the Windows program  [http://en.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]  ⇒  the link refers to the ZIP version of the program;
*the associated practical training manual  [http://en.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Wertdiskrete Informationstheorie (Value Discrete Information Theory)].   ⇒   the link refers to the PDF version;
*the German Bible in ASCII format with  $N \approx 4.37 \cdot 10^6$  characters. This corresponds to a book with  $1300$  pages at  $42$  lines per page and  $80$  characters per line.

The symbol range has been reduced to  $M = 33$  and includes the characters '''a''',  '''b''',  '''c''',  ... .  '''x''',  '''y''',  '''z''',  '''ä''',  '''ö''',  '''ü''',  '''ß''',  $\rm LZ$,  $\rm ZI$,  $\rm IP$.   Our analysis did not differentiate between upper and lower case letters.

In contrast to Küpfmüller's analysis, we also took into account:
*the German umlauts  '''ä''',  '''ö''',  '''ü'''  and  '''ß''', which make up about  $1.2\%$  of the biblical text,
*the class punctuation  $\rm IP$  (Interpunktion) with ca.  $3\%$,
*the class digit  $\rm ZI$  (Ziffer) with ca.  $1.3\%$  because of the verse numbering within the bible,
*the space (Leerzeichen)  $\rm (LZ)$  as the most common character  $(17.8\%)$, even more than the "e"  $(12.8\%)$.

The following table summarizes the results   $N$  indicates the analyzed file size in characters (bytes).   The decision content  $H_0$  as well as the entropy approximations  $H_1$,  $H_2$  and  $H_3$  were each determined from  $N$  characters and are each given in "bit/characters".

[[File:Inf_T_1_3_S3_vers2.png|left|frame|Entropy values (in bit/characters) of the German Bible]]
 
*Please do not consider these results to be scientific research.
*It is only an attempt to give students an understanding of the subject matter in an internship.
*The basis of this study was the Bible, since we had both its German and English versions available to us in the appropriate ASCII format.
 
The results of the above table can be summarized as follows:
*In all rows the entropy approximations  $H_k$  decreases monotously with increasing  $k$.  The decrease is convex, that means   $H_1 - H_2 > H_2 - H_3$.   The extrapolation of the final value  $(k \to \infty)$  is not (or only extremely vague) possible from the three entropy approximations determined in each case.
*If the evaluation of the numbers  $(\rm ZI$, line 2   ⇒   $M = 32)$  and additionally the evaluation of the punctuation marks  $(\rm IP$, line 3   ⇒   $M = 31)$ is omitted, the entropy approximations  $H_1$  $($um  $0. 114)$,  $H_2$  $($um  $0.063)$  and  $H_3$  $($um  $0.038)$  decrease.   On the final value  $H$  as the limit value of  $H_k$  for  $k \to \infty$  the omission of numbers and punctuation will probably have little effect.
*If one leaves the space  $(\rm LZ$, line 4   ⇒   $M = 30)$  out of consideration, the result is almost the same constellation as Küpfmüller originally considered. The only difference are the rather rare German special characters '''ä''',  '''ö''',  '''ü'''  and  '''ß'''.
*The  $H_1$-value  $(4.132)$  indicated in the last line corresponds very well with the value  $H_1 ≈ 4.1$  determined by Küpfmüller.   However, with regard to the  $H_3$-values there are clear differences:   Our analysis yields  $H_3 ≈ 3.4$, while Küpfmüller  $H_3 ≈ names 2.8$  (all data in bit/letter).
*From the frequency of occurrence of the space  $(17.8\%)$  here results an average word length of  $1/0.178 - 1 ≈ 4.6$, a smaller value than Küpfmüller  ($5.5$)  given.  The discrepancy can be partly explained with our analysis file "Bible" (many spaces due to verse numbering).
*Interesting is the comparison of lines 3 and 4.  If the space is taken into account, then although  $H_0$  from  $\log_2 \ (30) \approx 4.907$  to  $\log_2 \ (31) \approx 4. 954$  enlarges, but thereby reduces  $H_1$  $($by the factor  $0.98)$,  $H_2$  $($um  $0.96)$  and  $H_3$  $($um  $0.93)$. Küpfmüller has intuitively taken this factor into account with  $85\%$ .

Although we consider this own research to be rather insignificant, we believe that for today's texts the  $1.0 \ \rm bit/letter$  given by Shannon are somewhat too low for the English language and also Küpfmüllers  $1.3 \ \rm bit/letter$  for the German language, among other things because
*the symbol range today is larger than that considered by Shannon and Küpfmüller in the 1950s; for example, for the ASCII character set  $M = 256$,
*the multiple formatting options (underlining, bold and italics, indents, colors) further increase the information content of a document.

==Synthetically generated texts ==
 
The graphic shows artificially generated German and English texts, which are taken from  [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>  taken from The underlying symbol range is  $M = 27$,  that means, all letters  (without umlauts and '''ß''')  and the space character are considered.

[[File:Inf_T_1_3_S4_vers2.png|right|frame|artificially generated German and English texts]]

*The  ''Zero-order letter approximation''  assumes equally probable characters in each case.  There is therefore no difference between German (red) and English (blue).

*The  ''first letter approximation''  already considers the different frequencies, the higher order approximations also the preceding characters.

*In the  ''4th order synthesis''  one can already recognize meaningful words.  Here the probability for a new letter depends on the last three characters.

*The  ''First-order word approximation''  synthesizes sentences according to the word probabilities that  ''Second-order word approximation''  also considers the previous word.

Further information on the synthetic generation of German and English texts can be found in the  [[Aufgaben:1.8_Synthetisch_erzeugte_Texte|Aufgabe 1.8]].

==Exercises for chapter==
 
[[Aufgaben:1.7 Entropie natürlicher Texte|Aufgabe 1.7: Entropie natürlicher Texte]]

[[Aufgaben:1.8 Synthetisch erzeugte Texte|Aufgabe 1.8: Synthetisch erzeugte Texte]]

==Quellenverzeichnis==
<references/>

{{Display}}

Information Theory/General Description

2020-11-02T13:15:14Z

Rosa:

{{Header
|Untermenü=Quellencodierung – Datenkomprimierung
|Vorherige Seite=Natürliche wertdiskrete Nachrichtenquellen
|Nächste Seite=Komprimierung nach Lempel, Ziv und Welch
}}

== # OVERVIEW OF THE SECOND MAIN CHAPTER # ==
 
The Shannon information theory is used for example in  ''source coding''  of digital (i.e. value and time discrete) message sources.  One speaks in this context also of  ''data compression''.
*Attempts are made to reduce the redundancy of natural digital sources such as measurement data, texts, or voice and image files (after digitization) by recoding them, so that they can be stored and transmitted more efficiently.
*In most cases, source encoding is associated with a change of the symbol range.  in the following, the output sequence is always binary.

The following is a detailed discussion:

*the different destinations of ''source coding'', ''channel coding''  and ''line coding'',
*''lossy''  encoding methods for analog sources, for example GIF, TIFF, JPEG, PNG, MP3,
*the ''source encoding theorem'', which specifies a limit for the average codeword length,
*the frequently used data compression according to ''Lempel'', ''Ziv''  and ''Welch'',
*the ''Huffman code''  as the best known and most efficient form of entropy coding,
*the ''Shannon-Fano-Code''  as well as the ''arithmetic coding'' - both belong to the class of entropy encoders as well,
*the ''run-length encoding''  and the ''Burrows-Wheeler Transformation''  (BWT).

Further information on the topic as well as Exercises, simulations and programming exercises can be found in the experiment "Value Discrete Information Theory" (Wertdiskrete Informationstheorie) of the practical course "Simulation of Digital Transmission Systems" (Simulation Digitaler Übertragungssysteme).  This (former) LNT course at the TU Munich is based on

*the Windows program  [http://en.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]  ⇒  Link points to the ZIP version of the program; and
*the associated  [http://en.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Internship guide] nbsp;⇒  Link refers to the PDF version.

== Source coding - Channel coding - Line coding ==
 
For the descriptions in this second chapter we consider the following digital transfer model:
*The source signal  $q(t)$  can be analog as well as digital, just like the sink signal  $v(t)$  All other signals in this block diagram, even those not explicitly named here, are digital signals.
*In particular also the signals  $x(t)$  and  $y(t)$  at the input and output of the "Digital Channel" are digital and can therefore also be described completely by the symbol sequences  $〈x_ν〉$  and  $〈y_ν〉$ .
*The "digital channel" includes not only the transmission medium and interference (noise) but also components of the transmitter (modulator, transmitter pulse shaper, etc.) and the receiver (demodulator, receive filter or detector, decision maker).
*The chapter  [[Digital_Signal_Transmission/Parameters of Digital Channel Models|Parameters of Digital Channel Models]]  in the book "Digital Signal Transmission" describes the modeling of the "Digital Channel" .

[[File:P_ID2315__Inf_T_2_1_S1_neu.png|center|frame|Simplified model of a message transmission system]]

As can be seen from this block diagram, there are three different types of coding, depending on the target direction, each of which is realized by the encoder on the transmission side (coder) and the corresponding decoder at the receiver:

Exercise of  '''source coding'''   is the redundancy reduction for data compression, as it is used for example in image coding.  By using statistical bonds between the individual points of an image or between the brightness values of a pixel at different times  (for moving picture sequences)  procedures can be developed which lead to a noticeable reduction of the amount of data (measured in bit or byte) with nearly the same picture quality.  A simple example is the ''differential pulse code modulation''  (DPCM).

With  '''channel coding'''  on the other hand, a noticeable improvement of the transmission behavior is achieved by using a redundancy specifically added at the transmitter to detect and correct transmission errors at the receiver side.  Such codes, whose most important representatives are block codes, convolutional codes and turbo codes, are of great importance, especially for heavily disturbed channels. The greater the relative redundancy of the coded signal, the better the correction properties of the code, but at a reduced payload data rate.

A  '''line coding'''  - sometimes also called ''transmission coding''  - is used to adapt the transmitted signal to the spectral characteristics of channel and receiving equipment by recoding the source symbols.   For example, in the case of an (analog) transmission channel over which no direct signal can be transmitted, for which thus  $H_{\rm K}(f = 0) = 0$, it must be ensured by line coding that the code symbol sequence does not contain long sequences of the same polarity.

The focus of this chapter is on lossless source coding, which generates a data-compressed code symbol sequence  $〈q_ν〉$  based on the results of information theory.

* Channel coding is the subject of a separate book in our tutorial with the following  [[Channel_Coding|Content]] .
*The channel coding is discussed in detail in the chapter "Coded and multilevel transmission" of the book  [[Digital_Signal_Transmission]] .

''Note'':   We uniformly use "$\nu$" here as a control variable of a symbol sequence.  Normally, for  $〈q_ν〉$,  $〈c_ν〉$  and  $〈x_ν〉$  different indices should be used if the rates do not match.

== Lossy source encoding for images==
 
For digitizing analog source signals such as speech, music or pictures, only lossy source coding methods can be used.  Even the storage of a photo in  [https://de.wikipedia.org/wiki/Windows_Bitmap BMP]-format is always associated with a loss of information due to sampling, quantization and the finite color depth.

However, there are also a number of compression methods for images that result in much smaller image files than "BMP", for example:
*[https://en.wikipedia.org/wiki/GIF GIF]  (''Graphics Interchange Format'' ), developed by Steve Wilhite in 1987.
*[https://de.wikipedia.org/wiki/JPEG JPEG]  - a format that was introduced in 1992 by the ''Joint Photography Experts Group''  and is now the standard for digital cameras.  ending:   "jpeg" or "jpg".
*[https://de.wikipedia.org/wiki/Tagged_Image_File_Format TIFF]  (''Tagged Image File Format''), around 1990 by Aldus Corp. (now Adobe) and Microsoft, still the quasi-standard for print-ready images of the highest quality.
*[https://de.wikipedia.org/wiki/Portable_Network_Graphics PNG]  (''Portable Network Graphics''), designed in 1995 by T. Boutell & T. Lane as a replacement for the patent-encumbered GIF format, is less complex than TIFF.

These compression methods partly use
*Vector quantization for redundancy reduction of correlated pixels,
*at the same time the lossless compression algorithms according to  [[Information_Theory/Entropy Coding According to Huffman#The_Huffman.E2.80.93Algorithm|Huffman]]  and  [[Information_Theory/Compression According to Lempel, Ziv and Welch|Lempel/Ziv]],
*possibly also transformation coding based on DFT  (''Discrete Fourier Transformation'' )  and  DCT  (''Discrete Cosine Transformation'' ),
*then quantization and transfer in the transformed range.

We now compare the effects of two compression methods on the subjective quality of photos and graphics, namely:
*'''JPEG'''  $($with compression factor  $8)$,  and
*'''PNG'''  $($with compression factor  $24)$.

{{GraueBox|TEXT=
$\text{Example 1:}$ 
In the upper part of the following figure you can see two compressions of a photo.
[[File:P_ID2920__Inf_T_2_1_S2_neu.png|right|frame|Compare JPEG and PNG compression]]
The format  '''JPEG'''   (left image) allows a compression factor of  $8$  to  $15$  with (nearly) lossless compression.
*Even with the compression factor  $35$  the result can still be called "good".
*For most consumer digital cameras, "JPEG" is the default storage format.

The image shown on the right was compressed with  '''PNG''' .
*The quality is similar to the left JPEG image, although the compression is about  $3$ stronger.
*In contrast, PNG achieves a worse compression result than JPEG if the photo contains a lot of color gradations.
 
PNG is also better suited for line drawings with captions than JPEG (lower images).  The quality of the JPEG compression (left) is significantly worse than the PNG result, although the resulting file size is about three times as large.  Especially fonts look "washed out".

''Note'':   Due to technical limitations of  $\rm LNTww$  all graphics had to be saved as "PNG".
*In the above graphic, "JPEG" means the PNG conversion of a file previously compressed with "JPEG".
*However, the associated loss is negligible. }}

== Lossy source coding for audio signals==
 
A first example of source coding for speech and music is the  [https://en.wikipedia.org/wiki/Pulse-code_modulation Pulse-code modulation]  (PCM), invented in 1938, which extracts the code symbol sequence  $〈c_ν〉 $ from an analog source signal  $q(t)$, corresponding to the three processing blocks
[[File:P_ID2925__Mod_T_4_1_S1_neu.png|right|frame|Principle of Pulse Code Modulation (PCM)]]
*Sampling,
*Quantization, and
*PCM encoding.

The graphic illustrates the PCM principle.  A detailed description of the picture can be found on the first pages of the chapter  [[Modulation_Methods/Pulse Code Modulation|Pulse Code Modulation]]  in the book "Modulation Methods".

Because of the necessary band limitation and quantization, this transformation is always lossy.  That means
*The code sequence  $〈c_ν〉$  has less information than the signal  $q(t)$.
*The sink signal  $v(t)$  is fundamentally different from  $q(t)$.
*Mostly, however, the deviation is not very large.
 
We will now mention two transmission methods based on pulse code modulation as examples.

{{GraueBox|TEXT=
$\text{Example 2:}$ 
The following data is taken from the  [[Examples_of_Communication_Systems/Entire GSM Transmission System#Components_of_Language.E2.80.93_and_Data.C3.BCtransmission|GSM-Specification]] :
*If a speech signal is spectrally limited to the bandwidth  $B = 4 \, \rm kHz$   ⇒   sampling rate $f_{\rm A} = 8 \, \rm kHz$  with a quantization of $13 \, \rm Bit$   ⇒   number of quantization levels  $M = 2^{13} = 8192$  a binary data stream of data rate  $R = 104 \, \rm kbit/s$ results.
*The quantization noise ratio is then  $20 - \lg M ≈ 78 \, \rm dB$.
*For quantization with  $16 \, \rm Bit$  this increases to  $96 \, \rm dB$.  At the same time, however, the required data rate increases to  $R = 128 \, \rm kbit/s$.

The interactive applet  [[Applets:Bandwidth Limitation|Impact of a Bandwidth Limitation for Speech and Music]] illustrates the effects of a bandwidth limitation.}

{{GraueBox|TEXT=
$\text{Example 3:}$ 
The standard  [[Examples_of_Communication_Systems/General_Description_of_ISDN|ISDN]]  (''Integrated Services Digital Network'' ) for telephony via two-wire line is also based on the PCM principle, whereby each user is assigned two B-channels  (''Bearer Channels'' )  with  $64 \, \rm kbit/s$   ⇒   $M = 2^{8} = 256$  and a D-channel  (''Data Channel'' )  with  $ 16 \, \rm kbit/s$.
*The net data rate is thus  $R_{\rm net} = 144 \, \rm kbit/s$.
*In consideration of the channel coding and the control bits (required for organizational reasons), the ISDN gross data rate of  $R_{\rm gross} = 192 \, \rm kbit/s$.}}

In mobile communications, very high data rates often could not (yet) be handled.  In the 1990s, voice coding procedures were developed that led to data compression by the factor  $8$  and more.  From today's point of view, it is worth mentioning
*the  [[Examples_of_Communication_Systems/Voice Coding#Halfrate_Vocoder_and_Enhanced_Fullrate_Codec|Enhanced Full-Rate Codec]]  ('''EFR'''), which extracts  exactly  $244 \, \rm Bit$  for each speech frame of  $20\, \rm ms$ $($Data rate:   $12. 2 \, \rm kbit/s)$; this data compression of more than the factor  $8$  is achieved by stringing together several procedures:
:#  ''Linear Predictive Coding''  ('''LPC''', short term prediction),
:#  ''Long Term Prediction''  ('''LTP''', long term prediction) and
:#  ''Regular Pulse Excitation''  (''RPE''');
*the  [[Examples_of_Communication_Systems/Voice Coding#Adaptive_Multi.E2.80. 93Rate_Codec|Adaptive Multi-Rate Codec]]  ('''AMR''') based on  [[Examples_of_Communication_Systems/Voice Coding#Algebraic_Code_Excited_Linear_Prediction|ACELP]]  (''Algebraic Code Excited Linear Prediction'') and several modes between  $12. 2 \, \rm kbit/s$  (EFR) and  $4.75 \, \rm kbit/s$  so that improved channel coding can be used in case of poorer channel quality;
*the  [[Examples_of_Communication_Systems/Voice Coding#Various_Language Coding Methods|Wideband-AMR]]  ('''WB-AMR''') with nine modes between  $6.6 \, \rm kbit/s$  and  $23.85 \, \rm kbit/s$.   This is used with  [[Examples_of_Communication_Systems/General_Description_of_UMTS|UMTS]]  and is suitable for broadband signals between  $200 \, \rm Hz$  and  $7 \, \rm kHz$ .   Sampling is done with  $16 \, \rm kHz$, quantization with  $4 \, \rm Bit$.

All these compression methods are described in detail in the chapter  [[Examples_of_Communication_Systems/Voice Coding|Voice Coding]]  of the book "Examples of Communication Systems"   The Audio Module  [[Applets:Quality of different voice codecs (Applet)|Quality of different voice codecs (Applet)]]  allows a subjective comparison of these codecs.

==MPEG-2 Audio Layer III - short MP3 ==
 
Today (2015) the most common compression method for audio files is  [https://en.wikipedia.org/wiki/MP3 MP3].  This format was developed from 1982 on at the Fraunhofer Institute for Integrated Circuits (IIS) in Erlangen under the direction of Prof.  [https://de.wikipedia. org/wiki/Hans-Georg_Musmann Hans-Georg Musmann]  in collaboration with the Friedrich Alexander University Erlangen-Nuremberg and AT&T Bell Labs.  Other institutions are also asserting patent claims in this regard, so that since 1998 various lawsuits have been filed which, to the authors' knowledge, have not yet been finally concluded.

In the following some measures are called, which are used with MP3, in order to reduce the data quantity in relation to the raw version in the  [https://en.wikipedia.org/wiki/WAV WAV]-format.  The compilation is not complete.  A comprehensive representation about this can be found for example in a  [https://de.wikipedia.org/wiki/MP3 Wikipedia article].
*The audio compression method "MP3" uses among other things psychoacoustic effects of perception.  So a person can only distinguish two sounds from each other from a certain minimum difference in pitch.  One speaks of so-called "masking effects".
*Using the masking effects, MP3 signals that are less important for the auditory impression are stored with less bits (reduced accuracy).  A dominant tone at  $4 \, \rm kHz$  can, for example, cause neighboring frequencies to be of only minor importance for the current auditory sensation up to  $11 \, \rm kHz$ .
*The greatest saving of MP3 coding, however, is that the sounds are stored with just enough bits so that the resulting  [[Modulation_Methods/Pulse Code Modulation#Quantization_and_Quantization Noise|Quantization Noise]]  is still masked and is not audible.
*Other MP3 compression mechanisms are the exploitation of the correlations between the two channels of a stereo signal by difference formation as well as the  [[Information_Theory/Entropy Coding According to Huffman|Huffman Coding]]  of the resulting data stream.  Both measures are lossless.

A disadvantage of the MP3 coding is that with strong compression also "important" frequency components are unintentionally captured and thus audible errors occur.  Furthermore it is disturbing that due to the blockwise application of the MP3 procedure gaps can occur at the end of a file.  A remedy is the use of the so-called  [https://en.wikipedia.org/wiki/LAME LAME]-Coder, an ''Open Source Project'', and a corresponding player.

==Description of lossless source encoding – Requirements==
 
In the following, we only consider lossless source coding methods and make the following assumptions:
*The digital source has the symbol range  $M$.  For the individual source symbols of the sequence  $〈q_ν〉$  applies with the symbol range  $\{q_μ\}$:

:$$q_{\nu} \in \{ q_{\mu} \}\hspace{0.05cm}, \hspace{0.2cm}\mu = 1, \hspace{0.05cm}\text \hspace{0.05cm}, M \hspace{0.05cm}. $$

The individual sequence elements  $q_ν$  may be statistically independent or may have statistical bonds;
* First we consider  '''message sources without memory'', which are fully characterized by symbol probabilities alone, for example:
$$M = 4\text{:} \ \ \ q_μ \in \{ {\rm A}, \ {\rm B}, \ {\rm C}, \ {\rm D} \}, \hspace{2.5cm} \text{with the probabilities}\ p_{\rm A},\ p_{\rm B},\ p_{\rm C},\ p_{\rm D},$$
:$$M = 8\text{:} \ \ \ q_μ \in \{ {\rm A}, \ {\rm B}, \ {\rm C}, \ {\rm D},\ {\rm E}, \ {\rm F}, \ {\rm G}, \ {\rm H} \}, \hspace{0.5cm} \text{with the probabilities }\ p_{\rm A},\hspace{0.05cm}\text{...} \hspace{0.05cm} ,\ p_{\rm H}.$$

*The source encoder replaces the source symbol  $q_μ$  with the code word  $\mathcal{C}(q_μ)$, consisting of  $L_μ$  code symbols of a new alphabet with the symbol range  $D$  $\{0, \ 1$, ... ,  $D - 1\}$.  This gives the  '''average code word length''':

:$$L_{\rm M} = \sum_{\mu=1}^{M} \hspace{0.1cm} p_{\mu} \cdot L_{\mu} \hspace{0.05cm}, \hspace{0.2cm}{\rm mit} \hspace{0.2cm}p_{\mu} = {\rm Pr}(q_{\mu}) \hspace{0.05cm}. $$

{{GraueBox|TEXT=
$\text{Example 4:}$  We consider two different types of source encoding, each with the parameters  $M = 9$  and  $D = 3$.

*In the first encoding  $\mathcal{C}_1(q_μ)$  according to line 2 (red) of the lower table, each source symbol  $q_μ$  is replaced by two ternary symbols  $(0$,  $1$  or  $2)$    For example, the mapping:
: $$\rm A C F B I G \ ⇒ \ 00 \ 02 \ 12 \ 01 \ 22 \ 20.$$
*With this coding, all code words have  $\mathcal{C}_1(q_μ)$  with  $1 ≤ μ ≤ 6$  the same length  $L_μ = 2$.  Thus, the average code word length  $L_{\rm M} = 2$.

[[File:P_ID2316__Inf_T_2_1_S3_Ganz_neu.png|center|frame|Two examples of source encoding]]

*The second, the blue source coder  $L_μ ∈ \{1, 2 \}$  and accordingly, the average code word length  $L_{\rm M}$  will be less than two code symbols per source symbol. Here we have for example this mapping:
: $$\rm A C F B I G \ ⇒ \ 0 \ 02 \ 12 \ 01 \ 22 \ 2.$$

*It is obvious that this second code symbol sequence cannot be decoded unambiguously, since the symbol sequence naturally does not include the spaces inserted in this text for display reasons. }}

==Kraft–McMillan inequality - Prefix-free codes ==
 
Binary codes for compressing a memoryless value discrete source are characterized by the fact that the individual symbols are represented by code symbol sequences of different lengths:

:$$L_{\mu} \ne {\rm const.} \hspace{0.4cm}(\mu = 1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, M ) \hspace{0.05cm}.$$

Only then it is possible,
*that the  '''average code word length becomes minimal''' ,
*if the  '''source symbols are not equally probable'''  are

To enable a unique decoding, the code must also be "prefix-free".

{{BlaueBox|TEXT=
$\text{Definition:}$  The property  '''prefix-free'''  indicates that no codeword may be the prefix (beginning) of a longer codeword.  Such a codeword is immediately decodable.}}

*The blue code in the  [[Information_Theory/General_Description#Description_of_lossless_source_encoding_.E2.80.93_Prerequisites|Example 4]]  is not prefix-free.  For example, the code symbol sequence "01" could be interpreted by the decoder as  $\rm AD$  but also as  $\rm B$.
*The red code, on the other hand, is prefix-free, although prefix freedom would not be absolutely necessary here because of  $L_μ = \rm const.$ .

{{BlaueBox|TEXT=
$\text{Without proof:}$ 
The necessary  '''Condition for the existence of a prefix-free code'''  was specified by Leon Kraft in his master thesis 1949 at  ''Massachusetts Institute of Technology''  (MIT) :

:$$\sum_{\mu=1}^{M} \hspace{0.2cm} D^{-L_{\mu} \le 1 \hspace{0.05cm}.$$}}

{{GraueBox|TEXT=
$\text{Example 5:}$ 
If you check the second (blue) code of  [[Information_Theory/General_Description#Description of lossless source encoding.E2.80.93_Requirements|Example 4]]  with  $M = 9$  and  $D = 3$, you get:

:$$3 \cdot 3^{-1} + 6 \cdot 3^{-2} = 1.667 > 1 \hspace{0.05cm}.$$

From this you can see that this code cannot be prefix-free }}

{{GraueBox|TEXT=
$\text{Example 6:}$  Let's look at the binary code

:$$\boldsymbol{\rm A } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 0
\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm B } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 00
\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm C } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 11
\hspace{0.05cm}, $$

it is obviously not prefix-free.  The equation

:$$1 \cdot 2^{-1} + 2 \cdot 2^{-2} = 1 $$

does not mean that this code is actually prefix-free, it just means that there is a prefix-free code with the same length distribution, for example

:$$\boldsymbol{\rm A } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 0
\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm B } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 10
\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm C } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 11
\hspace{0.05cm}.$$}}

== Source encoding theorem==
 
We now look at a redundant message source with the symbol set  $〈q_μ〉$, where the control variable  $μ$  takes all values between  $1$  and the symbol range  $M$.  The source entropy  $H$  is smaller than the message content  $H_0$.

The redundancy  $(H_0- H)$  is either caused by
*not equally probable symbols   ⇒   $p_μ ≠ 1/M$,  and/or
*statistical bonds within the sequence  $〈q_\nu〉$.

A source encoder replaces the source symbol  $q_μ$  with the binary codeword  $\mathcal{C}(q_μ)$, consisting of  $L_μ$  binary symbols (zeros or ones).  This results in an average codeword length:

:$$L_{\rm M} = \sum_{\mu=1}^{M} \hspace{0.2cm} p_{\mu} \cdot L_{\mu} \hspace{0.05cm}, \hspace{0.2cm}{\rm mit} \hspace{0.2cm}p_{\mu} = {\rm Pr}(q_{\mu}) \hspace{0.05cm}. $$

For the source encoding task described here the following  '''limit'''  can be specified:

{{BlaueBox|TEXT=
$\text{Theorem:}$ 
For the possibility of a complete reconstruction of the sent string from the binary sequence it is sufficient, but also necessary, that

*for encoding on the transmitting side at least  $H$  binary symbols per source symbol are used.

*the average code word length  $L_{\rm M}$  cannot be smaller than the entropy  $H$  of the source symbol sequence:  
:$$L_{\rm M} \ge H \hspace{0.05cm}. $$

This regularity is called  ''' Source Coding Theorem''', which goes back to  [https://en.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]    If the source coder considers only the different probabilities of occurrence, but not the inner statistical bonds of the sequence, then  $L_{\rm M} ≥ H_1$   ⇒   [[Information_Theory/Sources with Memory#Entropy with respect to two-tuples|first Entropy Approximation]].}}

{{GraueBox|TEXT=
$\text{Example 7:}$ 
For a quaternary source with the symbol probabilities

:$$p_{\rm A} = 2^{-1}\hspace{0.05cm}, \hspace{0.2cm}p_{\rm B} = 2^{-2}\hspace{0.05cm}, \hspace{0.2cm}p_{\rm C} = p_{\rm D} = 2^{-3}
\hspace{0.3cm} \Rightarrow \hspace{0.3cm} H = H_1 = 1.75\,\, {\rm bit/source symbol} $$

equality in the above equation   ⇒   $L_{\rm M} = H$ results, if for example the following assignment is chosen

:$$\bold symbol{\rm A } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 0
\hspace{0.05cm}, \hspace{0.2cm}\bold symbol{\rm B } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 10
\hspace{0.05cm}, \hspace{0.2cm}\bold symbol{\rm C} \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 110
\hspace{0.05cm}, \hspace{0.2cm}\bold symbol{\rm D }\hspace{0.15cm} \Rightarrow \hspace{0.15cm} 111
\hspace{0.05cm}. $$

In contrast, with the same mapping and

:$$p_{\rm A} = 0.4\hspace{0.05cm}, \hspace{0.2cm}p_{\rm B} = 0.3\hspace{0.05cm}, \hspace{0.2cm}p_{\rm C} = 0.2
\hspace{0.05cm}, \hspace{0.2cm}p_{\rm D} = 0.1\hspace{0.05cm}
\hspace{0.3cm} \Rightarrow \hspace{0.3cm} H = 1.845\,\, {\rm bit/source symbol}$$

the average code word length

:$$L_{\rm M} = 0.4 \cdot 1 + 0.3 \cdot 2 + 0.2 \cdot 3 + 0.1 \cdot 3
= 1.9\,\, {\rm bit/source symbol}\hspace{0.05cm}. $$

Because of the unfavorably chosen symbol probabilities (no powers of two) $L_{\rm M} > H$.}}

{{GraueBox|TEXT=
$\text{Example 8:}$ 
We will look at some very early attempts at source encoding for the transmission of natural texts, based on the letter frequencies given in the table.
*In the literature many different frequencies are found,  also because,  the investigations were carried out for different languages.
*Mostly, however, the list starts with the blank and "E" and ends with letters like "X",  "Y"  and  "Q".

[[File:P_ID2323__Inf_T_2_1_S6_ganz_neu.png|center|frame|Letter encodings according to Bacon/Bandot, Morse and Huffman]]

Please note the following about this table:
*The entropy of this alphabet with  $M = 27$  character will be  $H≈ 4 \, \rm bit/character$  is  We have not recalculated this.  [https://en.wikipedia.org/wiki/Francis_Bacon Francis Bacon]  had already given a binary code in 1623, where each letter is represented by five bits:   $L_{\rm M} = 5$.
*About 250 years later  [https://en.wikipedia.org/wiki/Baudot_code Jean-Maurice-Émile Baudot]  adopted this code, which was later standardized for the entire telegraphy.  One consideration important to him was that a code with a uniform five binary characters per letter is more difficult for an enemy to decipher, since he cannot draw conclusions about the transmitted character from the frequency of its occurrence.
*The last line in the above table gives an exemplary  [[Information_Theory/Entropy_Coding_According_to_Huffman#The_Huffman.E2.80.93Algorithm|Huffman-Code]]  for the above frequency distribution.  Probable characters like "E" or "N" and also the "Blank" are represented with only three bits, the rare "Q" on the other hand with  $11$ bit.
*The average code word length  $L_{\rm M} = H + ε$  is slightly larger than  $H$, whereby we will not go into more detail here about the small positive size  $ε$    Only this much:   There is no prefix-free code with smaller average word length than the Huffman code.
*Also  [https://en.wikipedia.org/wiki/Morse_code Samuel Morse]  took into account the different frequencies in his code for telegraphy, already in the 1830s.  The Morse code of each character consists of two to four binary characters, which are designated here according to the application with dot ("short") and bar ("long").
*It is obvious that for the Morse code  $L_{\rm M} < 4$  will apply, according to the penultimate line.  But this is connected with the fact that this code is not prefix-free.  Therefore, the radio operator had to take a break between each short-long sequence so that the other station could decode the radio signal as well.}}

== Exercises for chapter==
 
[[Aufgaben:2.1 Codierung mit und ohne Verlust|Aufgabe 2.1: Codierung mit und ohne Verlust]]

[[Aufgaben:2.2 Kraftsche Ungleichung|Aufgabe 2.2: Kraftsche Ungleichung]]

[[Aufgaben:2.2Z Mittlere Codewortlänge|Aufgabe 2.2Z: Mittlere Codewortlänge]]

{{Display}}

Information Theory/Compression According to Lempel, Ziv and Welch

2020-11-02T13:13:52Z

Rosa:

{{Header
|Untermenü=Quellencodierung – Datenkomprimierung
|Vorherige Seite=Allgemeine Beschreibung
|Nächste Seite=Entropiecodierung nach Huffman
}}

==Static and dynamic dictionary techniques ==
 
Many data compression methods use dictionaries.  the idea is the following:
*Construct a list of character patterns that occur in the text,
*and encode these patterns as indices of the list.

This procedure is particularly efficient if certain patterns are repeated frequently in the text and this is also taken into account in the coding.  A distinction is made here
*Procedure with static dictionary,
*Procedure with dynamic dictionary.

 
$\text{(1) Procedure with static dictionary}$

A static dictionary is only useful for very special applications, for example for a file of the following form:

[[File:P_ID2424__Inf_T_2_2_S1a.png|center|frame|File to edit in this section]]

For example, the assignments result in

:$$"\boldsymbol{\rm 0}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 000000} \hspace{0.05cm},\hspace{0.15cm} ... \hspace{0.15cm},\hspace{0.05cm}
"\boldsymbol{\rm 9}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 001001} \hspace{0.05cm},
"\hspace{-0.03cm}\_\hspace{-0.03cm}\_\hspace{0.03cm}" \hspace{0.1cm}{\rm (Blank)}\hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 001010} \hspace{0.05cm},$$

:$$"\hspace{-0.01cm}.\hspace{-0.01cm}" \hspace{0.1cm}{\rm (Punkt)}\hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 001011} \hspace{0.05cm},
"\hspace{-0.01cm},\hspace{-0.01cm}" \hspace{0.1cm}{\rm (Komma)}\hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 001011} \hspace{0.05cm},
" {\rm end\hspace{-0.1cm}-\hspace{-0.1cm}of\hspace{-0.1cm}-\hspace{-0.1cm}line}\hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 001101} \hspace{0.05cm},$$

:$$"\boldsymbol{\rm A}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 100000} \hspace{0.05cm},\hspace{0.15cm} ... \hspace{0.15cm},\hspace{0.05cm}
"\boldsymbol{\rm E}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 100100} \hspace{0.05cm},
\hspace{0.15cm} ... \hspace{0.15cm},\hspace{0.05cm}
"\boldsymbol{\rm L}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 101011} \hspace{0.05cm},\hspace{0.15cm}"\boldsymbol{\rm M}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 101100} \hspace{0.05cm},$$

:$$"\boldsymbol{\rm O}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 101110} \hspace{0.05cm},\hspace{0.15cm} ... \hspace{0.15cm},\hspace{0.05cm}
"\boldsymbol{\rm U}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 110100} \hspace{0.05cm},
"\boldsymbol{\rm Name\hspace{-0.1cm}:\hspace{-0.05cm}\_\hspace{-0.03cm}\_}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 010000} \hspace{0.05cm},\hspace{0.05cm}$$

:$$"\boldsymbol{\rm ,\_\hspace{-0.03cm}\_Vorname\hspace{-0.1cm}:\hspace{-0.05cm}\_\hspace{-0.03cm}\_}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 010001} \hspace{0.05cm},\hspace{0.05cm}
"\boldsymbol{\rm ,\_\hspace{-0.03cm}\_Wohnort\hspace{-0.1cm}:\hspace{-0.05cm}\_\hspace{-0.03cm}\_}" \hspace{0.05cm} \mapsto \hspace{0.05cm} \boldsymbol{\rm 010010} \hspace{0.05cm},\hspace{0.15cm} ... \hspace{0.15cm}$$

for the first line of the above text, binary source coded with six bits per character:

:$$\boldsymbol{010000} \hspace{0.15cm}\boldsymbol{100000} \hspace{0.15cm}\boldsymbol{100001} \hspace{0.15cm}\boldsymbol{100100} \hspace{0.15cm}\boldsymbol{101011} \hspace{0.3cm}
\Rightarrow \hspace{0.3cm}
\boldsymbol{(\rm Name\hspace{-0.1cm}:\hspace{-0.05cm}\_\hspace{-0.03cm}\_)
\hspace{0.05cm}(A)\hspace{0.05cm}(B)\hspace{0.05cm}(E)\hspace{0.05cm}(L)}$$

:$$\boldsymbol{010001} \hspace{0.15cm}\boldsymbol{101011}\hspace{0.15cm} \boldsymbol{100100} \hspace{0.15cm}\boldsymbol{101110}
\hspace{0.3cm}
\Rightarrow \hspace{0.3cm}
\boldsymbol{(,\hspace{-0.05cm}\_\hspace{-0.03cm}\_\rm Vorname\hspace{-0.1cm}:\hspace{-0.05cm}\_\hspace{-0.03cm}\_)
\hspace{0.05cm}(L)\hspace{0.05cm}(E)\hspace{0.05cm}(O)}$$

:$$\boldsymbol{010010} \hspace{0.15cm}\boldsymbol{110100} \hspace{0.15cm}\boldsymbol{101011} \hspace{0.15cm}\boldsymbol{101100}
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
\boldsymbol{(,\hspace{-0.05cm}\_\hspace{-0.03cm}\_\rm Wohnort\hspace{-0.1cm}:\hspace{-0.05cm}\_\hspace{-0.03cm}\_)
\hspace{0.05cm}(U)\hspace{0.05cm}(L)\hspace{0.05cm}(M)}
\hspace{0.05cm} $$

:$$\boldsymbol{001101}
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
({\rm end\hspace{-0.1cm}-\hspace{-0.1cm}of\hspace{-0.1cm}-\hspace{-0.1cm}line})
\hspace{0.05cm}$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
In this specific application the first line can be displayed with  $14 \cdot 6 = 84$  Bit.
*In contrast, conventional binary coding would require  $39 \cdot 7 = 273$  bits since:
*Because of the lowercase letters in the text, six bits per character are not sufficient here.
*For the entire text, this results in  $103 \cdot 6 = 618$  Bit versus  $196 \cdot 7 = 1372$  Bit.
*However, the code table must also be known to the recipient.}}

 
$\text{(2) Procedure with dynamic dictionary}$

Nevertheless, all relevant compression methods do not work with static dictionaries, but with ''dynamic dictionaries'', which are created successively only during the coding:
*Such procedures are flexible and do not have to be adapted to the application   One speaks of ''universal source coding procedures''.
*A single pass is sufficient, whereas with a static dictionary the file must first be analyzed before the encoding process.
*At the sink, the dynamic dictionary is generated in the same way as for the source .  this eliminates the need to transfer the dictionary.

[[File:P_ID2926__Inf_T_2_2_S1b_neu.png|frame|Extract from the hexdump of a natural image in BMP format]].
{{GraueBox|TEXT=
$\text{Example 1:}$ 
The graphic shows a small section of  $80$  Byte of a  [[Digital_Signal_Transmission/Applications for Multimedia Files#Pictures_in_BMP.E2.80.93Format_.281.29|BMP-File]]  in hexadecimal representation.  It is the uncompressed representation of a natural picture.

*You can see that in this small section of a landscape image the bytes  $\rm FF$,  $\rm 55$  and  $\rm 47$  occur very frequently.
*Data compression is therefore promising.
*But since other parts of the  $\text{4 MByte}$ file or other byte combinations dominate in other image contents, the use of a static dictionary would not be appropriate here.}}

[[File:P_ID2927__Inf_T_2_2_S1c_GANZ_neu.png|right|frame|Possible encoding of a simple graphic]]
{{GraueBox|TEXT=
$\text{Example 2:}$ 
For an artificially created graphic, for example a form, you could work with a static dictionary.

We are looking at a b/w image with  $27 × 27$  pixels, where the mapping "black"   ⇒   '''0'''  and "white"   ⇒   '''1'''  has been agreed upon.

*At the top (black marker) each line is described by  $27$  zeros.
*In the middle (blue marking), three zeros and three ones always alternate.
*At the bottom (red mark), each line is delimited by  $25$  ones by two zeros.}}

==LZ77 - the basic form of the Lempel-Ziv-algorithms ==
 
The most important procedures for data compression with a dynamic dictionary go back to  [https://en.wikipedia.org/wiki/Abraham_Lempel Abraham Lempel]  and  [https://en.wikipedia.org/wiki/Jacob_Ziv Jacob Ziv]  zurück.  The entire Lempel-Ziv family  (in the following we will use for this briefly:   LZ procedure)  can be characterized as follows
*Lempel-Ziv methods use the fact that often whole words, or at least parts of them, occur several times in a text.  One collects all word fragments, which are also called  ''phrases''  in a sufficiently large dictionary.
*Contrary to the entropy coding developed before (by Shannon and Huffman), the frequency of single characters or character strings is not the basis of the compression here, so that the LZ procedures can be applied even without knowledge of the source statistics.
*LZ compression accordingly manages with a single pass and also the source symbol range  $M$  and the symbol set  $\{q_μ\}$  with  $μ = 1$, ... , $M$  does not have to be known.  This is called ''Universal Source Coding''.

We first look at the Lempel-Ziv algorithm in its original form from 1977, known as  [https://en.wikipedia.org/wiki/LZ77_and_LZ78#LZ77 LZ77]:
*This works with a window that is successively moved over the text  one also speaks of a  ''sliding window''.
*The window size  $G$  is an important parameter that decisively influences the compression result.

[[File:P_ID2426__Inf_T_2_2_S2a_neu.png|center|frame|Sliding window with LZ77 compression]]

The graphic shows an example of the  ''sliding windows''.  This is divided into
*the preview buffer  $($blue background),  and
*the search buffer  $($red background, with the positions  $P = 0$, ... , $7$   ⇒   window size  $G = 8)$.

The edited text consists of the four words  '''Miss''',  '''Mission'''',  '''Mississippi''''  and  '''Mistral'''', each separated by a hyphen.  At the time in question the preview buffer contains  '''Mississi'''.
*Search now in the search buffer for the best match   ⇒   the string with the maximum match length  $L$.  This is the result for the position  $P = 7$  and the length  $L = 5$  to  '''Missi'''.
*This step is then expressed by the ''triple''  $(7,  5,  $ '''s'''$)$  expressed   ⇒   general  $(P, \ L, \ Z)$, where  $Z =$ '''s'''  specifies the character that no longer matches the string found in the search buffer.
*At the end the window is moved by  $L + 1 = 6$  character is moved to the right.  In the preview buffer there is now  '''sippi-Mi'',  in the search buffer  '''n-Missis'''  and the encoding gives the triple  $(2, 2,$  '''p'''$)$.

In the following example the LZ77-coding algorithms are described in more detail.  The decoding runs in a similar way.

{{GraueBox|TEXT=
$\text{Example 3:}$ 
We consider the LZ77 encoding of the string  '''ABABCBCBAABCABe'''  according to the following graphic.  The input sequence has the length $N = 15$. 

Further is assumed:
*For the characters apply  $Z ∈ \{$ '''A''',  '''B''',  '''C''',  '''e''' $\}$,  where  '''e'''  corresponds to the  ''end-of-file''  (end of the input string)
*The size of the preview and search buffer are  $G = 4$   ⇒   Position  $P ∈ {0, 1, 2, 3}$.

[[File:P_ID2427__Inf_T_2_2_S2b_neu.png|frame|To illustrate the LZ77 encoding]]
 
Display of the encoding process:

Step 1 and 2:   The characters  '''A'''  and  '''B'''  are encoded by the triple  $(0, 0,  $ '''A'''$)$  and  $(0, 0,  $ '''B'''$)$, because they are not yet stored in the search buffer.   Then move the Sliding Window by 1.

step 3:   '''AB'''  is masked by the search buffer and at the same time the still unknown character  '''C'''  is appended.  After that the Sliding Window is moved three positions to the right.

Step 4:   This shows that the search string  '''BCB'''  may also end in the preview buffer.  Now the window can be moved four positions to the right.

Step 5:   Only  '''A'''  is found in the search buffer and  '''B'''  is dropped.  If the search buffer is larger, however,  '''ABC'''  could be masked together.  For this purpose  $G ≥ must be 7$ .

Step 6:   Likewise, the character  '''C'''  must be coded separately due to the buffer being too small.  But since  '''CA'''  hasn't occurred before,  would not improve the compression here  $G = 7$ 

Step 7:   With the consideration of the end-of-file  ('''e''')  together with  '''AB'''  from the search buffer, the encoding process is finished.

Before transmission, the specified triples must of course be binary coded.  In this example you need
*the position  $P ∈ \{0, 1, 2, 3\}$  two Bit  (yellow background in the table above),
*the copy length  $L$  three bits  (green background), so that one could also  $L = 7$  still be displayed,
*all characters are two bits  (white background),  for example  '''A''' → '''00''',  '''B''' → '''01''',  '''C''' → '''10''',  '''e''' ("end-of-file") → '''11'''.

Thus the LZ77 output sequence has a length of  $7 - 7 = 49$  bit, while the input sequence only needed  $15 - 2 = 30$  bit.}}

{{BlaueBox|TEXT=
$\text{Conclusion:}$  '''A Lempel-Ziv compression only makes sense with large files !'''}}

==The Lempel-Ziv-Variant LZ78 ==
 
The LZ77-algorithm produces very inefficient output if more frequent strings are repeated only with a larger distance.  Such repetitions can often not be recognized due to the limited buffer size  $G$  des  ''Sliding Window'' .

Lempel and Ziv corrected this shortcoming already one year after the release of the first version LZ77:
*The algorithm LZ78 uses a global dictionary for compression instead of the local dictionary (search buffer).
*The size of the dictionary allows efficient compression of phrases that have been used for a long time before.

{{GraueBox|TEXT=
$\text{Example 4:}$ 
To explain the LZ78 algorithm we consider the same sequence  '''ABABCBCBAABCABe'''  as for the LZ77-$\text{Example 3}$.

[[File:Inf_T_2_2_S3_neu.png|frame|Generation of the dictionary and output at LZ78]]

*The graphic shows  (with red background)  the dictionary with index  $I $  (in decimal and binary representation, column 1 and 2)  and the corresponding content (column 3), which is entered for coding step  $i $  (column 4).

*For LZ78 both encoding and decoding are always  $i = I$.

*In column 5 you find the formalized code output  $($Index  $I$,  new character  $Z)$.

*In column 6 the corresponding binary coding is given with four bits for the index and the same character assignment  '''A''' → '''00''',  '''B''' → '''01''',  '''C''' → '''10''',  '''e''' ("end-of-file") → '''11'''  as in  $\text{Example 3}$.
 
*At the beginning  (step $\underline{i = 0}$)  the dictionary is  (WB)  empty except for the entry  '''ε'''  $($empty character, not to be confused with the space character, which is not used here$)$  with index  $I = 0$.
*In the step  $\underline{i = 1}$  there is no usable entry in the dictionary yet, and it becomes  ('''0,  A''')  output  ('''A'''  follows  '''ε''').   In the dictionary, the entry  '''A'''  follows in line  $I = 1$  (abbreviated  '''1: A''').
*The procedure in the second step  ($\underline{i = 2}$).  The output is  ('''0,  B''')  and the dictionary entry is  '''2: B''' .
*As the entry  $\underline{i = 3}$  is already found in step  '''1: A''' , the characters  '''AB'''  can be coded together by  ('''1, B''')  and the new dictionary entry  '''3: AB'''  is made.
*After coding and insertion of the new character  '''C'''  in step  $\underline{i = 4}$  the pair of characters  '''BC'''  is coded together   ⇒   ('''2, C''') and entered into the dictionary  '''5: BC'''  in step  $\underline{i = 5}$ .
*In step  $\underline{i = 6}$  two characters are treated together with  ''''6: BA'''  and in the last two steps three each, namely  '''7: ABC'''  and  '''8: ABe'''.
*The output  (3, '''C''')  in step  $\underline{i = 7}$  stands for  "WB(3) + '''C''' = '''ABC'''   and the output  (3, '''e''')  in step  $\underline{i = 8}$  for  '''ABe'''.

In this  $\text{Example 4}$  the LZ78 code symbol sequence thus consists of  $8 - 6 = 48$  Bit.  The result is comparable to the LZ77-$\text{Example 3}$  $(49$ Bit$)$.}}

{{BlaueBox|TEXT=
$\text{Conclusion:}$  Details and improvements of LZ78 will be omitted here.  Here we refer to the  [[Information_Theory/Compression According to Lempel, Ziv and Welch#The_Lempel. E2.80.93Ziv.E2.80.93Welch.E2.80.93Algorithm|LZW-Algorithm]], which will be described on the following pages.  Only this much will be said now:
*The index  $I$  is uniformly represented here with four bits, whereby the dictionary is limited to  $16$  entries.  By a ''variable number of bits''  for the index one can bypass this limitation.  At the same time one gets a better compression factor.
*The dictionary does not have to be transmitted with all LZ variants, but is generated with the decoder in exactly the same way as on the coder side.  The decoding is also done with LZ78, but not with LZW, in the same way as the coding.
*All LZ procedures are asymptotically optimal, i.e., for infinitely long sequences the mean code word length  $L_{\rm M}$  per source symbol is equal to the source entropy  $H$ .
*For short sequences, however, the deviation is considerable.  More about this at  [[Information_Theory/Compression_by_Lempel,_Ziv_and_Welch#Quantitative_Statements_on_asymptotic_Optimality|end of chapter]].}}

==The Lempel-Ziv-Welch algorithm ==
 
The most common variant of Lempel-Ziv compression used today was designed by  [https://en.wikipedia.org/wiki/Terry_Welch Terry Welch]  and published in 1983.  In the following we refer to it as the  ''Lempel-Ziv-Welch-Algorithm'', abbreviated as "LZW".   Just as LZ78 has slight advantages over LZ77  (as expected, why else would the algorithm have been modified?),  LZW also has more advantages than disadvantages compared to LZ78.

[[File:P_ID2430__Inf_T_2_2_S4_neu.png|center|frame|LZW encoding of the sequence  '''ABABCBCBAABCABe'']]

The graphic shows the coder output for the exemplary input sequence  '''ABABCBCBAABCABe'''.  On the right is the dictionary (highlighted in red), which is successively generated during LZW encoding.  The differences to LZ78 can be seen in comparison to the graphic on the last page, namely
*For LZW, all characters occurring in the text are already entered at the beginning of  $(i = 0)$  and assigned to a binary sequence, in the example with the indices  $I = 0$, ... ,  $I = 3$.  This also means that LZW requires some knowledge of the message source, whereas LZ78 is a "true universal encoding".
*For LZW, only the dictionary index  $I$  is transmitted for each encoding step  $i$  while for LZ78 the output is the combination  $(I$,  $Z)$, where $Z$  denotes the current new character.   Due to the absence of  $Z$  in the code output, LZW decoding is more complicated than with LZ78, as described on page  [[Information_Theory/Compression_According_to_Lempel,_Ziv_and_Welch#Decoding_of_LZW.E2.80.93Algorithm|Decoding of LZW–Algorithm]] .

{{GraueBox|TEXT=
$\text{Example 5:}$  For this exemplary LZW encoding, as with "LZ77" and "LZ78" again the input sequence  '''ABABCBCBAABCABe'''  is assumed.  So the following description refers to the above graphic.

Step i = 0 (default):   The allowed characters  '''A''',  '''B''',  '''C'''  and  '''e'''  ("end-of-file") are entered into the dictionary and assigned to the indices  $I = 0$, ... , $I = 3$ .

Step i = 1:   '''A'''  is coded by the decimal index  $I = 0$  and its binary representation  '''0000'''  is transmitted.   Then the combination of the current character  '''A'''  and the following character  '''B'''  of the input sequence is stored in the dictionary under the index  $I = 4$ .

step i = 2:   representation of  '''B'''  by index  $I = 1$  or.  '''0001'''  (binary) as well as dictionary entry of  '''BA'''  placed under index  $I = 5$.

Step i = 3:   Because of the entry  '''AB'''  at time  $i = 1$  the index to be transmitted is  $I = 4$  (binary: '''0100''').  New dictionary entry of  '''ABC'''  under  $I = 6$.

Step i = 8:   Here the characters  '''ABC'''  are represented together by the index  $I = 6$  (binary: '''0110''')  and the entry for  '''ABCA'''  is made.

With the encoding of  '''e'''  (EOF mark) the encoding process is finished after ten steps.  With LZ78 only eight steps were needed.  But it has to be considered:
*The LZW algorithm needs only  $10 \cdot 4 = 40$  Bit versus the  $8 \cdot 6 = 48$  Bit for LZ78.  Provided that for this simple calculation, four bits each are needed for index representation.
*LZW as well as LZ78 require less bits  $($namely   $34$  or   $42)$, if one considers that for the step  $i = 1$  the index has to be coded with two bits only  $(I ≤ 3)$  and for  $2 ≤ i ≤ 5$  three bits are sufficient  $(I ≤ 7)$.}}

The following pages describe in detail the variable bit count for index representation and the decoding of LZ78- and LZW-encoded binary sequences.

==Lempel-Ziv-Coding with variable index bit length ==
 
For reasons of a most compact representation, we now consider only binary sources with the value set  $\{$'''A''', '''B'''$\}$.  The terminating character  '''end-of-file'''  is also not considered.

[[File:P_ID2432__Inf_T_2_2_S5_neu.png|center|frame|LZW-Coding of a binary input sequence]]

We demonstrate the LZW coding by means of a screenshot of our interactive Flash module  [[Applets:Lempel-Ziv-Welch|Lempel-Ziv-Welch–Algorithms]].

*In the first coding step  $(i = 1)$  '''A'''   ⇒  '''0'''.  Afterwards the entry with index  $I = 2$  and  content  '''AB'''.
*As there are only two entries in step  $i = 1$  in the dictionary (  '''A'''  and  '''B''' ) one bit is sufficient.   On the other hand, for step  $i = 2$  and  $i = 3$  for  '''B'''  ⇒  '''01'''  and   '''A'''  ⇒  '''00'''  two bits are needed in each case.
*Starting on  $i = 4$ , the index representation is done with three bits, then from   $i = 8$  with four bits and from  $i = 16$  with five bits.  A simple algorithm for the respective index bit number  $L(i)$  can be derived.
*Let's finally consider the coding step  $i = 18$.  Here, the sequence  '''ABABB''' marked in red, which was entered into the dictionary at time  $i = 11$  at time  $($Index  $I = 13$ ⇒ '''1101'''$)$  is edited.   However, the coder output is now  '''01101''' because of  $i ≥ 16$  (green mark at the coder output).

The statements also apply to  [[Information_Theory/Compression According to Lempel, Ziv and Welch#The_Lempel.E2.80.93Ziv.E2.80.93Variant_LZ78|LZ78]].  That is:   With the LZ78 a variable index bit length results in the same improvement as with the LZW.

==Decoding of the LZW algorithm ==
 
The decoder now displays the decoded output on the  [[Information_Theory/Compression_by_Lempel,_Ziv_and_Welch#Lempel-Ziv-Coding with variable index bit length|last page]]  as input sequence.  The graphic shows that it is possible to uniquely decode this sequence even with variable index bit lengths. Please note:

*The decoder knows that in the first coding step  $(i = 1)$  the index  $I $ was coded with only one bit, in the steps  $i = 2$  and  $i = 3$  with two bit, from   $i = 4$  with three bit, from  $i = 8$  with four bit, and so on.
*The decoder generates the same dictionary as the coder, but the dictionary entries are made one time step later.

[[File:P_ID2433__Inf_T_2_2_S6_neu.png|center|frame|LZW-Decoding of a binary input sequence]]

*At step  $\underline{i = 1}$  the adjacent symbol  '''0'''  is decoded as  '''A''' .   Likewise, the following results for step  $\underline{i = 2}$  from the preassignment of the dictionary and the two-bit representation agreed upon for this:   '''01'''   ⇒   '''B'''.
*The entry of the line  $\underline{I = 2}$  $($content:   '''AB'''$)$  of the dictionary is therefore only made at the step  $\underline{i = 2}$, while at the  [[Information_Theory/Compression According to Lempel, Ziv and Welch#Lempel-Ziv-Coding with variable index bit length|Coding process]]  this could already be done at the end of step  $i = 1$ .
*Let us now consider the decoding for  $\underline{i = 4}$.   The index  $\underline{I = 2}$  returns the decoding result  '''010'''   ⇒   '''AB'''  and in the next step  $(\underline{i = 5})$  the dictionary line  $\underline{I = 5}$  will be filled with  '''ABA''' .
*This time difference with respect to the dictionary entries can lead to decoding problems.  For example, for step  $\underline{i = 7}$  there is no dictionary entry with index  $\underline{I= 7}$.
*What is to do in such a case as  $(\underline{I = i})$?  In this case you take the result of the previous decoding step  $($here:   '''BA'''  for  $\underline{i = 6})$  and append the first character of this sequence at the end again.   This gives the decoding result for  $\underline{i = 7}$  to  '''111'''   ⇒   '''BAB'''.
*Naturally, it is unsatisfactory to specify only one recipe.  In the  [[Aufgaben:Aufgabe_2.4Z:_Nochmals_LZW-Codierung_und_-Decodierung|Exercise 2.4Z]]  you should justify the procedure demonstrated here.  We refer to the sample solution for this exercise.

With LZ78 decoding, the problem described here does not occur because not only the index  $I $ but also the current character  $Z$  is included in the encoding result and is transmitted.

==Remaining redundancy as a measure for the efficiency of encoding methods==
 
For the rest of this chapter we assume the following prerequisites:
*The  ''symbol range''  the source  $($or in the transmission sense:   the number of stages)  sei  $M$, where  $M$  represents a power of two   ⇒   $M = 2, \ 4, \ 8, \ 16$, ....
*The source entropy is  $H$.  If there are no statistical bonds between the symbols and if they are equally probable, then  $H = H_0$, where  $H_0 = \log_2 \ M$  indicates the decision content.  Otherwise, $H < H_0$ applies.
*A symbol sequence of length  $N$  is source-coded and returns a binary code sequence of length  $L$.  For the time being we do not make any statement about the type of source coding.

Nach dem  [[Information_Theory/Allgemeine_Beschreibung#Quellencodierungstheorem|Quellencodierungstheorem]]  muss dann die mittlere Codewortlänge  $L_{\rm M}$  größer oder gleich der Quellenentropie  $H$  (in bit/Quellensymbol) sein.  Das bedeutet
*für die Gesamtlänge der quellencodierten Binärfolge:
:$$L \ge N \cdot H \hspace{0.05cm},$$
*für die relative Redundanz der Codefolge, im Folgenden kurz  '''Restredundanz'''  genannt:
:$$r = \frac{L - N \cdot H}{L} \hspace{0.05cm}.$$

{{GraueBox|TEXT=
$\text{Beispiel 6:}$  Gäbe es für eine redundanzfreie binäre Quellensymbolfolge  $(M = 2,\ p_{\rm A} = p_{\rm B} = 0.5$,  ohne statistische Bindungen$)$  der Länge  $N = 10000$  eine  ''perfekte Quellencodierung'', so hätte auch die Codefolge die Länge  $L = 10000$.

Konsequenz:   Ist bei einem Code das Ergebnis  $L = N$  nie möglich, so bezeichnet man diesen Code als  ''nicht–perfekt''.
*Für diese redundanzfreie Nachrichtenquelle ist Lempel–Ziv nicht geeignet.  Es wird stets  $L > N$  gelten.  Man kann es auch ganz lapidar so ausdrücken:   Die perfekte Quellencodierung ist hier &bdquo;gar keine Codierung”.
*Eine redundante Binärquelle mit  $p_{\rm A} = 0.89$,  $p_{\rm B} = 0.11$   ⇒   $H = 0.5$  könnte man mit einer perfekten Quellencodierung durch  $L = 5000$  Bit darstellen, ohne dass wir hier sagen können, wie diese perfekte Quellencodierung aussieht.
*Bei einer Quaternärquelle ist  $H > 1 \ \rm (bit/Quellensymbol)$  möglich, so dass auch bei perfekter Codierung stets  $L > N$  sein wird.  Ist die Quelle redundanzfrei  (keine Bindungen, alle  $M$  Symbole gleichwahrscheinlich), so hat sie die Entropie  $H= 2 \ \rm (bit/Quellensymbol)$.

Bei allen diesen Beispielen für perfekte Quellencodierung wäre die relative Redundanz der Codefolge (also die Restredundanz)  $r = 0$. Das heißt:   Die Nullen und Einsen sind gleichwahrscheinlich und es bestehen keine statistischen Bindungen zwischen den einzelnen Binärsymbolen.
 

'''Das Problem ist:   Bei endlicher Folgenlänge  $N$  gibt es keine perfekte Quellencodierung''' !}}

According to the  [[Information_Theory/General_Description#Source Encoding Theorem|Source Encoding Theorem]]  the mean code word length  $L_{\rm M}$  must be greater than or equal to the source entropy  $H$  (in bit/source symbol).  This means
*for the total length of the source-encoded binary sequence:
:$$L \ge N \cdot H \hspace{0.05cm},$$
*for the relative redundancy of the code sequence, in the following called  '''Rest Redundancy''':
:$$r = \frac{L - N \cdot H}{L} \hspace{0.05cm}.$$

{{GraueBox|TEXT=
$\text{Example 6:}$  If there were a  ''perfect source encoding'' for a redundancy-free binary source symbol sequence  $(M = 2,\ p_{\rm A} = p_{\rm B} = 0.5$,  without statistical bonds$)$  of length  $N = 10000$, the code sequence would have length  $L = 10000$.

Consequence:   If in a code the result  $L = N$  is never possible, then this code is called  ''not–perfect''.
*Lempel-Ziv is not suitable for this redundancy-free message source.  It will always be  $L > N$    You can also put it quite succinctly like this:   The perfect source encoding here is "no encoding at all".
*A redundant binary source with  $p_{\rm A} = 0.89$,  $p_{\rm B} = 0.11$   ⇒   $H = 0.5$  could be represented with a perfect source encoding with $L = 5000$  bit, without being able to say what this perfect source encoding looks like.
*For a quaternary source,  $H > 1 \ \rm (bit/source symbol)$  is possible, so that even with perfect source encoding there will always be  $L > N$ .  If the source is redundancy-free  (no bonds, all  $M$  symbols equally probable), it has entropy  $H= 2 \ \rm (bit/source symbol)$.

For all these examples of perfect source encoding, the relative redundancy of the code sequence (residual redundancy) is  $r = 0$. That is:   The zeros and ones are equally probable and there are no statistical bonds between the individual binary symbols.
 

'''The problem is:   At finite sequence length  $N$  there is no perfect source code''' !}}

==Efficiency of Lempel-Ziv encoding ==
 
From the Lempel-Ziv algorithms we know (and can even prove this statement) that they are  '''asymptotically optimal'''   This means that the relative redundancy of the code symbol sequence  (here written as a function of the source symbol sequence length  $N$ )

:$$r(N) = \frac{L(N) - N \cdot H}{L(N)}= 1 - \frac{ N \cdot H}{L(N)}\hspace{0.05cm}$$

for large  $N$  returns the limit value "zero":

:$$\lim_{N \rightarrow \infty}r(N) = 0 \hspace{0.05cm}.$$

But what does the property  "asymptotically optimal"  say for practical sequence lengths?  Not too much, as the following screenshot of our simulation tool  [[Applets:Lempel-Ziv-Welch|Lempel-Ziv-Algorithms]]  shows. All curves apply exactly only to the [[Information_Theory/Compression_by_Lempel,_Ziv_and_Welch#The_Lempel.E2.80.93Ziv.E2.80.93Welch.E2.80.93Algorithm|LZW-Algorithm]]].  However, the results for  [[Information_Theory/Compression According to Lempel, Ziv and Welch#LZ77 - the basic form of the Lempel-Ziv-algorithms|LZ77]]  and  [[Information_Theory/Compression_by_Lempel,_Ziv_and_Welch#The_Lempel.E2.80.93Ziv.E2.80.93Variant_LZ78|LZ78]]  are only slightly worse.

The three graphs show for different message sources the dependence of the following sizes on the source symbol sequence length  $N$:
*the required number of bits  $N \cdot \log_2 M$  without source coding  (black curves),
*the required number of bits  $H$ \cdot $N$  with perfect source encoding  (gray dashed),
*the required number of bits  $L(N)$  for LZW coding  (red curves after averaging),
*the relative redundancy   ⇒   residual redundancy  $r(N)$  in case of LZW coding (green curves).

[[File:P_ID2450__Inf_T_2_2_S7b_neu.png|frame|Example curves of  $L(N)$  and  $r(N)$]].

$\underline{\text{Redundant binary source (upper graphic)} }$
:$$M = 2, \hspace{0.1cm}p_{\rm A} = 0.89,\hspace{0.1cm} p_{\rm B} = 0.11$$
:$$\Rightarrow \hspace{0.15cm} H = 0.5 \ \rm bit/source symbol\text{:}$$
*The black and grey curves are true straight lines (not only for this parameter set).
*The red curve  $L(N)$  is slightly curved  (difficult to see with the naked eye).
*Because of this curvature of  $L(N)$  the residual redundancy (green curve) drops slightly.
:$$r(N) = 1 - 0.5 \cdot N/L(N).$$
*The numerical values can be read
:$$L(N = 10000) = 6800,\hspace{0.5cm}
r(N = 10000) = 26.5\%.$$

$\underline{\text{Redundancy-free binary source (middle graphic)} }$
:$$M = 2,\hspace{0.1cm} p_{\rm A} = p_{\rm B} = 0.5$$
:$$\Rightarrow \hspace{0.15cm} H = 1 \ \rm bit/source symbol\text{:}$$
* Here the grey and the black straight line coincide and the slightly curved red curve lies above it, as expected.
*Although the LZW coding brings a deterioration here, recognizable from the indication  $L(N = 10000) = 12330$, the relative redundancy is smaller than in the upper graph:
:$$r(N = 10000) = 18.9\%.$$

$\underline{\text{Redundant quaternary source (lower graphic)} }$
:$$M = 4,\hspace{0.1cm}p_{\rm A} = 0.7,\hspace{0.1cm} p_{\rm B} = p_{\rm C} = p_{\rm D} = 0.1$$
:$$ \Rightarrow \hspace{0.15cm} H \approx 1.357 \ \rm bit/source symbol\text{:}$$
* Without source coding, for  $N = 10000$  Quaternary symbols  $20000$  binary symbols (bit) would be required (black curve).
* If source encoding was perfect, this would result in  $N \cdot H= 13570$  Bit  (grey curve).
* With (imperfect) LZW encoding you need  $L(N = 10000) ≈ 16485$  Bit  (red curve).
*The relative redundancy here is  $r(N = 10000) ≈17.7\%$  (green curve).

==Quantitative statements on asymptotic optimality==
 
The results on the last page have shown that the relative residual redundancy  $r(N = 10000)$  is significantly greater than the theoretically promised value  $r(N \to \infty) = 0$.

This practically relevant result shall now be clarified using the example of the redundant binary source with  $H = 0.5 \ \rm bit/source symbol$  according to the middle graphic on the last page. However, we now consider values between  $N=10^3$  and  $N=10^{12}$  for the source symbol sequence length.

[[File:P_ID2443__Inf_T_2_2_S8_neu.png|frame|LZW-Rest redundancy  $r(N)$  with redundant binary source  $(H = 0.5)$ ]].
{{GraueBox|TEXT=
$\text{Example 7:}$  The graphic shows simulations with  $N = 1000$  binary symbols.
*After averaging over ten series of experiments the result is  $r(N = 1000) ≈35.2\%$.
*below the yellow dot  $($in the example with  $N ≈ 150)$  the LZW algorithm even brings a deterioration.
*In this range, namely  $L > N$, that is:   The red curve is above the black one.

In the table below, the results for this redundant binary source  $(H = 0.5)$  are summarized

[[File:Inf_T_2_2_S8b_neu.png|right|frame|Some numerical values for the efficiency of LZW coding]]

*The compression factor  $K(n)= L(n)/N$  decreases with increasing  $N$  only very slowly  (line 3).
*In line 4 the rest redundancy  $r(N)$  is given for different lengths between  $N =1000$  and  $N =50000$ ;
*According to relevant literature this residual redundancy decreases proportionally to  $\big[\hspace{0.05cm}\lg(N)\hspace{0.05cm}\big]^{-1}$ .
*In line 5 the results of an empirical formula are entered $($adaptation for $N = 10000)$:

:$$r\hspace{0.05cm}'(N) = \frac{A}{ {\rm lg}\hspace{0.1cm}(N)}\hspace{0.5cm}{\rm with}$$
:$$ A = {r(N = 10000)} \cdot { {\rm lg}\hspace{0.1cm}10000} = 0.265 \cdot 4 = 1.06
\hspace{0.05cm}.$$
*You can see the good agreement between our simulation results  $r(N)$  and the rule of thumb  $r\hspace{0.05cm}′(N)$.
*You can also see that the residual redundancy of the LZW algorithm for  $N = 10^{12}$  is still  $8.8\%$ .
*For other sources, with other  $A$–values you will get similar results.  The principle process remains the same.  See also  [[Aufgaben:Aufgabe_2.5:_Restredundanz_bei_LZW-Codierung|Exercise 2.5]]  and  [[Aufgaben:Aufgabe_2.5Z:_Komprimierungsfaktor_vs._Restredundanz|Task 2.5Z]].}}

==Exercises to chapter ==
 
[[Aufgaben:2.3 Zur LZ78-Komprimierung|Aufgabe 2.3: Zur LZ78-Komprimierung]]

[[Aufgaben:2.3Z Zur LZ77-Codierung|Aufgabe 2.3Z: Zur LZ77-Codierung]]

[[Aufgaben:2.4 Zum LZW-Algorithmus|Aufgabe 2.4: Zum LZW-Algorithmus]]

[[Aufgaben:2.4Z Nochmals LZW-Codierung und -Decodierung|Aufgabe 2.4Z: Nochmals LZW-Codierung und -Decodierung]]

[[Aufgaben:Aufgabe_2.5:_Restredundanz_bei_LZW-Codierung|Aufgabe 2.5: Relative Restredundanz bei LZW-Codierung]]

[[Aufgaben:Aufgabe_2.5Z:_Komprimierungsfaktor_vs._Restredundanz|Aufgabe 2.5Z: Komprimierungsfaktor vs. Restredundanz]]

{{Display}}

Applets:Bandbegrenzung

2020-11-01T20:11:22Z

Rosa: Rosa moved page Applets:Bandbegrenzung to Applets:Bandwidth Limitation

#REDIRECT [[Applets:Bandwidth Limitation]]

Applets:Bandwidth Limitation

2020-11-01T20:11:22Z

Rosa: Rosa moved page Applets:Bandbegrenzung to Applets:Bandwidth Limitation

Information Theory/Discrete Sources with Memory

2020-10-28T23:04:52Z

Rosa:

{{Header
|Untermenü=Entropie wertdiskreter Nachrichtenquellen
|Vorherige Seite=Gedächtnislose Nachrichtenquellen
|Nächste Seite=Natürliche wertdiskrete Nachrichtenquellen
}}

==A simple introductory example ==
 
{{GraueBox|TEXT=
$\text{Example 1:}$ 
At the  [[Information_Theory/Discrete Memoryless Sources#Model_and_requirements|beginning of the first chapter]]  we have considered a memoryless message source with the symbol set  $\rm \{A, \ B, \ C, \ D\}$   ⇒   $M = 4$  .   An exemplary symbol sequence is shown again in the following figure as source  $\rm Q1$ .

With the symbol probabilities  $p_{\rm A} = 0.4 \hspace{0.05cm},\hspace{0.2cm}p_{\rm B} = 0.3 \hspace{0.05cm},\hspace{0.2cm}p_{\rm C} = 0.2 \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D} = 0.1\hspace{0.05cm}$  the entropy is

:$$H \hspace{-0.05cm}= 0.4 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.3} + 0.2 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.2} + 0.1 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.1} \approx 1.84 \hspace{0.05cm}{\rm bit/symbol}
\hspace{0.01cm}.$$

Due to the unequal symbol probabilities the entropy is smaller than the decision content  $H_0 = \log_2 M = 2 \hspace{0.05cm}. \rm bit/symbol$.

[[File:P_ID2238__Inf_T_1_2_S1a_neu.png|right|frame|Quaternary message source without/with memory]]
 
The source  $\rm Q2$  is almost identical to the source  $\rm Q1$, except that each individual symbol is output not only once, but twice in a row:  $\rm A ⇒ AA$,  $\rm B ⇒ BB$,  and so on.
*It is obvious that  $\rm Q2$  has a smaller entropy (uncertainty) than  $\rm Q1$.
*Because of the simple repetition code, 
:$$H = 1.84/2 = 0.92 \hspace{0.05cm} \rm bit/symbol$$
:only half the size, although the occurrence probabilities have not changed.}}

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
This example shows:
*The entropy of a source with memory is smaller than the entropy of a memoryless source with equal symbol probabilities.
*The statistical bonds within the sequence  $〈 q_ν 〉$  have to be considered now,
*namely the dependency of the symbol  $q_ν$  from the predecessor symbols  $q_{ν-1}$,  $q_{ν-2}$, ... }}

== Entropy with respect to two-tuples ==
 
We continue to look at the source symbol sequence  $〈 q_1, \hspace{0.05cm} q_2,\hspace{0.05cm}\text{ ...} \hspace{0.05cm}, q_{ν-1}, \hspace{0.05cm}q_ν, \hspace{0.05cm}\hspace{0.05cm}q_{ν+1} .\hspace{0.05cm}\text{...} \hspace{0.05cm}〉$  and now consider the entropy of two successive source symbols.
*All source symbols  $q_ν$  are taken from an alphabet with the symbol beginning  $M$, so that it is not necessary for the combination  $(q_ν, \hspace{0.05cm}q_{ν+1})$  exactly  $M^2$  there are possible symbol pairs with the following [[Theory_of_Stochastic_Signals/Set Theory Basics#Intersection|combined probabilities]]:

:$${\rm Pr}(q_{\nu}\cap q_{\nu+1})\le {\rm Pr}(q_{\nu}) \cdot {\rm Pr}( q_{\nu+1})
\hspace{0.05cm}.$$

*From this, the  ''compound entropy''  of an ordered pair can be computed:

:$$H_2\hspace{0.05cm}' = \sum_{q_{\nu}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm}q_{\mu}\hspace{0.01cm} \}} \sum_{q_{\nu+1}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm} q_{\mu}\hspace{0.01cm} \}}\hspace{-0.1cm}{\rm Pr}(q_{\nu}\cap q_{\nu+1}) \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{{\rm Pr}(q_{\nu}\cap q_{\nu+1})} \hspace{0.4cm}({\rm unit\hspace{-0.1cm}: \hspace{0.1cm}bit/order pair})
\hspace{0.05cm}.$$

:The index "2" symbolizes that the entropy thus calculated refers to two-tuples.

To get the average information content per symbol,  $H_2\hspace{0.05cm}'$  has to be divided in half:

:$$H_2 = {H_2\hspace{0.05cm}'}/{2} \hspace{0.5cm}({\rm unit\hspace{-0.1cm}: \hspace{0.1cm}bit/symbol})
\hspace{0.05cm}.$$

In order to achieve a consistent nomenclature, we now label the entropy defined in chapter  [[Information_Theory/Discrete Memoryless Sources#Model_and_Prerequisites|Memoryless Message Sources]]  with  $H_1$:

:$$H_1 = \sum_{q_{\nu}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm}q_{\mu}\hspace{0.01cm} \}} {\rm Pr}(q_{\nu}) \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{{\rm Pr}(q_{\nu})} \hspace{0.5cm}({\rm unit\hspace{-0.1cm}: \hspace{0.1cm}bit/symbol})
\hspace{0.05cm}.$$

The index "1" is supposed to indicate that  $H_1$  considers only the symbol probabilities and not statistical links between symbols within the sequence.  With the decision content  $H_0 = \log_2 \ M$  the following size relation results:

$$H_0 \ge H_1 \ge H_2
\hspace{0.05cm}.$$

With statistical independence of the sequence elements  $H_2 = H_1$.

The previous equations each indicate a share mean value.   The probabilities required for the calculation of  $H_1$  and  $H_2$  can, however, also be calculated as time averages from a very long sequence or, more precisely, approximated by the corresponding  [[Theory_of_Stochastic_Signals/From Random Experiment to Random Variable#Bernoulli's_Law_of_Large_Numbers|relative frequencies]].

Let us now illustrate the calculation of entropy approximations  $H_1$  and  $H_2$  with three examples.

{{GraueBox|TEXT=
$\text{Example 2:}$ 
We will first look at the sequence  $〈 q_1$, ... , $q_{50} \rangle $  according to the graphic, where the sequence elements  $q_ν$  originate from the alphabet $\rm \{A, \ B, \ C \}$   ⇒   the symbol range is  $M = 3$.

[[File:Inf_T_1_2_S2_vers2.png|center|frame|Ternary symbol sequence and formation of two-tuples]]

By time averaging over the  $50$  symbols one gets the symbol probabilities  $p_{\rm A} ≈ 0.5$,   $p_{\rm B} ≈ 0.3$  and  $p_{\rm C} ≈ 0.2$, with which one can calculate the first order entropy approximation:

:$$H_1 = 0.5 \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{0.5} + 0.3 \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{0.3} + 0.2 \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{0.2} \approx \, 1.486 \,{\rm bit/symbol}
\hspace{0.05cm}.$$

Due to the not equally probable symbols  $H_1 < H_0 = 1.585 \hspace{0.05cm}. \rm bit/symbol$.  As an approximation for the probabilities of two-tuples one gets from the above sequence:

:$$\begin{align*}p_{\rm AA} \hspace{-0.1cm}& = \hspace{-0.1cm} 14/49\hspace{0.05cm}, \hspace{0.2cm}p_{\rm AB} = 8/49\hspace{0.05cm}, \hspace{0.2cm}p_{\rm AC} = 3/49\hspace{0.05cm}, \\\
p_{\rm BA} \hspace{-0.1cm}& = \hspace{0.07cm} 7/49\hspace{0.05cm}, \hspace{0.25cm}p_{\rm BB} = 2/49\hspace{0.05cm}, \hspace{0.2cm}p_{\rm BC} = 5/49\hspace{0.05cm}, \\\
p_{\rm CA} \hspace{-0.1cm}& = \hspace{0.07cm} 4/49\hspace{0.05cm}, \hspace{0.25cm}p_{\rm CB} = 5/49\hspace{0.05cm}, \hspace{0.2cm}p_{\rm CC} = 1/49\hspace{0.05cm}.\end{align*}$$

Please note that the  $50$  sequence elements can only be formed from  $49$  two-tuples  $(\rm AA$, ... , $\rm CC)$  which are marked in different colors in the graphic.

*The entropy approximation  $H_2$  should actually be equal to  $H_1$  since the given symbol sequence comes from a memoryless source.
*Because of the short sequence length  $N = 50$  and the resulting statistical inaccuracy, however, a smaller value results:  
:$$H_2 ≈ 1.39\hspace{0.05cm} \rm bit/symbol.$$}}

{{GraueBox|TEXT=
$\text{Example 3:}$ 
Now let us consider a  ''memoryless  binary source''  with equally probable symbols, i.e. there would be  $p_{\rm A} = p_{\rm B} = 1/2$.  The first twenty subsequent elements are   $〈 q_ν 〉 =\rm BBAAABAABBBBBAAAABABAB$ ...
*Because of the equally probable binary symbols   $H_1 = H_0 = 1 \hspace{0.05cm} \rm bit/symbol$.
*The compound probability  $p_{\rm AB}$  of the combination  $\rm AB$  is equal to  $p_{\rm A} - p_{\rm B} = 1/4$.  Also $p_{\rm AA} = p_{\rm BB} = p_{\rm BA} = 1/4$.
*This gives for the second entropy approximation

:$$H_2 = {1}/{2} \cdot \big [ {1}/{4} \cdot {\rm log}_2\hspace{0.1cm}4 + {1}/{4} \cdot {\rm log}_2\hspace{0.1cm}4 +{1}/{4} \cdot {\rm log}_2\hspace{0.1cm}4 +{1}/{4} \cdot {\rm log}_2\hspace{0.1cm}4 \big ] = 1 \,{\rm bit/symbol} = H_1 = H_0
\hspace{0.05cm}.$$

''Note'':   Due to the short length of the given sequence the probabilities are slightly different:  $p_{\rm AA} = 6/19$,  $p_{\rm BB} = 5/19$,  $p_{\rm AB} = p_{\rm BA} = 4/19$.}}

{{GraueBox|TEXT=
$\text{Example 4:}$ 
The third sequence considered here results from the binary sequence of  $\text{Example 3}$  by using a simple repeat code:
:$$〈 q_ν 〉 =\rm BbBbAaAaAaBbAaAaBbBb \text{...} $$
*The repeated symbols are marked by corresponding lower case letters.  It still applies  $M=2$.
*Because of the equally probable binary symbols, this also results in  $H_1 = H_0 = 1 \hspace{0.05cm} \rm bit/symbol$.
*As shown in  [[Aufgaben:1.3_Entropienäherungen|Exercise 1.3]]  for the compound probabilities we obtain  $p_{\rm AA}=p_{\rm BB} = 3/8$  and  $p_{\rm AB}=p_{\rm BA} = 1/8$.  Hence
:$$\begin{align*}H_2 ={1}/{2} \cdot \big [ 2 \cdot {3}/{8} \cdot {\rm log}_2\hspace{0.1cm} {8}/{3} +
2 \cdot {1}/{8} \cdot {\rm log}_2\hspace{0.1cm}8\big ] = {3}/{8} \cdot {\rm log}_2\hspace{0.1cm}8 - {3}/{8} \cdot{\rm log}_2\hspace{0.1cm}3 + {1}/{8} \cdot {\rm log}_2\hspace{0.1cm}8 \approx 0.906 \,{\rm bit/symbol} < H_1 = H_0
\hspace{0.05cm}.\end{align*}$$

A closer look at the task at hand leads to the following conclusion:
*The entropy should actually be  $H = 0.5 \hspace{0.05cm} \rm bit/symbol$  its (every second symbol does not provide new information)
*The second entropy approximation  $H_2 = 0.906 \hspace{0.05cm} \rm bit/symbol$  but is much larger than the entropy  $H$.
*For the determination of entropy the second order approximation is not sufficient.  rather, larger continuous blocks must be considered with  $k > 2$  symbols.
*In the following, such a block is referred to as  $k$-tuple.}}

==Generalization to $k$-tuple and boundary crossing ==
 
For abbreviation we write using the compound probability  $p_i^{(k)}$  a  $k$-tuple in general:

:$$H_k = \frac{1}{k} \cdot \sum_{i=1}^{M^k} p_i^{(k)} \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{p_i^{(k)}} \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})
\hspace{0.05cm}.$$

The control variable  $i$  stands for one of the  $M^k$ Tuple.  The previously calculated approximation  $H_2$  results with  $k = 2$.

{{BlaueBox|TEXT=
$\text{Definition:}$ 
The  '''Entropy of a message source with memory'''  has the following limit
:$$H = \lim_{k \rightarrow \infty }H_k \hspace{0.05cm}.$$

For the  ''entropy approximations''  $H_k$  the following relations apply  $(H_0$ is the decision content$)$:
:$$H \le \text{...} \le H_k \le \text{...} \le H_2 \le H_1 \le H_0 \hspace{0.05cm}.$$}}

The computational effort will increase with increasing  $k$  except for a few special cases (see the following example) and depends on the symbol size  $M$  of course:
*For the calculation of  $H_{10}$  a binary source  $(M = 2)$  is to be averaged over  $2^{10} = 1024$  terms.
*With each further increase of  $k$  by  $1$  the number of sum terms doubles.
*In case of a quaternary source  $(M = 4)$  it must already be averaged over  $4^{10} = 1\hspace{0.08cm}048\hspace{0.08cm}576$  summation terms must be averaged for the determination of  $H_{10}$.
* Considering that each of these  $4^{10} =2^{20} >10^6$  $k$-tuple should occur in simulation/time averaging about  $100$  times (statistical guideline) to ensure sufficient simulation accuracy, it follows that the sequence length should be greater than  $N = 10^8$ .

{{GraueBox|TEXT=
$\text{Example 5:}$ 
We consider an alternating binary sequence   ⇒   $〈 q_ν 〉 =\rm ABABABAB$ ...  .  Accordingly it holds that  $H_0 = H_1 = 1 \hspace{0.1cm} \rm bit/symbol$.

In this special case, the  $H_k$ approximation must be determined independently from  $k$  by averaging only two compound probabilities:
* $k = 2$:    $p_{\rm AB} = p_{\rm BA} = 1/2$     ⇒     $H_2 = 1/2 \hspace{0.2cm} \rm bit/symbol$,
* $k = 3$:    $p_{\rm ABA} = p_{\rm BAB} = 1/2$     ⇒     $H_3 = 1/3 \hspace{0.2cm} \rm bit/symbol$,
* $k = 4$:    $p_{\rm ABAB} = p_{\rm BABA} = 1/2$     ⇒     $H_4 = 1/4 \hspace{0.2cm} \rm bit/symbol$.

The (actual) entropy of this alternating binary sequence is therefore
:$$H = \lim_{k \rightarrow \infty }{1}/{k} = 0 \hspace{0.05cm}.$$

The result was to be expected, since the considered sequence has only minimal information, which does not affect the entropy end value  $H$  namely:     "Does  $\rm A$  occur at the even or the odd times?"

You can see that  $H_k$  comes closer to this final value  $H = 0$  very slowly:  The twentieth entropy approximation still returns  $H_{20} = 0.05 \hspace{0.05cm} \rm bit/symbol$. }}

{{BlaueBox|TEXT=
$\text{Summary of the results of the last pages:}$ 

*Generally it applies to the  '''Entropy of a message source''':
:$$H \le \text{...} \le H_3 \le H_2 \le H_1 \le H_0
\hspace{0.05cm}.$$
*A  '''redundancy-free source''   exists if all  $M$  symbols are equally probable and there are no statistical bonds within the sequence. For these,  $(r$  denotes the ''relative redundancy'' $)$:
:$$H = H_0 = H_1 = H_2 = H_3 = \text{...}\hspace{0.5cm}
\Rightarrow \hspace{0.5cm} r = \frac{H - H_0}{H_0}= 0 \hspace{0.05cm}.$$
*A  '''memoryless source'''   can be quite redundant  $(r> 0)$.  This redundancy then is solely due to the deviation of the symbol probabilities from the uniform distribution.  Here the following relations are valid
:$$H = H_1 = H_2 = H_3 = \text{...} \le H_0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm}0 \le r = \frac{H_1 - H_0}{H_0}< 1 \hspace{0.05cm}.$$
*The corresponding condition for a  '''source with memory'''  is
:$$ H <\text{...} < H_3 < H_2 < H_1 \le H_0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm} 0 < r = \frac{H_1 - H_0}{H_0}\le1 \hspace{0.05cm}.$$
*If  $H_2 < H_1$, then  $H_3 < H_2$,   $H_4 < H_3$, etc.   ⇒   In the general equation, the  "≤" character must be replaced by the  "<" character.
*If the symbols are equally probable, then again  $H_1 = H_0$, while  $H_1 < H_0$  applies to symbols which are not equally probable.}}

==The entropy of the AMI code ==
 
In chapter  [[Digital_Signal_Transmission/Symbol-Wise Coding with Pseudo Ternary Codes#Properties_of_AMI Code|Symbol-wise Coding with Pseudo-Ternary Codes]]  of the book "Digital Signal Transmission", among other things, the AMI pseudo-ternary code is discussed.
*This converts the binary sequence  $〈 q_ν 〉$  with  $q_ν ∈ \{ \rm L, \ H \}$  into the ternary sequence  $〈 c_ν 〉$  with  $q_ν ∈ \{ \rm M, \ N, \ P \}$.
*The names of the source symbols stand for  $\rm L$ow  and  $\rm H$igh  and those of the code symbols for  $\rm M$inus,  $\rm N$ull  and  $\rm P$lus".

The coding rule of the AMI code ("Alternate Mark Inversion") is
[[File:P_ID2240__Inf_T_1_2_S4_neu.png|right|frame|Signals and symbol sequences for AMI code]]

*Each binary symbol  $q_ν =\rm L$  is represented by the code symbol  $c_ν =\rm N$ .
*In contrast,  $q_ν =\rm H$  alternates with  $c_ν =\rm P$  and  $c_ν =\rm M$  coded   ⇒   name "AMI".

This special encoding adds redundancy with the sole purpose of ensuring that the code sequence does not contain a DC component.
 
However, we do not consider the spectral properties of the AMI code here, but interpret this code information-theoretically:
*Based on the number of steps  $M = 3$  the decision content of the (ternary) code sequence is equal to  $H_0 = \log_2 \ 3 ≈ 1.585 \hspace{0.05cm} \rm bit/symbol$.  The first entropy approximation returns  $H_1 = 1.5 \hspace{0.05cm} \rm bit/Symbol$, as shown in the following calculation:

:$$p_{\rm H} = p_{\rm L} = 1/2 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}
p_{\rm N} = p_{\rm L} = 1/2\hspace{0.05cm},\hspace{0.2cm}p_{\rm M} = p_{\rm P}= p_{\rm H}/2 = 1/4\hspace{0.3cm}
\Rightarrow \hspace{0.3cm} H_1 = 1/2 \cdot {\rm log}_2\hspace{0.1cm}2 + 2 \cdot 1/4 \cdot{\rm log}_2\hspace{0.1cm}4 = 1.5 \,{\rm bit/symbol}
\hspace{0.05cm}.$$

*Let's now look at two-tuples.  With AMI code,  $\rm P$  cannot follow  $\rm P$  and  $\rm M$  cannot follow  $\rm M$  follow  The probability for  $\rm NN$  is equal to  $p_{\rm L} - p_{\rm L} = 1/4$.  All other (six) two-tuples occur with the probability  $1/8$  on.  From this follows for the second entropy approximation:
:$$H_2 = 1/2 \cdot \big [ 1/4 \cdot {\rm log_2}\hspace{0.1cm}4 + 6 \cdot 1/8 \cdot {\rm log_2}\hspace{0.1cm}8 \big ] = 1,375 \,{\rm bit/symbol} \hspace{0.05cm}.$$

*For the further entropy approximations  $H_3$,  $H_4$, ...  and the actual entropy  $H$  will apply:
:$$ H < \hspace{0.05cm}\text{...}\hspace{0.05cm} < H_5 < H_4 < H_3 < H_2 = 1.375 \,{\rm bit/symbol} \hspace{0.05cm}.$$

*Exceptionally in this example we know the actual entropy  $H$  of the code symbol sequence  $〈 c_ν 〉$:   since no new information is added by the coder and no information is lost, it is the same entropy  $H = 1 \,{\rm bit/symbol} $  as the one of the redundancy-free binary sequence $〈 q_ν 〉$.

The  [[Aufgaben:1.4_Entropienäherungen_für_den_AMI-Code|Exercise 1.4]]  shows the considerable effort required to calculate the entropy approximation  $H_3$.   Moreover,  $H_3$  still deviates significantly from the final value  $H = 1 \,{\rm bit/symbol} $.  A faster result is achieved if the AMI code is described by a markov chain as explained in the next section.

==Binary sources with Markov properties ==
 
[[File:Inf_T_1_2_S5_vers2.png|right|frame|Markov processes with  $M = 2$  states]]

Sequences with statistical bonds between the sequence elements (symbols) are often modeled by  [[Theory_of_Stochastic_Signals/Markov_Chains|Markov processes]]  where we limit ourselves here to first-order Markov processes.  First we consider a binary Markov process  $(M = 2)$  with the states (symbols)  $\rm A$  and  $\rm B$.

On the right, you can see the transition diagram for a first-order binary Markov process  however, only two of the four transfer probabilities given are freely selectable, for example
* $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}} = \rm Pr(A\hspace{0.01cm}|\hspace{0.01cm}B)$   ⇒   conditional probability that  $\rm A$  follows  $\rm B$ .
* $p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}} = \rm Pr(B\hspace{0.01cm}|\hspace{0.01cm}A)$   ⇒   conditional probability that  $\rm B$  follows  $\rm A$ .

For the other two transition probabilities  $p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = 1- p_{\rm B\hspace{0. 01cm}|\hspace{0.01cm}A}$  and   $p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} = 1- p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}
\hspace{0.05cm}.$

Due to the presupposed properties  [[Theory_of_Stochastic_Signals/Auto-correlation Function (ACF)#Stationary_Random Processes|Stationarity]]  and  [[Theory_of_Stochastic_Signals/Auto-correlation Function (ACF)#Ergodic_Random Processes|Ergodicity]]  the following applies to the state or symbol probabilities:

:$$p_{\rm A} = {\rm Pr}({\rm A}) = \frac{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}}{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}
\hspace{0.05cm}, \hspace{0.5cm}p_{\rm B} = {\rm Pr}({\rm B}) = \frac{p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}
\hspace{0.05cm}.$$

These equations allow first information theoretical statements about the Markov processes:
* For  $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}}} = p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$  the symbols are equally likely   ⇒   $p_{\text{A}} = p_{\text{B}}= 0.5$.  The first entropy approximation returns  $H_1 = H_0 = 1 \hspace{0.05cm} \rm bit/symbol$, independent of the actual values of the (conditional) transition probabilities  $p_{\text{A|B}}$   or   $p_{\text{B|A}}$.
*The source entropy  $H$  as the threshold value  $($for  $k \to \infty)$  of the  [[Information_Theory/Discrete Memoryless Sources#Generalization_to_.7F.27 .22.60UNIQ-MathJax109-QINU.60.22.27.7F.E2.80.93Tuple_and_boundary.C3.BCtransition|Entropy approximation  $k$th order]]   ⇒   $H_k$  but depends very much on the actual values of  $p_{\text{A|B}}$  and  $p_{\text{B|A}}$  and not only on their quotients.  This is shown by the following example.

{{GraueBox|TEXT=
$\text{Example 6:}$ 
We consider three binary symmetric Markov sources that are represented by the numerical values of the symmetric transition probabilities  $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} }$ .  For the symbol probabilities the following applies:  $p_{\rm A} = p_{\rm B}= 0.5$, and the other transition probabilities have the values

[[File:P_ID2242__Inf_T_1_2_S5b_neu.png|right|frame|Three examples of binary Markov sources]]
:$$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } =
p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}B} }.$$

*The middle (blue) symbol sequence with  $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.5$  has the entropy  $H ≈ 1 \hspace{0.1cm} \rm bit/symbol$.  That means:   In this special case there are no statistical bonds within the sequence.

*The left (red) sequence with  $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.2$  has less changes between  $\rm A$  and  $\rm B$  and  $\rm B$  Due to statistical dependencies between neighboring symbols the entropy is now smaller  $H ≈ 0.72 \hspace{0.1cm} \rm bit/symbol$.

*The right (green) symbol sequence with  $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.8$  has the exact same entropy  $H ≈ 0.72 \hspace{0.1cm} \rm bit/symbol$  as the red sequence.  Here you can see many areas with alternating symbols  $($... $\rm ABABAB$ ... $)$.}}

This example is worth noting:
*If you had not used the markup properties of the red and green sequences, you would have reached the respective result  $H ≈ 0.72 \hspace{0.1cm} \rm bit/symbol$  only after lengthy calculations.
*The following pages show that for a source with mark properties the final value  $H$  can be determined from the entropy approximations  $H_1$  and  $H_2$  alone.   Likewise, all entropy approximations  $H_1$  and  $H_2$  can also be calculated from  $H_k$  for  $k$-tuples in a simple manner   ⇒   $H_3$,  $H_4$,  $H_5$, ...   $H_{100}$, ...

== Simplified entropy calculation for Markov sources ==
 
[[File:Inf_T_1_2_S5_vers2.png|right|frame|Markov processes with  $M = 2$  states]]
We continue to assume the first-order symmetric binary Markov source.  As on the previous page, we use the following nomenclature for
*the transition probabilities  $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}}$,   $p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$,  $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}A}}}= 1- p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$,   $p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}B}} = 1 - p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}}$,  
*the ergodic probabilities  $p_{\text{A}}$  and  $p_{\text{B}}$,
*the compound probabilities, for example  $p_{\text{AB}} = p_{\text{A}} - p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$.

We now compute the  [[Information_Theory/Sources with Memory#Entropy_in_Two_Tuple|Entropy of a two-tuple]]  (with the unit "bit/two-tuple"):

:$$H_2\hspace{0.05cm}' = p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm B} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm B} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
\hspace{0.05cm}.$$

If one now replaces the logarithms of the products by corresponding sums of logarithms, one gets the result  $H_2\hspace{0.05cm}' = H_1 + H_{\text{M}}$  with
:$$H_1 = p_{\rm A} \cdot (p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A})\cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_{\rm A}} + p_{\rm B} \cdot (p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B})\cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_{\rm B}} = p_{\rm A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_{\rm A}} + p_{\rm B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_{\rm B}} = H_{\rm bin} (p_{\rm A})= H_{\rm bin} (p_{\rm B})
\hspace{0.05cm},$$
:$$H_{\rm M}= p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm B} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm B} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$  Thus the  '''second entropy approximation'''  (with the unit "bit/symbol"):
:$$H_2 = {1}/{2} \cdot {H_2\hspace{0.05cm}'} = {1}/{2} \cdot \big [ H_{\rm 1} + H_{\rm M} \big]
\hspace{0.05cm}.$$}}

is to be noted:
*The first summand  $H_1$   ⇒   first entropy approximation depends only on the symbol probabilities.
*For a symmetrical markov process   ⇒   $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}} = p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}} $   ⇒   $p_{\text{A}}} = p_{\text{B}}} = 1/2$   this is the result for this first summand  $H_1 = 1 \hspace{0.1cm} \rm bit/symbol$.
*The second summand  $H_{\text{M}}$  must be calculated according to the second of the two upper equations.
*For a symmetrical Markov process you get  $H_{\text{M}}} = H_{\text{bin}}(p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B})$.

Now, this result is extended to the  $k$-th entropy approximation.  Here, the advantage of Markov sources over other sources is taken advantage of, that the entropy calculation for  $k$-tuples is very simple.  For each Markov source, the following applies

:$$H_k = {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H_{\rm M}\big ] \hspace{0.3cm} \Rightarrow \hspace{0.3cm}
H_2 = {1}/{2} \cdot \big [ H_{\rm 1} + H_{\rm M} \big ]\hspace{0.05cm}, \hspace{0.3cm}
H_3 ={1}/{3} \cdot \big [ H_{\rm 1} + 2 \cdot H_{\rm M}\big ] \hspace{0.05cm},\hspace{0.3cm}
H_4 = {1}/{4} \cdot \big [ H_{\rm 1} + 3 \cdot H_{\rm M}\big ]
\hspace{0.05cm},\hspace{0.15cm}{\rm usw.}$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$  With the boundary condition for  $k \to \infty$, one obtains the actual source entropy
:$$H = \lim_{k \rightarrow \infty} H_k = H_{\rm M} \hspace{0.05cm}.$$
From this simple result important insights for the entropy calculation follow:
*For Markov sources it is sufficient to determine the entropy approximations  $H_1$  and  $H_2$.  Thus, the entropy of a Markov source is
:$$H = 2 \cdot H_2 - H_{\rm 1} \hspace{0.05cm}.$$

*Through  $H_1$  and  $H_2$  all further entropy approximations  $H_k$  are also fixed for  $k \ge 3$ :

:$$H_k = \frac{2-k}{k} \cdot H_{\rm 1} + \frac{2\cdot (k-1)}{k} \cdot H_{\rm 2}
\hspace{0.05cm}.$$}}

However, these approximations are not very important.  Mostly only the limit value  $H$.  For sources without markov properties the approximations  $H_k$  are calculated only to be able to estimate this limit value, i.e. the actual entropy.

''Notes'':
*In the  [[Aufgaben:1.5_Binäre_Markovquelle|Task 1.5]]  the above equations are applied to the more general case of an asymmetric binary source.
*All equations on this page also apply to non-binary Markov sources  $(M > 2)$ as shown on the next page.

==Non-binary Markov sources ==
 
[[File:P_ID2243__Inf_T_1_2_S6_neu.png|right|frame|Ternary and Quaternary First Order Markov Source]]

The following equations apply to each Markov source regardless of the symbol range:

:$$H = 2 \cdot H_2 - H_{\rm 1} \hspace{0.05cm},$$
:$$H_k = {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H_{\rm M}\big ] \hspace{0.05cm},$$
:$$ \lim_{k \rightarrow \infty} H_k = H
\hspace{0.05cm}.$$

These equations allow the simple calculation of the entropy  $H$  from the approximations  $H_1$  and  $H_2$.

We now look at the transition diagrams sketched on the right
*a ternary Markov source  $\rm MQ3$  $($  $M = 3$,  blue coloring$)$ and
*a quaternary Markov source  $\rm MQ4$  $(M = 4$,  red color$)$.
 
In  [[Aufgaben:1.6_Nichtbinäre_Markovquellen|Exercise 1.6]]  the entropy approximations  $H_k$  and the source entropy  $H$  are calculated as the limit of  $H_k$  for  $k \to \infty$ .   The results are shown in the following figure.  All entropies specified there have the unit "bit/symbol".

[[File:P_ID2244__Inf_T_1_2_S6b_neu.png|center|frame|Entropies for  $\rm MQ3$,  $\rm MQ4$  and the  $\rm AMI-Code$]].

These results can be interpreted as follows:
*For the ternary markov source  $\rm MQ3$  the entropy approximations of  $H_1 = 1,500$  above  $H_2 = 1,375$  up to the limit  $H = 1,250$  continuously decreasing  paths  $M = 3$  the decision content is  $H_0 = 1,585$.
*For the quaternary Markov source  $\rm MQ4$  one receives  $H_0 = H_1 = 2,000$  (since four equally probable states) and  $H_2 = 1.5$.   From the  $H_1$-  and  $H_2$-value all entropy approximations  $H_k$  and the final value  $H = 1.000$  can be calculated.
*The two models  $\rm MQ3$  and  $\rm MQ4$  were created during the attempt to calculate the  [[Information_Theory/Sources_with_Memory#The_Entropy_of_AMI.E2.80. 93Codes|AMI-Code]]  to be described information theoretically by Markov sources.  The symbols  $\rm M$,  $\rm N$  and  $\rm P$  stand for "minus", "zero" and "plus".
*The entropy approximations  $H_1$,  $H_2$  and  $H_3$  of the AMI code (green markers) were calculated in the  [[Tasks:1.4_Entropy Approximations_Hk|Task A1.4]]  on the calculation of  $H_4$,  $H_5$, ... had to be omitted for reasons of effort.  But the final value of  $H_k$  for  $k \to \infty$   ⇒   $H = 1,000$ is known.
*You can see that the Markov model  $\rm MQ3$  for  $H_0 = 1,585$,  $H_1 = 1,500$  and  $H_2 = 1,375$  yields exactly the same numerical values as the AMI code.   On the other hand  $H_3$  ⇒   $(1,333$  instead of  $1,292)$  and especially the final value  $H$  ⇒   $(1,250$  compared to  $1,000)$.
*The model  $\rm MQ4$  $(M = 4)$  differs from the AMI code  $(M = 3)$  with respect to the decision content  $H_0$  and also with respect to all entropy approximations  $H_k$.   Nevertheless, $\rm MQ4$  is the more suitable model for the AMI code, since the final value  $H = 1,000$  is the same.
*The model  $\rm MQ3$  yields entropy values that are too large, since the sequences  $\rm PNP$  and  $\rm MNM$  are possible here, which cannot occur in the AMI code.   Already with the approximation  $H_3$  the difference is slightly noticeable, in the final value  $H$  even clearly  $(1.25$  instead of  $1)$.

In the model  $\rm MQ4$  the state  "Null"  was split into two states  $\rm N$  and  $\rm O$  (see upper right figure on this page):
*Here applies to the state  $\rm N$:   The current binary symbol  $\rm L$  is displayed with the amplitude value  $0$  (zero), as per the AMI rule.  The next occurring  $\rm H$ symbol, on the other hand, is displayed as  $-1$  (minus), because the last  $\rm H$ symbol was encoded as  $+1$  (plus).
*The current binary symbol  $\rm O$  is also displayed with the state  $\rm L$  with the ternary value  $0$ .   In contrast to the state  $\rm N$  however, the next occurring  $\rm H$ symbol is now displayed as  $+1$  (Plus) since the last  $\rm H$ symbol was encoded as  $-1$  (Minus).

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*The  $\rm MQ4$–Output sequence actually follows the rules of the AMI code and assigns the entropy  $H = 1.000 \hspace{0.15cm} \rm bit/symbol$  up.
*Because of the new state  $\rm O$  but is now  $H_0 = 2.000 \hspace{0.15cm} \rm bit/symbol$  $($against  $1.585 \hspace{0.15cm} \rm bit/symbol)$  clearly too large.
*Also all  $H_k$ approximations are larger than in AMI code.
*First for  $k \to \infty$  the model  $\rm MQ4$  and the AMI code match exactly:   $H = 1,000 \hspace{0.15cm} \rm bit/symbol$.}}

== Exercises for chapter==
 
[[Aufgaben:1.3 Entropienäherungen|Aufgabe 1.3: Entropienäherungen]]

[[Aufgaben:1.4 Entropienäherungen für den AMI-Code|Aufgabe 1.4: Entropienäherungen für den AMI-Code]]

[[Aufgaben:1.4Z Entropie der AMI-Codierung|Zusatzaufgabe 1.4Z: Entropie der AMI-Codierung]]

[[Aufgaben:1.5 Binäre Markovquelle|Aufgabe 1.5: Binäre Markovquelle]]

[[Aufgaben:1.5Z Symmetrische Markovquelle|Aufgabe 1.5Z: Symmetrische Markovquelle]]

[[Aufgaben:1.6 Nichtbinäre Markovquellen|Aufgabe 1.6: Nichtbinäre Markovquellen]]

[[Aufgaben:1.6Z Ternäre Markovquelle|Aufgabe 1.6Z:Ternäre Markovquelle]]

{{Display}}

Information Theory/Discrete Sources with Memory

2020-10-28T22:52:24Z

Rosa:

{{Header
|Untermenü=Entropie wertdiskreter Nachrichtenquellen
|Vorherige Seite=Gedächtnislose Nachrichtenquellen
|Nächste Seite=Natürliche wertdiskrete Nachrichtenquellen
}}

==A simple introductory example ==
 
{{GraueBox|TEXT=
$\text{Example 1:}$ 
At the  [[Information_Theory/Discrete Memoryless Sources#Model_and_requirements|beginning of the first chapter]]  we have considered a memoryless message source with the symbol set  $\rm \{A, \ B, \ C, \ D\}$   ⇒   $M = 4$  .   An exemplary symbol sequence is shown again in the following figure as source  $\rm Q1$ .

With the symbol probabilities  $p_{\rm A} = 0.4 \hspace{0.05cm},\hspace{0.2cm}p_{\rm B} = 0.3 \hspace{0.05cm},\hspace{0.2cm}p_{\rm C} = 0.2 \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D} = 0.1\hspace{0.05cm}$  the entropy is

:$$H \hspace{-0.05cm}= 0.4 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0. 05cm}\frac {1}{0.3} + 0.2 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.2} + 0.1 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.1} \approx 1.84 \hspace{0.05cm}{\rm bit/symbol}
\hspace{0.01cm}.$$

Due to the unequal symbol probabilities the entropy is smaller than the decision content  $H_0 = \log_2 M = 2 \hspace{0.05cm}. \rm bit/symbol$.

[[File:P_ID2238__Inf_T_1_2_S1a_neu.png|right|frame|Quaternary message source without/with memory]]
 
The source  $\rm Q2$  is almost identical to the source  $\rm Q1$, except that each individual symbol is output not only once, but twice in a row:  $\rm A ⇒ AA$,  $\rm B ⇒ BB$,  and so on.
*It is obvious that  $\rm Q2$  has a smaller entropy (uncertainty) than  $\rm Q1$.
*Because of the simple repetition code, 
:$$H = 1.84/2 = 0.92 \hspace{0.05cm} \rm bit/symbol$$
:only half the size, although the occurrence probabilities have not changed.}}

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
This example shows:
*The entropy of a source with memory is smaller than the entropy of a memoryless source with equal symbol probabilities.
*The statistical bonds within the sequence  $〈 q_ν 〉$  have to be considered now,
*namely the dependency of the symbol  $q_ν$  from the predecessor symbols  $q_{ν-1}$,  $q_{ν-2}$, ... }}

== Entropy with respect to two-tuples ==
 
We continue to look at the source symbol sequence  $〈 q_1, \hspace{0.05cm} q_2,\hspace{0.05cm}\text{ ...} \hspace{0.05cm}, q_{ν-1}, \hspace{0.05cm}q_ν, \hspace{0.05cm}\hspace{0.05cm}q_{ν+1} .\hspace{0.05cm}\text{...} \hspace{0.05cm}〉$  and now consider the entropy of two successive source symbols.
*All source symbols  $q_ν$  are taken from an alphabet with the symbol beginning  $M$, so that it is not necessary for the combination  $(q_ν, \hspace{0. 05cm}q_{ν+1})$  exactly  $M^2$  there are possible symbol pairs with the following [[Theory_of_Stochastic_Signals/Set Theory Basics#Intersection|combined probabilities]]:

:$${\rm Pr}(q_{\nu}\cap q_{\nu+1})\le {\rm Pr}(q_{\nu}) \cdot {\rm Pr}( q_{\nu+1})
\hspace{0.05cm}.$$

*From this, the  ''compound entropy''  of an ordered pair can be computed:

:$$H_2\hspace{0.05cm}' = \sum_{q_{\nu}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm}q_{\mu}\hspace{0.01cm} \}} \sum_{q_{\nu+1}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm} q_{\mu}\hspace{0.01cm} \}}\hspace{-0.1cm}{\rm Pr}(q_{\nu}\cap q_{\nu+1}) \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{{\rm Pr}(q_{\nu}\cap q_{\nu+1})} \hspace{0.4cm}({\rm unit\hspace{-0.1cm}: \hspace{0.1cm}bit/order pair})
\hspace{0.05cm}.$$

:The index "2" symbolizes that the entropy thus calculated refers to two-tuples.

To get the average information content per symbol,  $H_2\hspace{0.05cm}'$  has to be divided in half:

:$$H_2 = {H_2\hspace{0.05cm}'}/{2} \hspace{0.5cm}({\rm unit\hspace{-0.1cm}: \hspace{0.1cm}bit/symbol})
\hspace{0.05cm}.$$

In order to achieve a consistent nomenclature, we now label the entropy defined in chapter  [[Information_Theory/Memoryless_Message Sources#Model_and_Prerequisites|Memoryless Message Sources]]  with  $H_1$:

:$$H_1$ = \sum_{q_{\nu}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm}q_{\mu}\hspace{0.01cm} {\}} {\rm Pr}(q_{\nu}) \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{{\rm Pr}(q_{\nu})} \hspace{0.5cm}({\rm unit\hspace{-0.1cm}: \hspace{0.1cm}bit/symbol})
\hspace{0.05cm}.$$

The index "1" is supposed to indicate that  $H_1$  considers only the symbol probabilities and not statistical links between symbols within the sequence.  With the decision content  $H_0 = \log_2 \ M$  the following size relation results:

$$H_0 \ge H_1 \ge H_2
\hspace{0.05cm}.$$

With statistical independence of the sequence elements  $H_2 = H_1$.

The previous equations each indicate a share mean value.   The probabilities required for the calculation of  $H_1$  and  $H_2$  can, however, also be calculated as time averages from a very long sequence or, more precisely, approximated by the corresponding  [[Theory_of_Stochastic_Signals/From Random Experiment to Random Variable#Bernoulli's_Law_of_Large_Numbers|relative frequencies]].

Let us now illustrate the calculation of entropy approximations  $H_1$  and  $H_2$  with three examples.

{{GraueBox|TEXT=
$\text{Example 2:}$ 
We will first look at the sequence  $〈 q_1$, ... , $q_{50} \rangle $  according to the graphic, where the sequence elements  $q_ν$  originate from the alphabet $\rm \{A, \ B, \ C \}$   ⇒   the symbol range is  $M = 3$.

[[File:Inf_T_1_2_S2_vers2.png|center|frame|Ternary symbol sequence and formation of two-tuples]]

By time averaging over the  $50$  symbols one gets the symbol probabilities  $p_{\rm A} ≈ 0.5$,   $p_{\rm B} ≈ 0.3$  and  $p_{\rm C} ≈ 0.2$, with which one can calculate the first order entropy approximation:

:$$H_1 = 0.5 \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{0.5} + 0.3 \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{0.3} + 0.2 \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{0.2} \approx \, 1.486 \,{\rm bit/symbol}
\hspace{0.05cm}.$$

Due to the not equally probable symbols  $H_1 < H_0 = 1.585 \hspace{0.05cm}. \rm bit/symbol$.  As an approximation for the probabilities of two-tuples one gets from the above sequence:

:$$\begin{align*}p_{\rm AA} \hspace{-0.1cm}& = \hspace{-0.1cm} 14/49\hspace{0.05cm}, \hspace{0.2cm}p_{\rm AB} = 8/49\hspace{0.05cm}, \hspace{0.2cm}p_{\rm AC} = 3/49\hspace{0.05cm}, \\\
p_{\rm BA} \hspace{-0.1cm}& = \hspace{0.07cm} 7/49\hspace{0.05cm}, \hspace{0.25cm}p_{\rm BB} = 2/49\hspace{0.05cm}, \hspace{0.2cm}p_{\rm BC} = 5/49\hspace{0.05cm}, \\\
p_{\rm CA} \hspace{-0.1cm}& = \hspace{0.07cm} 4/49\hspace{0.05cm}, \hspace{0.25cm}p_{\rm CB} = 5/49\hspace{0.05cm}, \hspace{0.2cm}p_{\rm CC} = 1/49\hspace{0.05cm}.\end{align*}$$

Please note that the  $50$  sequence elements can only be formed from  $49$  two-tuples  $(\rm AA$, ... , $\rm CC)$  which are marked in different colors in the graphic.

*The entropy approximation  $H_2$  should actually be equal to  $H_1$  since the given symbol sequence comes from a memoryless source.
*Because of the short sequence length  $N = 50$  and the resulting statistical inaccuracy, however, a smaller value results:  
:$$H_2 ≈ 1.39\hspace{0.05cm} \rm bit/symbol.$$}}

{{GraueBox|TEXT=
$\text{Example 3:}$ 
Now let us consider a  ''memoryless  binary source''  with equally probable symbols, i.e. there would be  $p_{\rm A} = p_{\rm B} = 1/2$.  The first twenty subsequent elements are   $〈 q_ν 〉 =\rm BBAAABAABBBBBAAAABABAB$ ...
*Because of the equally probable binary symbols   $H_1 = H_0 = 1 \hspace{0.05cm} \rm bit/symbol$.
*The compound probability  $p_{\rm AB}$  of the combination  $\rm AB$  is equal to  $p_{\rm A} - p_{\rm B} = 1/4$.  Also $p_{\rm AA} = p_{\rm BB} = p_{\rm BA} = 1/4$.
*This gives for the second entropy approximation

:$$H_2 = {1}/{2} \cdot \big [ {1}/{4} \cdot {\rm log}_2\hspace{0.1cm}4 + {1}/{4} \cdot {\rm log}_2\hspace{0.1cm}4 +{1}/{4} \cdot {\rm log}_2\hspace{0.1cm}4 +{1}/{4} \cdot {\rm log}_2\hspace{0.1cm}4 \big ] = 1 \,{\rm bit/symbol} = H_1 = H_0
\hspace{0.05cm}.$$

''Note'':   Due to the short length of the given sequence the probabilities are slightly different:  $p_{\rm AA} = 6/19$,  $p_{\rm BB} = 5/19$,  $p_{\rm AB} = p_{\rm BA} = 4/19$.}}

{{GraueBox|TEXT=
$\text{Example 4:}$ 
The third sequence considered here results from the binary sequence of  $\text{Example 3}$  by using a simple repeat code:
:$$〈 q_ν 〉 =\rm BbBbAaAaAaBbAaAaBbBb \text{...} $$
*The repeated symbols are marked by corresponding lower case letters.  It still applies  $M=2$.
*Because of the equally probable binary symbols, this also results in  $H_1 = H_0 = 1 \hspace{0.05cm} \rm bit/symbol$.
*As shown in  [[Exercise:1.3_Entropienäherungen|Exercise 1.3]]  for the compound probabilities we obtain  $p_{\rm AA}=p_{\rm BB} = 3/8$  and  $p_{\rm AB}=p_{\rm BA} = 1/8$.  Hence
:$$\begin{align*}H_2 ={1}/{2} \cdot \big [ 2 \cdot {3}/{8} \cdot {\rm log}_2\hspace{0.1cm} {8}/{3} +
2 \cdot {1}/{8} \cdot {\rm log}_2\hspace{0.1cm}8\big ] = {3}/{8} \cdot {\rm log}_2\hspace{0.1cm}8 - {3}/{8} \cdot{\rm log}_2\hspace{0.1cm}3 + {1}/{8} \cdot {\rm log}_2\hspace{0.1cm}8 \approx 0.906 \,{\rm bit/symbol} < H_1 = H_0
\hspace{0.05cm}.\end{align*}$$

A closer look at the task at hand leads to the following conclusion:
*The entropy should actually be  $H = 0.5 \hspace{0.05cm} \rm bit/symbol$  its (every second symbol does not provide new information)
*The second entropy approximation  $H_2 = 0.906 \hspace{0.05cm} \rm bit/symbol$  but is much larger than the entropy  $H$.
*For the determination of entropy the second order approximation is not sufficient.  rather, larger continuous blocks must be considered with  $k > 2$  symbols.
*In the following, such a block is referred to as  $k$-tuple.}}

==Generalization to $k$-tuple and boundary crossing ==
 
For abbreviation we write using the compound probability  $p_i^{(k)}$  a  $k$-tuple in general:

:$$H_k = \frac{1}{k} \cdot \sum_{i=1}^{M^k} p_i^{(k)} \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{p_i^{(k)} \hspace{0.5cm}({\rm unit\hspace{-0.1cm}: \hspace{0.1cm}bit/symbol})
\hspace{0.05cm}.$$

The control variable  $i$  stands for one of the  $M^k$ Tuple.  The previously calculated approximation  $H_2$  results with  $k = 2$.

{{BlaueBox|TEXT=
$\text{Definition:}$ 
The  '''Entropy of a message source with memory'''  has the following limit
:$$H = \lim_{k \rightarrow \infty }H_k \hspace{0.05cm}.$$

For the  ''entropy approximations''  $H_k$  the following relations apply  $(H_0$ is the decision content$)$:
:$$H \le \text{...} \le H_k \le \text{...} \le H_2 \le H_1 \le H_0 \hspace{0.05cm}.$$}}

The computational effort will increase with increasing  $k$  except for a few special cases (see the following example) and depends on the symbol size  $M$  of course:
*For the calculation of  $H_{10}$  a binary source  $(M = 2)$  is to be averaged over  $2^{10} = 1024$  terms.
*With each further increase of  $k$  by  $1$  the number of sum terms doubles.
*In case of a quaternary source  $(M = 4)$  it must already be averaged over  $4^{10} = 1\hspace{0.08cm}048\hspace{0.08cm}576$  summation terms must be averaged for the determination of  $H_{10}$.
* Considering that each of these  $4^{10} =2^{20} >10^6$  $k$-tuple should occur in simulation/time averaging about  $100$  times (statistical guideline) to ensure sufficient simulation accuracy, it follows that the sequence length should be greater than  $N = 10^8$ .

{{GraueBox|TEXT=
$\text{Example 5:}$ 
We consider an alternating binary sequence   ⇒   $〈 q_ν 〉 =\rm ABABABAB$ ...  .  Accordingly it holds that  $H_0 = H_1 = 1 \hspace{0.1cm} \rm bit/symbol$.

In this special case, the  $H_k$ approximation must be determined independently from  $k$  by averaging only two compound probabilities:
* $k = 2$:    $p_{\rm AB} = p_{\rm BA} = 1/2$     ⇒     $H_2 = 1/2 \hspace{0.2cm} \rm bit/symbol$,
* $k = 3$:    $p_{\rm ABA} = p_{\rm BAB} = 1/2$     ⇒     $H_3 = 1/3 \hspace{0.2cm} \rm bit/symbol$,
* $k = 4$:    $p_{\rm ABAB} = p_{\rm BABA} = 1/2$     ⇒     $H_4 = 1/4 \hspace{0.2cm} \rm bit/symbol$.

The (actual) entropy of this alternating binary sequence is therefore
:$$H = \lim_{k \rightarrow \infty }{1}/{k} = 0 \hspace{0.05cm}.$$

The result was to be expected, since the considered sequence has only minimal information, which does not affect the entropy end value  $H$  namely:     "Does  $\rm A$  occur at the even or the odd times?"

You can see that  $H_k$  comes closer to this final value  $H = 0$  very slowly:  The twentieth entropy approximation still returns  $H_{20} = 0.05 \hspace{0.05cm} \rm bit/symbol$. }}

{{BlaueBox|TEXT=
$\text{Summary of the results of the last pages:}$ 

*Generally it applies to the  '''Entropy of a message source'':
:$$H \le \text{...} \le H_3 \le H_2 \le H_1 \le H_0
\hspace{0.05cm}.$$
*A  '''redundancy-free source''   exists if all  $M$  symbols are equally probable and there are no statistical bonds within the sequence. For these,  $(r$  denotes the ''relative redundancy'' $)$:
:$$H = H_0 = H_1 = H_2 = H_3 = \text{...}\hspace{0.5cm}
\Rightarrow \hspace{0.5cm} r = \frac{H - H_0}{H_0}= 0 \hspace{0.05cm}.$$
*A  '''memoryless source'''   can be quite redundant  $(r> 0)$.  This redundancy then is solely due to the deviation of the symbol probabilities from the uniform distribution.  Here the following relations are valid
:$$H = H_1 = H_2 = H_3 = \text{...} \le H_0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm}0 \le r = \frac{H_1 - H_0}{H_0}< 1 \hspace{0.05cm}.$$
*The corresponding condition for a  '''source with memory'''  is
:$$ H <\text{...} < H_3 < H_2 < H_1 \le H_0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm} 0 < r = \frac{H_1 - H_0}{H_0}\le1 \hspace{0.05cm}.$$
*If  $H_2 < H_1$, then  $H_3 < H_2$,   $H_4 < H_3$, etc.   ⇒   In the general equation, the  "≤" character must be replaced by the  "<" character.
*If the symbols are equally probable, then again  $H_1 = H_0$, while  $H_1 < H_0$  applies to symbols which are not equally probable.}}

==The entropy of the AMI code ==
 
In chapter  [[Digital_Signal_Transmission/Symbol-wise_Coding_with_Pseudo_Ternary Codes#Properties_of_AMI Code|Symbol-wise Coding with Pseudo-Ternary Codes]]  of the book "Digital Signal Transmission", among other things, the AMI pseudo-ternary code is discussed.
*This converts the binary sequence  $〈 q_ν 〉$  with  $q_ν ∈ \{ \rm L, \ H \}$  into the ternary sequence  $〈 c_ν 〉$  with  $q_ν ∈ \{ \rm M, \ N, \ P \}$.
*The names of the source symbols stand for  $\rm L$ow  and  $\rm H$igh  and those of the code symbols for  $\rm M$inus,  $\rm N$ull  and  $\rm P$lus".

The coding rule of the AMI code ("Alternate Mark Inversion") is
[[File:P_ID2240__Inf_T_1_2_S4_neu.png|right|frame|Signals and symbol sequences for AMI code]]

*Each binary symbol  $q_ν =\rm L$  is represented by the code symbol  $c_ν =\rm N$ .
*In contrast,  $q_ν =\rm H$  alternates with  $c_ν =\rm P$  and  $c_ν =\rm M$  coded   ⇒   name "AMI".

This special encoding adds redundancy with the sole purpose of ensuring that the code sequence does not contain a DC component.
 
However, we do not consider the spectral properties of the AMI code here, but interpret this code information-theoretically:
*Based on the number of steps  $M = 3$  the decision content of the (ternary) code sequence is equal to  $H_0 = \log_2 \ 3 ≈ 1.585 \hspace{0.05cm} \rm bit/symbol$.  The first entropy approximation returns  $H_1 = 1.5 \hspace{0.05cm} \rm bit/Symbol$, as shown in the following calculation:

:$$p_{\rm H} = p_{\rm L} = 1/2 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}
p_{\rm N} = p_{\rm L} = 1/2\hspace{0.05cm},\hspace{0.2cm}p_{\rm M} = p_{\rm P}= p_{\rm H}/2 = 1/4\hspace{0.3cm}
\Rightarrow \hspace{0.3cm} H_1 = 1/2 \cdot {\rm log}_2\hspace{0.1cm}2 + 2 \cdot 1/4 \cdot{\rm log}_2\hspace{0.1cm}4 = 1.5 \,{\rm bit/symbol}
\hspace{0.05cm}.$$

*Let's now look at two-tuples.  With AMI code,  $\rm P$  cannot follow  $\rm P$  and  $\rm M$  cannot follow  $\rm M$  follow  The probability for  $\rm NN$  is equal to  $p_{\rm L} - p_{\rm L} = 1/4$.  All other (six) two-tuples occur with the probability  $1/8$  on.  From this follows for the second entropy approximation:
:$$H_2 = 1/2 \cdot \big [ 1/4 \cdot {\rm log_2}\hspace{0.1cm}4 + 6 \cdot 1/8 \cdot {\rm log_2}\hspace{0.1cm}8 \big ] = 1,375 \,{\rm bit/symbol} \hspace{0.05cm}.$$

*For the further entropy approximations  $H_3$,  $H_4$, ...  and the actual entropy  $H$  will apply:
:$$ H < \hspace{0.05cm}\text{...}\hspace{0.05cm} < H_5 < H_4 < H_3 < H_2 = 1.375 \,{\rm bit/symbol} \hspace{0.05cm}.$$

*Exceptionally in this example we know the actual entropy  $H$  of the code symbol sequence  $〈 c_ν 〉$:   since no new information is added by the coder and no information is lost, it is the same entropy  $H = 1 \,{\rm bit/symbol} $  as the one of the redundancy-free binary sequence $〈 q_ν 〉$.

The  [[Aufgaben:1.4_Entropienäherungen_für_den_AMI-Code|Exercise 1.4]]  shows the considerable effort required to calculate the entropy approximation  $H_3$.   Moreover,  $H_3$  still deviates significantly from the final value  $H = 1 \,{\rm bit/symbol} $.  A faster result is achieved if the AMI code is described by a markov chain as explained in the next section.

==Binary sources with Markov properties ==
 
[[File:Inf_T_1_2_S5_vers2.png|right|frame|Markov processes with  $M = 2$  states]]

Sequences with statistical bonds between the sequence elements (symbols) are often modeled by  [[Theory_of_Stochastic_Signals/Markov_Chains|Markov processes]]  where we limit ourselves here to first-order Markov processes.  First we consider a binary Markov process  $(M = 2)$  with the states (symbols)  $\rm A$  and  $\rm B$.

On the right, you can see the transition diagram for a first-order binary Markov process  however, only two of the four transfer probabilities given are freely selectable, for example
* $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}} = \rm Pr(A\hspace{0.01cm}|\hspace{0.01cm}B)$   ⇒   conditional probability that  $\rm A$  follows  $\rm B$ .
* $p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}} = \rm Pr(B\hspace{0.01cm}|\hspace{0.01cm}A)$   ⇒   conditional probability that  $\rm B$  follows  $\rm A$ .

For the other two transition probabilities  $p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = 1- p_{\rm B\hspace{0. 01cm}|\hspace{0.01cm}A}$  and   $p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} = 1- p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}
\hspace{0.05cm}.$

Due to the presupposed properties  [[Theory_of_Stochastic_Signals/Auto-correlation Function_(ACF)#Stationary_Random Processes|Stationarity]]  and  [[Theory_of_Stochastic_Signals/Auto-correlation Function_(ACF)#Ergodic_Random Processes|Ergodicity]]  the following applies to the state or symbol probabilities:

:$$p_{\rm A} = {\rm Pr}({\rm A}) = \frac{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}}{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}
\hspace{0.05cm}, \hspace{0.5cm}p_{\rm B} = {\rm Pr}({\rm B}) = \frac{p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}
\hspace{0.05cm}.$$

These equations allow first information theoretical statements about the Markov processes:
* For  $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}}} = p_{\rm {B\hspace{0.01cm}|\hspace{0. 01cm}A}}$  the symbols are equally likely   ⇒   $p_{\text{A}} = p_{\text{B}}= 0.5$.  The first entropy approximation returns  $H_1 = H_0 = 1 \hspace{0.05cm} \rm bit/symbol$, independent of the actual values of the (conditional) transition probabilities  $p_{\text{A|B}}$   or   $p_{\text{B|A}}$.
*The source entropy  $H$  as the threshold value  $($for  $k \to \infty)$  of the  [[Information_Theory/News_sources_with_Memory#Generalization_to_.7F.27 .22.60UNIQ-MathJax109-QINU.60.22.27.7F.E2.80.93Tuple_and_boundary.C3.BCtransition|Entropy approximation  $k$th order]]   ⇒   $H_k$  but depends very much on the actual values of  $p_{\text{A|B}}$  and  $p_{\text{B|A}}$  and not only on their quotients.  This is shown by the following example.

{{GraueBox|TEXT=
$\text{Example 6:}$ 
We consider three binary symmetric Markov sources that are represented by the numerical values of the symmetric transition probabilities  $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} }$ .  For the symbol probabilities the following applies:  $p_{\rm A} = p_{\rm B}= 0.5$, and the other transition probabilities have the values

[[File:P_ID2242__Inf_T_1_2_S5b_neu.png|right|frame|Three examples of binary Markov sources]]
:$$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } =
p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}B} }.$$

*The middle (blue) symbol sequence with  $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.5$  has the entropy  $H ≈ 1 \hspace{0.1cm} \rm bit/symbol$.  That means:   In this special case there are no statistical bonds within the sequence.

*The left (red) sequence with  $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.2$  has less changes between  $\rm A$  and  $\rm B$  and  $\rm B$  Due to statistical dependencies between neighboring symbols the entropy is now smaller  $H ≈ 0.72 \hspace{0.1cm} \rm bit/symbol$.

*The right (green) symbol sequence with  $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.8$  has the exact same entropy  $H ≈ 0.72 \hspace{0.1cm} \rm bit/symbol$  as the red sequence.  Here you can see many areas with alternating symbols  $($... $\rm ABABAB$ ... $)$.}}}

This example is worth noting:
*If you had not used the markup properties of the red and green sequences, you would have reached the respective result  $H ≈ 0.72 \hspace{0.1cm} \rm bit/symbol$  only after lengthy calculations.
*The following pages show that for a source with mark properties the final value  $H$  can be determined from the entropy approximations  $H_1$  and  $H_2$  alone.   Likewise, all entropy approximations  $H_1$  and  $H_2$  can also be calculated from  $H_k$  for  $k$-tuples in a simple manner   ⇒   $H_3$,  $H_4$,  $H_5$, ...   $H_{100}$, ...

== Simplified entropy calculation for Markov sources ==
 
[[File:Inf_T_1_2_S5_vers2.png|right|frame|Markov processes with  $M = 2$  states]]
We continue to assume the first-order symmetric binary Markov source.  As on the previous page, we use the following nomenclature for
*the transition probabilities  $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}}$,   $p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$,  $p_{\rm {A\hspace{0. 01cm}|\hspace{0.01cm}A}}}= 1- p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$,   $p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}B}} = 1 - p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}}$,  
*the ergodic probabilities  $p_{\text{A}}$  and  $p_{\text{B}}$,
*the compound probabilities, for example  $p_{\text{AB}} = p_{\text{A}} - p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$.

We now compute the  [[Information_Theory/Sources with Memory#Entropy_in_Two_Tuple|Entropy of a two-tuple]]  (with the unit "bit/two-tuple"):

:$$H_2\hspace{0.05cm}' = p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm B} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm B} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
\hspace{0.05cm}.$$

If one now replaces the logarithms of the products by corresponding sums of logarithms, one gets the result  $H_2\hspace{0.05cm}' = H_1 + H_{\text{M}}$  with
:$$H_1 = p_{\rm A} \cdot (p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A})\cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_{\rm A}} + p_{\rm B} \cdot (p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B})\cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_{\rm B}} = p_{\rm A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_{\rm A}} + p_{\rm B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_{\rm B}} = H_{\rm bin} (p_{\rm A})= H_{\rm bin} (p_{\rm B})
\hspace{0.05cm},$$
:$$H_{\rm M}= p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm B} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm B} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$  Thus the  '''second entropy approximation'''  (with the unit "bit/symbol"):
:$$H_2 = {1}/{2} \cdot {H_2\hspace{0.05cm}'} = {1}/{2} \cdot \big [ H_{\rm 1} + H_{\rm M} \big]
\hspace{0.05cm}.$$}}

is to be noted:
*The first summand  $H_1$   ⇒   first entropy approximation depends only on the symbol probabilities.
*For a symmetrical markov process   ⇒   $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}} = p_{\rm {B\hspace{0.01cm}|\hspace{0. 01cm}A}} $   ⇒   $p_{\text{A}}} = p_{\text{B}}} = 1/2$   this is the result for this first summand  $H_1 = 1 \hspace{0.1cm} \rm bit/symbol$.
*The second summand  $H_{\text{M}}$  must be calculated according to the second of the two upper equations.
*For a symmetrical Markov process you get  $H_{\text{M}}} = H_{\text{bin}}(p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B})$.

Now, this result is extended to the  $k$-th entropy approximation.  Here, the advantage of Markov sources over other sources is taken advantage of, that the entropy calculation for  $k$-tuples is very simple.  For each Markov source, the following applies

:$$H_k = {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H_{\rm M}\big ] \hspace{0.3cm} \Rightarrow \hspace{0.3cm}
H_2 = {1}/{2} \cdot \big [ H_{\rm 1} + H_{\rm M} \big ]\hspace{0.05cm}, \hspace{0.3cm}
H_3 ={1}/{3} \cdot \big [ H_{\rm 1} + 2 \cdot H_{\rm M}\big ] \hspace{0.05cm},\hspace{0.3cm}
H_4 = {1}/{4} \cdot \big [ H_{\rm 1} + 3 \cdot H_{\rm M}\big ]
\hspace{0.05cm},\hspace{0.15cm}{\rm usw.}$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$  With the boundary condition for  $k \to \infty$, one obtains the actual source entropy
:$$H = \lim_{k \rightarrow \infty} H_k = H_{\rm M} \hspace{0.05cm}.$$
From this simple result important insights for the entropy calculation follow:
*For Markov sources it is sufficient to determine the entropy approximations  $H_1$  and  $H_2$.  Thus, the entropy of a Markov source is
:$$H = 2 \cdot H_2 - H_{\rm 1} \hspace{0.05cm}.$$

*Through  $H_1$  and  $H_2$  all further entropy approximations  $H_k$  are also fixed for  $k \ge 3$ :

:$$H_k = \frac{2-k}{k} \cdot H_{\rm 1} + \frac{2\cdot (k-1)}{k} \cdot H_{\rm 2}
\hspace{0.05cm}.$$}}

However, these approximations are not very important.  Mostly only the limit value  $H$.  For sources without markov properties the approximations  $H_k$  are calculated only to be able to estimate this limit value, i.e. the actual entropy.

''Notes'':
*In the  [[Aufgaben:1.5_Binäre_Markovquelle|Task 1.5]]  the above equations are applied to the more general case of an asymmetric binary source.
*All equations on this page also apply to non-binary Markov sources  $(M > 2)$ as shown on the next page.

==Non-binary Markov sources ==
 
[[File:P_ID2243__Inf_T_1_2_S6_neu.png|right|frame|Ternary and Quaternary First Order Markov Source]]

The following equations apply to each Markov source regardless of the symbol range:

:$$H = 2 \cdot H_2 - H_{\rm 1} \hspace{0.05cm},$$
:$$H_k = {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H_{\rm M}\big ] \hspace{0.05cm},$$
:$$ \lim_{k \rightarrow \infty} H_k = H
\hspace{0.05cm}.$$

These equations allow the simple calculation of the entropy  $H$  from the approximations  $H_1$  and  $H_2$.

We now look at the transition diagrams sketched on the right
*a ternary Markov source  $\rm MQ3$  $($  $M = 3$,  blue coloring$)$ and
*a quaternary Markov source  $\rm MQ4$  $(M = 4$,  red color$)$.
 
In  [[Aufgaben:1.6_Nichtbinäre_Markovquellen|Exercise 1.6]]  the entropy approximations  $H_k$  and the source entropy  $H$  are calculated as the limit of  $H_k$  for  $k \to \infty$ .   The results are shown in the following figure.  All entropies specified there have the unit "bit/symbol".

[[File:P_ID2244__Inf_T_1_2_S6b_neu.png|center|frame|Entropies for  $\rm MQ3$,  $\rm MQ4$  and the  $\rm AMI-Code$]].

These results can be interpreted as follows:
*For the ternary markov source  $\rm MQ3$  the entropy approximations of  $H_1 = 1,500$  above  $H_2 = 1,375$  up to the limit  $H = 1,250$  continuously decreasing  paths  $M = 3$  the decision content is  $H_0 = 1,585$.
*For the quaternary Markov source  $\rm MQ4$  one receives  $H_0 = H_1 = 2,000$  (since four equally probable states) and  $H_2 = 1.5$.   From the  $H_1$-  and  $H_2$-value all entropy approximations  $H_k$  and the final value  $H = 1.000$  can be calculated.
*The two models  $\rm MQ3$  and  $\rm MQ4$  were created during the attempt to calculate the  [[Information_Theory/Sources_with_Memory#The_Entropy_of_AMI.E2.80. 93Codes|AMI-Code]]  to be described information theoretically by Markov sources.  The symbols  $\rm M$,  $\rm N$  and  $\rm P$  stand for "minus", "zero" and "plus".
*The entropy approximations  $H_1$,  $H_2$  and  $H_3$  of the AMI code (green markers) were calculated in the  [[Tasks:1.4_Entropy Approximations_Hk|Task A1.4]]  on the calculation of  $H_4$,  $H_5$, ... had to be omitted for reasons of effort.  But the final value of  $H_k$  for  $k \to \infty$   ⇒   $H = 1,000$ is known.
*You can see that the Markov model  $\rm MQ3$  for  $H_0 = 1,585$,  $H_1 = 1,500$  and  $H_2 = 1,375$  yields exactly the same numerical values as the AMI code.   On the other hand  $H_3$  ⇒   $(1,333$  instead of  $1,292)$  and especially the final value  $H$  ⇒   $(1,250$  compared to  $1,000)$.
*The model  $\rm MQ4$  $(M = 4)$  differs from the AMI code  $(M = 3)$  with respect to the decision content  $H_0$  and also with respect to all entropy approximations  $H_k$.   Nevertheless, $\rm MQ4$  is the more suitable model for the AMI code, since the final value  $H = 1,000$  is the same.
*The model  $\rm MQ3$  yields entropy values that are too large, since the sequences  $\rm PNP$  and  $\rm MNM$  are possible here, which cannot occur in the AMI code.   Already with the approximation  $H_3$  the difference is slightly noticeable, in the final value  $H$  even clearly  $(1.25$  instead of  $1)$.

In the model  $\rm MQ4$  the state  "Null"  was split into two states  $\rm N$  and  $\rm O$  (see upper right figure on this page):
*Here applies to the state  $\rm N$:   The current binary symbol  $\rm L$  is displayed with the amplitude value  $0$  (zero), as per the AMI rule.  The next occurring  $\rm H$ symbol, on the other hand, is displayed as  $-1$  (minus), because the last  $\rm H$ symbol was encoded as  $+1$  (plus).
*The current binary symbol  $\rm O$  is also displayed with the state  $\rm L$  with the ternary value  $0$ .   In contrast to the state  $\rm N$  however, the next occurring  $\rm H$ symbol is now displayed as  $+1$  (Plus) since the last  $\rm H$ symbol was encoded as  $-1$  (Minus).

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*The  $\rm MQ4$–Output sequence actually follows the rules of the AMI code and assigns the entropy  $H = 1.000 \hspace{0.15cm} \rm bit/symbol$  up.
*Because of the new state  $\rm O$  but is now  $H_0 = 2.000 \hspace{0.15cm} \rm bit/symbol$  $($against  $1.585 \hspace{0.15cm} \rm bit/symbol)$  clearly too large.
*Also all  $H_k$ approximations are larger than in AMI code.
*First for  $k \to \infty$  the model  $\rm MQ4$  and the AMI code match exactly:   $H = 1,000 \hspace{0.15cm} \rm bit/symbol$.}}

== Exercises for chapter==
 
[[Aufgaben:1.3 Entropienäherungen|Aufgabe 1.3: Entropienäherungen]]

[[Aufgaben:1.4 Entropienäherungen für den AMI-Code|Aufgabe 1.4: Entropienäherungen für den AMI-Code]]

[[Aufgaben:1.4Z Entropie der AMI-Codierung|Zusatzaufgabe 1.4Z: Entropie der AMI-Codierung]]

[[Aufgaben:1.5 Binäre Markovquelle|Aufgabe 1.5: Binäre Markovquelle]]

[[Aufgaben:1.5Z Symmetrische Markovquelle|Aufgabe 1.5Z: Symmetrische Markovquelle]]

[[Aufgaben:1.6 Nichtbinäre Markovquellen|Aufgabe 1.6: Nichtbinäre Markovquellen]]

[[Aufgaben:1.6Z Ternäre Markovquelle|Aufgabe 1.6Z:Ternäre Markovquelle]]

{{Display}}

Information Theory/Discrete Memoryless Sources

2020-10-28T01:39:07Z

Rosa:

{{FirstPage}}
{{Header
|Untermenü=Entropie wertdiskreter Nachrichtenquellen
|Vorherige Seite=
|Nächste Seite=Nachrichtenquellen mit Gedächtnis
}}

== # OVERVIEW OF THE FIRST MAIN CHAPTER # ==
 
This first chapter describes the calculation and the meaning of entropy.  According to the Shannonian information definition, entropy is a measure of the mean uncertainty about the outcome of a statistical event or the uncertainty in the measurement of a stochastic quantity.  Somewhat casually expressed, the entropy of a random quantity quantifies its "randomness".

In detail are discussed:

*the ''decision content''  and the ''entropy''  of a memoryless news source,
*the ''binary entropy function''  and its application to ''non-binary sources'',
*the entropy calculation for ''memory sources''  and suitable approximations,
*the peculiarities of ''Markov sources''  regarding the entropy calculation,
*the procedure for sources with a large number of symbols, for example ''natural texts'',
*the ''entropy estimates''  according to Shannon and Küpfmüller.

Further information on the topic as well as Exercises, simulations and programming exercises can be found in the experiment "Value Discrete Information Theory" of the practical course "Simulation Digitaler Übertragungssysteme" (english: Simulation of Digital Transmission Systems).  This (former) LNT course at the TU Munich is based on

*the Windows program  [http://en.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]   ⇒   the link points to the ZIP version of the program and
*the associated  [http://en.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Internship guide]   ⇒   the link refers to the PDF version.

== Model and requirements ==
 
We consider a value discrete message source  $\rm Q$, which gives a sequence  $ \langle q_ν \rangle$  of symbols.
*For the run variable  $ν = 1$, ... , $N$, where  $N$  should be "sufficiently large".
*Each individual source symbol  $q_ν$  comes from a symbol set  $\{q_μ \}$  where  $μ = 1$, ... , $M$, where  $M$  denotes the symbol range:

:$$q_{\nu} \in \left \{ q_{\mu} \right \}, \hspace{0.25cm}{\rm with}\hspace{0.25cm} \nu = 1, \hspace{0.05cm} \text{ ...}\hspace{0.05cm} , N\hspace{0.25cm}{\rm and}\hspace{0.25cm}\mu = 1,\hspace{0.05cm} \text{ ...}\hspace{0.05cm} , M \hspace{0.05cm}.$$

The figure shows a quaternary message source  $(M = 4)$  with the alphabet  $\rm \{A, \ B, \ C, \ D\}$  and an exemplary sequence of length  $N = 100$.

[[File:P_ID2227_Inf_T_1_1_S1a_neu.png|frame|Memoryless Quaternary Message Source]]

The following requirements apply:
*The quaternary news source is fully described by  $M = 4$  symbol probabilities  $p_μ$.  In general it applies:
:$$\sum_{\mu = 1}^M \hspace{0.1cm}p_{\mu} = 1 \hspace{0.05cm}.$$
*The message source is memoryless, i.e., the individual sequence elements are  [[Theory_of_Stochastic_Signals/Statistical Dependence and Independence#General_definition_of_statistical_dependence|statistically independent of each other]]:
:$${\rm Pr} \left (q_{\nu} = q_{\mu} \right ) = {\rm Pr} \left (q_{\nu} = q_{\mu} \hspace{0.03cm} | \hspace{0.03cm} q_{\nu -1}, q_{\nu -2}, \hspace{0.05cm} \text{ ...}\hspace{0.05cm}\right ) \hspace{0.05cm}.$$
*Since the alphabet consists of symbols  (and not of random variables) , the specification of  [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments|expected values]]  (linear mean, quadratic mean, dispersion, etc.) is not possible here, but also not necessary from an information-theoretical point of view.

These properties will now be illustrated with an example.

[[File:Inf_T_1_1_S1b_vers2.png|right|frame|Relative frequencies as a function of  $N$]]
{{GraueBox|TEXT=
$\text{Example 1:}$ 
For the symbol probabilities of a quaternary source applies:
:$$p_{\rm A} = 0.4 \hspace{0.05cm},\hspace{0.2cm}p_{\rm B} = 0.3 \hspace{0.05cm},\hspace{0.2cm}p_{\rm C} = 0.2 \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D} = 0.1\hspace{0.05cm}.$$
For an infinitely long sequence  $(N \to \infty)$
*the  [[Theory_of_Stochastic_Signals/From_Random_Experiment_to_Random_Variable#Bernoulli's_Law_of_Large_Numbers|relative frequencies]]  $h_{\rm A}$,  $h_{\rm B}$,  $h_{\rm C}$,  $h_{\rm D}$   ⇒   a-posteriori parameters
*were identical to the  [[Theory_of_Stochastic_Signals/Some_Basic_Definitions#Event_and_Event_set|probabilities]]  $p_{\rm A}$,  $p_{\rm B}$,  $p_{\rm C}$,  $p_{\rm D}$   ⇒   a-priori parameters.

With smaller  $N$  deviations may occur, as the adjacent table (result of a simulation) shows.

*In the graphic above an exemplary sequence is shown with  $N = 100$  symbols.
*Due to the set elements  $\rm A$,  $\rm B$,  $\rm C$  and  $\rm D$  no mean values can be given.

However, if you replace the symbols with numerical values, for example  $\rm A \Rightarrow 1$,   $\rm B \Rightarrow 2$,   $\rm C \Rightarrow 3$,   $\rm D \Rightarrow 4$, then you will get     time averaging   ⇒   crossing line     or     ensemble averaging   ⇒   expected value formation
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Linear_Average_-_Direct_Component|linear average]] :
:$$m_1 = \overline { q_{\nu} } = {\rm E} \big [ q_{\mu} \big ] = 0.4 \cdot 1 + 0.3 \cdot 2 + 0.2 \cdot 3 + 0.1 \cdot 4
= 2 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Square_mean_.E2.80.93_Variance_.E2.80.93_Scattering |square mean]]:
:$$m_2 = \overline { q_{\nu}^{\hspace{0.05cm}2} } = {\rm E} \big [ q_{\mu}^{\hspace{0.05cm}2} \big ] = 0.4 \cdot 1^2 + 0.3 \cdot 2^2 + 0.2 \cdot 3^2 + 0.1 \cdot 4^2
= 5 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments#Some_often_used_Central_Moments|standard deviation]] (scattering) according to the "Theorem of Steiner":
:$$\sigma = \sqrt {m_2 - m_1^2} = \sqrt {5 - 2^2} = 1 \hspace{0.05cm}.$$}}

==Decision content - Message content==
 
[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  defined in 1948 in the standard work of information theory  [Sha48]<ref name='Sha48'>Shannon, C.E.: A Mathematical Theory of Communication. In: Bell Syst. Techn. J. 27 (1948), pp. 379-423 and pp. 623-656.</ref>  the concept of information as "decrease of uncertainty about the occurrence of a statistical event".

Let us make a mental experiment with  $M$  possible results, which are all equally probable:   $p_1 = p_2 = \hspace{0.05cm} \text{ ...}\hspace{0.05cm} = p_M = 1/M \hspace{0.05cm}.$

Under this assumption applies:
*Is  $M = 1$, then each individual attempt will yield the same result and therefore there is no uncertainty about the output.
*On the other hand, an observer learns about an experiment with  $M = 2$, for example the "coin toss" with the set of events  $\big \{\rm \boldsymbol{\rm Z}, \rm \boldsymbol{\rm W} \big \}$  and the probabilities  $p_{\rm Z} = p_{\rm W} = 0. 5$, a gain in information; The uncertainty regarding  $\rm Z$  resp.  $\rm W$  is resolved.
*In the experiment "dice"  $(M = 6)$  and even more in roulette  $(M = 37)$  the gained information is even more significant for the observer than in the "coin toss" when he learns which number was thrown or which ball fell.
*Finally it should be considered that the experiment  "triple coin toss"  with the  $M = 8$  possible results  $\rm ZZZ$,  $\rm ZZW$,  $\rm ZWZ$,  $\rm ZWW$,  $\rm WZZ$,  $\rm WZW$,  $\rm WWZ$,  $\rm WWW$  provides three times the information as the single coin toss  $(M = 2)$.

The following definition fulfills all the requirements listed here for a quantitative information measure for equally probable events, indicated only by the symbol range  $M$.

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''decision content'''   of a message source depends only on the symbol range  $M$  and results in

:$$H_0 = {\rm log}\hspace{0.1cm}M = {\rm log}_2\hspace{0.1cm}M \hspace{0.15cm} {\rm (in \ “bit")}
= {\rm ln}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “nat")}
= {\rm lg}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “Hartley")}\hspace{0.05cm}.$$

*The term  ''message content'' is also commonly used for this.
*Since  $H_0$  indicates the maximum value of the  [[Information_Theory/Sources with Memory#Information_Content_and_Entropy|Entropy]]  $H$ , $H_\text{max}$  is also used in our tutorial as short notation . }}

Please note our nomenclature:
*The logarithm will be called "log" in the following, independent of the base.
*The relations mentioned above are fulfilled due to the following properties:

:$${\rm log}\hspace{0.1cm}1 = 0 \hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}37 > {\rm log}\hspace{0.1cm}6 > {\rm log}\hspace{0.1cm}2\hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}M^k = k \cdot {\rm log}\hspace{0.1cm}M \hspace{0.05cm}.$$

* Usually we use the logarithm to the base  $2$   ⇒   ''Logarithm dualis''  $\rm (ld)$, where the pseudo unit "bit", more precisely:  "bit/symbol", is then added:

:$${\rm ld}\hspace{0.1cm}M = {\rm log_2}\hspace{0.1cm}M = \frac{{\rm lg}\hspace{0.1cm}M}{{\rm lg}\hspace{0.1cm}2}
= \frac{{\rm ln}\hspace{0.1cm}M}{{\rm ln}\hspace{0.1cm}2}
\hspace{0.05cm}.$$

*In addition, you can find in the literature some additional definitions, which are based on the natural logarithm  $\rm (ln)$  or the logarithm  $\rm (lg)$ .

==Information content and entropy ==
 
We now waive the previous requirement that all  $M$  possible results of an experiment are equally probable.  In order to keep the spelling as compact as possible, we define for this page only:

:$$p_1 > p_2 > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_\mu > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_{M-1} > p_M\hspace{0.05cm},\hspace{0.4cm}\sum_{\mu = 1}^M p_{\mu} = 1 \hspace{0.05cm}.$$

We now consider the ''information content''  of the individual symbols, where we denote the "logarithm dualis" with $\log_2$:

:$$I_\mu = {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}= -\hspace{0.05cm}{\rm log_2}\hspace{0.1cm}{p_\mu}
\hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

You can see:
*because of  $p_μ ≤ 1$  the information content is never negative.  In the borderline case  $p_μ \to 1$  goes  $I_μ \to 0$.
*However for  $I_μ = 0$   ⇒   $p_μ = 1$   ⇒   $M = 1$  the decision content is also  $H_0 = 0$.
*For decreasing probabilities  $p_μ$  the information content increases continuously:

:$$I_1 < I_2 < \hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_\mu <\hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_{M-1} < I_M \hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$  '''The more improbable an event is, the greater is its information content'''.  This fact is also found in daily life:
*"6 right ones" in the lottery are more likely to be noticed than "3 right ones" or no win at all.
*A tsunami in Asia also dominates the news in Germany for weeks as opposed to the almost standard Deutsche Bahn delays.
*A series of defeats of Bayern Munich leads to huge headlines in contrast to a winning series.  With 1860 Munich exactly the opposite is the case.}}

However, the information content of a single symbol (or event) is not very interesting.  On the other hand
*by ensemble averaging over all possible symbols  $q_μ$  bzw. 
*by time averaging over all elements of the sequence  $\langle q_ν \rangle$

one of the central variables of information theory.

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''Entropy'''  $H$  of a source indicates the ''mean information content of all symbols'' :

:$$H = \overline{I_\nu} = {\rm E}\hspace{0.01cm}[I_\mu] = \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}=
-\sum_{\mu = 1}^M p_{\mu} \cdot{\rm log_2}\hspace{0.1cm}{p_\mu} \hspace{0.5cm}\text{(unit: bit, more precisely: bit/symbol)}
\hspace{0.05cm}.$$

The overline marks again a time averaging and  $\rm E[\text{...}]$  a ensemble averaging.}}

Entropy is among other things a measure for
*the mean uncertainty about the outcome of a statistical event,
*the "randomness" of this event,  and
*the average information content of a random variable.

==Binary entropy function ==
 
At first we will restrict ourselves to the special case  $M = 2$  and consider a binary source, which returns the two symbols  $\rm A$  and  $\rm B$    The occurrence probabilities are   $p_{\rm A} = p$  and  $p_{\rm B} = 1 - p$.

For the entropy of this binary source applies:

:$$H_{\rm bin} (p) = p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p} \hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

The function is called  $H_\text{bin}(p)$  the  '''binary entropy function'''.  The entropy of a source with a larger symbol range  $M$  can often be expressed using  $H_\text{bin}(p)$ .

{{GraueBox|TEXT=
$\text{Example 2:}$ 
The figure shows the binary entropy function for the values  $0 ≤ p ≤ 1$  of the symbol probability of  $\rm A$  $($or also of  $\rm B)$.  You can see

[[File:Inf_T_1_1_S4_vers2.png|frame|Binary entropy function as function of  $p$|right]]
*The maximum value  $H_\text{max} = 1\; \rm bit$  results for  $p = 0.5$, thus for equally probable binary symbols.  Then   $\rm A$  and  $\rm B$  contribute the same amount to entropy.
* $H_\text{bin}(p)$  is symmetrical about  $p = 0.5$.  A source with  $p_{\rm A} = 0.1$  and  $p_{\rm B} = 0. 9$  has the same entropy  $H = 0.469 \; \rm bit$  as a source with  $p_{\rm A} = 0.9$  and  $p_{\rm B} = 0.1$.
*The difference  $ΔH = H_\text{max} - H$ gives  the  ''redundancy''  of the source and  $r = ΔH/H_\text{max}$  the  ''relative redundancy''.   In the example,  $ΔH = 0.531\; \rm bit$  and  $r = 53.1 \rm \%$.
*For  $p = 0$  this results in  $H = 0$, since the symbol sequence  $\rm B \ B \ B \text{...}$  can be predicted with certainty.   Actually, the symbol range is now only  $M = 1$.  The same applies to  $p = 1$   ⇒   symbol sequence  $\rm A \ A \ A \ text{...}$.
*$H_\text{bin}(p)$  is always a  ''concave function'', since the second derivative after the parameter  $p$  is negative for all values of  $p$ :
:$$\frac{ {\rm d}^2H_{\rm bin} (p)}{ {\rm d}\,p^2} = \frac{- 1}{ {\rm ln}(2) \cdot p \cdot (1-p)}< 0
\hspace{0.05cm}.$$}}

==Message sources with a larger symbol range==
 
In the  [[Information_Theory/Sources with Memory#Model_and_Prerequisites|first section]]  of this chapter we have a quaternary message source  $(M = 4)$  with the symbol probabilities  $p_{\rm A} = 0. 4$,   $p_{\rm B} = 0.3$,   $p_{\rm C} = 0.2$   and  $ p_{\rm D} = 0.1$  considered.  This source has the following entropy:

:$$H_{\rm quat} = 0.4 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0. 3} + 0.2 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.1}.$$

For numerical calculation, the detour via the decimal logarithm  $\lg \ x = {\rm log}_{10} \ x$ , is often necessary. Since the ''logarithm dualis''  $ {\rm log}_2 \ x$  is mostly not found on pocket calculators.

:$$H_{\rm quat}=\frac{1}{{\rm lg}\hspace{0.1cm}2} \cdot \left [ 0.4 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0. 3} + 0.2 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.2} + 0.1 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.1} \right ] = 1.845\,{\rm bit}
\hspace{0.05cm}.$$

{{{GraueBox|TEXT=
$\text{Example 3:}$ 
Now there are certain symmetries between the symbol probabilities:
[[File:Inf_T_1_1_S5_vers2.png|frame|Entropy of binary source and quaternary source]]

:$$p_{\rm A} = p_{\rm D} = p \hspace{0.05cm},\hspace{0.4cm}p_{\rm B} = p_{\rm C} = 0.5 - p \hspace{0.05cm},\hspace{0.3cm}{\rm with} \hspace{0.15cm}0 \le p \le 0.5 \hspace{0.05cm}.$$

In this case, the binary entropy function can be used to calculate the entropy:

:$$H_{\rm quat} = 2 \cdot p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm} } + 2 \cdot (0.5-p) \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.5-p}$$
$$\Rightarrow \hspace{0.3cm} H_{\rm quat} = 1 + H_{\rm bin}(2p) \hspace{0.05cm}.$$

The graphic shows as a function of  $p$
*the entropy of the quaternary source (blue)
*in comparison to the entropy course of the binary source (red).

For the quaternary source only the abscissa  $0 ≤ p ≤ 0.5$  is allowed.
 
You can see from the blue curve for the quaternary source:
*The maximum entropy  $H_\text{max} = 2 \; \rm bit/symbol$  results for  $p = 0.25$   ⇒   equally probable symbols:   $p_{\rm A} = p_{\rm B} = p_{\rm C} = p_{\rm A} = 0.25$.
*With  $p = 0$  resp.  $p = 0.5$  the quaternary source degenerates to a binary source with  $p_{\rm B} = p_{\rm C} = 0. 5$  and  $p_{\rm A} = p_{\rm D} = 0$   ⇒   entropy  $H = 1 \; \rm bit/symbol$.
*The source with  $p_{\rm A} = p_{\rm D} = 0.1$  and  $p_{\rm B} = p_{\rm C} = 0.4$  has the following characteristics (each with the pseudo unit "bit/symbol"):

:     '''(1)'''   entropy:   $H = 1 + H_{\rm bin} (2p) =1 + H_{\rm bin} (0.2) = 1.722,$

:     '''(2)'''   Redundancy:   ${\rm \Delta }H = {\rm log_2}\hspace{0.1cm} M - H =2- 1.722= 0.278,$

:     '''(3)'''   relative redundancy:   $r ={\rm \delta }H/({\rm log_2}\hspace{0.1cm} M) = 0.139\hspace{0.05cm}.$

*The redundancy of the quaternary source with  $p = 0.1$  is equal to  $ΔH = 0.278 \; \rm bit/symbol$  and thus exactly the same as the redundancy of the binary source with  $p = 0.2$.}}

== Exercises for chapter==
 
[[Aufgaben:1.1 Wetterentropie|Aufgabe 1.1: Wetterentropie]]

[[Aufgaben:1.1Z Binäre Entropiefunktion|Aufgabe 1.1Z: Binäre Entropiefunktion]]

[[Aufgaben:1.2 Entropie von Ternärquellen|Aufgabe 1.2: Entropie von Ternärquellen]]

==List of sources==
<references />

{{Display}}

Information Theory/Discrete Memoryless Sources

2020-10-27T22:48:24Z

Rosa:

{{FirstPage}}
{{Header
|Untermenü=Entropie wertdiskreter Nachrichtenquellen
|Vorherige Seite=
|Nächste Seite=Nachrichtenquellen mit Gedächtnis
}}

== # OVERVIEW OF THE FIRST MAIN CHAPTER # ==
 
This first chapter describes the calculation and the meaning of entropy.  According to the Shannonian information definition, entropy is a measure of the mean uncertainty about the outcome of a statistical event or the uncertainty in the measurement of a stochastic quantity.  Somewhat casually expressed, the entropy of a random quantity quantifies its "randomness".

In detail are discussed:

*the ''decision content''  and the ''entropy''  of a memoryless news source,
*the ''binary entropy function''  and its application to ''non-binary sources'',
*the entropy calculation for ''memory sources''  and suitable approximations,
*the peculiarities of ''Markov sources''  regarding the entropy calculation,
*the procedure for sources with a large number of symbols, for example ''natural texts'',
*the ''entropy estimates''  according to Shannon and Küpfmüller.

Further information on the topic as well as Exercises, simulations and programming exercises can be found in the experiment "Value Discrete Information Theory" of the practical course "Simulation Digitaler Übertragungssysteme" (english: Simulation of Digital Transmission Systems).  This (former) LNT course at the TU Munich is based on

*the Windows program  [http://en.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]   ⇒   the link points to the ZIP version of the program and
*the associated  [http://en.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Internship guide]   ⇒   the link refers to the PDF version.

== Model and requirements ==
 
We consider a value discrete message source  $\rm Q$, which gives a sequence  $ \langle q_ν \rangle$  of symbols.
*For the run variable  $ν = 1$, ... , $N$, where  $N$  should be "sufficiently large".
*Each individual source symbol  $q_ν$  comes from a symbol set  $\{q_μ \}$  where  $μ = 1$, ... , $M$, where  $M$  denotes the symbol range:

:$$q_{\nu} \in \left \{ q_{\mu} \right \}, \hspace{0.25cm}{\rm with}\hspace{0.25cm} \nu = 1, \hspace{0.05cm} \text{ ...}\hspace{0.05cm} , N\hspace{0.25cm}{\rm and}\hspace{0.25cm}\mu = 1,\hspace{0.05cm} \text{ ...}\hspace{0.05cm} , M \hspace{0.05cm}.$$

The figure shows a quaternary message source  $(M = 4)$  with the alphabet  $\rm \{A, \ B, \ C, \ D\}$  and an exemplary sequence of length  $N = 100$.

[[File:P_ID2227_Inf_T_1_1_S1a_neu.png|frame|Memoryless Quaternary Message Source]]

The following requirements apply:
*The quaternary news source is fully described by  $M = 4$  symbol probabilities  $p_μ$.  In general it applies:
:$$\sum_{\mu = 1}^M \hspace{0.1cm}p_{\mu} = 1 \hspace{0.05cm}.$$
*The message source is memoryless, i.e., the individual sequence elements are  [[Theory_of_Stochastic_Signals/Statistical Dependence and Independence#General_definition_of_statistical_dependence|statistically independent of each other]]:
:$${\rm Pr} \left (q_{\nu} = q_{\mu} \right ) = {\rm Pr} \left (q_{\nu} = q_{\mu} \hspace{0.03cm} | \hspace{0.03cm} q_{\nu -1}, q_{\nu -2}, \hspace{0.05cm} \text{ ...}\hspace{0.05cm}\right ) \hspace{0.05cm}.$$
*Since the alphabet consists of symbols  (and not of random variables) , the specification of  [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments|expected values]]  (linear mean, quadratic mean, dispersion, etc.) is not possible here, but also not necessary from an information-theoretical point of view.

These properties will now be illustrated with an example.

[[File:Inf_T_1_1_S1b_vers2.png|right|frame|Relative frequencies as a function of  $N$]]
{{GraueBox|TEXT=
$\text{Example 1:}$ 
For the symbol probabilities of a quaternary source applies:
:$$p_{\rm A} = 0.4 \hspace{0.05cm},\hspace{0.2cm}p_{\rm B} = 0.3 \hspace{0.05cm},\hspace{0.2cm}p_{\rm C} = 0.2 \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D} = 0.1\hspace{0.05cm}.$$
For an infinitely long sequence  $(N \to \infty)$
*the  [[Theory_of_Stochastic_Signals/From_Random_Experiment_to_Random_Variable#Bernoulli's_Law_of_Large_Numbers|relative frequencies]]  $h_{\rm A}$,  $h_{\rm B}$,  $h_{\rm C}$,  $h_{\rm D}$   ⇒   a-posteriori parameters
*were identical to the  [[Theory_of_Stochastic_Signals/Some_Basic_Definitions#Event_and_Event_set|probabilities]]  $p_{\rm A}$,  $p_{\rm B}$,  $p_{\rm C}$,  $p_{\rm D}$   ⇒   a-priori parameters.

With smaller  $N$  deviations may occur, as the adjacent table (result of a simulation) shows.

*In the graphic above an exemplary sequence is shown with  $N = 100$  symbols.
*Due to the set elements  $\rm A$,  $\rm B$,  $\rm C$  and  $\rm D$  no mean values can be given.

However, if you replace the symbols with numerical values, for example  $\rm A \Rightarrow 1$,   $\rm B \Rightarrow 2$,   $\rm C \Rightarrow 3$,   $\rm D \Rightarrow 4$, then you will get     time averaging   ⇒   crossing line     or     ensemble averaging   ⇒   expected value formation
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Linear_Average_-_Direct_Component|linear average]] :
:$$m_1 = \overline { q_{\nu} } = {\rm E} \big [ q_{\mu} \big ] = 0.4 \cdot 1 + 0.3 \cdot 2 + 0.2 \cdot 3 + 0.1 \cdot 4
= 2 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Square_mean_.E2.80.93_Variance_.E2.80.93_Scattering |square mean]]:
:$$m_2 = \overline { q_{\nu}^{\hspace{0.05cm}2} } = {\rm E} \big [ q_{\mu}^{\hspace{0.05cm}2} \big ] = 0.4 \cdot 1^2 + 0.3 \cdot 2^2 + 0.2 \cdot 3^2 + 0.1 \cdot 4^2
= 5 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments#Some_often_used_Central_Moments|standard deviation]] (scattering) according to the "Theorem of Steiner":
:$$\sigma = \sqrt {m_2 - m_1^2} = \sqrt {5 - 2^2} = 1 \hspace{0.05cm}.$$}}

==Decision content - Message content==
 
[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  defined in 1948 in the standard work of information theory  [Sha48]<ref name='Sha48'>Shannon, C.E.: A Mathematical Theory of Communication. In: Bell Syst. Techn. J. 27 (1948), pp. 379-423 and pp. 623-656.</ref>  the concept of information as "decrease of uncertainty about the occurrence of a statistical event".

Let us make a mental experiment with  $M$  possible results, which are all equally probable:   $p_1 = p_2 = \hspace{0.05cm} \text{ ...}\hspace{0.05cm} = p_M = 1/M \hspace{0.05cm}.$

Under this assumption applies:
*Is  $M = 1$, then each individual attempt will yield the same result and therefore there is no uncertainty about the output.
*On the other hand, an observer learns about an experiment with  $M = 2$, for example the "coin toss" with the set of events  $\big \{\rm \boldsymbol{\rm Z}, \rm \boldsymbol{\rm W} \big \}$  and the probabilities  $p_{\rm Z} = p_{\rm W} = 0. 5$, a gain in information; The uncertainty regarding  $\rm Z$  resp.  $\rm W$  is resolved.
*In the experiment "dice"  $(M = 6)$  and even more in roulette  $(M = 37)$  the gained information is even more significant for the observer than in the "coin toss" when he learns which number was thrown or which ball fell.
*Finally it should be considered that the experiment  "triple coin toss"  with the  $M = 8$  possible results  $\rm ZZZ$,  $\rm ZZW$,  $\rm ZWZ$,  $\rm ZWW$,  $\rm WZZ$,  $\rm WZW$,  $\rm WWZ$,  $\rm WWW$  provides three times the information as the single coin toss  $(M = 2)$.

The following definition fulfills all the requirements listed here for a quantitative information measure for equally probable events, indicated only by the symbol range  $M$.

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''decision content'''   of a message source depends only on the symbol range  $M$  and results in

:$$H_0 = {\rm log}\hspace{0.1cm}M = {\rm log}_2\hspace{0.1cm}M \hspace{0.15cm} {\rm (in \ “bit")}
= {\rm ln}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “nat")}
= {\rm lg}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “Hartley")}\hspace{0.05cm}.$$

*The term  ''message content'' is also commonly used for this.
*Since  $H_0$  indicates the maximum value of the  [[Information_Theory/Sources with Memory#Information_Content_and_Entropy|Entropy]]  $H$ , $H_\text{max}$  is also used in our tutorial as short notation . }}

Please note our nomenclature:
*The logarithm will be called "log" in the following, independent of the base.
*The relations mentioned above are fulfilled due to the following properties:

:$${\rm log}\hspace{0.1cm}1 = 0 \hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}37 > {\rm log}\hspace{0.1cm}6 > {\rm log}\hspace{0.1cm}2\hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}M^k = k \cdot {\rm log}\hspace{0.1cm}M \hspace{0.05cm}.$$

* Usually we use the logarithm to the base  $2$   ⇒   ''Logarithm dualis''  $\rm (ld)$, where the pseudo unit "bit", more precisely:  "bit/symbol", is then added:

:$${\rm ld}\hspace{0.1cm}M = {\rm log_2}\hspace{0.1cm}M = \frac{{\rm lg}\hspace{0.1cm}M}{{\rm lg}\hspace{0.1cm}2}
= \frac{{\rm ln}\hspace{0.1cm}M}{{\rm ln}\hspace{0.1cm}2}
\hspace{0.05cm}.$$

*In addition, you can find in the literature some additional definitions, which are based on the natural logarithm  $\rm (ln)$  or the logarithm  $\rm (lg)$ .

==Information content and entropy ==
 
We now waive the previous requirement that all  $M$  possible results of an experiment are equally probable.  In order to keep the spelling as compact as possible, we define for this page only:

:$$p_1 > p_2 > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_\mu > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_{M-1} > p_M\hspace{0.05cm},\hspace{0.4cm}\sum_{\mu = 1}^M p_{\mu} = 1 \hspace{0.05cm}.$$

We now consider the ''information content''  of the individual symbols, where we denote the "logarithm dualis" with $\log_2$:

:$$I_\mu = {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}= -\hspace{0.05cm}{\rm log_2}\hspace{0.1cm}{p_\mu}
\hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

You can see:
*because of  $p_μ ≤ 1$  the information content is never negative.  In the borderline case  $p_μ \to 1$  goes  $I_μ \to 0$.
*However for  $I_μ = 0$   ⇒   $p_μ = 1$   ⇒   $M = 1$  the decision content is also  $H_0 = 0$.
*For decreasing probabilities  $p_μ$  the information content increases continuously:

:$$I_1 < I_2 < \hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_\mu <\hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_{M-1} < I_M \hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$  '''The more improbable an event is, the greater is its information content'''.  This fact is also found in daily life:
*"6 right ones" in the lottery are more likely to be noticed than "3 right ones" or no win at all.
*A tsunami in Asia also dominates the news in Germany for weeks as opposed to the almost standard Deutsche Bahn delays.
*A series of defeats of Bayern Munich leads to huge headlines in contrast to a winning series.  With 1860 Munich exactly the opposite is the case.}}

However, the information content of a single symbol (or event) is not very interesting.  On the other hand
*by ensemble averaging over all possible symbols  $q_μ$  bzw. 
*by time averaging over all elements of the sequence  $\langle q_ν \rangle$

one of the central variables of information theory.

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''Entropy'''  $H$  of a source indicates the ''mean information content of all symbols'' :

:$$H = \overline{I_\nu} = {\rm E}\hspace{0.01cm}[I_\mu] = \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}=
-\sum_{\mu = 1}^M p_{\mu} \cdot{\rm log_2}\hspace{0.1cm}{p_\mu} \hspace{0.5cm}\text{(unit: bit, more precisely: bit/symbol)}
\hspace{0.05cm}.$$

The overline marks again a time averaging and  $\rm E[\text{...}]$  a ensemble averaging.}}

Entropy is among other things a measure for
*the mean uncertainty about the outcome of a statistical event,
*the "randomness" of this event,  and
*the average information content of a random variable.

==Binary entropy function ==
 
At first we will restrict ourselves to the special case  $M = 2$  and consider a binary source, which returns the two symbols  $\rm A$  and  $\rm B$    The occurrence probabilities are   $p_{\rm A} = p$  and  $p_{\rm B} = 1 - p$.

For the entropy of this binary source applies:

:$$H_{\rm bin} (p) = p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p} \hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

The function is called  $H_\text{bin}(p)$  the  '''binary entropy function'''.  The entropy of a source with a larger symbol range  $M$  can often be expressed using  $H_\text{bin}(p)$ .

{{GraueBox|TEXT=
$\text{Example 2:}$ 
The figure shows the binary entropy function for the values  $0 ≤ p ≤ 1$  of the symbol probability of  $\rm A$  $($or also of  $\rm B)$.  You can see

[[File:Inf_T_1_1_S4_vers2.png|frame|Binary entropy function as function of  $p$|right]]
*The maximum value  $H_\text{max} = 1\; \rm bit$  results for  $p = 0.5$, thus for equally probable binary symbols.  Then   $\rm A$  and  $\rm B$  contribute the same amount to entropy.
* $H_\text{bin}(p)$  is symmetrical about  $p = 0.5$.  A source with  $p_{\rm A} = 0.1$  and  $p_{\rm B} = 0. 9$  has the same entropy  $H = 0.469 \; \rm bit$  as a source with  $p_{\rm A} = 0.9$  and  $p_{\rm B} = 0.1$.
*The difference  $ΔH = H_\text{max} - H$ gives  the  ''redundancy''  of the source and  $r = ΔH/H_\text{max}$  the  ''relative redundancy''.   In the example,  $ΔH = 0.531\; \rm bit$  and  $r = 53.1 \rm \%$.
*For  $p = 0$  this results in  $H = 0$, since the symbol sequence  $\rm B \ B \ B \text{...}$  can be predicted with certainty.   Actually, the symbol range is now only  $M = 1$.  The same applies to  $p = 1$   ⇒   symbol sequence  $\rm A \ A \ A \ text{...}$.
*$H_\text{bin}(p)$  is always a  ''concave function'', since the second derivative after the parameter  $p$  is negative for all values of  $p$ :
:$$\frac{ {\rm d}^2H_{\rm bin} (p)}{ {\rm d}\,p^2} = \frac{- 1}{ {\rm ln}(2) \cdot p \cdot (1-p)}< 0
\hspace{0.05cm}.$$}}

==Message sources with a larger symbol range==
 
In the  [[Information_Theory/Sources with Memory#Model_and_Prerequisites|first section]]  of this chapter we have a quaternary message source  $(M = 4)$  with the symbol probabilities  $p_{\rm A} = 0. 4$,   $p_{\rm B} = 0.3$,   $p_{\rm C} = 0.2$   and  $ p_{\rm D} = 0.1$  considered.  This source has the following entropy:

:$$H_{\rm quat} = 0.4 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0. 3} + 0.2 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.1}.$$

For numerical calculation, the detour via the decimal logarithm  $\lg \ x = {\rm log}_{10} \ x$ , is often necessary. Since the ''logarithm dualis''  $ {\rm log}_2 \ x$  is mostly not found on pocket calculators.

:$$H_{\rm quat}=\frac{1}{{\rm lg}\hspace{0.1cm}2} \cdot \left [ 0.4 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0. 3} + 0.2 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.2} + 0.1 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.1} \right ] = 1.845\,{\rm bit}
\hspace{0.05cm}.$$

{{{GraueBox|TEXT=
$\text{Example 3:}$ 
Now there are certain symmetries between the symbol probabilities:
[[File:Inf_T_1_1_S5_vers2.png|frame|Entropy of binary source and quaternary source]]

:$$p_{\rm A} = p_{\rm D} = p \hspace{0.05cm},\hspace{0.4cm}p_{\rm B} = p_{\rm C} = 0.5 - p \hspace{0.05cm},\hspace{0.3cm}{\rm with} \hspace{0.15cm}0 \le p \le 0.5 \hspace{0.05cm}.$$

In this case, the binary entropy function can be used to calculate the entropy:

:$$H_{\rm quat} = 2 \cdot p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm} } + 2 \cdot (0.5-p) \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.5-p}$$
$$\Rightarrow \hspace{0.3cm} H_{\rm quat} = 1 + H_{\rm bin}(2p) \hspace{0.05cm}.$$

The graphic shows as a function of  $p$
*the entropy of the quaternary source (blue)
*in comparison to the entropy course of the binary source (red).

For the quaternary source only the abscissa  $0 ≤ p ≤ 0.5$  is allowed.
 
You can see from the blue curve for the quaternary source:
*The maximum entropy  $H_\text{max} = 2 \; \rm bit/symbol$  results for  $p = 0.25$   ⇒   equally probable symbols:   $p_{\rm A} = p_{\rm B} = p_{\rm C} = p_{\rm A} = 0.25$.
*With  $p = 0$  resp.  $p = 0.5$  the quaternary source degenerates to a binary source with  $p_{\rm B} = p_{\rm C} = 0. 5$  and  $p_{\rm A} = p_{\rm D} = 0$   ⇒   entropy  $H = 1 \; \rm bit/symbol$.
*The source with  $p_{\rm A} = p_{\rm D} = 0.1$  and  $p_{\rm B} = p_{\rm C} = 0.4$  has the following characteristics (each with the pseudo unit "bit/symbol"):

:     '''(1)'''   entropy:   $H = 1 + H_{\rm bin} (2p) =1 + H_{\rm bin} (0.2) = 1.722,$

:     '''(2)'''   Redundancy:   ${\rm \Delta }H = {\rm log_2}\hspace{0.1cm} M - H =2- 1.722= 0.278,$

:     '''(3)'''   relative redundancy:   $r ={\rm \delta }H/({\rm log_2}\hspace{0.1cm} M) = 0.139\hspace{0.05cm}.$

*The redundancy of the quaternary source with  $p = 0.1$  is equal to  $ΔH = 0.278 \; \rm bit/symbol$  and thus exactly the same as the redundancy of the binary source with  $p = 0.2$.}}

== Exercises for chapter==
 
[[Aufgaben:1.1 Wetterentropie|Aufgabe 1.1: Wetterentropie]]

[[Aufgaben:1.1Z Binäre Entropiefunktion|Aufgabe 1.1Z: Binäre Entropiefunktion]]

[[Aufgaben:1.2 Entropie von Ternärquellen|Aufgabe 1.2: Entropie von Ternärquellen]]

==Quellenverzeichnis==
<references />

{{Display}}

Information Theory/Discrete Memoryless Sources

2020-10-27T22:03:07Z

Rosa:

{{FirstPage}}
{{Header
|Untermenü=Entropie wertdiskreter Nachrichtenquellen
|Vorherige Seite=
|Nächste Seite=Nachrichtenquellen mit Gedächtnis
}}

== # OVERVIEW OF THE FIRST MAIN CHAPTER # ==
 
This first chapter describes the calculation and the meaning of entropy.  According to the Shannonian information definition, entropy is a measure of the mean uncertainty about the outcome of a statistical event or the uncertainty in the measurement of a stochastic quantity.  Somewhat casually expressed, the entropy of a random quantity quantifies its "randomness".

In detail are discussed:

*the ''decision content''  and the ''entropy''  of a memoryless news source,
*the ''binary entropy function''  and its application to ''non-binary sources'',
*the entropy calculation for ''memory sources''  and suitable approximations,
*the peculiarities of ''Markov sources''  regarding the entropy calculation,
*the procedure for sources with a large number of symbols, for example ''natural texts'',
*the ''entropy estimates''  according to Shannon and Küpfmüller.

Further information on the topic as well as Exercises, simulations and programming exercises can be found in the experiment "Value Discrete Information Theory" of the practical course "Simulation Digitaler Übertragungssysteme" (english: Simulation of Digital Transmission Systems).  This (former) LNT course at the TU Munich is based on

*the Windows program  [http://en.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]   ⇒   the link points to the ZIP version of the program and
*the associated  [http://en.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Internship guide]   ⇒   the link refers to the PDF version.

== Model and requirements ==
 
We consider a value discrete message source  $\rm Q$, which gives a sequence  $ \langle q_ν \rangle$  of symbols.
*For the run variable  $ν = 1$, ... , $N$, where  $N$  should be "sufficiently large".
*Each individual source symbol  $q_ν$  comes from a symbol set  $\{q_μ \}$  where  $μ = 1$, ... , $M$, where  $M$  denotes the symbol range:

:$$q_{\nu} \in \left \{ q_{\mu} \right \}, \hspace{0.25cm}{\rm with}\hspace{0.25cm} \nu = 1, \hspace{0.05cm} \text{ ...}\hspace{0.05cm} , N\hspace{0.25cm}{\rm and}\hspace{0.25cm}\mu = 1,\hspace{0.05cm} \text{ ...}\hspace{0.05cm} , M \hspace{0.05cm}.$$

The figure shows a quaternary message source  $(M = 4)$  with the alphabet  $\rm \{A, \ B, \ C, \ D\}$  and an exemplary sequence of length  $N = 100$.

[[File:P_ID2227_Inf_T_1_1_S1a_neu.png|frame|Memoryless Quaternary Message Source]]

The following requirements apply:
*The quaternary news source is fully described by  $M = 4$  symbol probabilities  $p_μ$.  In general it applies:
:$$\sum_{\mu = 1}^M \hspace{0.1cm}p_{\mu} = 1 \hspace{0.05cm}.$$
*The message source is memoryless, i.e., the individual sequence elements are  [[Theory_of_Stochastic_Signals/Statistical Dependence and Independence#General_definition_of_statistical_dependence|statistically independent of each other]]:
:$${\rm Pr} \left (q_{\nu} = q_{\mu} \right ) = {\rm Pr} \left (q_{\nu} = q_{\mu} \hspace{0.03cm} | \hspace{0.03cm} q_{\nu -1}, q_{\nu -2}, \hspace{0.05cm} \text{ ...}\hspace{0.05cm}\right ) \hspace{0.05cm}.$$
*Since the alphabet consists of symbols  (and not of random variables) , the specification of  [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments|expected values]]  (linear mean, quadratic mean, dispersion, etc.) is not possible here, but also not necessary from an information-theoretical point of view.

These properties will now be illustrated with an example.

[[File:Inf_T_1_1_S1b_vers2.png|right|frame|Relative frequencies as a function of  $N$]]
{{GraueBox|TEXT=
$\text{Example 1:}$ 
For the symbol probabilities of a quaternary source applies:
:$$p_{\rm A} = 0.4 \hspace{0.05cm},\hspace{0.2cm}p_{\rm B} = 0.3 \hspace{0.05cm},\hspace{0.2cm}p_{\rm C} = 0.2 \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D} = 0.1\hspace{0.05cm}.$$
For an infinitely long sequence  $(N \to \infty)$
*the  [[Theory_of_Stochastic_Signals/From_Random_Experiment_to_Random_Variable#Bernoulli's_Law_of_Large_Numbers|relative frequencies]]  $h_{\rm A}$,  $h_{\rm B}$,  $h_{\rm C}$,  $h_{\rm D}$   ⇒   a-posteriori parameters
*were identical to the  [[Theory_of_Stochastic_Signals/Some_Basic_Definitions#Event_and_Event_set|probabilities]]  $p_{\rm A}$,  $p_{\rm B}$,  $p_{\rm C}$,  $p_{\rm D}$   ⇒   a-priori parameters.

With smaller  $N$  deviations may occur, as the adjacent table (result of a simulation) shows.

*In the graphic above an exemplary sequence is shown with  $N = 100$  symbols.
*Due to the set elements  $\rm A$,  $\rm B$,  $\rm C$  and  $\rm D$  no mean values can be given.

However, if you replace the symbols with numerical values, for example  $\rm A \Rightarrow 1$,   $\rm B \Rightarrow 2$,   $\rm C \Rightarrow 3$,   $\rm D \Rightarrow 4$, then you will get     time averaging   ⇒   crossing line     or     ensemble averaging   ⇒   expected value formation
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Linear_Average_-_Direct_Component|linear average]] :
:$$m_1 = \overline { q_{\nu} } = {\rm E} \big [ q_{\mu} \big ] = 0.4 \cdot 1 + 0.3 \cdot 2 + 0.2 \cdot 3 + 0.1 \cdot 4
= 2 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Square_mean_.E2.80.93_Variance_.E2.80.93_Scattering |square mean]]:
:$$m_2 = \overline { q_{\nu}^{\hspace{0.05cm}2} } = {\rm E} \big [ q_{\mu}^{\hspace{0.05cm}2} \big ] = 0.4 \cdot 1^2 + 0.3 \cdot 2^2 + 0.2 \cdot 3^2 + 0.1 \cdot 4^2
= 5 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments#Some_often_used_Central_Moments|standard deviation]] (scattering) according to the "Theorem of Steiner":
:$$\sigma = \sqrt {m_2 - m_1^2} = \sqrt {5 - 2^2} = 1 \hspace{0.05cm}.$$}}

==Decision content - Message content==
 
[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  defined in 1948 in the standard work of information theory  [Sha48]<ref name='Sha48'>Shannon, C.E.: A Mathematical Theory of Communication. In: Bell Syst. Techn. J. 27 (1948), pp. 379-423 and pp. 623-656.</ref>  the concept of information as "decrease of uncertainty about the occurrence of a statistical event".

Let us make a mental experiment with  $M$  possible results, which are all equally probable:   $p_1 = p_2 = \hspace{0.05cm} \text{ ...}\hspace{0.05cm} = p_M = 1/M \hspace{0.05cm}.$

Under this assumption applies:
*Is  $M = 1$, then each individual attempt will yield the same result and therefore there is no uncertainty about the output.
*On the other hand, an observer learns about an experiment with  $M = 2$, for example the "coin toss" with the set of events  $\big \{\rm \boldsymbol{\rm Z}, \rm \boldsymbol{\rm W} \big \}$  and the probabilities  $p_{\rm Z} = p_{\rm W} = 0. 5$, a gain in information; The uncertainty regarding  $\rm Z$  resp.  $\rm W$  is resolved.
*In the experiment "dice"  $(M = 6)$  and even more in roulette  $(M = 37)$  the gained information is even more significant for the observer than in the "coin toss" when he learns which number was thrown or which ball fell.
*Finally it should be considered that the experiment  "triple coin toss"  with the  $M = 8$  possible results  $\rm ZZZ$,  $\rm ZZW$,  $\rm ZWZ$,  $\rm ZWW$,  $\rm WZZ$,  $\rm WZW$,  $\rm WWZ$,  $\rm WWW$  provides three times the information as the single coin toss  $(M = 2)$.

The following definition fulfills all the requirements listed here for a quantitative information measure for equally probable events, indicated only by the symbol range  $M$.

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''decision content'''   of a message source depends only on the symbol range  $M$  and results in

:$$H_0 = {\rm log}\hspace{0.1cm}M = {\rm log}_2\hspace{0.1cm}M \hspace{0.15cm} {\rm (in \ “bit")}
= {\rm ln}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “nat")}
= {\rm lg}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “Hartley")}\hspace{0.05cm}.$$

*The term  ''message content'' is also commonly used for this.
*Since  $H_0$  indicates the maximum value of the  [[Information_Theory/Sources with Memory#Information_Content_and_Entropy|Entropy]]  $H$ , $H_\text{max}$  is also used in our tutorial as short notation . }}

Please note our nomenclature:
*The logarithm will be called "log" in the following, independent of the base.
*The relations mentioned above are fulfilled due to the following properties:

:$${\rm log}\hspace{0.1cm}1 = 0 \hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}37 > {\rm log}\hspace{0.1cm}6 > {\rm log}\hspace{0.1cm}2\hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}M^k = k \cdot {\rm log}\hspace{0.1cm}M \hspace{0.05cm}.$$

* Usually we use the logarithm to the base  $2$   ⇒   ''Logarithm dualis''  $\rm (ld)$, where the pseudo unit "bit", more precisely:  "bit/symbol", is then added:

:$${\rm ld}\hspace{0.1cm}M = {\rm log_2}\hspace{0.1cm}M = \frac{{\rm lg}\hspace{0.1cm}M}{{\rm lg}\hspace{0.1cm}2}
= \frac{{\rm ln}\hspace{0.1cm}M}{{\rm ln}\hspace{0.1cm}2}
\hspace{0.05cm}.$$

*In addition, you can find in the literature some additional definitions, which are based on the natural logarithm  $\rm (ln)$  or the logarithm  $\rm (lg)$ .

==Informationsgehalt und Entropie ==
 
Wir verzichten nun auf die bisherige Voraussetzung, dass alle  $M$  möglichen Ergebnisse eines Versuchs gleichwahrscheinlich seien.  Im Hinblick auf eine möglichst kompakte Schreibweise legen wir für diese Seite lediglich fest:

:$$p_1 > p_2 > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_\mu > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_{M-1} > p_M\hspace{0.05cm},\hspace{0.4cm}\sum_{\mu = 1}^M p_{\mu} = 1 \hspace{0.05cm}.$$

Wir betrachten nun den ''Informationsgehalt''  der einzelnen Symbole, wobei wir den &bdquo;Logarithmus dualis” mit $\log_2$ bezeichnen:

:$$I_\mu = {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}= -\hspace{0.05cm}{\rm log_2}\hspace{0.1cm}{p_\mu}
\hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

Man erkennt:
*Wegen  $p_μ ≤ 1$  ist der Informationsgehalt nie negativ.  Im Grenzfall  $p_μ \to 1$  geht  $I_μ \to 0$.
*Allerdings ist für  $I_μ = 0$   ⇒   $p_μ = 1$   ⇒   $M = 1$  auch der Entscheidungsgehalt  $H_0 = 0$.
*Bei abfallenden Wahrscheinlichkeiten  $p_μ$  nimmt der Informationsgehalt kontinuierlich zu:

:$$I_1 < I_2 < \hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_\mu <\hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_{M-1} < I_M \hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Fazit:}$  '''Je unwahrscheinlicher ein Ereignis ist, desto größer ist sein Informationsgehalt'''.  Diesen Sachverhalt stellt man auch im täglichen Leben fest:
*„6 Richtige” im Lotto nimmt man sicher eher wahr als „3 Richtige” oder gar keinen Gewinn.
*Ein Tsunami in Asien dominiert auch die Nachrichten in Deutschland über Wochen im Gegensatz zu den fast standardmäßigen Verspätungen der Deutschen Bahn.
*Eine Niederlagenserie von Bayern München führt zu Riesen–Schlagzeilen im Gegensatz zu einer Siegesserie.  Bei 1860 München ist genau das Gegenteil der Fall.}}

Der Informationsgehalt eines einzelnen Symbols (oder Ereignisses) ist allerdings nicht sehr interessant.  Dagegen erhält man
*durch Scharmittelung über alle möglichen Symbole  $q_μ$  bzw. 
*durch Zeitmittelung über alle Elemente der Folge  $\langle q_ν \rangle$

eine der zentralen Größen der Informationstheorie.

{{BlaueBox|TEXT=
$\text{Definition:}$  Die  '''Entropie'''  $H$  einer Quelle gibt den ''mittleren Informationsgehalt aller Symbole''  an:

:$$H = \overline{I_\nu} = {\rm E}\hspace{0.01cm}[I_\mu] = \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}=
-\sum_{\mu = 1}^M p_{\mu} \cdot{\rm log_2}\hspace{0.1cm}{p_\mu} \hspace{0.5cm}\text{(Einheit: bit, genauer: bit/Symbol)}
\hspace{0.05cm}.$$

Die überstreichende Linie kennzeichnet wieder eine Zeitmittelung und  $\rm E[\text{...}]$  eine Scharmittelung.}}

Die Entropie ist unter anderem ein Maß für
*die mittlere Unsicherheit über den Ausgang eines statistischen Ereignisses,
*die „Zufälligkeit” dieses Ereignisses,  sowie
*den mittleren Informationsgehalt einer Zufallsgröße.

==Binäre Entropiefunktion ==
 
Wir beschränken uns zunächst auf den Sonderfall  $M = 2$  und betrachten eine binäre Quelle, die die beiden Symbole  $\rm A$  und  $\rm B$  abgibt.  Die Auftrittwahrscheinlichkeiten seien   $p_{\rm A} = p$  und  $p_{\rm B} = 1 – p$.

Für die Entropie dieser Binärquelle gilt:

:$$H_{\rm bin} (p) = p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p} \hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

Man nennt die Funktion  $H_\text{bin}(p)$  die  '''binäre Entropiefunktion'''.  Die Entropie einer Quelle mit größerem Symbolumfang  $M$  lässt sich häufig unter Verwendung von  $H_\text{bin}(p)$  ausdrücken.

{{GraueBox|TEXT=
$\text{Beispiel 2:}$ 
Die Grafik zeigt die binäre Entropiefunktion für die Werte  $0 ≤ p ≤ 1$  der Symbolwahrscheinlichkeit von  $\rm A$  $($oder auch von  $\rm B)$.  Man erkennt:

[[File:Inf_T_1_1_S4_vers2.png|frame|Binäre Entropiefunktion als Funktion von  $p$|right]]
*Der Maximalwert  $H_\text{max} = 1\; \rm bit$  ergibt sich für  $p = 0.5$, also für gleichwahrscheinliche Binärsymbole.  Dann liefern  $\rm A$  und  $\rm B$  jeweils den gleichen Beitrag zur Entropie.
* $H_\text{bin}(p)$  ist symmetrisch um  $p = 0.5$.  Eine Quelle mit  $p_{\rm A} = 0.1$  und  $p_{\rm B} = 0.9$  hat die gleiche Entropie  $H = 0.469 \; \rm bit$  wie eine Quelle mit  $p_{\rm A} = 0.9$  und  $p_{\rm B} = 0.1$.
*Die Differenz  $ΔH = H_\text{max} - H$ gibt  die  ''Redundanz''  der Quelle an und  $r = ΔH/H_\text{max}$  die  ''relative Redundanz''.  Im Beispiel ergeben sich  $ΔH = 0.531\; \rm bit$  bzw.  $r = 53.1 \rm \%$.
*Für  $p = 0$  ergibt sich  $H = 0$, da hier die Symbolfolge  $\rm B \ B \ B \text{...}$  mit Sicherheit vorhergesagt werden kann.  Eigentlich ist nun der Symbolumfang nur noch  $M = 1$.  Gleiches gilt für  $p = 1$   ⇒   Symbolfolge  $\rm A \ A \ A \text{...}$.
*$H_\text{bin}(p)$  ist stets eine  ''konkave Funktion'', da die zweite Ableitung nach dem Parameter  $p$  für alle Werte von  $p$  negativ ist:
:$$\frac{ {\rm d}^2H_{\rm bin} (p)}{ {\rm d}\,p^2} = \frac{- 1}{ {\rm ln}(2) \cdot p \cdot (1-p)}< 0
\hspace{0.05cm}.$$}}

==Nachrichtenquellen mit größerem Symbolumfang==
 
Im  [[Information_Theory/Gedächtnislose_Nachrichtenquellen#Modell_und_Voraussetzungen|ersten Abschnitt]]  dieses Kapitels haben wir eine quaternäre Nachrichtenquelle  $(M = 4)$  mit den Symbolwahrscheinlichkeiten  $p_{\rm A} = 0.4$,   $p_{\rm B} = 0.3$,   $p_{\rm C} = 0.2$   und  $ p_{\rm D} = 0.1$  betrachtet.  Diese Quelle besitzt die folgende Entropie:

:$$H_{\rm quat} = 0.4 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.3} + 0.2 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.1}.$$

Oft ist zur zahlenmäßigen Berechnung der Umweg über den Zehnerlogarithmus  $\lg \ x = {\rm log}_{10} \ x$  sinnvoll, da der ''Logarithmus dualis''  $ {\rm log}_2 \ x$  meist auf Taschenrechnern nicht zu finden ist.

:$$H_{\rm quat}=\frac{1}{{\rm lg}\hspace{0.1cm}2} \cdot \left [ 0.4 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.3} + 0.2 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.1} \right ] = 1.845\,{\rm bit}
\hspace{0.05cm}.$$

{{GraueBox|TEXT=
$\text{Beispiel 3:}$ 
Nun bestehen zwischen den einzelnen Symbolwahrscheinlichkeiten gewisse Symmetrien:
[[File:Inf_T_1_1_S5_vers2.png|frame|Entropie von Binärquelle und Quaternärquelle]]

:$$p_{\rm A} = p_{\rm D} = p \hspace{0.05cm},\hspace{0.4cm}p_{\rm B} = p_{\rm C} = 0.5 - p \hspace{0.05cm},\hspace{0.3cm}{\rm mit} \hspace{0.15cm}0 \le p \le 0.5 \hspace{0.05cm}.$$

In diesem Fall kann zur Entropieberechnung auf die binäre Entropiefunktion zurückgegriffen werden:

:$$H_{\rm quat} = 2 \cdot p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm} } + 2 \cdot (0.5-p) \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.5-p}$$
:$$\Rightarrow \hspace{0.3cm} H_{\rm quat} = 1 + H_{\rm bin}(2p) \hspace{0.05cm}.$$

Die Grafik zeigt abhängig von  $p$
*den Entropieverlauf der Quaternärquelle (blau)
*im Vergleich zum Entropieverlauf der Binärquelle (rot).

Für die Quaternärquelle ist nur der Abszissen  $0 ≤ p ≤ 0.5$  zulässig.
 
Man erkennt aus der blauen Kurve für die Quaternärquelle:
*Die maximale Entropie  $H_\text{max} = 2 \; \rm bit/Symbol$  ergibt sich für  $p = 0.25$   ⇒   gleichwahrscheinliche Symbole:   $p_{\rm A} = p_{\rm B} = p_{\rm C} = p_{\rm A} = 0.25$.
*Mit  $p = 0$  bzw.  $p = 0.5$  entartet die Quaternärquelle zu einer Binärquelle mit  $p_{\rm B} = p_{\rm C} = 0.5$  und  $p_{\rm A} = p_{\rm D} = 0$   ⇒   Entropie  $H = 1 \; \rm bit/Symbol$.
*Die Quelle mit  $p_{\rm A} = p_{\rm D} = 0.1$  und  $p_{\rm B} = p_{\rm C} = 0.4$  weist folgende Kennwerte auf (jeweils mit der Pseudoeinheit „bit/Symbol”):

:     '''(1)'''   Entropie:   $H = 1 + H_{\rm bin} (2p) =1 + H_{\rm bin} (0.2) = 1.722,$

:     '''(2)'''   Redundanz:   ${\rm \Delta }H = {\rm log_2}\hspace{0.1cm} M - H =2- 1.722= 0.278,$

:     '''(3)'''   relative Redundanz:   $r ={\rm \Delta }H/({\rm log_2}\hspace{0.1cm} M) = 0.139\hspace{0.05cm}.$

*Die Redundanz der Quaternärquelle mit  $p = 0.1$  ist gleich  $ΔH = 0.278 \; \rm bit/Symbol$  und damit genau so groß wie die Redundanz der Binärquelle mit  $p = 0.2$.}}

==Aufgaben zum Kapitel==
 
[[Aufgaben:1.1 Wetterentropie|Aufgabe 1.1: Wetterentropie]]

[[Aufgaben:1.1Z Binäre Entropiefunktion|Aufgabe 1.1Z: Binäre Entropiefunktion]]

[[Aufgaben:1.2 Entropie von Ternärquellen|Aufgabe 1.2: Entropie von Ternärquellen]]

==Quellenverzeichnis==
<references />

{{Display}}

Information Theory/Discrete Memoryless Sources

2020-10-27T22:02:18Z

Rosa:

{{FirstPage}}
{{Header
|Untermenü=Entropie wertdiskreter Nachrichtenquellen
|Vorherige Seite=
|Nächste Seite=Nachrichtenquellen mit Gedächtnis
}}

== # OVERVIEW OF THE FIRST MAIN CHAPTER # ==
 
This first chapter describes the calculation and the meaning of entropy.  According to the Shannonian information definition, entropy is a measure of the mean uncertainty about the outcome of a statistical event or the uncertainty in the measurement of a stochastic quantity.  Somewhat casually expressed, the entropy of a random quantity quantifies its "randomness".

In detail are discussed:

*the ''decision content''  and the ''entropy''  of a memoryless news source,
*the ''binary entropy function''  and its application to ''non-binary sources'',
*the entropy calculation for ''memory sources''  and suitable approximations,
*the peculiarities of ''Markov sources''  regarding the entropy calculation,
*the procedure for sources with a large number of symbols, for example ''natural texts'',
*the ''entropy estimates''  according to Shannon and Küpfmüller.

Further information on the topic as well as Exercises, simulations and programming exercises can be found in the experiment "Value Discrete Information Theory" of the practical course "Simulation Digitaler Übertragungssysteme" (english: Simulation of Digital Transmission Systems).  This (former) LNT course at the TU Munich is based on

*the Windows program  [http://en.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]   ⇒   the link points to the ZIP version of the program and
*the associated  [http://en.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Internship guide]   ⇒   the link refers to the PDF version.

== Model and requirements ==
 
We consider a value discrete message source  $\rm Q$, which gives a sequence  $ \langle q_ν \rangle$  of symbols.
*For the run variable  $ν = 1$, ... , $N$, where  $N$  should be "sufficiently large".
*Each individual source symbol  $q_ν$  comes from a symbol set  $\{q_μ \}$  where  $μ = 1$, ... , $M$, where  $M$  denotes the symbol range:

:$$q_{\nu} \in \left \{ q_{\mu} \right \}, \hspace{0.25cm}{\rm with}\hspace{0.25cm} \nu = 1, \hspace{0.05cm} \text{ ...}\hspace{0.05cm} , N\hspace{0.25cm}{\rm and}\hspace{0.25cm}\mu = 1,\hspace{0.05cm} \text{ ...}\hspace{0.05cm} , M \hspace{0.05cm}.$$

The figure shows a quaternary message source  $(M = 4)$  with the alphabet  $\rm \{A, \ B, \ C, \ D\}$  and an exemplary sequence of length  $N = 100$.

[[File:P_ID2227_Inf_T_1_1_S1a_new.png|frame|Memoryless Quaternary Message Source]]

The following requirements apply:
*The quaternary news source is fully described by  $M = 4$  symbol probabilities  $p_μ$.  In general it applies:
:$$\sum_{\mu = 1}^M \hspace{0.1cm}p_{\mu} = 1 \hspace{0.05cm}.$$
*The message source is memoryless, i.e., the individual sequence elements are  [[Theory_of_Stochastic_Signals/Statistical Dependence and Independence#General_definition_of_statistical_dependence|statistically independent of each other]]:
:$${\rm Pr} \left (q_{\nu} = q_{\mu} \right ) = {\rm Pr} \left (q_{\nu} = q_{\mu} \hspace{0.03cm} | \hspace{0.03cm} q_{\nu -1}, q_{\nu -2}, \hspace{0.05cm} \text{ ...}\hspace{0.05cm}\right ) \hspace{0.05cm}.$$
*Since the alphabet consists of symbols  (and not of random variables) , the specification of  [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments|expected values]]  (linear mean, quadratic mean, dispersion, etc.) is not possible here, but also not necessary from an information-theoretical point of view.

These properties will now be illustrated with an example.

[[File:Inf_T_1_1_S1b_vers2.png|right|frame|Relative frequencies as a function of  $N$]]
{{GraueBox|TEXT=
$\text{Example 1:}$ 
For the symbol probabilities of a quaternary source applies:
:$$p_{\rm A} = 0.4 \hspace{0.05cm},\hspace{0.2cm}p_{\rm B} = 0.3 \hspace{0.05cm},\hspace{0.2cm}p_{\rm C} = 0.2 \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D} = 0.1\hspace{0.05cm}.$$
For an infinitely long sequence  $(N \to \infty)$
*the  [[Theory_of_Stochastic_Signals/From_Random_Experiment_to_Random_Variable#Bernoulli's_Law_of_Large_Numbers|relative frequencies]]  $h_{\rm A}$,  $h_{\rm B}$,  $h_{\rm C}$,  $h_{\rm D}$   ⇒   a-posteriori parameters
*were identical to the  [[Theory_of_Stochastic_Signals/Some_Basic_Definitions#Event_and_Event_set|probabilities]]  $p_{\rm A}$,  $p_{\rm B}$,  $p_{\rm C}$,  $p_{\rm D}$   ⇒   a-priori parameters.

With smaller  $N$  deviations may occur, as the adjacent table (result of a simulation) shows.

*In the graphic above an exemplary sequence is shown with  $N = 100$  symbols.
*Due to the set elements  $\rm A$,  $\rm B$,  $\rm C$  and  $\rm D$  no mean values can be given.

However, if you replace the symbols with numerical values, for example  $\rm A \Rightarrow 1$,   $\rm B \Rightarrow 2$,   $\rm C \Rightarrow 3$,   $\rm D \Rightarrow 4$, then you will get     time averaging   ⇒   crossing line     or     ensemble averaging   ⇒   expected value formation
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Linear_Average_-_Direct_Component|linear average]] :
:$$m_1 = \overline { q_{\nu} } = {\rm E} \big [ q_{\mu} \big ] = 0.4 \cdot 1 + 0.3 \cdot 2 + 0.2 \cdot 3 + 0.1 \cdot 4
= 2 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Square_mean_.E2.80.93_Variance_.E2.80.93_Scattering |square mean]]:
:$$m_2 = \overline { q_{\nu}^{\hspace{0.05cm}2} } = {\rm E} \big [ q_{\mu}^{\hspace{0.05cm}2} \big ] = 0.4 \cdot 1^2 + 0.3 \cdot 2^2 + 0.2 \cdot 3^2 + 0.1 \cdot 4^2
= 5 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments#Some_often_used_Central_Moments|standard deviation]] (scattering) according to the "Theorem of Steiner":
:$$\sigma = \sqrt {m_2 - m_1^2} = \sqrt {5 - 2^2} = 1 \hspace{0.05cm}.$$}}

==Decision content - Message content==
 
[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  defined in 1948 in the standard work of information theory  [Sha48]<ref name='Sha48'>Shannon, C.E.: A Mathematical Theory of Communication. In: Bell Syst. Techn. J. 27 (1948), pp. 379-423 and pp. 623-656.</ref>  the concept of information as "decrease of uncertainty about the occurrence of a statistical event".

Let us make a mental experiment with  $M$  possible results, which are all equally probable:   $p_1 = p_2 = \hspace{0.05cm} \text{ ...}\hspace{0.05cm} = p_M = 1/M \hspace{0.05cm}.$

Under this assumption applies:
*Is  $M = 1$, then each individual attempt will yield the same result and therefore there is no uncertainty about the output.
*On the other hand, an observer learns about an experiment with  $M = 2$, for example the "coin toss" with the set of events  $\big \{\rm \boldsymbol{\rm Z}, \rm \boldsymbol{\rm W} \big \}$  and the probabilities  $p_{\rm Z} = p_{\rm W} = 0. 5$, a gain in information; The uncertainty regarding  $\rm Z$  resp.  $\rm W$  is resolved.
*In the experiment "dice"  $(M = 6)$  and even more in roulette  $(M = 37)$  the gained information is even more significant for the observer than in the "coin toss" when he learns which number was thrown or which ball fell.
*Finally it should be considered that the experiment  "triple coin toss"  with the  $M = 8$  possible results  $\rm ZZZ$,  $\rm ZZW$,  $\rm ZWZ$,  $\rm ZWW$,  $\rm WZZ$,  $\rm WZW$,  $\rm WWZ$,  $\rm WWW$  provides three times the information as the single coin toss  $(M = 2)$.

The following definition fulfills all the requirements listed here for a quantitative information measure for equally probable events, indicated only by the symbol range  $M$.

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''decision content'''   of a message source depends only on the symbol range  $M$  and results in

:$$H_0 = {\rm log}\hspace{0.1cm}M = {\rm log}_2\hspace{0.1cm}M \hspace{0.15cm} {\rm (in \ “bit")}
= {\rm ln}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “nat")}
= {\rm lg}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “Hartley")}\hspace{0.05cm}.$$

*The term  ''message content'' is also commonly used for this.
*Since  $H_0$  indicates the maximum value of the  [[Information_Theory/Sources with Memory#Information_Content_and_Entropy|Entropy]]  $H$ , $H_\text{max}$  is also used in our tutorial as short notation . }}

Please note our nomenclature:
*The logarithm will be called "log" in the following, independent of the base.
*The relations mentioned above are fulfilled due to the following properties:

:$${\rm log}\hspace{0.1cm}1 = 0 \hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}37 > {\rm log}\hspace{0.1cm}6 > {\rm log}\hspace{0.1cm}2\hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}M^k = k \cdot {\rm log}\hspace{0.1cm}M \hspace{0.05cm}.$$

* Usually we use the logarithm to the base  $2$   ⇒   ''Logarithm dualis''  $\rm (ld)$, where the pseudo unit "bit", more precisely:  "bit/symbol", is then added:

:$${\rm ld}\hspace{0.1cm}M = {\rm log_2}\hspace{0.1cm}M = \frac{{\rm lg}\hspace{0.1cm}M}{{\rm lg}\hspace{0.1cm}2}
= \frac{{\rm ln}\hspace{0.1cm}M}{{\rm ln}\hspace{0.1cm}2}
\hspace{0.05cm}.$$

*In addition, you can find in the literature some additional definitions, which are based on the natural logarithm  $\rm (ln)$  or the logarithm  $\rm (lg)$ .

==Informationsgehalt und Entropie ==
 
Wir verzichten nun auf die bisherige Voraussetzung, dass alle  $M$  möglichen Ergebnisse eines Versuchs gleichwahrscheinlich seien.  Im Hinblick auf eine möglichst kompakte Schreibweise legen wir für diese Seite lediglich fest:

:$$p_1 > p_2 > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_\mu > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_{M-1} > p_M\hspace{0.05cm},\hspace{0.4cm}\sum_{\mu = 1}^M p_{\mu} = 1 \hspace{0.05cm}.$$

Wir betrachten nun den ''Informationsgehalt''  der einzelnen Symbole, wobei wir den &bdquo;Logarithmus dualis” mit $\log_2$ bezeichnen:

:$$I_\mu = {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}= -\hspace{0.05cm}{\rm log_2}\hspace{0.1cm}{p_\mu}
\hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

Man erkennt:
*Wegen  $p_μ ≤ 1$  ist der Informationsgehalt nie negativ.  Im Grenzfall  $p_μ \to 1$  geht  $I_μ \to 0$.
*Allerdings ist für  $I_μ = 0$   ⇒   $p_μ = 1$   ⇒   $M = 1$  auch der Entscheidungsgehalt  $H_0 = 0$.
*Bei abfallenden Wahrscheinlichkeiten  $p_μ$  nimmt der Informationsgehalt kontinuierlich zu:

:$$I_1 < I_2 < \hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_\mu <\hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_{M-1} < I_M \hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Fazit:}$  '''Je unwahrscheinlicher ein Ereignis ist, desto größer ist sein Informationsgehalt'''.  Diesen Sachverhalt stellt man auch im täglichen Leben fest:
*„6 Richtige” im Lotto nimmt man sicher eher wahr als „3 Richtige” oder gar keinen Gewinn.
*Ein Tsunami in Asien dominiert auch die Nachrichten in Deutschland über Wochen im Gegensatz zu den fast standardmäßigen Verspätungen der Deutschen Bahn.
*Eine Niederlagenserie von Bayern München führt zu Riesen–Schlagzeilen im Gegensatz zu einer Siegesserie.  Bei 1860 München ist genau das Gegenteil der Fall.}}

Der Informationsgehalt eines einzelnen Symbols (oder Ereignisses) ist allerdings nicht sehr interessant.  Dagegen erhält man
*durch Scharmittelung über alle möglichen Symbole  $q_μ$  bzw. 
*durch Zeitmittelung über alle Elemente der Folge  $\langle q_ν \rangle$

eine der zentralen Größen der Informationstheorie.

{{BlaueBox|TEXT=
$\text{Definition:}$  Die  '''Entropie'''  $H$  einer Quelle gibt den ''mittleren Informationsgehalt aller Symbole''  an:

:$$H = \overline{I_\nu} = {\rm E}\hspace{0.01cm}[I_\mu] = \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}=
-\sum_{\mu = 1}^M p_{\mu} \cdot{\rm log_2}\hspace{0.1cm}{p_\mu} \hspace{0.5cm}\text{(Einheit: bit, genauer: bit/Symbol)}
\hspace{0.05cm}.$$

Die überstreichende Linie kennzeichnet wieder eine Zeitmittelung und  $\rm E[\text{...}]$  eine Scharmittelung.}}

Die Entropie ist unter anderem ein Maß für
*die mittlere Unsicherheit über den Ausgang eines statistischen Ereignisses,
*die „Zufälligkeit” dieses Ereignisses,  sowie
*den mittleren Informationsgehalt einer Zufallsgröße.

==Binäre Entropiefunktion ==
 
Wir beschränken uns zunächst auf den Sonderfall  $M = 2$  und betrachten eine binäre Quelle, die die beiden Symbole  $\rm A$  und  $\rm B$  abgibt.  Die Auftrittwahrscheinlichkeiten seien   $p_{\rm A} = p$  und  $p_{\rm B} = 1 – p$.

Für die Entropie dieser Binärquelle gilt:

:$$H_{\rm bin} (p) = p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p} \hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

Man nennt die Funktion  $H_\text{bin}(p)$  die  '''binäre Entropiefunktion'''.  Die Entropie einer Quelle mit größerem Symbolumfang  $M$  lässt sich häufig unter Verwendung von  $H_\text{bin}(p)$  ausdrücken.

{{GraueBox|TEXT=
$\text{Beispiel 2:}$ 
Die Grafik zeigt die binäre Entropiefunktion für die Werte  $0 ≤ p ≤ 1$  der Symbolwahrscheinlichkeit von  $\rm A$  $($oder auch von  $\rm B)$.  Man erkennt:

[[File:Inf_T_1_1_S4_vers2.png|frame|Binäre Entropiefunktion als Funktion von  $p$|right]]
*Der Maximalwert  $H_\text{max} = 1\; \rm bit$  ergibt sich für  $p = 0.5$, also für gleichwahrscheinliche Binärsymbole.  Dann liefern  $\rm A$  und  $\rm B$  jeweils den gleichen Beitrag zur Entropie.
* $H_\text{bin}(p)$  ist symmetrisch um  $p = 0.5$.  Eine Quelle mit  $p_{\rm A} = 0.1$  und  $p_{\rm B} = 0.9$  hat die gleiche Entropie  $H = 0.469 \; \rm bit$  wie eine Quelle mit  $p_{\rm A} = 0.9$  und  $p_{\rm B} = 0.1$.
*Die Differenz  $ΔH = H_\text{max} - H$ gibt  die  ''Redundanz''  der Quelle an und  $r = ΔH/H_\text{max}$  die  ''relative Redundanz''.  Im Beispiel ergeben sich  $ΔH = 0.531\; \rm bit$  bzw.  $r = 53.1 \rm \%$.
*Für  $p = 0$  ergibt sich  $H = 0$, da hier die Symbolfolge  $\rm B \ B \ B \text{...}$  mit Sicherheit vorhergesagt werden kann.  Eigentlich ist nun der Symbolumfang nur noch  $M = 1$.  Gleiches gilt für  $p = 1$   ⇒   Symbolfolge  $\rm A \ A \ A \text{...}$.
*$H_\text{bin}(p)$  ist stets eine  ''konkave Funktion'', da die zweite Ableitung nach dem Parameter  $p$  für alle Werte von  $p$  negativ ist:
:$$\frac{ {\rm d}^2H_{\rm bin} (p)}{ {\rm d}\,p^2} = \frac{- 1}{ {\rm ln}(2) \cdot p \cdot (1-p)}< 0
\hspace{0.05cm}.$$}}

==Nachrichtenquellen mit größerem Symbolumfang==
 
Im  [[Information_Theory/Gedächtnislose_Nachrichtenquellen#Modell_und_Voraussetzungen|ersten Abschnitt]]  dieses Kapitels haben wir eine quaternäre Nachrichtenquelle  $(M = 4)$  mit den Symbolwahrscheinlichkeiten  $p_{\rm A} = 0.4$,   $p_{\rm B} = 0.3$,   $p_{\rm C} = 0.2$   und  $ p_{\rm D} = 0.1$  betrachtet.  Diese Quelle besitzt die folgende Entropie:

:$$H_{\rm quat} = 0.4 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.3} + 0.2 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.1}.$$

Oft ist zur zahlenmäßigen Berechnung der Umweg über den Zehnerlogarithmus  $\lg \ x = {\rm log}_{10} \ x$  sinnvoll, da der ''Logarithmus dualis''  $ {\rm log}_2 \ x$  meist auf Taschenrechnern nicht zu finden ist.

:$$H_{\rm quat}=\frac{1}{{\rm lg}\hspace{0.1cm}2} \cdot \left [ 0.4 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.3} + 0.2 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.1} \right ] = 1.845\,{\rm bit}
\hspace{0.05cm}.$$

{{GraueBox|TEXT=
$\text{Beispiel 3:}$ 
Nun bestehen zwischen den einzelnen Symbolwahrscheinlichkeiten gewisse Symmetrien:
[[File:Inf_T_1_1_S5_vers2.png|frame|Entropie von Binärquelle und Quaternärquelle]]

:$$p_{\rm A} = p_{\rm D} = p \hspace{0.05cm},\hspace{0.4cm}p_{\rm B} = p_{\rm C} = 0.5 - p \hspace{0.05cm},\hspace{0.3cm}{\rm mit} \hspace{0.15cm}0 \le p \le 0.5 \hspace{0.05cm}.$$

In diesem Fall kann zur Entropieberechnung auf die binäre Entropiefunktion zurückgegriffen werden:

:$$H_{\rm quat} = 2 \cdot p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm} } + 2 \cdot (0.5-p) \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.5-p}$$
:$$\Rightarrow \hspace{0.3cm} H_{\rm quat} = 1 + H_{\rm bin}(2p) \hspace{0.05cm}.$$

Die Grafik zeigt abhängig von  $p$
*den Entropieverlauf der Quaternärquelle (blau)
*im Vergleich zum Entropieverlauf der Binärquelle (rot).

Für die Quaternärquelle ist nur der Abszissen  $0 ≤ p ≤ 0.5$  zulässig.
 
Man erkennt aus der blauen Kurve für die Quaternärquelle:
*Die maximale Entropie  $H_\text{max} = 2 \; \rm bit/Symbol$  ergibt sich für  $p = 0.25$   ⇒   gleichwahrscheinliche Symbole:   $p_{\rm A} = p_{\rm B} = p_{\rm C} = p_{\rm A} = 0.25$.
*Mit  $p = 0$  bzw.  $p = 0.5$  entartet die Quaternärquelle zu einer Binärquelle mit  $p_{\rm B} = p_{\rm C} = 0.5$  und  $p_{\rm A} = p_{\rm D} = 0$   ⇒   Entropie  $H = 1 \; \rm bit/Symbol$.
*Die Quelle mit  $p_{\rm A} = p_{\rm D} = 0.1$  und  $p_{\rm B} = p_{\rm C} = 0.4$  weist folgende Kennwerte auf (jeweils mit der Pseudoeinheit „bit/Symbol”):

:     '''(1)'''   Entropie:   $H = 1 + H_{\rm bin} (2p) =1 + H_{\rm bin} (0.2) = 1.722,$

:     '''(2)'''   Redundanz:   ${\rm \Delta }H = {\rm log_2}\hspace{0.1cm} M - H =2- 1.722= 0.278,$

:     '''(3)'''   relative Redundanz:   $r ={\rm \Delta }H/({\rm log_2}\hspace{0.1cm} M) = 0.139\hspace{0.05cm}.$

*Die Redundanz der Quaternärquelle mit  $p = 0.1$  ist gleich  $ΔH = 0.278 \; \rm bit/Symbol$  und damit genau so groß wie die Redundanz der Binärquelle mit  $p = 0.2$.}}

==Aufgaben zum Kapitel==
 
[[Aufgaben:1.1 Wetterentropie|Aufgabe 1.1: Wetterentropie]]

[[Aufgaben:1.1Z Binäre Entropiefunktion|Aufgabe 1.1Z: Binäre Entropiefunktion]]

[[Aufgaben:1.2 Entropie von Ternärquellen|Aufgabe 1.2: Entropie von Ternärquellen]]

==Quellenverzeichnis==
<references />

{{Display}}

Information Theory/Discrete Memoryless Sources

2020-10-27T21:55:06Z

Rosa:

{{FirstPage}}
{{Header
|Untermenü=Entropie wertdiskreter Nachrichtenquellen
|Vorherige Seite=
|Nächste Seite=Nachrichtenquellen mit Gedächtnis
}}

== # OVERVIEW OF THE FIRST MAIN CHAPTER # ==
 
This first chapter describes the calculation and the meaning of entropy.  According to the Shannonian information definition, entropy is a measure of the mean uncertainty about the outcome of a statistical event or the uncertainty in the measurement of a stochastic quantity.  Somewhat casually expressed, the entropy of a random quantity quantifies its "randomness".

In detail are discussed:

*the ''decision content''  and the ''entropy''  of a memoryless news source,
*the ''binary entropy function''  and its application to ''non-binary sources'',
*the entropy calculation for ''memory sources''  and suitable approximations,
*the peculiarities of ''Markov sources''  regarding the entropy calculation,
*the procedure for sources with a large number of symbols, for example ''natural texts'',
*the ''entropy estimates''  according to Shannon and Küpfmüller.

Further information on the topic as well as Exercises, simulations and programming exercises can be found in the experiment "Value Discrete Information Theory" of the practical course "Simulation Digitaler Übertragungssysteme" (english: Simulation of Digital Transmission Systems).  This (former) LNT course at the TU Munich is based on

*the Windows program  [http://en.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]   ⇒   the link points to the ZIP version of the program and
*the associated  [http://en.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Internship guide]   ⇒   the link refers to the PDF version.

== Model and requirements ==
 
We consider a value discrete message source  $\rm Q$, which gives a sequence  $ \langle q_ν \rangle$  of symbols.
*For the run variable  $ν = 1$, ... , $N$, where  $N$  should be "sufficiently large".
*Each individual source symbol  $q_ν$  comes from a symbol set  $\{q_μ \}$  where  $μ = 1$, ... , $M$, where  $M$  denotes the symbol range:

:$$q_{\nu} \in \left \{ q_{\mu} \right \}, \hspace{0.25cm}{\rm with}\hspace{0.25cm} \nu = 1, \hspace{0.05cm} \text{ ...}\hspace{0.05cm} , N\hspace{0.25cm}{\rm and}\hspace{0.25cm}\mu = 1,\hspace{0.05cm} \text{ ...}\hspace{0.05cm} , M \hspace{0.05cm}.$$

The figure shows a quaternary message source  $(M = 4)$  with the alphabet  $\rm \{A, \ B, \ C, \ D\}$  and an exemplary sequence of length  $N = 100$.

[[File:P_ID2227__Inf_T_1_1_S1a_new.png|frame|Memoryless Quaternary Message Source]]

The following requirements apply:
*The quaternary news source is fully described by  $M = 4$  symbol probabilities  $p_μ$.  In general it applies:
:$$\sum_{\mu = 1}^M \hspace{0.1cm}p_{\mu} = 1 \hspace{0.05cm}.$$
*The message source is memoryless, i.e., the individual sequence elements are  [[Theory_of_Stochastic_Signals/Statistical Dependence and Independence#General_definition_of_statistical_dependence|statistically independent of each other]]:
:$${\rm Pr} \left (q_{\nu} = q_{\mu} \right ) = {\rm Pr} \left (q_{\nu} = q_{\mu} \hspace{0.03cm} | \hspace{0.03cm} q_{\nu -1}, q_{\nu -2}, \hspace{0.05cm} \text{ ...}\hspace{0.05cm}\right ) \hspace{0.05cm}.$$
*Since the alphabet consists of symbols  (and not of random variables) , the specification of  [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments|Expected_values]]  (linear mean, quadratic mean, dispersion, etc.) is not possible here, but also not necessary from an information-theoretical point of view.

These properties will now be illustrated with an example.

[[File:Inf_T_1_1_S1b_vers2.png|right|frame|Relative frequencies as a function of  $N$]]
{{GraueBox|TEXT=
$\text{Example 1:}$ 
For the symbol probabilities of a quaternary source applies:
:$$p_{\rm A} = 0.4 \hspace{0.05cm},\hspace{0.2cm}p_{\rm B} = 0.3 \hspace{0.05cm},\hspace{0.2cm}p_{\rm C} = 0.2 \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D} = 0.1\hspace{0.05cm}.$$
For an infinitely long sequence  $(N \to \infty)$
*were the  [[Theory_of_Stochastic_Signals/From_Random_Experiment_to_Random_Size#Bernoulli's_Law_of_Large_Numbers|relative frequencies]]  $h_{\rm A}$,  $h_{\rm B}$,  $h_{\rm C}$,  $h_{\rm D}$   ⇒   a-posteriori parameters
*identical with the  [[Theory_of_Stochastic_Signals/Some_basic_definitions#Event_and_Event_set|probabilities]]  $p_{\rm A}$,  $p_{\rm B}$,  $p_{\rm C}$,  $p_{\rm D}$   ⇒   a-priori parameters.

With smaller  $N$  deviations may occur, as the adjacent table (result of a simulation) shows.

*In the graphic above an exemplary sequence is shown with  $N = 100$  symbols.
*Due to the set elements  $\rm A$,  $\rm B$,  $\rm C$  and  $\rm D$  no mean values can be given.

However, if you replace the symbols with numerical values, for example  $\rm A \Rightarrow 1$,   $\rm B \Rightarrow 2$,   $\rm C \Rightarrow 3$,   $\rm D \Rightarrow 4$, then you will get     time averaging   ⇒   crossing line     or     coulter averaging   ⇒   expected value formation
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Linear_Average_-_Direct_Component|Linear_Average]] :
:$$m_1 = \overline { q_{\nu} } = {\rm E} \big [ q_{\mu} \big ] = 0.4 \cdot 1 + 0.3 \cdot 2 + 0.2 \cdot 3 + 0.1 \cdot 4
= 2 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Square_mean_.E2.80.93_Variance_.E2.80.93_Scattering |square mean]]:
:$$m_2 = \overline { q_{\nu}^{\hspace{0.05cm}2} } = {\rm E} \big [ q_{\mu}^{\hspace{0.05cm}2} \big ] = 0.4 \cdot 1^2 + 0.3 \cdot 2^2 + 0.2 \cdot 3^2 + 0.1 \cdot 4^2
= 5 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments#Some_often_used_Central_Moments|Standard Deviation]] (scattering) according to the "Theorem of Steiner":
:$$\sigma = \sqrt {m_2 - m_1^2} = \sqrt {5 - 2^2} = 1 \hspace{0.05cm}.$$}}

==Decision content - Message content==
 
[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  defined in 1948 in the standard work of information theory  [Sha48]<ref name='Sha48'>Shannon, C.E.: A Mathematical Theory of Communication. In: Bell Syst. Techn. J. 27 (1948), pp. 379-423 and pp. 623-656.</ref>  the concept of information as "decrease of uncertainty about the occurrence of a statistical event".

Let us make a mental experiment with  $M$  possible results, which are all equally probable:   $p_1 = p_2 = \hspace{0.05cm} \text{ ...}\hspace{0.05cm} = p_M = 1/M \hspace{0.05cm}.$

Under this assumption applies:
*Is  $M = 1$, then each individual attempt will yield the same result and therefore there is no uncertainty about the output.
*On the other hand, an observer learns about an experiment with  $M = 2$, for example the "coin toss" with the set of events  $\big \{\rm \bold symbol{\rm Z}(ahl), \rm \bold symbol{\rm W}(app) \big \}$  and the probabilities  $p_{\rm Z} = p_{\rm W} = 0. 5$, a gain in information; The uncertainty regarding  $\rm Z$  resp.  $\rm W$  is resolved.
*In the experiment "dice"  $(M = 6)$  and even more in roulette  $(M = 37)$  the gained information is even more significant for the observer than in the "coin toss" when he learns which number was thrown or which ball fell.
*Finally it should be considered that the experiment  "triple coin toss"  with the  $M = 8$  possible results  $\rm ZZZ$,  $\rm ZZW$,  $\rm ZWZ$,  $\rm ZWW$,  $\rm WZZ$,  $\rm WZW$,  $\rm WWZ$,  $\rm WWW$  provides three times the information as the single coin toss  $(M = 2)$.

The following definition fulfills all the requirements listed here for a quantitative information measure for equally probable events, indicated only by the symbol range  $M$.

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''decision content'''   of a message source depends only on the symbol range  $M$  and results in

:$$H_0 = {\rm log}\hspace{0.1cm}M = {\rm log}_2\hspace{0.1cm}M \hspace{0.15cm} {\rm (in \ "bit")}
= {\rm ln}\hspace{0.1cm}M \hspace{0.15cm}\text {(in "nat")}
= {\rm lg}\hspace{0.1cm}M \hspace{0.15cm}\text {(in "Hartley")}\hspace{0.05cm}.$$

*The term  ''message content'' is also commonly used for this.
*Since  $H_0$  indicates the maximum value of the  [[Information_Theory/Memory_Message_Sources#Information_content_and_Entropy|Entropy]]  $H$ , $H_\text{max}$  is also used in our tutorial as short notation . }}

Please note our nomenclature:
*The logarithm will be called "log" in the following, independent of the base.
*The relations mentioned above are fulfilled due to the following properties:

:$${\rm log}\hspace{0.1cm}1 = 0 \hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}37 > {\rm log}\hspace{0.1cm}6 > {\rm log}\hspace{0.1cm}2\hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}M^k = k \cdot {\rm log}\hspace{0.1cm}M \hspace{0.05cm}.$$

* Usually we use the logarithm to the base  $2$   ⇒   ''Logarithm dualis''  $\rm (ld)$, where the pseudo unit "bit", more precisely:  "bit/symbol", is then added:

:$${\rm ld}\hspace{0.1cm}M = {\rm log_2}\hspace{0.1cm}M = \frac{{\rm lg}\hspace{0.1cm}M}{{\rm lg}\hspace{0.1cm}2}
= \frac{{\rm ln}\hspace{0.1cm}M}{{\rm ln}\hspace{0.1cm}2}
\hspace{0.05cm}.$$

*In addition, you can find in the literature some additional definitions, which are based on the natural logarithm  $\rm (ln)$  or the logarithm  $\rm (lg)$ .

==Informationsgehalt und Entropie ==
 
Wir verzichten nun auf die bisherige Voraussetzung, dass alle  $M$  möglichen Ergebnisse eines Versuchs gleichwahrscheinlich seien.  Im Hinblick auf eine möglichst kompakte Schreibweise legen wir für diese Seite lediglich fest:

:$$p_1 > p_2 > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_\mu > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_{M-1} > p_M\hspace{0.05cm},\hspace{0.4cm}\sum_{\mu = 1}^M p_{\mu} = 1 \hspace{0.05cm}.$$

Wir betrachten nun den ''Informationsgehalt''  der einzelnen Symbole, wobei wir den &bdquo;Logarithmus dualis” mit $\log_2$ bezeichnen:

:$$I_\mu = {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}= -\hspace{0.05cm}{\rm log_2}\hspace{0.1cm}{p_\mu}
\hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

Man erkennt:
*Wegen  $p_μ ≤ 1$  ist der Informationsgehalt nie negativ.  Im Grenzfall  $p_μ \to 1$  geht  $I_μ \to 0$.
*Allerdings ist für  $I_μ = 0$   ⇒   $p_μ = 1$   ⇒   $M = 1$  auch der Entscheidungsgehalt  $H_0 = 0$.
*Bei abfallenden Wahrscheinlichkeiten  $p_μ$  nimmt der Informationsgehalt kontinuierlich zu:

:$$I_1 < I_2 < \hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_\mu <\hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_{M-1} < I_M \hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Fazit:}$  '''Je unwahrscheinlicher ein Ereignis ist, desto größer ist sein Informationsgehalt'''.  Diesen Sachverhalt stellt man auch im täglichen Leben fest:
*„6 Richtige” im Lotto nimmt man sicher eher wahr als „3 Richtige” oder gar keinen Gewinn.
*Ein Tsunami in Asien dominiert auch die Nachrichten in Deutschland über Wochen im Gegensatz zu den fast standardmäßigen Verspätungen der Deutschen Bahn.
*Eine Niederlagenserie von Bayern München führt zu Riesen–Schlagzeilen im Gegensatz zu einer Siegesserie.  Bei 1860 München ist genau das Gegenteil der Fall.}}

Der Informationsgehalt eines einzelnen Symbols (oder Ereignisses) ist allerdings nicht sehr interessant.  Dagegen erhält man
*durch Scharmittelung über alle möglichen Symbole  $q_μ$  bzw. 
*durch Zeitmittelung über alle Elemente der Folge  $\langle q_ν \rangle$

eine der zentralen Größen der Informationstheorie.

{{BlaueBox|TEXT=
$\text{Definition:}$  Die  '''Entropie'''  $H$  einer Quelle gibt den ''mittleren Informationsgehalt aller Symbole''  an:

:$$H = \overline{I_\nu} = {\rm E}\hspace{0.01cm}[I_\mu] = \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}=
-\sum_{\mu = 1}^M p_{\mu} \cdot{\rm log_2}\hspace{0.1cm}{p_\mu} \hspace{0.5cm}\text{(Einheit: bit, genauer: bit/Symbol)}
\hspace{0.05cm}.$$

Die überstreichende Linie kennzeichnet wieder eine Zeitmittelung und  $\rm E[\text{...}]$  eine Scharmittelung.}}

Die Entropie ist unter anderem ein Maß für
*die mittlere Unsicherheit über den Ausgang eines statistischen Ereignisses,
*die „Zufälligkeit” dieses Ereignisses,  sowie
*den mittleren Informationsgehalt einer Zufallsgröße.

==Binäre Entropiefunktion ==
 
Wir beschränken uns zunächst auf den Sonderfall  $M = 2$  und betrachten eine binäre Quelle, die die beiden Symbole  $\rm A$  und  $\rm B$  abgibt.  Die Auftrittwahrscheinlichkeiten seien   $p_{\rm A} = p$  und  $p_{\rm B} = 1 – p$.

Für die Entropie dieser Binärquelle gilt:

:$$H_{\rm bin} (p) = p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p} \hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

Man nennt die Funktion  $H_\text{bin}(p)$  die  '''binäre Entropiefunktion'''.  Die Entropie einer Quelle mit größerem Symbolumfang  $M$  lässt sich häufig unter Verwendung von  $H_\text{bin}(p)$  ausdrücken.

{{GraueBox|TEXT=
$\text{Beispiel 2:}$ 
Die Grafik zeigt die binäre Entropiefunktion für die Werte  $0 ≤ p ≤ 1$  der Symbolwahrscheinlichkeit von  $\rm A$  $($oder auch von  $\rm B)$.  Man erkennt:

[[File:Inf_T_1_1_S4_vers2.png|frame|Binäre Entropiefunktion als Funktion von  $p$|right]]
*Der Maximalwert  $H_\text{max} = 1\; \rm bit$  ergibt sich für  $p = 0.5$, also für gleichwahrscheinliche Binärsymbole.  Dann liefern  $\rm A$  und  $\rm B$  jeweils den gleichen Beitrag zur Entropie.
* $H_\text{bin}(p)$  ist symmetrisch um  $p = 0.5$.  Eine Quelle mit  $p_{\rm A} = 0.1$  und  $p_{\rm B} = 0.9$  hat die gleiche Entropie  $H = 0.469 \; \rm bit$  wie eine Quelle mit  $p_{\rm A} = 0.9$  und  $p_{\rm B} = 0.1$.
*Die Differenz  $ΔH = H_\text{max} - H$ gibt  die  ''Redundanz''  der Quelle an und  $r = ΔH/H_\text{max}$  die  ''relative Redundanz''.  Im Beispiel ergeben sich  $ΔH = 0.531\; \rm bit$  bzw.  $r = 53.1 \rm \%$.
*Für  $p = 0$  ergibt sich  $H = 0$, da hier die Symbolfolge  $\rm B \ B \ B \text{...}$  mit Sicherheit vorhergesagt werden kann.  Eigentlich ist nun der Symbolumfang nur noch  $M = 1$.  Gleiches gilt für  $p = 1$   ⇒   Symbolfolge  $\rm A \ A \ A \text{...}$.
*$H_\text{bin}(p)$  ist stets eine  ''konkave Funktion'', da die zweite Ableitung nach dem Parameter  $p$  für alle Werte von  $p$  negativ ist:
:$$\frac{ {\rm d}^2H_{\rm bin} (p)}{ {\rm d}\,p^2} = \frac{- 1}{ {\rm ln}(2) \cdot p \cdot (1-p)}< 0
\hspace{0.05cm}.$$}}

==Nachrichtenquellen mit größerem Symbolumfang==
 
Im  [[Information_Theory/Gedächtnislose_Nachrichtenquellen#Modell_und_Voraussetzungen|ersten Abschnitt]]  dieses Kapitels haben wir eine quaternäre Nachrichtenquelle  $(M = 4)$  mit den Symbolwahrscheinlichkeiten  $p_{\rm A} = 0.4$,   $p_{\rm B} = 0.3$,   $p_{\rm C} = 0.2$   und  $ p_{\rm D} = 0.1$  betrachtet.  Diese Quelle besitzt die folgende Entropie:

:$$H_{\rm quat} = 0.4 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.3} + 0.2 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.1}.$$

Oft ist zur zahlenmäßigen Berechnung der Umweg über den Zehnerlogarithmus  $\lg \ x = {\rm log}_{10} \ x$  sinnvoll, da der ''Logarithmus dualis''  $ {\rm log}_2 \ x$  meist auf Taschenrechnern nicht zu finden ist.

:$$H_{\rm quat}=\frac{1}{{\rm lg}\hspace{0.1cm}2} \cdot \left [ 0.4 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.3} + 0.2 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.1} \right ] = 1.845\,{\rm bit}
\hspace{0.05cm}.$$

{{GraueBox|TEXT=
$\text{Beispiel 3:}$ 
Nun bestehen zwischen den einzelnen Symbolwahrscheinlichkeiten gewisse Symmetrien:
[[File:Inf_T_1_1_S5_vers2.png|frame|Entropie von Binärquelle und Quaternärquelle]]

:$$p_{\rm A} = p_{\rm D} = p \hspace{0.05cm},\hspace{0.4cm}p_{\rm B} = p_{\rm C} = 0.5 - p \hspace{0.05cm},\hspace{0.3cm}{\rm mit} \hspace{0.15cm}0 \le p \le 0.5 \hspace{0.05cm}.$$

In diesem Fall kann zur Entropieberechnung auf die binäre Entropiefunktion zurückgegriffen werden:

:$$H_{\rm quat} = 2 \cdot p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm} } + 2 \cdot (0.5-p) \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.5-p}$$
:$$\Rightarrow \hspace{0.3cm} H_{\rm quat} = 1 + H_{\rm bin}(2p) \hspace{0.05cm}.$$

Die Grafik zeigt abhängig von  $p$
*den Entropieverlauf der Quaternärquelle (blau)
*im Vergleich zum Entropieverlauf der Binärquelle (rot).

Für die Quaternärquelle ist nur der Abszissen  $0 ≤ p ≤ 0.5$  zulässig.
 
Man erkennt aus der blauen Kurve für die Quaternärquelle:
*Die maximale Entropie  $H_\text{max} = 2 \; \rm bit/Symbol$  ergibt sich für  $p = 0.25$   ⇒   gleichwahrscheinliche Symbole:   $p_{\rm A} = p_{\rm B} = p_{\rm C} = p_{\rm A} = 0.25$.
*Mit  $p = 0$  bzw.  $p = 0.5$  entartet die Quaternärquelle zu einer Binärquelle mit  $p_{\rm B} = p_{\rm C} = 0.5$  und  $p_{\rm A} = p_{\rm D} = 0$   ⇒   Entropie  $H = 1 \; \rm bit/Symbol$.
*Die Quelle mit  $p_{\rm A} = p_{\rm D} = 0.1$  und  $p_{\rm B} = p_{\rm C} = 0.4$  weist folgende Kennwerte auf (jeweils mit der Pseudoeinheit „bit/Symbol”):

:     '''(1)'''   Entropie:   $H = 1 + H_{\rm bin} (2p) =1 + H_{\rm bin} (0.2) = 1.722,$

:     '''(2)'''   Redundanz:   ${\rm \Delta }H = {\rm log_2}\hspace{0.1cm} M - H =2- 1.722= 0.278,$

:     '''(3)'''   relative Redundanz:   $r ={\rm \Delta }H/({\rm log_2}\hspace{0.1cm} M) = 0.139\hspace{0.05cm}.$

*Die Redundanz der Quaternärquelle mit  $p = 0.1$  ist gleich  $ΔH = 0.278 \; \rm bit/Symbol$  und damit genau so groß wie die Redundanz der Binärquelle mit  $p = 0.2$.}}

==Aufgaben zum Kapitel==
 
[[Aufgaben:1.1 Wetterentropie|Aufgabe 1.1: Wetterentropie]]

[[Aufgaben:1.1Z Binäre Entropiefunktion|Aufgabe 1.1Z: Binäre Entropiefunktion]]

[[Aufgaben:1.2 Entropie von Ternärquellen|Aufgabe 1.2: Entropie von Ternärquellen]]

==Quellenverzeichnis==
<references />

{{Display}}

Information Theory

2020-10-26T23:18:25Z

Rosa:

Since the early beginnings of communications as an engineering discipline, many engineers and mathematicians have sought to find a quantitative measure of
*the $\rm Information$  (in general: "the knowledge of something") contained in a  $\rm message$  (here we understand "a collection of symbols and/or states").

The (abstract) information is communicated by the (concrete) message and can be seen as an interpretation of a message.

[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  succeeded in 1948 in establishing a consistent theory of the information content of messages, which was revolutionary in its time and created a new, still highly topical field of science:  the theory named after him  $\text{Shannon's Information Theory}$.

The course material corresponds to a  $\text{lecture with two semester hours per week (SWS) and one SWS exercise}$.

Here is a table of contents based on the  $\text{four main chapters}$  with a total of  $\text{13 individual chapters}$.

===Inhalt===
{{Collapsible-Kopf}}
{{Collapse1| header=Entropy of Discrete Sources
| submenu=
*[[/Gedächtnislose Nachrichtenquellen/]]
*[[/Nachrichtenquellen mit Gedächtnis/]]
*[[/Natürliche wertdiskrete Nachrichtenquellen/]]
}}
{{Collapse2 | header=Source Coding - Data Compression
|submenu=
*[[/Allgemeine Beschreibung/]]
*[[/Komprimierung nach Lempel, Ziv und Welch/]]
*[[/Entropiecodierung nach Huffman/]]
*[[/Weitere Quellencodierverfahren/]]
}}
{{Collapse3 | header=Mutual Information Between Two Discrete Random Variables
|submenu=
*[[/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen/]]
*[[/Verschiedene Entropien zweidimensionaler Zufallsgrößen/]]
*[[/Anwendung auf die Digitalsignalübertragung/]]
}}
{{Collapse4 | header=Information Theory for Continuous Random Variables
|submenu=
*[[/Differentielle Entropie/]]
*[[/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang/]]
*[[/AWGN–Kanalkapazität bei wertdiskretem Eingang/]]
}}
{{Collapsible-Fuß}}

In addition to these theory pages, we also offer Exercises and multimedia modules that could help to clarify the teaching material:
*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Informationstheorie $\text{Exercises}$]
*[[LNTwww:Lernvideos_zu_Informationstheorie|$\text{Learning videos}$]]
*[[LNTwww:HTML5-Applets_zu_Informationstheorie|$\text{redesigned applets}$]], based on HTML5, also executable on smartphones
*[[LNTwww:SWF-Applets_zu_Informationstheorie|$\text{former Applets}$]], based on SWF, executable only under WINDOWS with ''Adobe Flash Player''.

 
$\text{More links:}$
 
$(1)$    [[LNTwww:Literaturempfehlung_zu_Informationstheorie|$\text{Recommended literature for the book}$]]

$(2)$    [[LNTwww:Weitere_Hinweise_zum_Buch_Informationstheorie|$\text{General notes about the book}$]]   (Authors,  other participants,  materials as a starting point for the book,  list of sources)
 

__NOTOC__
__NOEDITSECTION__

Information Theory

2020-10-26T23:17:34Z

Rosa:

Since the early beginnings of communications as an engineering discipline, many engineers and mathematicians have sought to find a quantitative measure of
*the $\rm Information$  (in general: "the knowledge of something") contained in a  $\rm message$  (here we understand "a collection of symbols and/or states").

The (abstract) information is communicated by the (concrete) message and can be seen as an interpretation of a message.

[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  succeeded in 1948 in establishing a consistent theory of the information content of messages, which was revolutionary in its time and created a new, still highly topical field of science:  the theory named after him  $\text{Shannon's Information Theory}$.

The course material corresponds to a  $\text{lecture with two semester hours per week (SWS) and one SWS exercise}$.

Here is a table of contents based on the  $\text{four main chapters}$  with a total of  $\text{13 individual chapters}$.

===Inhalt===
{{Collapsible-Kopf}}
{{Collapse1| header=Entropy of Discrete Sources
| submenu=
*[[/Gedächtnislose Nachrichtenquellen/]]
*[[/Nachrichtenquellen mit Gedächtnis/]]
*[[/Natürliche wertdiskrete Nachrichtenquellen/]]
}}
{{Collapse2 | header=Source Coding - Data Compression
|submenu=
*[[/Allgemeine Beschreibung/]]
*[[/Komprimierung nach Lempel, Ziv und Welch/]]
*[[/Entropiecodierung nach Huffman/]]
*[[/Weitere Quellencodierverfahren/]]
}}
{{Collapse3 | header=Mutual Information Between Two Discrete Random Variables
|submenu=
*[[/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen/]]
*[[/Verschiedene Entropien zweidimensionaler Zufallsgrößen/]]
*[[/Anwendung auf die Digitalsignalübertragung/]]
}}
{{Collapse4 | header=Information Theory for Continuous Random Variables
|submenu=
*[[/Differentielle Entropie/]]
*[[/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang/]]
*[[/AWGN–Kanalkapazität bei wertdiskretem Eingang/]]
}}
{{Collapsible-Fuß}}

In addition to these theory pages, we also offer Exercises and multimedia modules that could help to clarify the teaching material:
*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Informationstheorie $\text{Exercises}$]
*[[LNTwww:Lernvideos_zu_Informationstheorie|$\text{Learning videos}$]]
*[[LNTwww:HTML5-Applets_zu_Informationstheorie|$\text{redesigned applets}$]], based on HTML5, also executable on smartphones
*[[LNTwww:SWF-Applets_zu_Informationstheorie|$\text{former Applets}$]], based on SWF, executable only under WINDOWS with ''Adobe Flash Player''.

 
$\text{More links:}$
 
$(1)$    [[LNTwww:Literaturempfehlung_zu_Informationstheorie|$\text{Recommended literature for the book}$]]

$(2)$    [[LNTwww:Weitere_Hinweise_zum_Buch_Informationstheorie|$\text{General notes about the book}$]]   (Autoren,  Weitere Beteiligte,  Materialien als Ausgangspunkt des Buches,  Quellenverzeichnis)
 

__NOTOC__
__NOEDITSECTION__

Mobile Communications/LTE-Advanced - a Further Development of LTE

2020-10-19T07:04:54Z

Rosa:

{{LastPage}}
{{Header
|Untermenü=LTE – Long Term Evolution
|Vorherige Seite=Physical Layer for LTE
|Nächste Seite=
}}

== How fast is LTE really? ==
 
Consumers are accustomed to being able to use (at least to a large extent) the speed offered by established cable-based services such as  [[Examples_of_Communication_Systems/General_Description_of_DSL|DSL]]  (Digital Subscriber Line ).
*But what is the situation with LTE? 

*What data rates can the individual LTE–user actually reach?

It is much more difficult for the providers of mobile radio systems to provide concrete data rate information, since many influences that are difficult to predict have to be taken into account for a radio connection. 

As already described in chapter  [[Mobile_Communications/Technical Innovations of LTE# Multiple Antenna Systems|Technical Innovations of LTE]]  according to the planning for 2011, data rates of up to 326 Mbit/s are possible in LTE–Downlink and approx. 86 Mbit/s in Uplink. These figures are only maximum achievable values. In reality, however, the speed is determined by a variety of factors. In the following we refer to the downlink, see  [Gut10]<ref name='Gut10'>Gutt, E.: ''LTE - a new dimension of mobile broadband use.'' [http://www.ltemobile.de/uploads/media/LTE_Einfuehrung_V1.pdf PDF document on the Internet], 2010.</ref>:
*Since LTE is a so-called  Shared Medium , all users of a cell have to share the entire data rate. Note that voice transmission or normal use of the Internet generates less traffic than, for example,  Filesharing  or similar. 

*The faster a user moves, the lower the available data rate will be. An elementary component of the LTE–specification is that for mobility up to 15 km/h the highest data rates are guaranteed and up to 300 km/h at least still "good functionality". 

*The highest data rate is achieved in close proximity to the base station. The further away a user is from the base station, the lower the data rate assigned to him, which can be explained by switching from 64–QAM or 16–QAM to 4–QAM (QPSK), among other things.

*Shielding by walls and buildings or sources of interference of any kind limit the achievable data rate enormously. Optimal would be a Line of Sight connection between receiver and base station a scenario that is rather unusual. 

The reality in summer 2011 was as follows:  LTE is already available in some countries (at least for testing purposes). In addition to LTE–pioneer Sweden, these include the USA and Germany. In various tests, download–speeds of between 5 and 12 Mbit/s were achieved, and in very good conditions up to 40 Mbit/s. Details can be found in the Internet article  [Gol11]<ref name='Gol11'>Goldman, D.: ''AT&T launching 'new' new 4G network.'' http://money.cnn.com/2011/05/25/technology/att_4g_lte/index.htm PDF–Document on the Internet], 2011</ref>. 

Moreover, the 2011 LTE–network did not seem ready to replace the established wired Internet connections due to excessive delay times and the resulting occasional connection interruptions. However, the development in this area progressed with giant strides, so that this information from summer 2011 was not relevant for very long. 

== Some system improvements through LTE-Advanced==
 
While the first LTE–systems corresponding to Release 8 of December 2008 slowly came onto the market in summer 2011, the successor was already on the doorstep. The Release 10 of the "3GPP" completed in June 2011 is ''Long Term Evolution–Advanced'', or in short  $\rm LTE-A$. It is the first technology to meet the requirements of the ITU (International Telecommunication Union) for a 4G–standard. A summary of these requirements, also called ''IMT–Advanced'', can be found in great detail in an [http://www.itu.int/dms_pub/itu-r/opb/rep/R-REP-M.2134-2008-PDF-E.pdf ITU–Article (PDF).] 

Without claiming to be exhaustive, some of the features of LTE–Advanced are mentioned here:
*The data rate should be up to 1 Gbit/s with little movement of the user and up to 100 Mbit/s with fast movement. In order to achieve these high data rates, some new technical specifications have been made, which will be briefly discussed here. 

*LTE–Advanced supports bandwidths up to 100 MHz maximum, while the LTE–specification (after Release 8) provides only 20 MHz. The FDD–spectra no longer have to be divided symmetrically between uplink and downlink. For example, a higher channel bandwidth can be used for the downlink than for the uplink, which corresponds to the normal use of the mobile Internet with a smartphone. 

*In the uplink of LTE–Advanced   [[Mobile_Communications/The_Application_of_OFDMA_and_SC-FDMA_in_LTE#Functionality_of_SC.E2.80.93FDMA|SC–FDMA]]  is also used. Since the 3GPP–Consortium was not satisfied with the SC–FDMA transmission in LTE, some essential improvements in the process were developed. 

*Another interesting novelty is the introduction of so-called "Relay Nodes". Such a  Relay Node  (RN) is placed at the edge of a cell to provide better transmission quality at the boundaries of a cell and thus increase the range of the cell. 

[[File:P ID2295 LTE T 4 5 S2 v1.png|right|frame|Functionality of Relay Nodes]]
A  Relay Node  looks like a normal base station for a terminal device (eNodeB). However, it only has to supply a relatively small area of operation and therefore does not need to be connected to the backbone in a complicated way. In most cases a relay node is connected to the next base station via directional radio.

In this way, high data rates and good transmission quality without interruptions are guaranteed without great effort. By increasing the physical proximity to the base stations, the reception quality in buildings is also improved.

Another feature added to LTE–A is known as  Coordinated Multiple Point Transmission and Reception  (CoMP). This is an attempt to reduce the disturbing influence of intercell interference. With intelligent scheduling across several base stations, it is even possible to make intercell interference usable. The information for a terminal device is available at two adjacent base stations and can be transmitted simultaneously. Details on CoMP–technology can be found, for example, in the internet article  [Wan13]<ref name='Wan13'>Wannstrom, J.: ''LTE–Advanced''. http://www.3gpp.org/technologies/keywords-acronyms/97-lte-advanced PDF–Document on the Internet, 2011]</ref>  from 3gpp. 

{{BlaueBox|TEXT=
$\text{Intermediate status of 2011:}$ *Thanks to the above measures in combination with many other improvements, primarily the introduction of 4×4–MIMO for the uplink and 8×8–MIMO in the downlink, it is possible to significantly increase the spectral efficiency (i.e. the transferable flow of information in one Hertz bandwidth within one second) of LTE–A compared to LTE, namely in the downlink from 15 bit/s/Hz  to  $\text{30 bit/s/Hz}$  and in the uplink from 3. 75 bit/s/Hz to  $\text{15 bit/s/Hz}$. 

*Of course, backwards compatibility with the previous LTE standard and previous mobile phone systems must also be guaranteed. Also with a UMTS–cell phone one should be able to dial into a LTE–network, even if one cannot use the LTE specific features. 

*At the beginning of June 2011 the first tests of LTE–Advanced were conducted. Sweden, which has already set up the first commercial LTE–network, once again took the lead. Ericsson demonstrated for the first time a test system with practical, commercially available terminals and began commercial use of LTE–Advanced in 2013.
*In a YouTube–video, an LTE–test can be seen in a moving minibus, in which data rates of over 900 Mbit/s in the downlink and 300 Mbit/s in the uplink were achieved.}} 

== Standards in competition with LTE or LTE-Advanced ==
 
In addition to the LTE specified by the 3GPP–consortium, there are other standards that are intended to serve the purpose of fast mobile data transmission. The two most important ones are briefly discussed here: 

'''cdma2000''' (or ''IS–2000'' ) and its further development '''UMB''' (Ultra Mobile Broadband ): 

This is a third-generation mobile communications standard that was specified and further developed by  [http://www.3gpp2.org/ 3GPP2]  (Third Generation Partnership Project 2 ) Further information on  ''cdma2000''  can be found in the section  [[Mobile_Communications/Characteristics_of_UMTS#The_IMT.E2.80.932000.E2.80.93Standard|IMT–2000–Standard]]  of the book "Examples of communication systems". 

Far less is known about the further development of this standard than about LTE. It is worth mentioning that for  ''cdma2000''  and  ''UMB''  there is a substandard specified exclusively for data transmission. The Cologne telecommunications provider  NetCologne  has been offering mobile Internet in the 450 MHz range on this basis since 2011. Furthermore, cdma2000 is insignificant in Germany. 

Note:   The "3GPP2" was founded almost at the same time as the almost identically named  [http://www.3gpp.org/ 3GPP]  in December 1998, obviously due to ideological differences. 

'''WiMAX''' (Worldwide Interoperability for Microwave Access ): 

This term refers to a wireless transmission technology based on the  ''IEEE–Standard 802.16'' . It belongs to the family of the 802–standards like WLAN (802.11) and Ethernet (802.3). There are two different sub-specifications to WiMAX, namely
*one for operating a static connection that does not allow handover, and 

*one for the mobile operation, which is to compete with UMTS and LTE. 

The potential of the static WiMAX–connections lies mainly in the long range with nevertheless comparatively high data rate. For this reason, static WiMAX was initially traded as DSL–alternative for thinly populated areas. For example, with a Line of Sight (LoS) connection between transmitter and receiver over 15 kilometers, about 4.5 Mbit/s are possible. In urban areas without line of sight, WiMAX still has a range of about 600 meters, a much better value than the 100 meters typically offered by WLAN. 

At the moment (2011) we are also working on a further development called "WiMAX2". According to the initiators, WiMAX2 in the mobile version is a 4G–standard which, just like LTE–Advanced, can achieve data rates of up to 1 Gbit/s. WiMAX2 is to be implemented in practice by the end of 2011. It remains to be seen whether it will work on this date and with the predicted data rate.

In Germany, WiMAX does not play a major role (at present), since both the German government in its broadband offensive and all major mobile phone operators  Long Term Evolution  (LTE or LTE–A) have declared it to be the future of mobile data transmission. 

== Milestones in the development of LTE and LTE-Advanced ==
 
Finally, a brief overview of some milestones in the development towards LTE from the perspective of 2011:
*'''2004'''    The Japanese telecommunications company  [https://www.nttdocomo.co.jp/english/index.html NTT DoCoMo]  proposes LTE as the new international mobile communications standard. 

*'''09/2006'''    Nokia Siemens Networks (NSN) presents together with  [http://www.nomor.de/ Nomor Research]  for the first time an emulator of an LTE–network. For demonstration purposes, a HD–video is transmitted and two users play an interactive online game. 

*'''02/2007'''    At the  3GSM World Congress, the world's largest mobile phone trade fair, the Swedish company  [https://www.ericsson.com/ Ericsson]  will demonstrate an LTE–system with 144 Mbit/s. 

*'''04/2008'''    [https://de.wikipedia.org/wiki/NTT_DOCOMO DoCoMo]  demonstrates an LTE data rate of 250 Mbit/s. Almost simultaneously   [https://de.wikipedia.org/wiki/Nortel Nortel Networks Corp.]  (Canada) achieved a data rate in vehicle speed of 100 km/h of at least 50 Mbit/s. 

*'''10/2008'''    Test of the first working LTE–modem by Ericsson in Stockholm. This date is the starting point for the commercial use of LTE. 

*'''12/2008'''    Completion of Release 8 of 3GPP, synonymous with LTE. The company  [http://www.lg.com/de LG Electronics]  develops the first LTE–chip for cell phones. 

*'''03/2009'''    At the CeBIT in Hanover, Germany,  [https://www.t-mobile.de/ T–Mobile]  Video conferencing and online games from a moving car. 

*'''12/2009'''    The world's first commercial LTE–network starts in downtown Stockholm, only 14 months after the start of the test phase. 

*'''04/2010'''    3GPP begins with the specification of Release 10, synonymous with LTE–A. 

*'''05/2010'''    The LTE–frequency auction in Germany ends. At 4.4 billion euros, the proceeds are significantly lower than experts had expected and politicians had hoped for. 

*'''08/2010'''    T-Mobile is building Germany's first commercially usable LTE–base station in Kyritz For a functioning operation, suitable terminals are still missing. 

*'''12/2010'''    In Germany, the first major pilot tests are running on the networks of Telekom,  [https://www.o2online.de/ O2]  and  [http://www.vodafone.de/ Vodafone]. In the meantime, corresponding LTE–routers are available.

*'''02/2011'''    In South Korea the first successful tests with the successor LTE–Advanced are being conducted. 

*'''03/2011'''    The 3GPP Release 10 is completed. 

*'''06/2011'''    Launch of the first German LTE–network in Cologne. By mid-2012, Deutsche Telekom will ensure that LTE–network is rolled out across a wide area in 100 additional cities. 

==Exercise to chapter==
 
[[Aufgaben:Exercise 4.5: LTE vs LTE-Advanced]]

==List of Sources==

<references/>

{{Display}}

Mobile Communications/LTE-Advanced - a Further Development of LTE

2020-10-18T23:57:33Z

Rosa:

{{LastPage}}
{{Header
|Untermenü=LTE – Long Term Evolution
|Vorherige Seite=Physical Layer for LTE
|Nächste Seite=
}}

== How fast is LTE really? ==
 
Consumers are accustomed to being able to use (at least to a large extent) the speed offered by established cable-based services such as  [[Examples_of_Communication_Systems/General_Description_of_DSL|DSL]]  (Digital Subscriber Line ).
*But what is the situation with LTE? 

*What data rates can the individual LTE–user actually reach?

It is much more difficult for the providers of mobile radio systems to provide concrete data rate information, since many influences that are difficult to predict have to be taken into account for a radio connection. 

As already described in chapter  [[Mobile_Communications/Technical Innovations of LTE# Multiple Antenna Systems|Technical Innovations of LTE]]  according to the planning for 2011, data rates of up to 326 Mbit/s are possible in LTE–Downlink and approx. 86 Mbit/s in Uplink. These figures are only maximum achievable values. In reality, however, the speed is determined by a variety of factors. In the following we refer to the downlink, see  [Gut10]<ref name='Gut10'>Gutt, E.: ''LTE - a new dimension of mobile broadband use.'' [http://www.ltemobile.de/uploads/media/LTE_Einfuehrung_V1.pdf PDF document on the Internet], 2010.</ref>:
*Since LTE is a so-called  Shared Medium , all users of a cell have to share the entire data rate. Note that voice transmission or normal use of the Internet generates less traffic than, for example,  Filesharing  or similar. 

*The faster a user moves, the lower the available data rate will be. An elementary component of the LTE–specification is that for mobility up to 15 km/h the highest data rates are guaranteed and up to 300 km/h at least still "good functionality". 

*The highest data rate is achieved in close proximity to the base station. The further away a user is from the base station, the lower the data rate assigned to him, which can be explained by switching from 64–QAM or 16–QAM to 4–QAM (QPSK), among other things.

*Shielding by walls and buildings or sources of interference of any kind limit the achievable data rate enormously. Optimal would be a Line of Sight connection between receiver and base station a scenario that is rather unusual. 

The reality in summer 2011 was as follows:  LTE is already available in some countries (at least for testing purposes). In addition to LTE–pioneer Sweden, these include the USA and Germany. In various tests, download–speeds of between 5 and 12 Mbit/s were achieved, and in very good conditions up to 40 Mbit/s. Details can be found in the Internet article  [Gol11]<ref name='Gol11'>Goldman, D.: ''AT&T launching 'new' new 4G network.'' http://money.cnn.com/2011/05/25/technology/att_4g_lte/index.htm PDF–Document on the Internet], 2011</ref>. 

Moreover, the 2011 LTE–network did not seem ready to replace the established wired Internet connections due to excessive delay times and the resulting occasional connection interruptions. However, the development in this area progressed with giant strides, so that this information from summer 2011 was not relevant for very long. 

== Some system improvements through LTE-Advanced==
 
While the first LTE–systems corresponding to Release 8 of December 2008 slowly came onto the market in summer 2011, the successor was already on the doorstep. The Release 10 of the "3GPP" completed in June 2011 is ''Long Term Evolution–Advanced'', or in short  $\rm LTE-A$. It is the first technology to meet the requirements of the ITU (International Telecommunication Union) for a 4G–standard. A summary of these requirements, also called ''IMT–Advanced'', can be found in great detail in an [http://www.itu.int/dms_pub/itu-r/opb/rep/R-REP-M.2134-2008-PDF-E.pdf ITU–Article (PDF).] 

Without claiming to be exhaustive, some of the features of LTE–Advanced are mentioned here:
*The data rate should be up to 1 Gbit/s with little movement of the user and up to 100 Mbit/s with fast movement. In order to achieve these high data rates, some new technical specifications have been made, which will be briefly discussed here. 

*LTE–Advanced supports bandwidths up to 100 MHz maximum, while the LTE–specification (after Release 8) provides only 20 MHz. The FDD–spectra no longer have to be divided symmetrically between uplink and downlink. For example, a higher channel bandwidth can be used for the downlink than for the uplink, which corresponds to the normal use of the mobile Internet with a smartphone. 

*In the uplink of LTE–Advanced   [[Mobile_Communications/The_Application_of_OFDMA_and_SC-FDMA_in_LTE#Functionality_of_SC.E2.80.93FDMA|SC–FDMA]]  is also used. Since the 3GPP–Consortium was not satisfied with the SC–FDMA transmission in LTE, some essential improvements in the process were developed. 

*Another interesting novelty is the introduction of so-called "Relay Nodes". Such a  Relay Node  (RN) is placed at the edge of a cell to provide better transmission quality at the boundaries of a cell and thus increase the range of the cell. 

[[File:P ID2295 LTE T 4 5 S2 v1.png|right|frame|Functionality of Relay Nodes]]
A  Relay Node  looks like a normal base station for a terminal device (eNodeB). However, it only has to supply a relatively small area of operation and therefore does not need to be connected to the backbone in a complicated way. In most cases a relay node is connected to the next base station via directional radio.

In this way, high data rates and good transmission quality without interruptions are guaranteed without great effort. By increasing the physical proximity to the base stations, the reception quality in buildings is also improved.

Another feature added to LTE–A is known as  Coordinated Multiple Point Transmission and Reception  (CoMP). This is an attempt to reduce the disturbing influence of intercell interference. With intelligent scheduling across several base stations, it is even possible to make intercell interference usable. The information for a terminal device is available at two adjacent base stations and can be transmitted simultaneously. Details on CoMP–technology can be found, for example, in the internet article  [Wan13]<ref name='Wan13'>Wannstrom, J.: ''LTE–Advanced''. http://www.3gpp.org/technologies/keywords-acronyms/97-lte-advanced PDF–Document on the Internet, 2011]</ref>  from 3gpp. 

{{BlaueBox|TEXT=
$\text{Intermediate status of 2011:}$ *Thanks to the above measures in combination with many other improvements, primarily the introduction of 4×4–MIMO for the uplink and 8×8–MIMO in the downlink, it is possible to significantly increase the spectral efficiency (i.e. the transferable flow of information in one Hertz bandwidth within one second) of LTE–A compared to LTE, namely in the downlink from 15 bit/s/Hz  to  $\text{30 bit/s/Hz}$  and in the uplink from 3. 75 bit/s/Hz to  $\text{15 bit/s/Hz}$. 

*Of course, backwards compatibility with the previous LTE standard and previous mobile phone systems must also be guaranteed. Also with a UMTS–cell phone one should be able to dial into a LTE–network, even if one cannot use the LTE specific features. 

*At the beginning of June 2011 the first tests of LTE–Advanced were conducted. Sweden, which has already set up the first commercial LTE–network, once again took the lead. Ericsson demonstrated for the first time a test system with practical, commercially available terminals and began commercial use of LTE–Advanced in 2013.
*In a YouTube–video, an LTE–test can be seen in a moving minibus, in which data rates of over 900 Mbit/s in the downlink and 300 Mbit/s in the uplink were achieved.}} 

== Standards in competition with LTE or LTE-Advanced ==
 
In addition to the LTE specified by the 3GPP–consortium, there are other standards that are intended to serve the purpose of fast mobile data transmission. The two most important ones are briefly discussed here: 

'''cdma2000''' (or ''IS–2000'' ) and its further development '''UMB''' (Ultra Mobile Broadband ): 

This is a third-generation mobile communications standard that was specified and further developed by  [http://www.3gpp2.org/ 3GPP2]  (Third Generation Partnership Project 2 ) Further information on  ''cdma2000''  can be found in the section  [[Mobile_Communications/The_Characteristics_of_UMTS#The_IMT.E2.80.932000.E2.80.93Standard|IMT–2000–Standard]]  of the book "Examples of communication systems". 

Far less is known about the further development of this standard than about LTE. It is worth mentioning that for  ''cdma2000''  and  ''UMB''  there is a substandard specified exclusively for data transmission. The Cologne telecommunications provider  NetCologne  has been offering mobile Internet in the 450 MHz range on this basis since 2011. Furthermore, cdma2000 is insignificant in Germany. 

Note:   The "3GPP2" was founded almost at the same time as the almost identically named  [http://www.3gpp.org/ 3GPP]  in December 1998, obviously due to ideological differences. 

'''WiMAX''' (Worldwide Interoperability for Microwave Access ): 

This term refers to a wireless transmission technology based on the  ''IEEE–Standard 802.16'' . It belongs to the family of the 802–standards like WLAN (802.11) and Ethernet (802.3). There are two different sub-specifications to WiMAX, namely
*one for operating a static connection that does not allow handover, and 

*one for the mobile operation, which is to compete with UMTS and LTE. 

The potential of the static WiMAX–connections lies mainly in the long range with nevertheless comparatively high data rate. For this reason, static WiMAX was initially traded as DSL–alternative for thinly populated areas. For example, with a Line of Sight (LoS) connection between transmitter and receiver over 15 kilometers, about 4.5 Mbit/s are possible. In urban areas without line of sight, WiMAX still has a range of about 600 meters, a much better value than the 100 meters typically offered by WLAN. 

At the moment (2011) we are also working on a further development called "WiMAX2". According to the initiators, WiMAX2 in the mobile version is a 4G–standard which, just like LTE–Advanced, can achieve data rates of up to 1 Gbit/s. WiMAX2 is to be implemented in practice by the end of 2011. It remains to be seen whether it will work on this date and with the predicted data rate.

In Germany, WiMAX does not play a major role (at present), since both the German government in its broadband offensive and all major mobile phone operators  Long Term Evolution  (LTE or LTE–A) have declared it to be the future of mobile data transmission. 

== Milestones in the development of LTE and LTE-Advanced ==
 
Finally, a brief overview of some milestones in the development towards LTE from the perspective of 2011:
*'''2004'''    The Japanese telecommunications company  [https://www.nttdocomo.co.jp/english/index.html NTT DoCoMo]  proposes LTE as the new international mobile communications standard. 

*'''09/2006'''    Nokia Siemens Networks (NSN) presents together with  [http://www.nomor.de/ Nomor Research]  for the first time an emulator of an LTE–network. For demonstration purposes, a HD–video is transmitted and two users play an interactive online game. 

*'''02/2007'''    At the  3GSM World Congress, the world's largest mobile phone trade fair, the Swedish company  [https://www.ericsson.com/ Ericsson]  will demonstrate an LTE–system with 144 Mbit/s. 

*'''04/2008'''    [https://de.wikipedia.org/wiki/NTT_DOCOMO DoCoMo]  demonstrates an LTE data rate of 250 Mbit/s. Almost simultaneously   [https://de.wikipedia.org/wiki/Nortel Nortel Networks Corp.]  (Canada) achieved a data rate in vehicle speed of 100 km/h of at least 50 Mbit/s. 

*'''10/2008'''    Test of the first working LTE–modem by Ericsson in Stockholm. This date is the starting point for the commercial use of LTE. 

*'''12/2008'''    Completion of Release 8 of 3GPP, synonymous with LTE. The company  [http://www.lg.com/de LG Electronics]  develops the first LTE–chip for cell phones. 

*'''03/2009'''    At the CeBIT in Hanover, Germany,  [https://www.t-mobile.de/ T–Mobile]  Video conferencing and online games from a moving car. 

*'''12/2009'''    The world's first commercial LTE–network starts in downtown Stockholm, only 14 months after the start of the test phase. 

*'''04/2010'''    3GPP begins with the specification of Release 10, synonymous with LTE–A. 

*'''05/2010'''    The LTE–frequency auction in Germany ends. At 4.4 billion euros, the proceeds are significantly lower than experts had expected and politicians had hoped for. 

*'''08/2010'''    T-Mobile is building Germany's first commercially usable LTE–base station in Kyritz For a functioning operation, suitable terminals are still missing. 

*'''12/2010'''    In Germany, the first major pilot tests are running on the networks of Telekom,  [https://www.o2online.de/ O2]  and  [http://www.vodafone.de/ Vodafone]. In the meantime, corresponding LTE–routers are available.

*'''02/2011'''    In South Korea the first successful tests with the successor LTE–Advanced are being conducted. 

*'''03/2011'''    The 3GPP Release 10 is completed. 

*'''06/2011'''    Launch of the first German LTE–network in Cologne. By mid-2012, Deutsche Telekom will ensure that LTE–network is rolled out across a wide area in 100 additional cities. 

==Exercise to chapter==
 
[[Aufgaben:Exercise 4.5: LTE vs LTE-Advanced]]

==List of Sources==

<references/>

{{Display}}

Mobile Communications/LTE-Advanced - a Further Development of LTE

2020-10-18T23:57:00Z

Rosa:

{{LastPage}}
{{Header
|Untermenü=LTE – Long Term Evolution
|Vorherige Seite=Physical Layer for LTE
|Nächste Seite=
}}

== How fast is LTE really? ==
 
Consumers are accustomed to being able to use (at least to a large extent) the speed offered by established cable-based services such as  [[Examples_of_Communication_Systems/General_Description_of_DSL|DSL]]  (Digital Subscriber Line ).
*But what is the situation with LTE? 

*What data rates can the individual LTE–user actually reach?

It is much more difficult for the providers of mobile radio systems to provide concrete data rate information, since many influences that are difficult to predict have to be taken into account for a radio connection. 

As already described in chapter  [[Mobile_Communications/Technical Innovations of LTE# Multiple Antenna Systems|Technical Innovations of LTE]]  according to the planning for 2011, data rates of up to 326 Mbit/s are possible in LTE–Downlink and approx. 86 Mbit/s in Uplink. These figures are only maximum achievable values. In reality, however, the speed is determined by a variety of factors. In the following we refer to the downlink, see  [Gut10]<ref name='Gut10'>Gutt, E.: ''LTE - a new dimension of mobile broadband use.'' [http://www.ltemobile.de/uploads/media/LTE_Einfuehrung_V1.pdf PDF document on the Internet], 2010.</ref>:
*Since LTE is a so-called  Shared Medium , all users of a cell have to share the entire data rate. Note that voice transmission or normal use of the Internet generates less traffic than, for example,  Filesharing  or similar. 

*The faster a user moves, the lower the available data rate will be. An elementary component of the LTE–specification is that for mobility up to 15 km/h the highest data rates are guaranteed and up to 300 km/h at least still "good functionality". 

*The highest data rate is achieved in close proximity to the base station. The further away a user is from the base station, the lower the data rate assigned to him, which can be explained by switching from 64–QAM or 16–QAM to 4–QAM (QPSK), among other things.

*Shielding by walls and buildings or sources of interference of any kind limit the achievable data rate enormously. Optimal would be a Line of Sight connection between receiver and base station a scenario that is rather unusual. 

The reality in summer 2011 was as follows:  LTE is already available in some countries (at least for testing purposes). In addition to LTE–pioneer Sweden, these include the USA and Germany. In various tests, download–speeds of between 5 and 12 Mbit/s were achieved, and in very good conditions up to 40 Mbit/s. Details can be found in the Internet article  [Gol11]<ref name='Gol11'>Goldman, D.: ''AT&T launching 'new' new 4G network.'' http://money.cnn.com/2011/05/25/technology/att_4g_lte/index.htm PDF–Document on the Internet], 2011</ref>. 

Moreover, the 2011 LTE–network did not seem ready to replace the established wired Internet connections due to excessive delay times and the resulting occasional connection interruptions. However, the development in this area progressed with giant strides, so that this information from summer 2011 was not relevant for very long. 

== Some system improvements through LTE-Advanced==
 
While the first LTE–systems corresponding to Release 8 of December 2008 slowly came onto the market in summer 2011, the successor was already on the doorstep. The Release 10 of the "3GPP" completed in June 2011 is ''Long Term Evolution–Advanced'', or in short  $\rm LTE-A$. It is the first technology to meet the requirements of the ITU (International Telecommunication Union) for a 4G–standard. A summary of these requirements, also called ''IMT–Advanced'', can be found in great detail in an [http://www.itu.int/dms_pub/itu-r/opb/rep/R-REP-M.2134-2008-PDF-E.pdf ITU–Article (PDF).] 

Without claiming to be exhaustive, some of the features of LTE–Advanced are mentioned here:
*The data rate should be up to 1 Gbit/s with little movement of the user and up to 100 Mbit/s with fast movement. In order to achieve these high data rates, some new technical specifications have been made, which will be briefly discussed here. 

*LTE–Advanced supports bandwidths up to 100 MHz maximum, while the LTE–specification (after Release 8) provides only 20 MHz. The FDD–spectra no longer have to be divided symmetrically between uplink and downlink. For example, a higher channel bandwidth can be used for the downlink than for the uplink, which corresponds to the normal use of the mobile Internet with a smartphone. 

*In the uplink of LTE–Advanced   [[Mobile_Communications/The_Application_of_OFDMA_and_SC-FDMA_in_LTE#Functionality_of_SC.E2.80.93FDMA|SC–FDMA]]  is also used. Since the 3GPP–Consortium was not satisfied with the SC–FDMA transmission in LTE, some essential improvements in the process were developed. 

*Another interesting novelty is the introduction of so-called "Relay Nodes". Such a  Relay Node  (RN) is placed at the edge of a cell to provide better transmission quality at the boundaries of a cell and thus increase the range of the cell. 

[[File:P ID2295 LTE T 4 5 S2 v1.png|right|frame|Functionality of Relay Nodes]]
A  Relay Node  looks like a normal base station for a terminal device (eNodeB). However, it only has to supply a relatively small area of operation and therefore does not need to be connected to the backbone in a complicated way. In most cases a relay node is connected to the next base station via directional radio.

In this way, high data rates and good transmission quality without interruptions are guaranteed without great effort. By increasing the physical proximity to the base stations, the reception quality in buildings is also improved.

Another feature added to LTE–A is known as  Coordinated Multiple Point Transmission and Reception  (CoMP). This is an attempt to reduce the disturbing influence of intercell interference. With intelligent scheduling across several base stations, it is even possible to make intercell interference usable. The information for a terminal device is available at two adjacent base stations and can be transmitted simultaneously. Details on CoMP–technology can be found, for example, in the internet article  [Wan13]<ref name='Wan13'>Wannstrom, J.: ''LTE–Advanced''. http://www.3gpp.org/technologies/keywords-acronyms/97-lte-advanced PDF–Document on the Internet, 2011]</ref>  from 3gpp. 

{{BlaueBox|TEXT=
$\text{Intermediate status of 2011:}$ *Thanks to the above measures in combination with many other improvements, primarily the introduction of 4×4–MIMO for the uplink and 8×8–MIMO in the downlink, it is possible to significantly increase the spectral efficiency (i.e. the transferable flow of information in one Hertz bandwidth within one second) of LTE–A compared to LTE, namely in the downlink from 15 bit/s/Hz  to  $\text{30 bit/s/Hz}$  and in the uplink from 3. 75 bit/s/Hz to  $\text{15 bit/s/Hz}$. 

*Of course, backwards compatibility with the previous LTE standard and previous mobile phone systems must also be guaranteed. Also with a UMTS–cell phone one should be able to dial into a LTE–network, even if one cannot use the LTE specific features. 

*At the beginning of June 2011 the first tests of LTE–Advanced were conducted. Sweden, which has already set up the first commercial LTE–network, once again took the lead. Ericsson demonstrated for the first time a test system with practical, commercially available terminals and began commercial use of LTE–Advanced in 2013.
*In a YouTube–video, an LTE–test can be seen in a moving minibus, in which data rates of over 900 Mbit/s in the downlink and 300 Mbit/s in the uplink were achieved.}} 

== Standards in competition with LTE or LTE-Advanced ==
 
In addition to the LTE specified by the 3GPP–consortium, there are other standards that are intended to serve the purpose of fast mobile data transmission. The two most important ones are briefly discussed here: 

'''cdma2000''' (or ''IS–2000'' ) and its further development '''UMB''' (Ultra Mobile Broadband ): 

This is a third-generation mobile communications standard that was specified and further developed by  [http://www.3gpp2.org/ 3GPP2]  (Third Generation Partnership Project 2 ) Further information on  ''cdma2000''  can be found in the section  [[Mobile_Communications/The_Characteristics_of_UMTS#The_IMT.E2.80.932000.E2.80.93Standard|IMT–2000–Standard]]  of the book "Examples of communication systems". 

Far less is known about the further development of this standard than about LTE. It is worth mentioning that for  ''cdma2000''  and  ''UMB''  there is a substandard specified exclusively for data transmission. The Cologne telecommunications provider  NetCologne  has been offering mobile Internet in the 450 MHz range on this basis since 2011. Furthermore, cdma2000 is insignificant in Germany. 

Note:   The "3GPP2" was founded almost at the same time as the almost identically named  [http://www.3gpp.org/ 3GPP]  in December 1998, obviously due to ideological differences. 

'''WiMAX''' (Worldwide Interoperability for Microwave Access ): 

This term refers to a wireless transmission technology based on the  ''IEEE–Standard 802.16'' . It belongs to the family of the 802–standards like WLAN (802.11) and Ethernet (802.3). There are two different sub-specifications to WiMAX, namely
*one for operating a static connection that does not allow handover, and 

*one for the mobile operation, which is to compete with UMTS and LTE. 

The potential of the static WiMAX–connections lies mainly in the long range with nevertheless comparatively high data rate. For this reason, static WiMAX was initially traded as DSL–alternative for thinly populated areas. For example, with a Line of Sight (LoS) connection between transmitter and receiver over 15 kilometers, about 4.5 Mbit/s are possible. In urban areas without line of sight, WiMAX still has a range of about 600 meters, a much better value than the 100 meters typically offered by WLAN. 

At the moment (2011) we are also working on a further development called "WiMAX2". According to the initiators, WiMAX2 in the mobile version is a 4G–standard which, just like LTE–Advanced, can achieve data rates of up to 1 Gbit/s. WiMAX2 is to be implemented in practice by the end of 2011. It remains to be seen whether it will work on this date and with the predicted data rate.

In Germany, WiMAX does not play a major role (at present), since both the German government in its broadband offensive and all major mobile phone operators  Long Term Evolution  (LTE or LTE–A) have declared it to be the future of mobile data transmission. 

== Milestones in the development of LTE and LTE-Advanced ==
 
Finally, a brief overview of some milestones in the development towards LTE from the perspective of 2011:
*'''2004'''    The Japanese telecommunications company  [https://www.nttdocomo.co.jp/english/index.html NTT DoCoMo]  proposes LTE as the new international mobile communications standard. 

*'''09/2006'''    Nokia Siemens Networks (NSN) presents together with  [http://www.nomor.de/ Nomor Research]  for the first time an emulator of an LTE–network. For demonstration purposes, a HD–video is transmitted and two users play an interactive online game. 

*'''02/2007'''    At the  3GSM World Congress, the world's largest mobile phone trade fair, the Swedish company  [https://www.ericsson.com/ Ericsson]  will demonstrate an LTE–system with 144 Mbit/s. 

*'''04/2008'''    [https://de.wikipedia.org/wiki/NTT_DOCOMO DoCoMo]  demonstrates an LTE data rate of 250 Mbit/s. Almost simultaneously   [https://de.wikipedia.org/wiki/Nortel Nortel Networks Corp.]  (Canada) achieved a data rate in vehicle speed of 100 km/h of at least 50 Mbit/s. 

*'''10/2008'''    Test of the first working LTE–modem by Ericsson in Stockholm. This date is the starting point for the commercial use of LTE. 

*'''12/2008'''    Completion of Release 8 of 3GPP, synonymous with LTE. The company  [http://www.lg.com/de LG Electronics]  develops the first LTE–chip for cell phones. 

*'''03/2009'''    At the CeBIT in Hanover, Germany,  [https://www.t-mobile.de/ T–Mobile]  Video conferencing and online games from a moving car. 

*'''12/2009'''    The world's first commercial LTE–network starts in downtown Stockholm, only 14 months after the start of the test phase. 

*'''04/2010'''    3GPP begins with the specification of Release 10, synonymous with LTE–A. 

*'''05/2010''    The LTE–frequency auction in Germany ends. At 4.4 billion euros, the proceeds are significantly lower than experts had expected and politicians had hoped for. 

*'''08/2010'''    T-Mobile is building Germany's first commercially usable LTE–base station in Kyritz For a functioning operation, suitable terminals are still missing. 

*'''12/2010'''    In Germany, the first major pilot tests are running on the networks of Telekom,  [https://www.o2online.de/ O2]  and  [http://www.vodafone.de/ Vodafone]. In the meantime, corresponding LTE–routers are available.

*'''02/2011'''    In South Korea the first successful tests with the successor LTE–Advanced are being conducted. 

*'''03/2011'''    The 3GPP Release 10 is completed. 

*'''06/2011''    Launch of the first German LTE–network in Cologne. By mid-2012, Deutsche Telekom will ensure that LTE–network is rolled out across a wide area in 100 additional cities. 

==Exercise to chapter==
 
[[Aufgaben:Exercise 4.5: LTE vs LTE-Advanced]]

==List of Sources==

<references/>

{{Display}}

Mobile Communications/Technical Innovations of LTE

2020-10-18T18:00:58Z

Rosa:

{{Header
|Untermenü=LTE – Long Term Evolution
|Vorherige Seite=General Information on the LTE Mobile Communications Standard
|Nächste Seite=The Application of OFDMA and SC-FDMA in LTE
}}

== For voice transmission with LTE ==
 
Unlike previous mobile phone standards, LTE only supports ''packet-oriented transmission''. For voice transmission, however, a connection-oriented transmission with fixed reservation of resources would be better, since a "fragmented transmission", as is the case with the packet-oriented method, is relatively complicated. 

The problem of integrating voice transmission methods was one of the major challenges in the development of LTE, as voice transmission remains the largest source of revenue for network operators. There were a number of approaches, as it can be seen in the internet article   [Gut10]<ref name='Gut10'>Gutt, E.: ''LTE - a new dimension of mobile broadband use''. [http://www.ltemobile.de/uploads/media/LTE_Einfuehrung_V1.pdf PDF document on the Internet], 2010.</ref>

'''(1)'''   A very simple and obvious method is  Circuit Switched Fallback  ('''CSFB'''). Here a wire-bound transmission is used for the voice transmission. The principle is:
*The terminal device logs on to the LTE–network and in parallel also to a GSM– or UMTS–network. When an incoming call is received, the terminal device receives a message from the  Mobile Management Entity  (MME, control node in the LTE–network for user–authentication), whereupon a wire-bound transmission via the GSM– or the UMTS–network is established.
*A disadvantage of this solution (actually it is a "problem concealment") is the greatly delayed connection establishment. In addition, CSFB prevents the complete conversion of the network to LTE.

'''(2)'''   Another possibility for the integration of voice in a packet-oriented transmission system is offered by  Voice over LTE via GAN  ('''VoLGA'''), which is based on the from  [[Mobile_Communications/General Information on the LTE Mobile Communications Standard#3GPP_. E2.80.93_Third_Generation_Partnership_Project| 3GPP]]  developed by  [[https://en.wikipedia.org/wiki/Generic_Access_Network Generic Access Network]) . In brief, the principle can be described as follows:
* GAN enables line-related services via a packet-oriented network (IP–network), for example WLAN  (Wireless Local Area Network). With compatible end devices one can register oneself in the GSM–network over a WLAN–connection and use line-based services. VoLGA uses this functionality by replacing WLAN with LTE.
* The fast implementation of VoLGA is advantageous, as no lengthy new development or changes to the core network are necessary. However, a so-called  VoLGA Access Network Controller  (VANC) must be added to the network as hardware. This takes care of the communication between the end device and the  Mobile Management Entity  or the core network. 

Even though VoLGA does not need to use a GSM– or UMTS–network for voice connections like CSFB, it was considered by the majority of the mobile community as an (unsatisfactory) bridge technology due to its user-friendliness. T–Mobile has long been a proponent of the VoLGA–technology, but also stopped further development in February 2011. 

In the following we describe a better solution proposal. Keywords are  IP Multimedia Subsystem  (IMS) and  Voice over LTE  (VoLTE). The operators in Germany switched to this technology relatively late:   Vodafone and O2 Telefonica at the beginning of 2015, Telekom at the beginning of 2016.

This is also the reason why the switch to LTE in Germany (and in Europe in general) was slower than in the USA. Many customers did not want to pay the higher prices for LTE as long as there was no well-functioning solution for integrating voice transmission. 

== VoLTE - Voice over LTE ==
 
From today's point of view (2016), the most promising approach to integrating voice services into the LTE–network, some of which are already established, is  Voice over LTE  – in short: '''VoLTE'''. This standard, officially adopted by the  [http://www.gsma.com/aboutus/ GSMA],  the worldwide industry association of more than 800 mobile network operators and over 200 manufacturers of cell phones and network infrastructure, is exclusively IP–packet-oriented and is based on the  IP Multimedia Subsystem  ('''IMS'''), which was already defined in the UMTS–Release 9 in 2010. The technical facts about IMS are:
*The IMS–basic protocol is the one from  Voice over IP  known  [https://de.wikipedia.org/wiki/Session_Initiation_Protocol Session Initiation Protocol]  (SIP). This is a network protocol that can be used to establish and control connections between two users.
* This protocol enables the development of a completely (for data and voice) IP-based network and is therefore future-proof. 

The reason why the introduction of VoLTE has been delayed by four years compared to LTE–establishment in data traffic is due to the difficult interaction of "4G" with the older predecessor standards  GSM  ("2G") and  UMTS  ("3G"). Here is an example:
*If a mobile phone user leaves his LTE–cell and switches to an area without 4G–coverage, an immediate switch to the next best standard (3G) must be made.

*Language is transmitted here technically completely differently, no longer by many small data packets   ⇒   "packet-switched" but sequentially in the logical and physical channels reserved especially for the user   ⇒  "circuit-switched". 

*This implementation must be so fast and smooth that the end customer does not notice anything. And this implementation must work for all mobile phone standards and technologies.

According to all the experts, VoLTE will have a positive impact on mobile telephony in the same way that LTE has driven the mobile Internet forward since 2011. Key benefits for users are:
*A  higher voice quality, as VoLTE  [[Examples_of_Communication_Systems/Nachrichtentechnische_Aspekte_von_UMTS#Verbesserungen_bez.C3.BCglich_Sprachcodierung| AMR–Wideband Codecs]]  with 12.65 or 23.85 kbit/s. Furthermore, the VoLTE–data packets are prioritized for lowest possible latencies. 

*An enormously  accelerated connection setup within one or two seconds, whereas with  Circuit Switched Fallback (CSFB) it takes an unpleasantly long time to establish a connection. 

*A  low battery consumption, significantly lower than "2G" and "3G", associated with a longer battery life. Also in comparison to the usual VoIP–services the power consumption is up to 40% lower. 

From the provider's point of view, the following advantages result:
*A  better spectral efficiency:   Twice as many calls are possible in the same frequency band than with "3G". In other words:   More capacity is available for data services for the same number of calls. 

*An easy implementation of  [https://de.ryte.com/wiki/Rich_Media Rich Media Services]  (RCS), for example for video telephony or future applications that can be used to attract new customers. 

*A  better acceptance  of the higher provisioning costs by LTE–customers if you don't need to outsource to a "low-value" network like "2G" or "3G" for telephony.

== Bandwidth flexibility ==
 
LTE can be adapted to frequency bands of different widths with relatively little effort by using  [[Modulation_Methods/Allgemeine_Beschreibung_von_OFDM#Das_Prinzip_von_OFDM_.E2.80.93_Systembetrachtung_im_Zeitbereich_.281.29|OFDM]]  ("Orthogonal Frequency Division Multiplex"). This fact is an important feature for various reasons, see  [Mey10]<ref name='Mey10'>Meyer, M.: ''Siebenmeilenfunk.'' c't 2010, issue 25, 2010.</ref>, especially for network operators:
*The frequency bands for LTE may vary in size depending on the legal requirements in different countries. The outcome of the state-specific auctions of LTE–frequencies (separated into FDD and TDD) has also influenced the width of the spectrum. 

*Often LTE is operated in the "frequency–neighborhood" established radio transmission systems, which are expected to be switched off soon. If the demand increases, LTE can be gradually expanded to the frequency range that is becoming available. 

*For example, the migration of television channels after digitalization:   A part of the LTE–network will be located in the VHF–frequency range around 800 MHz, which has now been freed up, see  [[Mobile_Communications/General Information on the LTE Mobile Communications Standard#LTE_Frequency_Band_Splitting|Frequency_Band_Splitting Graphic]]. 

*Actually the bandwidths could be selected with a degree of fineness of up to 15 kHz (corresponding to an OFDMA–subcarrier). However, since this would unnecessarily produce overhead, a duration of  '''one millisecond'''  and a bandwidth of  '''180 kHz'''  has been specified as the smallest addressable LTE–resource. Such a block corresponds to twelve subcarriers (180 kHz divided by 15 kHz). 

In order to keep the complexity and effort of hardware standardization as low as possible, a whole range of permissible bandwidths between 1.4 MHz and 20 MHz has been agreed upon. The following list – taken from  [Ges08]<ref name='Ges08'>Gessner, C.: ''UMTS Long Term Evolution (LTE): Technology Introduction.'' Rohde&Schwarz, 2008.</ref>  – specifies the standardized bandwidths, the number of available blocks and the "overhead":
*6 available blocks in the bandwidth 1.4 MHz   ⇒   relative overhead approx. 22.8%, 

*15 available blocks in the bandwidth 3 MHz   ⇒   relative overhead about 10%, 

*25 available blocks in the bandwidth 5 MHz   ⇒   relative overhead approx. 10%, 

*50 available blocks in the bandwidth 10 MHz   ⇒   relative overhead approx. 10%, 

*75 available blocks in the bandwidth 15 MHz   ⇒   relative overhead about 10%, 

*100 available blocks in the bandwidth 20 MHz   ⇒   relative overhead about 10%. 

Since otherwise some LTE–specific functions would not work, at least six blocks must be provided.
*The relative overhead is comparatively high at small channel bandwidth (1.4 MHz):   (1.4 – 6 · 0.18)/1.4 ≈ 22.8%.
*From a bandwidth of 3 MHz the relative overhead is constant 10%.
*It also applies that all end devices must also support the maximum bandwidth of 20 MHz   [Ges08]<ref name='Ges08'></ref>

== FDD, TDD and half duplex method==
 
[[File:EN_Mob_T_4_2_S3a.png|right|frame|transmission scheme for FDD (top) or TDD (bottom)|class=fit]]
Another important innovation of LTE is the half–duplex–procedure, which is a mixture of the two already known from UMTS  [[Examples_of_Communication_Systems/General_Description_of_UMTS#Full Duplex Procedure|Duplex Procedure]] :

*'''Frequency Division Duplex'''  (FDD), and 
*'''Time Division Duplex'''  (TDD) . 

Such duplexing is necessary to ensure that uplink and downlink are clearly separated from each other and that transmission runs smoothly. The diagram illustrates the difference between FDD– and TDD–based transmission. 

Using the FDD and TDD methods, LTE can be operated in paired and unpaired frequency ranges.
 
The two methods are present opposing requirements:
*FDD requires a paired spectrum, i.e. one frequency band for transmission from the base station to the terminal (downlink) and one for transmission in the opposite direction (uplink). Downlink and uplink can be used at the same time. 

*TDD was designed for unpaired spectra. Now only one band is needed for uplink and downlink. However, transmitter and receiver must now alternate during transmission. The main problem of TDD is the required synchronicity of the networks. 

In the graphic above the differences between FDD and TDD can be seen. In TDD a ''Guard Period'' has to be inserted when changing from downlink to uplink (or vice versa) to avoid an overlapping of the signals. 

Although FDD is likely to be used more in practice (and FDD–frequencies were also much more expensive for the providers), there are several reasons for TDD:
*Frequencies are a rare and expensive commodity, as the 2010 auction has shown. But TDD needs only half of the frequency bandwidth. 

*The TDD technique allows different modes, which determine how much time should be used for downlink or uplink and can be adjusted to individual requirements. 

For the actual innovation, the '''Half–Duplex–Method''', you need a paired spectrum as with FDD (see second graphic):
[[File:P ID2276 Mob T 4 2 S4b v1.png|right|frame|Transmission scheme for half-duplex|class=fit]]
*Base station transmitter and receiver still alternate like TDD. Each terminal device can either transmit or receive at a given time.
*Through a second connection to another end device with swapped downlink/uplink–raster, the entire available bandwidth can still be fully used. 

*The main advantage of the half–duplex–process is that the use of the TDD–concept reduces the demands on the end devices and thus allows them to be produced at a lower cost. 

The fact that this aspect was of great importance in the standardization can also be seen in the use of OFDMA in the downlink and of SC–FDMA in the uplink:
*This results in a longer battery life of the end devices and allows the use of cheaper components.
*More about this can be found in chapter  [[Mobile_Communications/The_Application_of_OFDMA_and_SC-FDMA_in_LTE | The Application of OFDMA and SC-FDMA in LTE]].

== Multiple Antenna Systems==
 
If a radio system uses several transmitting and receiving antennas, one speaks of  '''Multiple Input Multiple Output'''  (MIMO). This is not an LTE–specific development. WLAN, for example, also uses this technology.

{{GraueBox|TEXT=
$\text{Example 1:}$  The principle of multi-antenna systems is illustrated in the following figure using the example of 2×2–MIMO (two transmitting and two receiving antennas). 

[[File:EN_Mob_T_4_2_S3b.png|right|frame|The difference between SISO and MIMO|class=fit]]
The new thing about LTE is not the actual use of  Multiple Input Multiple Output, but the particularly intensive one, namely 2×2–MIMO in the uplink and maximum 4×4–MIMO in the downlink.

In the successor  [[Mobile_Communications/LTE-Advanced - a Further Development of LTE|LTE–Advanced]]  the use of MIMO is even more pronounced, namely "4×4" in the uplink and "8×8" in the opposite direction.}}

A MIMO–system has advantages compared to  ''Single Input Single Output''  (SISO, only one transmitting and one receiving antenna). A distinction is made between several gains depending on the channel:
*power gain  according to the number of receiving antennas:   If the radio signals arriving via several antennas are combined in a suitable way  ([https://en.wikipedia.org/wiki/Maximal-ratio_combining Maximal-ratio Combining]), the reception power is increased and the radio connection is improved. By doubling the antennas, a power gain of maximum 3 dB is achieved. 

*Diversity gain through spatial diversity (  [https://en.wikipedia.org/wiki/Antenna_diversity Spatial Diversity]): If several spatially separated receiving antennas are used in an environment with strong multipath propagation, the fading at the individual antennas is mostly independent from each other and the probability that all antennas are affected by fading at the same time is very low. 

*Data rate gain:   This increases the efficiency of MIMO, especially in an environment with increased multipath propagation, especially when transmitter and receiver do not have a direct line of sight and the transmission is done via reflections. Tripling the number of antennas for the transmitter and receiver results in approximately twice the data rate. 

However, it is not possible for all advantages to occur simultaneously. Depending on the nature of the channel, it can also happen that one does not even have the choice of which advantage one wants to use. 

In addition to the MIMO systems there are also the following intermediate stages:
*MISO–Systems  (only one receiving antenna, therefore no power gain is possible), and 

*SIMO–Systems  (only one transmitting antenna, only small diversity gain). 

{{GraueBox|TEXT=
$\text{Example 2:}$  The term "MIMO" summarizes multi-antenna techniques with different properties, each of which can be useful in certain situations. The following description is based on the four diagrams shown here. 

[[File:EN_Mob_T_4_2_S5b.png|center|frame|Four multi-antenna procedures with different properties|class=fit]]

*If the mostly independent channels of a MIMO–system are assigned to a single user (top left diagram), one speaks of  '''Single–User MIMO''. With 2×2–MIMO, the data rate is doubled compared to SISO–operation and with four transmit&ndash each; and receiving antennas, the data rate can be doubled again under good channel conditions. 

::LTE allows maximum 4×4–MIMO but only in the downlink. Due to the complexity of multi-antenna systems, only laptops with LTE–modems can be used as receivers (end devices) for 4×4–MIMO. For a cell phone, the use of 2×2–MIMO is generally limited to 2×2–MIMO.

*Contrary to Single–User MIMO, the goal with the  '''Multi–User MIMO'''  is not the maximum data rate for a receiver, but the maximization of the number of end devices that can use the network simultaneously (top right diagram). This involves transmitting different data streams to different users. This is particularly useful in places with high demand, such as airports or soccer stadiums. 

*Multi-antenna operation is not only used to maximize the number of users or data rate, but in the event of poor transmission conditions, multiple antennas can also combine their power to transmit data to a single user to improve the quality of reception. One then speaks of  '''Beamforming'''   (diagram below left), which also increases the range of a transmitting station. 

*The fourth possibility is  '''antenna diversity'''   (diagram below right). This increases the redundancy (regarding system design) and makes the transmission more robust against interferences. A simple example:   There are four channels that all transmit the same data. If one channel fails, there are still three channels for information transport.}}

== System Architecture==
 
The LTE–architecture enables a transmission system based entirely on the IP–protocol. In order to achieve this goal, the system architecture specified for UMTS not only had to be changed in detail, but in some cases completely redesigned. In the process, other IP-based technologies such as  ''mobile WiMAX''  or  ''WLAN''  were also integrated in order to be able to switch to these networks without any problems. 

In UMTS–networks (left graphic), the  Radio Network Controller  (RNC) is inserted between a base station (NodeB) and the core network, which is mainly responsible for switching between different cells and which can lead to latency times of up to 100 milliseconds. 

[[File:EN_Mob_T_4_2_S6.png|center|frame|System Architecture for UMTS (UTRAN) and LTE (EUTRAN)|class=fit]]

The redesign of the base stations ("eNodeB" instead of "NodeB") and the interface "X2" are the decisive further developments from UMTS towards LTE. The graphic on the right illustrates in particular the reduction in complexity compared to UMTS that goes hand in hand with the new technology (left graphic).

The  '''LTE–system architecture''   can be divided into two major areas:
*the LTE–core network  Evolved Packet Core  (EPC), 

*the air interface  Evolved UMTS Terrestrial Radio Access Network  (EUTRAN), a further development of  [[Examples_of_Communication_Systems/UMTS Network Architecture#Access Level_Architecture_of_the_Access Level|UMTS Terrestrial Radio Access Network]]  (UTRAN). 

EUTRAN transmits the data between the terminal and the LTE–base station ("eNodeB") via the so-called S1–interface with two connections, one for the transmission of user data and a second for the transmission of signalling data. You can see from the above graphic:
*The base stations are connected not only to the EPC but also to the neighboring base stations. These connections (X2–interfaces) have the effect that as few packets as possible are lost when the terminal device moves from the vicinity of one base station towards another. 

*For this purpose, the base station whose service area the user is just leaving can pass on any cached data directly and quickly to the "new" base station. This ensures (largely) continuous transmission. 

*The functionality of the RNC is partly transferred to the base station and partly to the  Mobility Management Entity  (MME) in the core network. This reduction of the interfaces significantly shortens the signal throughput time in the network and the handover to 20 milliseconds. 

*The LTE–system architecture is also designed so that future  Inter–NodeB–procedures  (such as  Soft–Handover  or  Cooperative Interference Cancellation) can be easily integrated. 

== LTE–Core network: Backbone and Backhaul ==
 
The LTE–core network  Evolved Packet Core  (EPC) of a network operator, in the technical language  Backbone, consists of various network components. The EPC is connected to the base stations via the  Backhaul. This means the connection of an upstream, usually hierarchically subordinated network node to a central network node. 

Currently, the  Backhaul  consists mainly of directional radio and so-called E1–lines. These are copper lines and allow a throughput of about 2 Mbit/s. For GSM– and UMTS–networks these connections were still sufficient, however, for the large-scale conceived  [[Examples_of_Communication_Systems/Further Developments_of_UMTS#High.E2.80.93Speed_Downlink_Packet_Access| HSDPA]]  such data rates are no longer adequate. For LTE such a  Backhaul  is completely unusable:
*The slow cable network would slow down the fast wireless connections; overall, there would be no increase in speed. 

*Due to the low capacities of the lines with E1–standard, an expansion with further lines of the same construction would not be economical.

In the course of the introduction of LTE, the  Backhaul  had to be redesigned. It was important to keep an eye on future security, since the next generation  ''LTE–Advanced''  was already in place before the introduction. If one believes the experts' propaganda  ''Moore's Law'' for mobile phone bandwidths, the most important factor for future security is the expensive new installation of better cables. 

Due to the purely packet-oriented transmission technology, the Ethernet–standard, which is also IP–based, is suitable for the LTE–Backhaul, which is realized with the help of optical fibers. In 2009, the company Fujitsu presented in the study  [Fuj09]<ref name='Fuj09'>Fujitsu Network Communications Inc.: ''4G Impacts to Mobile Backhaul.'' [http://www.fujitsu.com/downloads/TEL/fnc/whitepapers/4Gimpacts.pdf PDF Internet document].</ref>,  also the thesis that the current infrastructure will continue to play an important role for LTE–Backhaul for the next ten to fifteen years. 

There are two approaches for the generation change to an Ethernet–based  Backhaul :
*the parallel operation of the lines with E1 and Ethernet–standard, 

*the immediate migration to an Ethernet-based  Backhaul. 

The former would have the advantage that the network operators could continue to run voice traffic over the old lines and would only have to handle bandwidth-intensive data traffic over the more powerful lines.

The second option raises some technical problems:
*The services previously transported through the slow E1-standard lines would have to be switched immediately to a packet-based procedure.

*Ethernet does not offer (unlike the current standard) any  End–to–End–Synchronization, which can lead to severe delays or even service interruptions when changing radio cells, thus a huge loss of service quality.
* However, in the concept  [https://en.wikipedia.org/wiki/Synchronous_Ethernet Synchronous Ethernet]  (SyncE), the Cisco company has already made suggestions as to how synchronization could be realized. 

For conurbations, a direct conversion of the backhaul would certainly be worthwhile, as relatively few new cables would have to be laid for a comparatively high number of new users.

In rural areas, however, major excavation work would quickly result in high costs. However, this is exactly the area which must be covered first, according to the  [[Mobile_Communications/General Information on the LTE Mobile Communications Standard#LTE frequency band splitting|agreement reached]]  between the federal government and the (German) mobile phone operators. Here, the mostly existing microwave radio link would have to be (and probably will be) extended to high data rates. 

==Exercises for Chapter==
 
[[Aufgaben:Exercise 4.2: FDD, TDD and Half-Duplex]]

[[Aufgaben:Exercise 4.2Z: MIMO Applications in LTE]]

==List of Sources==

<references/>

{{Display}}

Mobile Communications/Technical Innovations of LTE

2020-10-18T17:57:37Z

Rosa:

{{Header
|Untermenü=LTE – Long Term Evolution
|Vorherige Seite=General Information on the LTE Mobile Communications Standard
|Nächste Seite=The Application of OFDMA and SC-FDMA in LTE
}}

== For voice transmission with LTE ==
 
Unlike previous mobile phone standards, LTE only supports ''packet-oriented transmission''. For voice transmission, however, a connection-oriented transmission with fixed reservation of resources would be better, since a "fragmented transmission", as is the case with the packet-oriented method, is relatively complicated. 

The problem of integrating voice transmission methods was one of the major challenges in the development of LTE, as voice transmission remains the largest source of revenue for network operators. There were a number of approaches, as it can be seen in the internet article   [Gut10]<ref name='Gut10'>Gutt, E.: ''LTE - a new dimension of mobile broadband use''. [http://www.ltemobile.de/uploads/media/LTE_Einfuehrung_V1.pdf PDF document on the Internet], 2010.</ref>

'''(1)'''   A very simple and obvious method is  Circuit Switched Fallback  ('''CSFB'''). Here a wire-bound transmission is used for the voice transmission. The principle is:
*The terminal device logs on to the LTE–network and in parallel also to a GSM– or UMTS–network. When an incoming call is received, the terminal device receives a message from the  Mobile Management Entity  (MME, control node in the LTE–network for user–authentication), whereupon a wire-bound transmission via the GSM– or the UMTS–network is established.
*A disadvantage of this solution (actually it is a "problem concealment") is the greatly delayed connection establishment. In addition, CSFB prevents the complete conversion of the network to LTE.

'''(2)'''   Another possibility for the integration of voice in a packet-oriented transmission system is offered by  Voice over LTE via GAN  ('''VoLGA'''), which is based on the from  [[Mobile_Communications/General Information on the LTE Mobile Communications Standard#3GPP_. E2.80.93_Third_Generation_Partnership_Project| 3GPP]]  developed by  [[https://en.wikipedia.org/wiki/Generic_Access_Network Generic Access Network]) . In brief, the principle can be described as follows:
* GAN enables line-related services via a packet-oriented network (IP–network), for example WLAN  (Wireless Local Area Network). With compatible end devices one can register oneself in the GSM–network over a WLAN–connection and use line-based services. VoLGA uses this functionality by replacing WLAN with LTE.
* The fast implementation of VoLGA is advantageous, as no lengthy new development or changes to the core network are necessary. However, a so-called  VoLGA Access Network Controller  (VANC) must be added to the network as hardware. This takes care of the communication between the end device and the  Mobile Management Entity  or the core network. 

Even though VoLGA does not need to use a GSM– or UMTS–network for voice connections like CSFB, it was considered by the majority of the mobile community as an (unsatisfactory) bridge technology due to its user-friendliness. T–Mobile has long been a proponent of the VoLGA–technology, but also stopped further development in February 2011. 

In the following we describe a better solution proposal. Keywords are  IP Multimedia Subsystem  (IMS) and  Voice over LTE  (VoLTE). The operators in Germany switched to this technology relatively late:   Vodafone and O2 Telefonica at the beginning of 2015, Telekom at the beginning of 2016.

This is also the reason why the switch to LTE in Germany (and in Europe in general) was slower than in the USA. Many customers did not want to pay the higher prices for LTE as long as there was no well-functioning solution for integrating voice transmission. 

== VoLTE - Voice over LTE ==
 
From today's point of view (2016), the most promising approach to integrating voice services into the LTE–network, some of which are already established, is  Voice over LTE  – in short: '''VoLTE''. This standard, officially adopted by the  [http://www.gsma.com/aboutus/ GSMA],  the worldwide industry association of more than 800 mobile network operators and over 200 manufacturers of cell phones and network infrastructure, is exclusively IP–packet-oriented and is based on the  IP Multimedia Subsystem  ('''IMS'''), which was already defined in the UMTS–Release 9 in 2010. The technical facts about IMS are:
*The IMS–basic protocol is the one from  Voice over IP  known  [https://de.wikipedia.org/wiki/Session_Initiation_Protocol Session Initiation Protocol]  (SIP). This is a network protocol that can be used to establish and control connections between two users.
* This protocol enables the development of a completely (for data and voice) IP-based network and is therefore future-proof. 

The reason why the introduction of VoLTE has been delayed by four years compared to LTE–establishment in data traffic is due to the difficult interaction of "4G" with the older predecessor standards  GSM  ("2G") and  UMTS  ("3G"). Here is an example:
*If a mobile phone user leaves his LTE–cell and switches to an area without 4G–coverage, an immediate switch to the next best standard (3G) must be made.

*Language is transmitted here technically completely differently, no longer by many small data packets   ⇒   "packet-switched" but sequentially in the logical and physical channels reserved especially for the user   ⇒  "circuit-switched". 

*This implementation must be so fast and smooth that the end customer does not notice anything. And this implementation must work for all mobile phone standards and technologies.

According to all the experts, VoLTE will have a positive impact on mobile telephony in the same way that LTE has driven the mobile Internet forward since 2011. Key benefits for users are:
*A  higher voice quality, as VoLTE  [[Examples_of_Communication_Systems/Nachrichtentechnische_Aspekte_von_UMTS#Verbesserungen_bez.C3.BCglich_Sprachcodierung| AMR–Wideband Codecs]]  with 12.65 or 23.85 kbit/s. Furthermore, the VoLTE–data packets are prioritized for lowest possible latencies. 

*An enormously  accelerated connection setup within one or two seconds, whereas with  Circuit Switched Fallback (CSFB) it takes an unpleasantly long time to establish a connection. 

*A  low battery consumption, significantly lower than "2G" and "3G", associated with a longer battery life. Also in comparison to the usual VoIP–services the power consumption is up to 40% lower. 

From the provider's point of view, the following advantages result:
*A  better spectral efficiency:   Twice as many calls are possible in the same frequency band than with "3G". In other words:   More capacity is available for data services for the same number of calls. 

*An easy implementation of  [https://de.ryte.com/wiki/Rich_Media Rich Media Services]  (RCS), for example for video telephony or future applications that can be used to attract new customers. 

*A  better acceptance  of the higher provisioning costs by LTE–customers if you don't need to outsource to a "low-value" network like "2G" or "3G" for telephony.

== Bandwidth flexibility ==
 
LTE can be adapted to frequency bands of different widths with relatively little effort by using  [[Modulation_Methods/Allgemeine_Beschreibung_von_OFDM#Das_Prinzip_von_OFDM_.E2.80.93_Systembetrachtung_im_Zeitbereich_.281.29|OFDM]]  ("Orthogonal Frequency Division Multiplex"). This fact is an important feature for various reasons, see  [Mey10]<ref name='Mey10'>Meyer, M.: ''Siebenmeilenfunk.'' c't 2010, issue 25, 2010.</ref>, especially for network operators:
*The frequency bands for LTE may vary in size depending on the legal requirements in different countries. The outcome of the state-specific auctions of LTE–frequencies (separated into FDD and TDD) has also influenced the width of the spectrum. 

*Often LTE is operated in the "frequency–neighborhood" established radio transmission systems, which are expected to be switched off soon. If the demand increases, LTE can be gradually expanded to the frequency range that is becoming available. 

*For example, the migration of television channels after digitalization:   A part of the LTE–network will be located in the VHF–frequency range around 800 MHz, which has now been freed up, see  [[Mobile_Communications/General Information on the LTE Mobile Communications Standard#LTE_Frequency_Band_Splitting|Frequency_Band_Splitting Graphic]]. 

*Actually the bandwidths could be selected with a degree of fineness of up to 15 kHz (corresponding to an OFDMA–subcarrier). However, since this would unnecessarily produce overhead, a duration of  '''one millisecond'''  and a bandwidth of  '''180 kHz'''  has been specified as the smallest addressable LTE–resource. Such a block corresponds to twelve subcarriers (180 kHz divided by 15 kHz). 

In order to keep the complexity and effort of hardware standardization as low as possible, a whole range of permissible bandwidths between 1.4 MHz and 20 MHz has been agreed upon. The following list – taken from  [Ges08]<ref name='Ges08'>Gessner, C.: ''UMTS Long Term Evolution (LTE): Technology Introduction.'' Rohde&Schwarz, 2008.</ref>  – specifies the standardized bandwidths, the number of available blocks and the "overhead":
*6 available blocks in the bandwidth 1.4 MHz   ⇒   relative overhead approx. 22.8%, 

*15 available blocks in the bandwidth 3 MHz   ⇒   relative overhead about 10%, 

*25 available blocks in the bandwidth 5 MHz   ⇒   relative overhead approx. 10%, 

*50 available blocks in the bandwidth 10 MHz   ⇒   relative overhead approx. 10%, 

*75 available blocks in the bandwidth 15 MHz   ⇒   relative overhead about 10%, 

*100 available blocks in the bandwidth 20 MHz   ⇒   relative overhead about 10%. 

Since otherwise some LTE–specific functions would not work, at least six blocks must be provided.
*The relative overhead is comparatively high at small channel bandwidth (1.4 MHz):   (1.4 – 6 · 0.18)/1.4 ≈ 22.8%.
*From a bandwidth of 3 MHz the relative overhead is constant 10%.
*It also applies that all end devices must also support the maximum bandwidth of 20 MHz   [Ges08]<ref name='Ges08'></ref>

== FDD, TDD and half duplex method==
 
[[File:EN_Mob_T_4_2_S3a.png|right|frame|transmission scheme for FDD (top) or TDD (bottom)|class=fit]]
Another important innovation of LTE is the half–duplex–procedure, which is a mixture of the two already known from UMTS  [[Examples_of_Communication_Systems/General_Description_of_UMTS#Full Duplex Procedure|Duplex Procedure]] :

*'''Frequency Division Duplex'''  (FDD), and 
*'''Time Division Duplex'''  (TDD) . 

Such duplexing is necessary to ensure that uplink and downlink are clearly separated from each other and that transmission runs smoothly. The diagram illustrates the difference between FDD– and TDD–based transmission. .

Using the FDD and TDD methods, LTE can be operated in paired and unpaired frequency ranges.
 
The two methods are present opposing requirements:
*FDD requires a paired spectrum, i.e. one frequency band for transmission from the base station to the terminal (downlink) and one for transmission in the opposite direction (uplink). Downlink and uplink can be used at the same time. 

*TDD was designed for unpaired spectra. Now only one band is needed for uplink and downlink. However, transmitter and receiver must now alternate during transmission. The main problem of TDD is the required synchronicity of the networks. 

In the graphic above the differences between FDD and TDD can be seen. In TDD a ''Guard Period'' has to be inserted when changing from downlink to uplink (or vice versa) to avoid an overlapping of the signals. 

Although FDD is likely to be used more in practice (and FDD–frequencies were also much more expensive for the providers), there are several reasons for TDD:
*Frequencies are a rare and expensive commodity, as the 2010 auction has shown. But TDD needs only half of the frequency bandwidth. 

*The TDD technique allows different modes, which determine how much time should be used for downlink or uplink and can be adjusted to individual requirements. 

For the actual innovation, the '''Half–Duplex–Method''', you need a paired spectrum as with FDD (see second graphic):
[[File:P ID2276 Mob T 4 2 S4b v1.png|right|frame|Transmission scheme for half-duplex|class=fit]]
*Base station transmitter and receiver still alternate like TDD. Each terminal device can either transmit or receive at a given time.
*Through a second connection to another end device with swapped downlink/uplink–raster, the entire available bandwidth can still be fully used. 

*The main advantage of the half–duplex–process is that the use of the TDD–concept reduces the demands on the end devices and thus allows them to be produced at a lower cost. 

The fact that this aspect was of great importance in the standardization can also be seen in the use of OFDMA in the downlink and of SC–FDMA in the uplink:
*This results in a longer battery life of the end devices and allows the use of cheaper components.
*More about this can be found in chapter  [[Mobile_Communications/The_Application_of_OFDMA_and_SC-FDMA_in_LTE | The Application of OFDMA and SC-FDMA in LTE]].

== Multiple Antenna Systems==
 
If a radio system uses several transmitting and receiving antennas, one speaks of  '''Multiple Input Multiple Output'''  (MIMO). This is not an LTE–specific development. WLAN, for example, also uses this technology.

{{GraueBox|TEXT=
$\text{Example 1:}$  The principle of multi-antenna systems is illustrated in the following figure using the example of 2×2–MIMO (two transmitting and two receiving antennas). 

[[File:EN_Mob_T_4_2_S3b.png|right|frame|The difference between SISO and MIMO|class=fit]]
The new thing about LTE is not the actual use of  Multiple Input Multiple Output, but the particularly intensive one, namely 2×2–MIMO in the uplink and maximum 4×4–MIMO in the downlink.

In the successor  [[Mobile_Communications/LTE%E2%80%93Advanced_%E2%80%93_a_Further_Development_of_LTE|LTE–Advanced]]  the use of MIMO is even more pronounced, namely "4×4" in the uplink and "8×8" in the opposite direction.}}

A MIMO–system has advantages compared to  ''Single Input Single Output''  (SISO, only one transmitting and one receiving antenna). A distinction is made between several gains depending on the channel:
*power gain  according to the number of receiving antennas:   If the radio signals arriving via several antennas are combined in a suitable way  ([https://en.wikipedia.org/wiki/Maximal-ratio_combining Maximal-ratio Combining]), the reception power is increased and the radio connection is improved. By doubling the antennas, a power gain of maximum 3 dB. is achieved.

*Diversity gain through spatial diversity (  [https://en.wikipedia.org/wiki/Antenna_diversity Spatial Diversity]): If several spatially separated receiving antennas are used in an environment with strong multipath propagation, the fading at the individual antennas is mostly independent from each other and the probability that all antennas are affected by fading at the same time is very low. 

*Data rate gain:   This increases the efficiency of MIMO, especially in an environment with increased multipath propagation, especially when transmitter and receiver do not have a direct line of sight and the transmission is done via reflections. Tripling the number of antennas for the transmitter and receiver results in approximately twice the data rate. 

However, it is not possible for all advantages to occur simultaneously. Depending on the nature of the channel, it can also happen that one does not even have the choice of which advantage one wants to use. 

In addition to the MIMO systems there are also the following intermediate stages:
*MISO–Systems  (only one receiving antenna, therefore no power gain is possible), and 

*SIMO–Systems  (only one transmitting antenna, only small diversity gain). 

{{GraueBox|TEXT=
$\text{Example 2:}$  The term "MIMO" summarizes multi-antenna techniques with different properties, each of which can be useful in certain situations. The following description is based on the four diagrams shown here. 

[[File:EN_Mob_T_4_2_S5b.png|center|frame|Four multi-antenna procedures with different properties|class=fit]]

*If the mostly independent channels of a MIMO–system are assigned to a single user (top left diagram), one speaks of  '''Single–User MIMO''. With 2×2–MIMO, the data rate is doubled compared to SISO–operation and with four transmit&ndash each; and receiving antennas, the data rate can be doubled again under good channel conditions. 

::LTE allows maximum 4×4–MIMO but only in the downlink. Due to the complexity of multi-antenna systems, only laptops with LTE–modems can be used as receivers (end devices) for 4×4–MIMO. For a cell phone, the use of 2×2–MIMO is generally limited to 2×2–MIMO.

*Contrary to Single–User MIMO, the goal with the  '''Multi–User MIMO'''  is not the maximum data rate for a receiver, but the maximization of the number of end devices that can use the network simultaneously (top right diagram). This involves transmitting different data streams to different users. This is particularly useful in places with high demand, such as airports or soccer stadiums. 

*Multi-antenna operation is not only used to maximize the number of users or data rate, but in the event of poor transmission conditions, multiple antennas can also combine their power to transmit data to a single user to improve the quality of reception. One then speaks of  '''Beamforming'''   (diagram below left), which also increases the range of a transmitting station. 

*The fourth possibility is  '''antenna diversity'''   (diagram below right). This increases the redundancy (regarding system design) and makes the transmission more robust against interferences. A simple example:   There are four channels that all transmit the same data. If one channel fails, there are still three channels for information transport.}}

== System Architecture==
 
The LTE–architecture enables a transmission system based entirely on the IP–protocol. In order to achieve this goal, the system architecture specified for UMTS not only had to be changed in detail, but in some cases completely redesigned. In the process, other IP-based technologies such as  ''mobile WiMAX''  or  ''WLAN''  were also integrated in order to be able to switch to these networks without any problems. 

In UMTS–networks (left graphic), the  Radio Network Controller  (RNC) is inserted between a base station (NodeB) and the core network, which is mainly responsible for switching between different cells and which can lead to latency times of up to 100 milliseconds. 

[[File:EN_Mob_T_4_2_S6.png|center|frame|System Architecture for UMTS (UTRAN) and LTE (EUTRAN)|class=fit]]

The redesign of the base stations ("eNodeB" instead of "NodeB") and the interface "X2" are the decisive further developments from UMTS towards LTE. The graphic on the right illustrates in particular the reduction in complexity compared to UMTS that goes hand in hand with the new technology (left graphic).

The  '''LTE–system architecture''   can be divided into two major areas:
*the LTE–core network  Evolved Packet Core  (EPC), 

*the air interface  Evolved UMTS Terrestrial Radio Access Network  (EUTRAN), a further development of  [[Examples_of_Communication_Systems/UMTS Network Architecture#Access Level_Architecture_of_the_Access Level|UMTS Terrestrial Radio Access Network]]  (UTRAN). 

EUTRAN transmits the data between the terminal and the LTE–base station ("eNodeB") via the so-called S1–interface with two connections, one for the transmission of user data and a second for the transmission of signalling data. You can see from the above graphic:
*The base stations are connected not only to the EPC but also to the neighboring base stations. These connections (X2–interfaces) have the effect that as few packets as possible are lost when the terminal device moves from the vicinity of one base station towards another. 

*For this purpose, the base station whose service area the user is just leaving can pass on any cached data directly and quickly to the "new" base station. This ensures (largely) continuous transmission. 

*The functionality of the RNC is partly transferred to the base station and partly to the  Mobility Management Entity  (MME) in the core network. This reduction of the interfaces significantly shortens the signal throughput time in the network and the handover to 20 milliseconds. 

*The LTE–system architecture is also designed so that future  Inter–NodeB–procedures  (such as  Soft–Handover  or  Cooperative Interference Cancellation) can be easily integrated. 

== LTE–Core network: Backbone and Backhaul ==
 
The LTE–core network  Evolved Packet Core  (EPC) of a network operator, in the technical language  Backbone</i, consists of various network components. The EPC is connected to the base stations via the  Backhaul. This means the connection of an upstream, usually hierarchically subordinated network node to a central network node. 

Currently, the  Backhaul  consists mainly of directional radio and so-called E1–lines. These are copper lines and allow a throughput of about 2 Mbit/s. For GSM– and UMTS–networks these connections were still sufficient, however, for the large-scale conceived  [[Examples_of_Communication_Systems/Further Developments_of_UMTS#High.E2.80.93Speed_Downlink_Packet_Access| HSDPA]]  such data rates are no longer adequate. For LTE such a  Backhaul  is completely unusable:
*The slow cable network would slow down the fast wireless connections; overall, there would be no increase in speed. 

*Due to the low capacities of the lines with E1–standard, an expansion with further lines of the same construction would not be economical.

In the course of the introduction of LTE, the  Backhaul  had to be redesigned. It was important to keep an eye on future security, since the next generation  ''LTE–Advanced''  was already in place before the introduction. If one believes the experts' propaganda  ''Moore's Law'' for mobile phone bandwidths, the most important factor for future security is the expensive new installation of better cables. 

Due to the purely packet-oriented transmission technology, the Ethernet–standard, which is also IP–based, is suitable for the LTE–Backhaul, which is realized with the help of optical fibers. In 2009, the company Fujitsu presented in the study  [Fuj09]<ref name='Fuj09'>Fujitsu Network Communications Inc.: ''4G Impacts to Mobile Backhaul.'' [http://www.fujitsu.com/downloads/TEL/fnc/whitepapers/4Gimpacts.pdf PDF Internet document].</ref>,  also the thesis that the current infrastructure will continue to play an important role for LTE–Backhaul for the next ten to fifteen years. 

There are two approaches for the generation change to an Ethernet–based  Backhaul :
*the parallel operation of the lines with E1 and Ethernet–standard, 

*the immediate migration to an Ethernet-based  Backhaul. 

The former would have the advantage that the network operators could continue to run voice traffic over the old lines and would only have to handle bandwidth-intensive data traffic over the more powerful lines.

The second option raises some technical problems:
*The services previously transported through the slow E1-standard lines would have to be switched immediately to a packet-based procedure.

*Ethernet does not offer (unlike the current standard) any  End–to–End–Synchronization, which can lead to severe delays or even service interruptions when changing radio cells, thus a huge loss of service quality.
* However, in the concept  [https://en.wikipedia.org/wiki/Synchronous_Ethernet Synchronous Ethernet]  (SyncE), the Cisco company has already made suggestions as to how synchronization could be realized. 

For conurbations, a direct conversion of the backhaul would certainly be worthwhile, as relatively few new cables would have to be laid for a comparatively high number of new users.

In rural areas, however, major excavation work would quickly result in high costs. However, this is exactly the area which must be covered first, according to the  [[Mobile_Communications/General Information on the LTE Mobile Communications Standard#LTE frequency band splitting|agreement reached]]  between the federal government and the (German) mobile phone operators. Here, the mostly existing microwave radio link would have to be (and probably will be) extended to high data rates. 

==Exercises for Chapter==
 
[[Aufgaben:Exercise 4.2: FDD, TDD and Half-Duplex]]

[[Aufgaben:Exercise 4.2Z: MIMO Applications in LTE]]

==List of Sources==

<references/>

{{Display}}

Mobile Communications/Physical Layer for LTE

2020-10-18T16:56:05Z

Rosa:

{{Header
|Untermenü=LTE – Long Term Evolution
|Vorherige Seite=The Application of OFDMA and SC-FDMA in LTE
|Nächste Seite=LTE-Advanced - a Further Development of LTE
}}

== General Description==
 
The   Physical Layer is the lowest layer in the OSI–layer model of the  International Organization for Standardization  (ISO), which is also called  Bit transmission layer . It describes the physical transmission of bit sequences in LTE and the operation of the various channels according to the 3GPP–specification. All specifications are valid for  ''Frequency Division Duplex''  (FDD) as well as for  ''Time Division Duplex''  (TDD).

[[File:EN_LTE_T_4_4_S1b_v1.png|right|frame|Protocol Architecture for LTE|class=fit]]
The diagram shows the layers of the LTE–protocol architecture. The communication between the individual layers takes place via three different types of channels:
*Logical channels, 
*Transport channels, 
*physical channels. 

This chapter deals with the communication between sender and receiver in the lowest, red highlighted  physical layer.

Basically it should be noted:
*Exactly like the Internet, LTE uses exclusively packet-based transmission, i.e. without specifically assigning resources to a single user. 

*The design of the LTE–physical layer is therefore characterized by the principle of dynamically allocated network resources. 

*The physical layer plays a key role in the efficient allocation and utilization of available system resources.

According to this graphic the physical layer communicates with
*the block  Medium Access Control  (MAC) and exchanges information about the users and the regulation or control of the network via so-called transport channels, 

*the block  Radio Resource Control  (RRC), where control commands and measurements are continuously exchanged to adapt the transmission to the channel quality. 

The complexity of the LTE–transmission is to be indicated by the following diagram, which has been directly adopted by the  European Telecommunications Standards Institute  (ETSI). It shows the communication between the individual layers (channels) and applies exclusively to the downlink. 

[[File:EN_LTE_T_4_4_S1.png|right|frame|Communication between the individual layers in the LTE downlink|class=fit]]

*On the following pages we will take a closer look at the physical layer and the physical channels. We distinguish between uplink and downlink, but we will limit ourselves to the essentials.

*In reality, the individual channels take over a number of other functions, but their description would go beyond the scope of this tutorial.

*If you are interested, you can find a detailed description in  [HT09]<ref name= 'HT09'>Holma, H.; Toskala, A.: ''LTE for UMTS - OFDMA and SC-FDMA Based Radio Access.'' Wiley & Sons, 2009.</ref>.
 
== Physical channels in uplink==
 
LTE uses the multiple access method [[Mobile_Communications/The_Application_of_OFDMA_and_SC-FDMA_in_LTE#Functionality_of_SC.E2.80.93FDMA|SC–FDMA]] in the uplink transmission from the terminal device to the base station. Accordingly, the following physical channels exist in the 3GPP–specification:
*Physical Uplink Shared Channel  (PUSCH), 
*Physical Random Access Channel  (PRACH), 
*Physical Uplink Control Channel  (PUCCH). 

The user data are transmitted in the physical channel  '''PUSH''' . The transmission speed depends on how much bandwidth is available to the user at that moment. The transmission is based on dynamically allocated resources in time and frequency range with a resolution of one millisecond or 180 kHz.This allocation is performed by the  [[Mobile_Communications/Physical_Layer_for_LTE# Scheduling for LTE| Scheduler]]  in the base station (eNodeB ). A terminal device cannot transmit any data without instructions from the base station. 

The exception is the use of the physical channel  '''PRACH'', the only channel in the LTE–uplink with non–synchronized transmission. The function of this channel is the request for permission to send data via one of the other two physical channels. By sending a  Cyclic Prefix  and a signature on the PRACH, the terminal and base station are synchronized and are thus ready for further transmissions. 

The third uplink–channel  '''PUCCH'''  is used exclusively for the transmission of control signals. By this one understands
*positive and negative acknowledgements of receipt (ACK/NACK), 

*Requests for repeated transmission (in case of NACK), and 

*the exchange of channel quality information between the terminal and the base station. 

If, in addition to the control data, user data is sent from the terminal to the base station at the same time, such control signals can also be transmitted via the PUSCH. If no user data is to be transmitted, PUCCH is used instead. 

A simultaneous use of PUSCH and PUCCH is not possible due to restrictions of the SC–transmission method SC–FDMA. If only one  Shared Channel  had been selected for all control information, one would have had to choose between
*intermittent problems with user data transmission, or 

*permanently too few resources for the control information. 

The information about the channel quality is obtained by means of so-called reference symbols. As indicators for the channel quality this information is then sent
*to  Channel Quality Indicator  (CQI), and 

*to  Rank Indicator  (RI). 

A detailed explanation of the quality guarantee can be found, for example, in  [HR09]<ref name='HR09'>Homayounfar, K.; Rohani, B.: ''CQI Measurement and Reporting in LTE: A New Framework.''
IEICE Technical Report, Vol. 108, No. 445, 2009.</ref>  and  [HT09]<ref name='HT09'></ref>. 

{{GraueBox|TEXT=
$\text{Example 1:}$  The reference symbols or channel quality information are distributed in the PUSCH according to the following graphic.

[[File:EN_LTE_T_4_4_S2.png|center|frame|distribution of reference symbols and user data in PUSCH|class=fit]]

This describes the arrangement of the useful information and the signaling data in a "virtual" subcarrier.
*Virtual because SC–FDMA does not have subcarriers like OFDMA.

*The reference symbols are necessary to estimate the channel quality. 

*This information is also transferred as  Channel Quality Indicator  (CQI)  or as  Rank Indicator  (RI)  via the PUSCH.}} 

== Physical channels in downlink==
 
In contrast to the uplink, LTE uses the multiple access method  [[Mobile_Communications/The_Application_of_OFDMA_and_SC-FDMA_in_LTE#Differences_between_OFDMA_and_SC.E2.80.93FDMA|OFDMA]] in the downlink, i.e. during transmission from the base station to the terminal. Accordingly, the 3GPP–Consortium specified the following physical channels for this purpose:
*Physical Downlink Shared Channel  (PDSCH), 

*Physical Downlink Control Channel  (PDCCH), 

*Physical Control Format Indicator Channel  (PCFICH), 

*Physical Hybrid ARQ Indicator Channel  (PHICH), 

*Physical Broadcast Channel  (PBCH), 

*Physical Multicast Channel  (PMCH). 

The user data are transmitted via the  '''PDSCH''' . The resource allocation is done both in the time domain (with a resolution of one millisecond) and in the frequency domain (resolution:  180 kHz). Due to the use of OFDMA as transmission method, the individual speed of each user depends on the number of assigned resource blocks (à 180 kHz). A eNodeB allocates the resources related to the channel quality of each individual user. 

The  '''PDCCH'''  contains all information regarding the allocation of resource blocks or bandwidth for both the uplink and the downlink. A terminal device thereby receives information about how many resources are available. 

[[File:EN_LTE_T_4_4_S3.png|right|frame|Division between PDCCH and PDSCH in LTE downlink]]
The diagram shows an example of the division between the channels PDCCH and PDSCH:
*The PDCCH can occupy up to four symbols per subframe (in the graphic: two). 
*This leaves twelve time slots for the user data (i.e. for the channel PDSCH).

Via channel  '''PCFICH'''  the terminal device is informed how many symbols are to be assigned to the control information of the PDCCH. The purpose of this dynamic division between control– and user data is as follows:
*On the one hand, many users can be supported in this way, each with a low data rate. This scenario requires more tuning, which means that in this case the PDCCH would have to contain three or four symbols. 

*On the other hand, the overhead caused by PDCCH can be reduced by assigning a high data rate to only a few concurrent users.

[[File:EN_LTE_T_4_4_S3b.png|left|frame|Distribution of reference symbols in the downlink|class=fit]]
 
In addition to the PDCCH, reference symbols are also required in the downlink to estimate the channel quality and calculate the  Channel Quality Indicator  (CQI) . These reference symbols are distributed over the subcarriers (different frequencies) or symbols (different times) as shown in the adjacent figure.
 
Regarding the other physical channels of the LTE–Downlink is to be noted:
*The only purpose of the downlink–channel  '''PHICH'''  (Physical Hybrid ARQ Indicator Channel ) is to signal whether a packet sent in the uplink has arrived. 

*On the broadcast–channel  '''PBCH'''  (Physical Broadcast Channel ) the base stations send system information with operating parameters as well as synchronization signals, which are required for registration in the network, to all mobile terminals in the radio cell approximately every 40 milliseconds. 

*The Multicast–channel  '''PMCH'''  (Physical Multicast Channel ) has a similar purpose, information for so-called Multicast–transmissions – is sent to several receivers simultaneously through this channel. This could be, for example, mobile television via LTE, which is planned for a future release, or something similar. 

== Processes on the physical layer==
 
By "processes in the physical layer" one understands different methods and procedures, which are used in the bit transmission layer. Among them fall among other things:
*Timing Advance, 

*Paging, 

*Random Access, 

*Channel Feedback Reporting, 

*Power Control, 

*Hybrid Adaptive Repeat and Request. 

A complete list with the corresponding description can be found in  [HT09]<ref name='HT09'></ref>. Only the last two procedures will be discussed in more detail here. 

== Power control with LTE==
 
By  Power Control  one understands generally the control of the transmission power with the goal,
*to improve the transmission quality, 

*to increase the network capacity, and 

*reduce the power consumption. 

With regard to the last point, the standardization of LTE had to take this into account:
*On the one hand, the power consumption in the end devices was to be minimized in order to guarantee longer battery runtimes for them. 

*On the other hand, it should be avoided that the base stations have to provide too much power. 

With LTE,  Power Control  is only applied in the uplink, whereas it is more of an "slow" power control. This means that the procedure specified in LTE does not have to react as quickly as for example in UMTS (W–CDMA ). The reason is that by using the orthogonal carrier system "SC–FMDA" the so-called  [[Examples_of_Communication_Systems/Nachrichtentechnische_Aspekte_von_UMTS#Near.E2.80.93Far.E2.80.93Effekt| Near–Far–Problem]] does not exist.

*To be precise, for LTE the Power Control  does not control the absolute power, but the spectral power density, i.e. the power per bandwidth. 

*Instead of trying to smooth power peaks by temporarily reducing the transmission power, power peaks can also be used to increase the data rate for a short time. 

All in all, LTE–power control is intended to find the optimum balance between the lowest possible power and at the same time interference that is still acceptable for the transmission quality (QoS). This is specifically achieved by estimating the loss during transmission and by calculating a correction factor according to the current site characteristics. The statements made here are largely taken from  [DFJ08]<ref name ='DFJ08'>Dahlman, E., Furuskär A., Jading Y., Lindström M., Parkvall, S.: ''Key Features of the LTE Radio Interface.'' Ericsson Review No. 2, 2008.</ref>.

== Hybrid Adaptive Repeat and Request ==
 
Every communication system needs a scheme for retransmission of lost data due to transmission errors to ensure sufficient transmission quality. In LTE  Hybrid Adaptive Repeat and Request  (HARQ)  was specified for this purpose. This procedure is also used in  [[Examples_of_Communication_Systems/Weiterentwicklungen_von_UMTS#HARQ.E2.80.93Verfahren_und_Node_B_Scheduling| UMTS]]  in a similar form. 

The procedure based on the  stop–and–wait–technique is as follows:
*After a terminal device has received a packet from the base station, it is decoded and feedback is sent via the  [[Mobile_Communications/Physical_Layer_for_LTE#Physical channels in uplink| PUCCH]]. 

*In case of a failed transmission ("NACK") the packet is resent. Only if the transmission was successful (Feedback:  "ACK"), the next packet is sent. 

In order to ensure continuous data transfer despite the stop–and–wait–procedure, LTE requires several simultaneous HARQ–processes. In LTE, eight parallel processes are used both in the uplink and in the downlink. 

{{GraueBox|TEXT=
$\text{Example 2:}$  The graphic illustrates how it works with eight simultaneous HARQ–processes:

[[File:EN_LTE_T_4_4_S4a.png|center|frame|HARQ in LTE with eight simultaneous processes|class=fit]]
*In this example, the first process fails in the first attempt to transfer packet 1.
*The receiver tells this "Fail" to the sender by a "NACK".
*In contrast, the second parallel process is successful with its first packet:   "Pass". 
*In the next step (i.e. after the other seven HARQ–processes have sent) the first HARQ retransmits its last sent packet due to the acknowledgement "NACK" 

*The second process sends a new packet due to the acknowledgement "ACK" now. 

The other processes, which were ignored in this example, proceed in the same way.}} 

== Modulation for LTE ==
 
LTE uses the modulation method  [[Modulation_Methods/Quadratur%E2%80%93Amplitudenmodulation#Allgemeine_Beschreibung_und_Signalraumzuordnung|Quadrature–Amplitude Modulation]]. Different variants are available in the uplink as well as in the downlink, namely

*4–QAM (identical to QPSK)  ⇒  2 bits per symbol, 

*16–QAM  ⇒  4 bits per symbol, 

*64–QAM  ⇒  6 bits per symbol. 

The signal space constellations of these variants are shown in the following graphic. .

Note:   QAM is not an LTE–specific development, but is also used in many already established wired transmission methods, such as those of [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_DSL|DSL]] (''Digital Subscriber Line'').

[[File:P ID2290 LTE T 4 4 S5a v2.png|center|frame|possible QAM signal space constellations in LTE|class=fit]]

Depending on the environmental conditions and distance to the base station, the  [[Mobile_Communications/Bit Transmission Layer_at_LTE#Scheduling_for_LTE|Scheduler]]  selects the appropriate QAM–method (see figure):
[[File:P ID2291 LTE T 4 4 S5b v1.png|right|frame|Modulation method, depending on distance from base station]]
*64–QAM allows the best data rates, but is also the most susceptible to transmission interference and is therefore only used near the base stations. 

*The weaker the connection, the simpler the modulation method must be, which also reduces the spectral efficiency (in bit/s per Hertz). 
*Very robust is 4–QAM with only two bits per symbol (one each for real– and imaginary part). This can be used for much larger distances than 16–QAM. , for example

*Due to the exact same signal space constellation the 4–QAM is often called  Quaternary Phase Shift Keying  (QPSK). The four signal space points are arranged in a square pattern (QAM–principle). But they also lie on a circle (characteristic of the PSK). .

[[File:EN_LTE_T_4_4_S5c.png|left|frame|throughput depending on SNR|class=fit]]
 
The left graphic from [MG08]<ref name='MG08'>Myung, H.; Goodman, D.: ''Single Carrier FDMA - A New Air Interface for Long Term Evolution''. West Sussex: John Wiley & Sons, 2008.</ref> gives the following facts:
*With 4–QAM or QPSK (two bit/symbol) a throughput (throughput ) of almost one Mbit/s is achieved in the LTE–uplink with the assumptions made in  [MG08]  [MG08] .

*Only above a certain signal strength (english:   Signal–to–Noise Ratio, SNR) a higher level QAM is used, for example 16–QAM (4 bit/symbol) or 64–QAM (8 bit/symbol). 

*If the SNR is sufficiently large, increasing the number of stages will lead to better results regarding the data throughput.
 
It should be noted that the low-rate QPSK (4–QAM) is always used in the control channels, since this information
*on the one hand, do not require high data rates due to their small size, and 

*on the other hand should be received (almost) error-free due to their importance. 

An exception is the channel  [[Mobile_Communications/Physical Layer for LTE#Physical channels in uplink| PUSCH]]  in the uplink, which transmits both user– and control data. For this reason, the same modulation type is used here for both signals.
 

== Scheduling for LTE ==
 
All LTE–base stations contain a scheduler that can be switched between
*a total transfer rate as high as possible 

*with sufficiently good Quality of Service (QoS) 

A QoS–criterion is for example the  packet delay duration. So the scheduler tries to optimize the overall situation by using algorithms. 

Scheduling is necessary to ensure a fair distribution of resources. A concrete example is that a user who currently has a poor channel and therefore low efficiency must still be allocated sufficient resources, otherwise the desired (and guaranteed) transmission quality cannot be maintained. 

The scheduler controls the selection of the modulation method and the subcarrier–mapping. The functionality of the scheduler is illustrated by the following graphic for the uplink. Similar statements apply to the downlink. 

[[File:EN_LTE_T_4_4_S6.png|center|frame|Functionality of the scheduler in the LTE uplink|class=fit]]

{{BlueBox|TEXT=
$\text{Conclusion:}$  Based on [SABM06]<ref name ='SABM06'>Schmidt, M.; Ahn, N.; Braun, V.; Mayer, H.P.: ''Performance of QoS and Channel-aware Packet Scheduling for LTE Downlink.'' Alcatel-Lucent, 2006. </ref>, [WGM07]<ref name ='WGM07'>Wang, X.; Giannakis, G.B.; Marques, A.G.: ''A Unified Approach to QoS - Guaranteed Scheduling or Channel-Adaptive Wireless Networks.'' Proceedings of the IEEE, Vol. 95, No. 12, Dec. 2007.</ref> and [MG08]<ref name ='MG08'></ref> should be noted in summary:
*Scheduler algorithms are often very complicated due to the many optimization criteria, parameters and possible scenarios. Therefore, the design is usually based on an optimal system in which each base station knows the channel transmission functions sufficiently well at all times and transmission delays are unproblematic. 

*From these boundary conditions, different approaches are created with the help of mathematical analyses  [WGM07]<ref name ='WGM07'></ref>, whose effectiveness can only be verified by practical tests. A detailed description of such tests can be found in  [MG08]<ref name ='MG08'></ref>. 

*In principle, the overall transmission rate can be increased by channel-dependent scheduling (exploiting frequency selectivity), but this involves a large overhead, since test signals must be sent over the entire bandwidth. The information has to be distributed to all end devices if the full optimization potential is to be exploited. 

*In various tests, the clear and significant advantages (doubling of throughput) of channel-based scheduling were shown, but also the expected losses with faster moving users. More about this in the recommended document  [SABM06]<ref name ='SABM06'></ref>.}} 

Due to many advantages, scheduling is an integral part of the LTE–Release 8, specified by 3GPP. 

==Exercises to chapter==
 
[[Aufgaben:Exercise 4.4: Modulation in LTE]]

[[Aufgaben:Exercise 4.4Z: Physical Channels in LTE]]

==List of Sources==

<references/>

{{Display}}

Mobile Communications/The Application of OFDMA and SC-FDMA in LTE

2020-10-18T16:52:42Z

Rosa:

{{Header
|Untermenü=LTE – Long Term Evolution
|Vorherige Seite=Technical Innovations of LTE
|Nächste Seite=Physical Layer for LTE
}}

== General information on LTE transmission technology ==
 
In contrast to its predecessor  [[Mobile_Communications/Characteristics_of_UMTS|UMTS]],  Long Term Evolution  (LTE) uses a variant of the OFDM concept also used by  [https://de.wikipedia.org/wiki/Wireless_Local_Area_Network WLAN]  to systematically divide the transmission resources. The multiple access method  [[Modulation_Methods/Allgemeine_Beschreibung_von_OFDM#Das_Prinzip_von_OFDM_.E2.80.93_Systembetrachtung_im_Zeitbereich_.281.29| OFDM]]  possesses the ability to protect the system against intermittent transmission disturbances, just like the UMTS–Technology  [[Examples_of_Communication_Systems/Telecommunication_Aspects_of_UMTS#Application_of_CDMA.E2.80.93Procedure_in_UMTS| CDMA]]. 

In principle, it would have been possible to adapt and expand the technologies used in the second and third generations of mobile communications in such a way that they also meet the required specifications for the fourth generation. However, the rapidly increasing complexity of CDMA when receiving signals on multiple paths made the technical implementation appear to make little sense. 

[[File:EN_Mob_T_4_3_S1.png|center|frame|difference between OFDM and CDMA|class=fit]]

The highly abstracted graphic shows the distribution of the complete bandwidth for individual subcarriers and explains the difference between CDMA (UMTS) and OFDM (LTE).
*In contrast to CDMA, OFDM has many subcarriers, typically even several hundred, with a bandwidth of only a few kilohertz each.
*To achieve this, the data stream is split and each of the many subcarriers is modulated individually with only a small bandwidth. 

LTE uses OFDMA, an OFDM-based transmission technology. Among the reasons for this are  [HT09]<ref name='HT09'>Holma, H.; Toskala, A.: ''LTE for UMTS - OFDMA and SC-FDMA Based Radio Access.'' Wiley & Sons, 2009.</ref>:
*High performance in frequency controlled channels, 
*the low complexity in the receiver, 
*good spectral properties and bandwidth flexibility, and 
*compatibility with the latest receiver– and multi-antenna technologies. 

On the next page the differences between the multiple access methods OFDM and OFDMA are briefly explained. 

== Similarities and differences of OFDM and OFDMA ==
 
The principle of  Orthogonal Frequency Division Multiplexing  (OFDM) is explained in detail in chapter  [[Examples_of_Communication_Systems/General Description of DSL#Motivation_for_xDSL|Motivation for xDSL]]  of the book "Modulation methods". The diagram above shows the frequency assignment for OFDM:   OFDM splits the available frequency band into a large number of narrow-band subcarriers, it is important to note:
*To ensure that the individual subcarriers exhibit as little intercarrier–interference as possible, their frequencies are selected so that they are orthogonal to each other. 

*This means:   At the center frequency of each subcarrier, all other carriers have no spectral components. The goal is to select the currently most favorable resources for each user in order to obtain an overall optimal result. 

*In concrete terms, this also means that the available resources are allocated to the user who can currently do the most with them, adapted to the respective network situation.
*For this purpose, the base station for the downlink to the terminal device measures the connection quality with the help of reference symbols. 

[[File:EN_Mob_T_4_3_S2.png|center|frame|division of data blocks by frequency and time for OFDM and OFDMA|class=fit]]

The lower diagram shows the allocation at  Orthogonal Frequency Division Multiple Access  (OFDMA). You can see:
*For OFDMA the resource allocation after channel fluctuations is not limited to the time domain as with OFDM, but also the frequency domain is optimally included.

*Thus the OFDMA–resource allocation is better adapted to the external circumstances than with OFDM.
*In order to make optimum use of this flexibility, however, coordination between the base station (eNodeB) and the terminal equipment is necessary. More on this in chapter  [[Examples_of_Communication_Systems/General Description of DSL|General Description of DSL]].

== Differences between OFDMA and SC-FDMA==
 
There are transmission methods such as 
[https://de.wikipedia.org/wiki/WiMAX WiMAX], which use OFDMA in both directions. The LTE specification by the 3GPP consortium on the other hand specifies
*In  '''Downlink'''  (transmission from the base station to the terminal)  '''OFDMA'''  is used. 

*In  '''Uplink'''  (transmission from terminal to base station)   '''SC–FDMA'''  (Single Carrier Frequency Division Multiple Access ) is used. 

[[File:EN_Mob_T_4_3_S3.png|center|frame|Sender and Receiver Structure of a SC-FDMA System|class=fit]]

From the graphic you can see that the two systems "SC–FDMA" and "OFDMA" are very similar. Or in other words:   SC–FDMA is based on OFDMA (or vice versa).
*If you omit the components highlighted in red  ${\rm DFT} \ (K)$  and  ${\rm IDFT} \ (K)$  from SC–FDMA, you get the OFDMA–System. 

*The other blocks stand for Serial/Parallel–Converter (S/P), Parallel/Serial–Converter (P/S), D/A–Converter, A/D–Converter as well as Add/Remove Prefix. 

The signal generation for SC–FDMA works similar to OFDMA, but with small changes that are important for mobile radio:
*The main difference is the additional  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)#Argumente_f.C3.BCr_die_diskrete_Realisierung_der_FT|discrete Fourier-Transformation]]  (DFT). 

*This has to be done on the transmit side directly after the serial/parallel–conversion.

*Thus, it is no longer a multi-carrier procedure, but a single-carrier–FDMA–variant. 

*One speaks of "DFT–spread OFDM" because of the necessary DFT/IDFT–operations. 

Let us summarize these statements briefly:

{{BlaueBox|TEXT=
$\text{SC–FDMA is different from OFDMA}$  in the following points  [see also Internet article  [https://en.wikipedia.org/wiki/Single-carrier_FDMA Single-carrier FDMA]  (in Wikipedia) and 
[http://www.rfwireless-world.com/Articles/difference-between-SC-FDMA-and-OFDMA.html Difference between SC-FDMA and OFDMA.html]  from (''RF Wireless World'')]:

*With SC–FDMA, the data symbols are sent in a group of simultaneously transmitted subcarriers instead of sending each symbol from a single orthogonal subcarrier as with OFDMA.
*This subcarrier group can then be considered a separate frequency band that transmits the data sequentially. This is where the name "Single Carrier FDMA" comes from. 

*While with OFDMA the data symbols directly create the different subcarriers, with SC–FDMA they first pass a discrete Fourier transformation (DFT). Thus the data symbols are first transformed from the time domain into the frequency domain before they pass through the OFDM–procedure. 

One can also describe the difference between OFDMA and SC–FDMA in such a way:
*In an OFDMA–transmission, each orthogonal subcarrier only contains the information of a single signal.

*In contrast, with SC–FDMA, each individual subcarrier contains information about all signals transmitted in this period.}}
 

This difference and the quasi–sequential transmission with SC–FDMA can be seen particularly well from the following diagram. This is taken from a PDF document from  [http://www.keysight.com/main/application.jspx?cc=DE&lc=ger&ckey=1174746&nid=-34867.0.00&id=1174746 Agilent–3GPP.]

[[File:P ID2301 Mob T 4 3 S3b v1.png|center|frame|Frequency band splitting for OFDMA and SC-FDMA|class=fit]]

== Functionality of SC-FDMA==
 
Now the SC–FDMA–transfer process shall be examined more in detail. The information for this comes largely from  [MG08]<ref name='MG08'>Myung, H.; Goodman, D.: ''Single Carrier FDMA – A New Air Interface for Long Term Evolution''. West Sussex: John Wiley & Sons, 2008.</ref>..

The purpose and function of the  Cyclic Prefix  is not discussed in detail here. The reasons are the same as for OFDM and can be read in the section  [[Modulation_Methods/Implementation of OFDM Systems#Cyclic Prefix|Cyclic Prefix]]  of the book "Modulation_Methods".

The following description refers to the SC–FDMA–Sender shown here. Note that with LTE the modulation is adapted to the channel quality:
*In highly noisy channels 4–QAM (Quadrature Amplitude Modulation with only four signal space points) is used.
* Under better conditions, the system then switches to a higher-level QAM, up to 64–QAM.

[[File:P ID2304 Mob T 4 3 S4a v3.png|center|frame|Received SC-FDMA Transmitter |class=fit]]

The following also applies:
*An input data block consists of  $K$  complex modulation symbols  $x_\nu$ which are generated at a rate of  $R_{\rm Q}\ \big[\rm symbols/s \big]$ . The discrete Fourier transform (DFT) generates  $K$  symbols  $X_\mu$  in the frequency domain, which are modulated on  $K$  from a total of  $N$  orthogonal subcarriers:
::<math>X_\mu = \sum_{\nu = 0 }^{K-1}
x_\nu \cdot {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} { 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm} \nu
\hspace{0.05cm}\cdot \hspace{0.05cm} \mu }/{K}} \hspace{0.05cm},</math>
*The subcarriers are distributed over a larger bandwidth of  $B_{\rm K} = N \cdot f_0$  where  $f_0 = 15 \ \rm kHz$  is the smallest addressable bandwidth for LTE. Unused channels are shown as dashed lines in the example graphic. .

*The channel transmission rate is  $R_{\rm C} = J \cdot R_{\rm Q}$  with spreading factor  $J = N/K$. This SC–FDMA–system could simultaneously process  $J$  orthogonal input signals. In the case of LTE, for example, the values are  $K = 12$  (smallest addressable block) and  $N = 1024$. $J$  thus also indicates the number of terminal devices that can be simultaneously connected to this base station. 

*According to the so-called  subcarrier–mapping , which is the assignment of the symbols generated by the DFT to the available subcarriers, the symbols are then "mapped" to a certain bandwidth, for example   $K = 12$  maps to the range of  $0 \ \text{...} \ 180 \ \rm kHz$  or to the range of  $180 \ \rm kHz \ \text{...} \ 360 \ \rm kHz$. 

*The IDFT–transformation (highlighted in blue above) transforms the output values  $Y_\mu$  on the frequency domain in its time representation  $y_\nu$. These samples are then transformed by the parallel/serial–converter into a sequence suitable for transmission. 

== Different approaches for the subcarrier–Mapping==
 
The following figure illustrates three types of  Subcarrier–Mapping. To simplify the representation, we will limit ourselves here to the (very small) parameter values  $K = 4$  and  $N = 12$. 
[[File:EN_Mob_T_4_3_S4b.png|center|frame|various methods of subcarrier mapping|class=fit]]
DFDMA  or  Distributed Mapping: Here the modulation symbols are distributed over a certain range of the available channel bandwidth. 

IFDMA  or  Interleaved FDMA: Special form of DFDMA, when the modulation symbols are distributed over the entire bandwidth with equal distances between them. 

LFDMA  or  Localized Mapping: The  $K$  modulation symbols are assigned directly to adjacent subcarriers. This corresponds to the current 3GPP–specification. 

It can be shown that with SC–FDMA the transmitter does not have to be run through the following steps individually
*Discrete Fourier Transformation (DFT), 
*Subcarrier–Mapping, and 
*Inverse discrete Fourier transform (IDFT) or Fast–Fourier transform (IFFT) 

Instead, these three operations can be realized together as one single linear operation. The complete and mathematically complex derivation can be found for example in  [MG08]<ref name='MG08'>Myung, H.; Goodman, D.: ''Single Carrier FDMA – A New Air Interface for Long Term Evolution''. West Sussex: John Wiley & Sons, 2008.</ref>. Each element  $y_\nu$  of the output sequence is then representable by a weighted sum of the input sequence elements  $x_\nu$  where the weights are complex-valued. 

Hence, instead of the comparatively complicated Fourier transform, the operation is reduced
*to a multiplication with a complex number, and 

*the  $J$– fold repetition of the input sequence  $\langle x_\nu \rangle $. 

In  [[Aufgaben:Exercise 4.3: Subcarrier Mapping|Exercise 4.3]]  the (transmit-side)  Subcarrier–Mapping  is considered with more realistic values for  $K$  and  $N$  and its differences to the  Subcarrier–Demapping  (at the receiver) are pointed out. 

== Advantages of SC-FDMA over OFDM==
 
The decisive advantage of SC–FDMA over OFDMA is its lower  Peak–to–Average Power–Ratio  $\rm (PAPR)$ due to its single-carrier structure. This is the ratio of current peak power  $P_{\rm max}$  to average power  $P_{\rm S}$. $\rm PAPR$  can also be expressed by the  [[Digital Signal Transmission/Optimization of Baseband Transmission Systems#Systemoptimierung_bei_Spitzenwertbegrenzung|Crest–factor]]  (quotient of the signal amplitudes). However, the two quantities are not identical. 

[[File:P ID2308 Mob T 4 3 S5a v2.png|right|frame|(complementary)  $\rm PAPR$– distribution function for OFDM]]

The graphic from the Internet–Document  [Wu09]<ref name ='Wu09'>Wu, B.: ''Analyzing WiMAX Modulation Quality.'' [http://mwrf.com/Articles/Print.cfm?Ad=1&ArticleID=22022 PDF-Internet document,] 2009.</ref>  shows in double–logarithmic representation the probability that with 64–QAM–OFDM the current power  $P_{\rm max}$  is above the average power  $P_{\rm S}$ . You can see:
*The probability of large "outliers" is small. For example, the average power is only exceeded in  $0.1\%$  of time by more than  $\text{10 dB}$      ⇒   marked in red. 

*Even if such high power peaks are very rare, they still pose a problem for the receiver's power amplifier.

The power amplifiers should be operated in the linear range, otherwise the signal is distorted. Non-linearities arise in particular due to
*Intercarrier–Interference within the signal, 

*Interference from adjacent channels due to spectrum expansions. 

Therefore, OFDM requires the amplifier to operate at a lower power level than its peak power most of the time, which can drastically reduce its efficiency.

*Because one can regard SC–FDMA quasi as single carrier–transmission procedures, its $\rm PAPR$  is lower than the one of OFDMA.
*Thus, for example, a so-called  pulse–shaping–filter can be used which reduces the  $\rm PAPR$ .

The lower  $\rm PAPR$  is the main reason why in LTE–Uplink SC–FDMA is used and not OFDMA.
*A low  $\rm PAPR$  means longer battery life, an extremely important criterion for mobile phones/smartphones.
*At the same time, SC–FDMA offers similar performance and complexity to OFDMA.
*Since a long battery life is less important for the downlink, OFDMA is used here. 

{{GraueBox|TEXT=
$\text{Example 1:}$  We consider an OFDM–system with  $N$  carriers, all with the same signal amplitude  $A$. After a highly simplified calculation with the same proportionality factor we obtain:

*the maximum signal power is proportional to  $(N \cdot A)^2$, and 

*the average signal power is proportional to  $N \cdot A^2$ . 

This results in the  Peak–to–Average Power–Ratio  ${\rm PAPR} = N$, since it's the quotient of these two powers  . Already with only two carriers this results in  ${\rm PAPR} = 2$  which corresponds to  $\text{3 dB}$. 

*So even with only two carriers the amplifier must always operate   $\text{3 dB}$  below the maximum power to avoid signal distortion in case of signal peaks.
*As will be shown below,  $\text{3 dB}$  already means a decrease in efficiency to  $85\%$.}} 

The  Peak–to–Average Power–Ratio  $\rm (PAPR)$  is directly related to the  ''transmit amplifier efficiency''. Maximum efficiency is achieved when the amplifier can operate in the vicinity of the saturation limit.

{{GraueBox|TEXT=
$\text{Example 2:}$  The graphic shows an example of an amplifier's characteristic curve, i.e. the output power plotted against the input power. 

[[File:EN_Mob_T_4_3_S5b.png|right|frame|Decrease in amplifier efficiency with increasing "Back-off"]]
*At  $\rm PAPR = 1$  $(\text{0 dB})$  one could set the average power  $P_{\rm S}$  equal to the allowed peak power  $P_{\rm max}$ . According to the characteristic curve  $P_{\rm out}/P_{\rm in}$  the amplifier efficiency would be (exemplarily)  $95\%$. 
*Nevertheless, for large  $\rm PAPR$  the amplifier must be operated below the saturation limit to avoid too much signal distortion. 

Here are some numerical examples:
*At  $\rm PAPR = 2$  according to the rough calculation on the last page, the average transmit power would have to be chosen $\text{3 dB}$  lower than the allowed power,  so that  $P_{\rm max}$  would not be exceeded at any time. The efficiency would then decrease to  $85\%$ . 

*A Back–off from  $\text{3 dB}$  is usually not sufficient, but in practice values between  $\text{5 dB}$  and  $\text{8 dB}$  ,  taken from  [Hin08]<ref name='Hin08'>Hindelang, T.: ''Mobile Communications. Lecture Manuscript.'' Chair of Communications Engineering, TU Munich, 2008.</ref>. According to the above curve, however, at   $\text{5 dB}$  the efficiency already drops to only   $70\%$ (System  $\rm S1$, green line). 

*With the System  $\rm S2$  all signal peaks reduced in   $\text{8 dB}$  can be transmitted by the amplifier without distortion, but the amplifier efficiency is then only  $40\%$. As can be seen in the first graphic on this page, strong distortions still occur about   $2\%$ of the time.

*If the average transmit power is   $P_{\rm S} = 100\, \rm mW$, then with a  $\rm PAPR = 9 \ \text{(8 dB)}$  the amplifier must work up to  $P_{\rm max} = 900\, \rm mW$  without distortion, with  $\rm PAPR = 2 \ \text{(8 dB)}$  on the other hand, only up to  $200 \, \rm mW$. The difference between the two amplifiers is an enormous cost factor.}} 

{{BlaueBox|TEXT=
$\text{Conclusion:}$  Based on this information we can summarize:
*OFDM with a large back–off in the uplink would lead to problems, namely extremely short battery life of the mobile devices. Therefore, SC–FDMA is used in the LTE–uplink. 

*In addition, the complexity of SC–FDMA is generally lower than other methods, which means cheaper terminals  [MLG06]<ref name='MLG06'>Myung, H.; Lim, J.; ''Goodman, D.: Single Carrier FDMA for Uplink Wireless Transmission.'' IEEE Vehicular Technology Magazine, Vol. 1, No. 3, 2006.</ref>. If the CDMA used in UMTS were extended to the 4G–standard, the receiver complexity would increase significantly due to the high frequency diversity in the channel  [IXIA09]<ref name='IXIA09'>''SC-FDMA - Single Carrier FDMA in LTE.'' (PDF document on the Internet), 2009.</ref>. 

*However, the frequency domain equalization with SC–FDMA is more complicated than with OFDMA. This is the main reason why SC–FDMA is only used in the uplink. So these complicated equalizers have to be installed only in the base stations and not in the terminals.}} 

== Exercices to the Chapter ==
 
[[Aufgaben:Exercise 4.3: Subcarrier Mapping]]

[[Aufgaben:Exercise 4.3Z: Multiple-Access Methods in LTE]]

==List of Sources==

<references/>

{{Display}}

Mobile Communications/Technical Innovations of LTE

2020-10-17T20:36:02Z

Rosa:

{{Header
|Untermenü=LTE – Long Term Evolution
|Vorherige Seite=General Information on the LTE Mobile Communications Standard
|Nächste Seite=The Application of OFDMA and SC-FDMA in LTE
}}

== For voice transmission with LTE ==
 
Unlike previous mobile phone standards, LTE only supports ''packet-oriented transmission''. For voice transmission, however, a connection-oriented transmission with fixed reservation of resources would be better, since a "fragmented transmission", as is the case with the packet-oriented method, is relatively complicated. 

The problem of integrating voice transmission methods was one of the major challenges in the development of LTE, as voice transmission remains the largest source of revenue for network operators. There were a number of approaches, as it can be seen in the internet article   [Gut10]<ref name='Gut10'>Gutt, E.: ''LTE - a new dimension of mobile broadband use''. [http://www.ltemobile.de/uploads/media/LTE_Einfuehrung_V1.pdf PDF document on the Internet], 2010.</ref>

'''(1)'''   A very simple and obvious method is  Circuit Switched Fallback  ('''CSFB'''). Here a wire-bound transmission is used for the voice transmission. The principle is:
*The terminal device logs on to the LTE–network and in parallel also to a GSM– or UMTS–network. When an incoming call is received, the terminal device receives a message from the  Mobile Management Entity  (MME, control node in the LTE–network for user–authentication), whereupon a wire-bound transmission via the GSM– or the UMTS–network is established.
*A disadvantage of this solution (actually it is a "problem concealment") is the greatly delayed connection establishment. In addition, CSFB prevents the complete conversion of the network to LTE.

'''(2)'''   Another possibility for the integration of voice in a packet-oriented transmission system is offered by  Voice over LTE via GAN  ('''VoLGA'''), which is based on the from  [[Mobile_Communications/General Information on the LTE Mobile Communications Standard#3GPP_. E2.80.93_Third_Generation_Partnership_Project| 3GPP]]  developed by  [[https://en.wikipedia.org/wiki/Generic_Access_Network Generic Access Network]) . In brief, the principle can be described as follows:
* GAN enables line-related services via a packet-oriented network (IP–network), for example WLAN  (Wireless Local Area Network). With compatible end devices one can register oneself in the GSM–network over a WLAN–connection and use line-based services. VoLGA uses this functionality by replacing WLAN with LTE.
* The fast implementation of VoLGA is advantageous, as no lengthy new development or changes to the core network are necessary. However, a so-called  VoLGA Access Network Controller  (VANC) must be added to the network as hardware. This takes care of the communication between the end device and the  Mobile Management Entity  or the core network. 

Even though VoLGA does not need to use a GSM– or UMTS–network for voice connections like CSFB, it was considered by the majority of the mobile community as an (unsatisfactory) bridge technology due to its user-friendliness. T–Mobile has long been a proponent of the VoLGA–technology, but also stopped further development in February 2011. 

In the following we describe a better solution proposal. Keywords are  IP Multimedia Subsystem  (IMS) and  Voice over LTE  (VoLTE). The operators in Germany switched to this technology relatively late:   Vodafone and O2 Telefonica at the beginning of 2015, Telekom at the beginning of 2016.

This is also the reason why the switch to LTE in Germany (and in Europe in general) was slower than in the USA. Many customers did not want to pay the higher prices for LTE as long as there was no well-functioning solution for integrating voice transmission. 

== VoLTE - Voice over LTE ==
 
From today's point of view (2016), the most promising approach to integrating voice services into the LTE–network, some of which are already established, is  Voice over LTE  – in short: '''VoLTE''. This standard, officially adopted by the  [http://www.gsma.com/aboutus/ GSMA],  the worldwide industry association of more than 800 mobile network operators and over 200 manufacturers of cell phones and network infrastructure, is exclusively IP–packet-oriented and is based on the  IP Multimedia Subsystem  ('''IMS'''), which was already defined in the UMTS–Release 9 in 2010. The technical facts about IMS are:
*The IMS–basic protocol is the one from  Voice over IP  known  [https://de.wikipedia.org/wiki/Session_Initiation_Protocol Session Initiation Protocol]  (SIP). This is a network protocol that can be used to establish and control connections between two users.
* This protocol enables the development of a completely (for data and voice) IP-based network and is therefore future-proof. 

The reason why the introduction of VoLTE has been delayed by four years compared to LTE–establishment in data traffic is due to the difficult interaction of "4G" with the older predecessor standards  GSM  ("2G") and  UMTS  ("3G"). Here is an example:
*If a mobile phone user leaves his LTE–cell and switches to an area without 4G–coverage, an immediate switch to the next best standard (3G) must be made.

*Language is transmitted here technically completely differently, no longer by many small data packets   ⇒   "packet-switched" but sequentially in the logical and physical channels reserved especially for the user   ⇒  "circuit-switched". 

*This implementation must be so fast and smooth that the end customer does not notice anything. And this implementation must work for all mobile phone standards and technologies.

According to all the experts, VoLTE will have a positive impact on mobile telephony in the same way that LTE has driven the mobile Internet forward since 2011. Key benefits for users are:
*A  higher voice quality, as VoLTE  [[Examples_of_Communication_Systems/Nachrichtentechnische_Aspekte_von_UMTS#Verbesserungen_bez.C3.BCglich_Sprachcodierung| AMR–Wideband Codecs]]  with 12.65 or 23.85 kbit/s. Furthermore, the VoLTE–data packets are prioritized for lowest possible latencies. 

*An enormously  accelerated connection setup within one or two seconds, whereas with  Circuit Switched Fallback (CSFB) it takes an unpleasantly long time to establish a connection. 

*A  low battery consumption, significantly lower than "2G" and "3G", associated with a longer battery life. Also in comparison to the usual VoIP–services the power consumption is up to 40% lower. 

From the provider's point of view, the following advantages result:
*A  better spectral efficiency:   Twice as many calls are possible in the same frequency band than with "3G". In other words:   More capacity is available for data services for the same number of calls. 

*An easy implementation of  [https://de.ryte.com/wiki/Rich_Media Rich Media Services]  (RCS), for example for video telephony or future applications that can be used to attract new customers. 

*A  better acceptance  of the higher provisioning costs by LTE–customers if you don't need to outsource to a "low-value" network like "2G" or "3G" for telephony.

== Bandwidth flexibility ==
 
LTE can be adapted to frequency bands of different widths with relatively little effort by using  [[Modulation_Methods/Allgemeine_Beschreibung_von_OFDM#Das_Prinzip_von_OFDM_.E2.80.93_Systembetrachtung_im_Zeitbereich_.281.29|OFDM]]  ("Orthogonal Frequency Division Multiplex"). This fact is an important feature for various reasons, see  [Mey10]<ref name='Mey10'>Meyer, M.: ''Siebenmeilenfunk.'' c't 2010, issue 25, 2010.</ref>, especially for network operators:
*The frequency bands for LTE may vary in size depending on the legal requirements in different countries. The outcome of the state-specific auctions of LTE–frequencies (separated into FDD and TDD) has also influenced the width of the spectrum. 

*Often LTE is operated in the "frequency–neighborhood" established radio transmission systems, which are expected to be switched off soon. If the demand increases, LTE can be gradually expanded to the frequency range that is becoming available. 

*For example, the migration of television channels after digitalization:   A part of the LTE–network will be located in the VHF–frequency range around 800 MHz, which has now been freed up, see  [[Mobile_Communications/General Information on the LTE Mobile Communications Standard#LTE_Frequency_Band_Splitting|Frequency_Band_Splitting Graphic]]. 

*Actually the bandwidths could be selected with a degree of fineness of up to 15 kHz (corresponding to an OFDMA–subcarrier). However, since this would unnecessarily produce overhead, a duration of  '''one millisecond'''  and a bandwidth of  '''180 kHz'''  has been specified as the smallest addressable LTE–resource. Such a block corresponds to twelve subcarriers (180 kHz divided by 15 kHz). 

In order to keep the complexity and effort of hardware standardization as low as possible, a whole range of permissible bandwidths between 1.4 MHz and 20 MHz has been agreed upon. The following list – taken from  [Ges08]<ref name='Ges08'>Gessner, C.: ''UMTS Long Term Evolution (LTE): Technology Introduction.'' Rohde&Schwarz, 2008.</ref>  – specifies the standardized bandwidths, the number of available blocks and the "overhead":
*6 available blocks in the bandwidth 1.4 MHz   ⇒   relative overhead approx. 22.8%, 

*15 available blocks in the bandwidth 3 MHz   ⇒   relative overhead about 10%, 

*25 available blocks in the bandwidth 5 MHz   ⇒   relative overhead approx. 10%, 

*50 available blocks in the bandwidth 10 MHz   ⇒   relative overhead approx. 10%, 

*75 available blocks in the bandwidth 15 MHz   ⇒   relative overhead about 10%, 

*100 available blocks in the bandwidth 20 MHz   ⇒   relative overhead about 10%. 

Since otherwise some LTE–specific functions would not work, at least six blocks must be provided.
*The relative overhead is comparatively high at small channel bandwidth (1.4 MHz):   (1.4 – 6 · 0.18)/1.4 ≈ 22.8%.
*From a bandwidth of 3 MHz the relative overhead is constant 10%.
*It also applies that all end devices must also support the maximum bandwidth of 20 MHz   [Ges08]<ref name='Ges08'></ref>

== FDD, TDD and half duplex method==
 
[[File:EN_Mob_T_4_2_S3a.png|right|frame|transmission scheme for FDD (top) or TDD (bottom)|class=fit]]
Another important innovation of LTE is the half–duplex–procedure, which is a mixture of the two already known from UMTS  [[Examples_of_Communication_Systems/General_Description_of_UMTS#Full Duplex Procedure|Duplex Procedure]] :

*'''Frequency Division Duplex'''  (FDD), and 
*'''Time Division Duplex'''  (TDD) . 

Such duplexing is necessary to ensure that uplink and downlink are clearly separated from each other and that transmission runs smoothly. The diagram illustrates the difference between FDD– and TDD–based transmission. .

Using the FDD and TDD methods, LTE can be operated in paired and unpaired frequency ranges.
 
The two methods are present opposing requirements:
*FDD requires a paired spectrum, i.e. one frequency band for transmission from the base station to the terminal (downlink) and one for transmission in the opposite direction (uplink). Downlink and uplink can be used at the same time. 

*TDD was designed for unpaired spectra. Now only one band is needed for uplink and downlink. However, transmitter and receiver must now alternate during transmission. The main problem of TDD is the required synchronicity of the networks. 

In the graphic above the differences between FDD and TDD can be seen. In TDD a ''Guard Period'' has to be inserted when changing from downlink to uplink (or vice versa) to avoid an overlapping of the signals. 

Although FDD is likely to be used more in practice (and FDD–frequencies were also much more expensive for the providers), there are several reasons for TDD:
*Frequencies are a rare and expensive commodity, as the 2010 auction has shown. But TDD needs only half of the frequency bandwidth. 

*The TDD technique allows different modes, which determine how much time should be used for downlink or uplink and can be adjusted to individual requirements. 

For the actual innovation, the '''Half–Duplex–Method''', you need a paired spectrum as with FDD (see second graphic):
[[File:P ID2276 Mob T 4 2 S4b v1.png|right|frame|Transmission scheme for half-duplex|class=fit]]
*Base station transmitter and receiver still alternate like TDD. Each terminal device can either transmit or receive at a given time.
*Through a second connection to another end device with swapped downlink/uplink–raster, the entire available bandwidth can still be fully used. 

*The main advantage of the half–duplex–process is that the use of the TDD–concept reduces the demands on the end devices and thus allows them to be produced at a lower cost. 

The fact that this aspect was of great importance in the standardization can also be seen in the use of OFDMA in the downlink and of SC–FDMA in the uplink:
*This results in a longer battery life of the end devices and allows the use of cheaper components.
*More about this can be found in chapter  [[Mobile_Communications/The_Application_of_OFDMA_and_SC-FDMA_in_LTE | The Application of OFDMA and SC-FDMA in LTE]].

== Multiple Antenna Systems==
 
If a radio system uses several transmitting and receiving antennas, one speaks of  '''Multiple Input Multiple Output'''  (MIMO). This is not an LTE–specific development. WLAN, for example, also uses this technology.

{{GraueBox|TEXT=
$\text{Example 1:}$  The principle of multi-antenna systems is illustrated in the following figure using the example of 2×2–MIMO (two transmitting and two receiving antennas). 

[[File:EN_Mob_T_4_2_S3b.png|right|frame|The difference between SISO and MIMO|class=fit]]
The new thing about LTE is not the actual use of  Multiple Input Multiple Output, but the particularly intensive one, namely 2×2–MIMO in the uplink and maximum 4×4–MIMO in the downlink.

In the successor  [[Mobile_Communications/LTE%E2%80%93Advanced_%E2%80%93_a_Further_Development_of_LTE|LTE–Advanced]]  the use of MIMO is even more pronounced, namely "4×4" in the uplink and "8×8" in the opposite direction.}}

A MIMO–system has advantages compared to  ''Single Input Single Output''  (SISO, only one transmitting and one receiving antenna). A distinction is made between several gains depending on the channel:
*power gain  according to the number of receiving antennas:   If the radio signals arriving via several antennas are combined in a suitable way  ([https://en.wikipedia.org/wiki/Maximal-ratio_combining Maximal-ratio Combining]), the reception power is increased and the radio connection is improved. By doubling the antennas, a power gain of maximum 3 dB. is achieved.

*Diversity gain through spatial diversity (  [https://en.wikipedia.org/wiki/Antenna_diversity Spatial Diversity]): If several spatially separated receiving antennas are used in an environment with strong multipath propagation, the fading at the individual antennas is mostly independent from each other and the probability that all antennas are affected by fading at the same time is very low. 

*Data rate gain:   This increases the efficiency of MIMO, especially in an environment with increased multipath propagation, especially when transmitter and receiver do not have a direct line of sight and the transmission is done via reflections. Tripling the number of antennas for the transmitter and receiver results in approximately twice the data rate. 

However, it is not possible for all advantages to occur simultaneously. Depending on the nature of the channel, it can also happen that one does not even have the choice of which advantage one wants to use. 

In addition to the MIMO systems there are also the following intermediate stages:
*MISO–Systems  (only one receiving antenna, therefore no power gain is possible), and 

*SIMO–Systems  (only one transmitting antenna, only small diversity gain). 

{{GraueBox|TEXT=
$\text{Example 2:}$  The term "MIMO" summarizes multi-antenna techniques with different properties, each of which can be useful in certain situations. The following description is based on the four diagrams shown here. 

[[File:EN_Mob_T_4_2_S5b.png|center|frame|Four multi-antenna procedures with different properties|class=fit]]

*If the mostly independent channels of a MIMO–system are assigned to a single user (top left diagram), one speaks of  '''Single–User MIMO''. With 2×2–MIMO, the data rate is doubled compared to SISO–operation and with four transmit&ndash each; and receiving antennas, the data rate can be doubled again under good channel conditions. 

::LTE allows maximum 4×4–MIMO but only in the downlink. Due to the complexity of multi-antenna systems, only laptops with LTE–modems can be used as receivers (end devices) for 4×4–MIMO. For a cell phone, the use of 2×2–MIMO is generally limited to 2×2–MIMO.

*Contrary to Single–User MIMO, the goal with the  '''Multi–User MIMO'''  is not the maximum data rate for a receiver, but the maximization of the number of end devices that can use the network simultaneously (top right diagram). This involves transmitting different data streams to different users. This is particularly useful in places with high demand, such as airports or soccer stadiums. 

*Multi-antenna operation is not only used to maximize the number of users or data rate, but in the event of poor transmission conditions, multiple antennas can also combine their power to transmit data to a single user to improve the quality of reception. One then speaks of  '''Beamforming'''   (diagram below left), which also increases the range of a transmitting station. 

*The fourth possibility is  '''antenna diversity'''   (diagram below right). This increases the redundancy (regarding system design) and makes the transmission more robust against interferences. A simple example:   There are four channels that all transmit the same data. If one channel fails, there are still three channels for information transport.}}

== Systemarchitektur==
 
Die LTE–Architektur ermöglicht ein vollständig auf dem IP–Protokoll basierendes Übertragungssystem. Um dieses Ziel zu erreichen, musste die für UMTS spezifizierte Systemarchitektur nicht nur im Detail verändert, sondern teilweise komplett neu konzipiert werden. Dabei wurden auch andere IP–basierte Technologien wie  ''mobiles WiMAX''  oder  ''WLAN''  integriert, um in diese Netze problemlos wechseln zu können. 

In UMTS–Netzen (linke Grafik) ist zwischen einer Basisstation (NodeB) und dem Kernnetz noch der  Radio Network Controller  (RNC) zwischengeschaltet, der für den Wechsel zwischen verschiedenen Zellen hauptverantwortlich ist und der zu Latenzzeiten von bis zu 100 Millisekunden führen kann. 

[[File:EN_Mob_T_4_2_S6.png|center|frame|Systemarchitektur bei UMTS (UTRAN) und LTE (EUTRAN)|class=fit]]

Die Neukonzipierung der Basisstationen (&bdquo;eNodeB” anstelle von &bdquo;NodeB”) und die Schnittstelle &bdquo;X2” sind die entscheidenden Weiterentwicklungen von UMTS hin zu LTE. Die rechte Grafik illustriert insbesondere die mit der neuen Technologie einhergegangene Reduzierung der Komplexität gegenüber UMTS (linke Grafik).

Die  '''LTE–Systemarchitektur'''  lässt sich in zwei große Bereiche einteilen:
*das LTE–Kernnetz  Evolved Packet Core  (EPC), 

*die Luftschnittstelle  Evolved UMTS Terrestrial Radio Access Network  (EUTRAN) – eine Weiterentwicklung von  [[Examples_of_Communication_Systems/UMTS%E2%80%93Netzarchitektur#Architektur_der_Zugangsebene|UMTS Terrestrial Radio Access Network]]  (UTRAN). 

EUTRAN überträgt die Daten zwischen dem Endgerät und der LTE–Basisstation (&bdquo;eNodeB”) über die sogenannte S1–Schnittstelle mit zwei Verbindungen, eine für die Übertragung von Nutzdaten und eine zweite für die Übertragung von Signalisierungsdaten. Aus obiger Grafik erkennt man:
*Die Basisstationen sind außer mit dem EPC auch mit den benachbarten Basisstationen verbunden. Diese Verbindungen (X2–Schnittstellen) bewirken, dass möglichst wenige Pakete verloren gehen, wenn sich das Endgerät aus dem Umkreis einer Basisstation in Richtung einer anderen bewegt. 

*Dazu kann die Basisstation, deren Versorgungsgebiet der Nutzer gerade verlässt, eventuell noch zwischengespeicherte Daten direkt und schnell an die &bdquo;neue” Basisstation weitergeben. Damit ist eine (weitgehend) durchgehende Übertragung sichergestellt. 

*Die Funktionalität des RNC geht zum Teil in die Basisstation, zum anderen in die  Mobility Management Entity  (MME) im Kernnetz über. Diese Reduktion der Schnittstellen verkürzt die Signaldurchlaufzeit im Netzwerk und das Handover signifikant auf 20 Millisekunden. 

*Die LTE–Systemarchitektur ist zudem so ausgelegt, dass sich zukünftig  Inter–NodeB–Verfahren  (wie  Soft–Handover  oder  Cooperative Interference Cancellation) einfach integrieren lassen. 

== LTE–Kernnetz: Backbone und Backhaul ==
 
Das LTE–Kernnetz  Evolved Packet Core  (EPC) eines Netzbetreibers – in der Fachsprache  Backbone  – besteht aus verschiedenen Netzwerkkomponenten. Das EPC ist mit den Basisstationen über das  Backhaul  (englische Bezeichnung für Rücktransport) verbunden. Darunter versteht man die Anbindung eines vorgelagerten, meist hierarchisch untergeordneten Netzknotens an einen zentralen Netzknoten. 

Momentan besteht das  Backhaul  zum Großteil aus Richtfunk und sogenannten E1–Leitungen. Diese sind Kupferleitungen und erlauben einen Durchsatz von ca. 2 Mbit/s. Für GSM– und UMTS–Netzwerke waren diese Verbindungen noch ausreichend, aber bereits für großflächig konzipertes  [[Examples_of_Communication_Systems/Weiterentwicklungen_von_UMTS#High.E2.80.93Speed_Downlink_Packet_Access| HSDPA]]  reichen solche Datenraten nicht mehr. Für LTE ist ein solches  Backhaul  komplett unbrauchbar:
*Das langsame Kabelnetzwerk würde die schnellen Funkverbindungen ausbremsen; insgesamt wäre kein Geschwindigkeitszuwachs festzustellen. 

*Aufgrund der geringen Kapazitäten der Leitungen mit E1–Standard wäre auch ein Ausbau mit weiteren baugleichen Leitungen nicht wirtschaftlich. 

Im Zuge der LTE–Einführung musste also das  Backhaul  neu entworfen werden. Dabei war es wichtig, Zukunftssicherheit im Auge zu behalten, stand doch die nächste Generation  ''LTE–Advanced''  bereits vor der Einführung. Schenkt man dem von Experten propagierten  Moore's Law  für Mobilfunkbandbreiten Glauben, so ist die teure Neuverlegung besserer Kabel der wichtigste Faktor für die Zukunftssicherheit. 

Aufgrund der rein paketorientierten Übertragungstechnik bietet sich für das LTE–Backhaul der ebenfalls IP–basierte Ethernet–Standard an, der mit Hilfe von Lichtwellenleitern realisiert wird. Die Firma Fujitsu stellte 2009 in der Studie  [Fuj09]<ref name='Fuj09'>Fujitsu Network Communications Inc.: ''4G Impacts to Mobile Backhaul.'' [http://www.fujitsu.com/downloads/TEL/fnc/whitepapers/4Gimpacts.pdf PDF–Internetdokument].</ref>  zudem die These auf, dass die momentane Infrastruktur noch für die nächsten zehn bis fünfzehn Jahre eine wichtige Rolle für das LTE–Backhaul spielen wird. 

Für den Generationenwechsel hin zu einem Ethernet–basierten  Backhaul  gibt es zwei Ansätze:
*der parallele Betrieb der Leitungen mit E1 und Ethernet–Standard, 

*die sofortige Migration zu einem auf Ethernet basierenden  Backhaul. 

Ersteres hätte den Vorteil, dass die Netzbetreiber den Sprachverkehr weiterhin über die alten Leitungen laufen lassen könnten und ausschließlich den bandbreitenintensiven Datenverkehr über die leistungsfähigeren Leitungen abwickeln müssten.

Die zweite Möglichkeit wirft einige technische Probleme auf:
*Die vorher durch die langsamen E1-Standard–Leitungen transportierten Dienste müssten sofort auf ein paketbasiertes Verfahren umgestellt werden. 

*Ethernet bietet (anders als der jetzige Standard) bisher keine  End–to–End–Synchronisierung, was beim Funkzellenwechsel zu starken Verzögerungen bis hin zu Dienstunterbrechungen führen kann – also eine gewaltige Einbuße der Servicequalität.
*Im Konzept  [https://en.wikipedia.org/wiki/Synchronous_Ethernet Synchronous Ethernet]  (SyncE) wurden jedoch von der Fa. Cisco bereits Vorschläge unterbreitet, wie die Synchronisation realisiert werden könnte. 

Für Ballungsgebiete wäre eine direkte Umstellung des Backhauls sicher lohnenswert, da für eine vergleichsweise hohe Zahl an neuen Nutzern nur relativ wenige neue Kabel verlegt werden müssten.

Im ländlichen Raum ergäben sich aber durch größere Grabungsarbeiten schnell hohe Kosten. Dies ist aber genau der Bereich, der laut der  [[Mobile_Communications/Allgemeines_zum_Mobilfunkstandard_LTE#LTE.E2.80.93Frequenzbandaufteilung|getroffenen Vereinbarung]]  zwischen der Bundesregierung und den (deutschen) Mobilfunkbetreibern als erstes abgedeckt werden muss. Hier müsste (und wird wohl) der meist vorhandene Richtfunk auf hohe Datenraten erweitert werden. 

==Aufgaben zum Kapitel==
 
[[Aufgaben:4.2 FDD, TDD und Halb–Duplex|Aufgabe 4.2: FDD, TDD und Halb–Duplex]]

[[Aufgaben:Aufgabe_4.2Z:_MIMO–Anwendungen_bei_LTE|Aufgabe 4.2Z: MIMO–Anwendungen bei LTE]]

==Quellenverzeichnis==

<references/>

{{Display}}

Examples of Communication Systems/Weiterentwicklungen von UMTS

2020-10-13T15:40:19Z

Rosa: Rosa moved page Examples of Communication Systems/Weiterentwicklungen von UMTS to Examples of Communication Systems/Further Developments of UMTS

#REDIRECT [[Examples of Communication Systems/Further Developments of UMTS]]

Examples of Communication Systems/Further Developments of UMTS

2020-10-13T15:40:19Z

Rosa: Rosa moved page Examples of Communication Systems/Weiterentwicklungen von UMTS to Examples of Communication Systems/Further Developments of UMTS

{{LastPage}}
{{Header
|Untermenü=UMTS – Universal Mobile Telecommunications System
|Vorherige Seite=Nachrichtentechnische Aspekte von UMTS
|Nächste Seite=
}}

==High–Speed Downlink Packet Access==
 
Um dem steigenden Bedarf an höheren Datenraten im Mobilfunk gerecht zu werden und eine immer bessere Dienstgüte zu gewährleisten, wurde der Standard UMTS–Release 99 bis heute (2008) in fünf Phasen weiterentwickelt. In der Grafik sind die einzelnen Entwicklungsphasen zeitlich dargestellt.

[[File:P_ID3115__Bei_T_4_4_S1_v1.png|right|frame|Weiterentwicklung von UMTS zwischen 2000 und 2008]]

Die wichtigsten Weiterentwicklungen waren
*das UMTS Release 5 mit  '''HSDPA'''  und
*das UMTS Release 6 mit  '''HSUPA'''.
 
Für diese beiden Standards standen vor allem die Steigerung der zur Verfügung gestellten Datenraten für Downlink und Uplink sowie eine größere Bandbreiteneffizienz und Zellenkapazität im Vordergrund. Zusammen ergeben HSDPA und HSUPA den  '''HSPA–Standard'''.
*2002 wurde ''High–Speed Downlink Packet Access'' – abgekürzt  '''HSDPA'''  – mit dem UMTS Release 5 spezifiziert und 2006 eingeführt, um Datenrate und Durchsatz gegenüber dem ursprünglichen UMTS–Standard zu steigern sowie Antwortzeiten bei paketvermittelter Übertragung zu verkürzen.
*In HSPDA betragen die zur Verfügung gestellten Datenraten zwischen  $\text{500 kbit/s}$  und  $\text{3.6 Mbit/s}$  – theoretisch sogar bis  $\text{14.4 Mbit/s}$. Im Vergleich zur Datenrate von UMTS R’99  $\text{(14.4 kbit/s}$  bis  $\text{2 Mbit/s)}$  stellen diese Werte eine Verdoppelung bis Vervierfachung dar.

[[File:P_ID1561__Bei_T_4_4_S2_v2.png|right|frame|Kennzeichen von HSDPA]]
Folgende technische Verfahren tragen zur Steigerung der Leistungsfähigkeit von HSDPA gegenüber UMTS bei. Im Schaubild sind diese Features zusammengestellt:
*Einführung eines zusätzlichen gemeinsam genutzten Kanals:  '''HS–PDSCH''',
*Verwendung des  '''Hybrid–ARQ'''–Verfahrens,
*Minimierung der  '''Verzögerungszeiten''',
*Einführung eines  '''Node B Schedulings''',
*Verwendung von  '''adaptiver''' Modulation, Codierung und Übertragungsrate.

==Zusätzliche Kanäle in HSDPA==
 
Der  ''High–Speed Downlink Physical High Speed Channel''  – Kurzbezeichnung  '''HS–PDCH'''  – ist ein Hochgeschwindigkeits–Transportkanal, der für die Übertragung von Teilnehmerdaten verwendet wird. Er vereinigt die Eigenschaften eines gemeinsam genutzten und eines dedizierten Kanals:
*Im Downlink können ein oder mehrere Kanäle von mehreren Teilnehmern gleichzeitig verwendet werden. Dies ermöglicht die simultane Übertragung gleicher Daten an unterschiedliche Teilnehmer sowie eine signifikante Erhöhung der Übertragungsgeschwindigkeit durch Bündelung mehrerer Kanäle dieser Art.
*In einem jeden HS–PDCH beträgt der Spreizfaktor  $J = 16$. Dies bedeutet, dass in einer Zelle theoretisch bis zu fünfzehn solcher Kanäle gleichzeitig verwendet werden können. In der Praxis werden jedoch stets nur zwischen fünf und zehn Kanäle genutzt, da die restlichen Kanäle für den Betrieb anderer Dienste benötigt werden.

[[File:P_ID1552__Bei_T_4_4_S3_v1.png|center|frame|Transportkanäle, logische Kanäle und physikalische Kanäle bei HSPA]]

Die Ressourcenzuteilung für den  ''High–Speed Shared Data Channel''  ('''HS–DSCH''')  erfolgt über so genannte  ''High–Speed Shared Control Channels''  ('''HS–SCCH'''). Ein Empfänger muss daher in der Lage sein, bis zu vier solcher Kanäle gleichzeitig empfangen und decodieren zu können.

*Zusätzlich zu den oben vorgestellten Kanälen wird ein  ''Dedicated Physical Control Channel''  ('''DPCCH''') für die Übertragung von Kontrolldaten im Uplink und ein  ''Dedicated Control Channel''  ('''DCCH''')  für die Lokalisierungsprozedur im Down– und Uplink genutzt.
*Für die Übertragung von IP–Nutzdaten in der Aufwärtsrichtung ist jeweils ein   ''Dedicated Traffic Channel''  ('''DTCH''')  verantwortlich.

==HARQ–Verfahren und ''Node B Scheduling'' ==
 
Weiteres Merkmal von HSDPA ist die Reduzierung der Paketumlaufzeit  (englisch:  ''Round–Trip Delay'', RTD)  und die Verwendung des HARQ–Verfahrens:
*Die  '''Paketumlaufzeit'''  wurde durch HSDPA auf  $\text{70 ms}$  gesenkt (gegenüber  $\text{160 ... 200 ms}$  bei UMTS R’99), was für einige Anwendungen  (zum Beispiel Web–Browsing)  von großer Bedeutung ist. Diese Reduzierung wurde durch Verringern der Transportblocklänge auf ca.  $2$  Millisekunden erreicht (vorher hatte diese  $\text{10 ms}$  bzw.  $\text{20 ms}$  betragen).
*In jedem &bdquo;Node B” wurde ein  ''Hybrid Automatic Repeat Request''  ('''HARQ''')  implementiert, um die Übertragungsverzögerungen zu minimieren. Dieser Mechanismus verhindert, dass es durch das erneute Übertragen von fehlerhaften Blöcken zu signifikanten Verzögerungen kommt. Solche Verzögerungen können nämlich vom TCP–Protokoll als Blockierungen interpretiert werden, was dann zu weiteren Verzögerungen führt.

Unter Verwendung des HARQ–Mechanismus und mit Transportblocklängen von  $\text{2 ms}$  betragen die Übertragungsverzögerungen in HSPDA weniger als  $\text{10 ms}$. Dies ist eine entscheidende Verbesserung im Vergleich zu UMTS, bei dem eine Fehlerdetektion (verbunden mit einer erneuten Übertragung) ca.  $\text{90 ms}$  in Anspruch nimmt.

Beim HARQ–Verfahren wird bei jedem einzelnen Transportrahmen die Detektion eines bzw. keines Fehlers  (englisch:  ''Acknowledgement'', ACK/NACK)  quittiert. Dieses Verfahren wird als  '''Stop and Wait'''  (SAW) bezeichnet.

[[File:P_ID1553__Bei_T_4_4_S4a_v1.png|right|frame|Vergrößerung der Datenrate durch HARQ]]
{{GraueBox|TEXT=
$\text{Beispiel 1:}$ 
Die Grafik zeigt die erreichbare Datenrate in Abhängigkeit des Quotienten  $E_{\rm B}/N_0$  (in dB).

*Man erkennt entscheidende Verbesserungen durch den HARQ–Mechanismus, insbesondere bei kleinen Werten von  $E_{\rm B}/N_0$.
*Dagegen wird mit HARQ die Datenrate nicht weiter vergrößert, wenn  $10 · \lg \E_{\rm B}/N_0 > 2 \ \rm dB$  ist.}}
 
Die folgende Grafik soll die  '''Funktionsweise des HARQ–Verfahrens'''  verdeutlichen. Es sind folgende Schritte zu unterscheiden:
*Vor dem Senden informiert die Basisstation den Empfänger mit Hilfe des Kanals  '''HS–SCCH'''  über eine bevorstehende Übertragung, wobei ein  '''HS–SCCH'''–Rahmen über drei Zeitschlitze verfügt.
*Die Kontrolldaten kommen beim Empfänger an und werden unmittelbar nach Ankunft des ersten  '''SCCH'''–Zeitschlitzes ausgewertet.
*Die Datenübertragung auf dem  '''HS–PDSCH'''  startet, sobald der Teilnehmer die ersten zwei Zeitschlitze des Kontrolldatenblocks erhalten hat.
*Innerhalb von  $\text{5 ms}$  nach Erhalt eines Datenrahmens muss der Empfänger den gesamten Rahmen decodiert und auf Fehler überprüft haben.
*Bei fehlerfreier Übertragung wird eine positive Quittierung  ('''ACK''')  in Aufwärtsrichtung versendet, ansonsten wird ein  ''Non Acknowledgement''  ('''NACK''')  geschickt.

[[File:P_ID1554__Bei_T_4_4_S4b_v1.png|center|frame|Zum HARQ–Verfahren]]

Da der HARQ einen neuen Rahmen erst versendet, wenn die Quittierung der bereits übertragenen Rahmen vorliegt, muss der Empfänger in der Lage sein, bis zu acht HARQs zu verwalten. Dies garantiert die richtige Reihenfolge und dadurch die richtige Verarbeitung der Daten in den höheren Ebenen.

{{BlaueBox|TEXT=
$\text{Zu erwähnen ist auch:}$ 

Zusätzlich zu HARQ wurde in dem  ''UMTS Release 5''  ein  '''Node B Scheduling'''  eingeführt, um auf Veränderungen der Übertragungsbedingungen einzelner Teilnehmer (zum Beispiel durch Fading) schnell reagieren zu können.
*Mit Hilfe dieses Schedulings wird entschieden, welche Rahmen welchem Übertragungskanal zugewiesen werden.
*Bei dem Scheduling werden Prioritäten vergeben. Ein Rahmen wird erst gesendet, wenn er über die höchste Priorität verfügt, was gleichbedeutend damit ist, dass er mit der größten Wahrscheinlichkeit richtig empfangen wird.
*Durch dieses Scheduling wird die zur Verfügung gestellte Bandbreite besser ausgenutzt und die Zellenkapazität signifikant gesteigert.}}

==Adaptive Modulation, Codierung und Übertragungsrate==
 
In HSDPA werden die Signale  ''adaptiv moduliert''. Das bedeutet:
*Unter guten Übertragungsbedingungen wird eine höherstufige Modulation  (16–QAM bzw. 64–QAM)  verwendet.
*Bei schlechteren Bedingungen wird auf  ''Quaternary Phase Shift Keying''  (QPSK) oder 4–QAM umgeschaltet.

Zusätzlich zur Modulation kann die Codierung sowie die Anzahl der von einem Teilnehmer gleichzeitig verwendeten  '''HS–DSCH'''–Kanäle je nach Kanalqualität flexibel und schnell  $($alle  $\text{2 ms)}$  verändert werden. Trotz der gleichzeitigen Verwendung von adaptiver Modulation und adaptiver Codierung wird die Leistung stets konstant gehalten.

[[File:P_ID1558__Bei_T_4_4_S5_v1.png|right|frame|Adaptive Modulation und Codierung in HSDPA]]

Die Leistungsregelung läuft in HSDPA unterschiedlich zu UMTS R’99 ab:
*Die Sendeleistung wird stets an die Signalqualität angepasst, während die Bandbreite möglichst konstant gehalten werden sollte.
*Nur falls die Leistung nicht mehr erhöht werden kann, wird der Spreizfaktor vergrößert und damit die Datenrate heruntergesetzt.

Die maximal erreichbare Datenrate hängt vorwiegend von der  ''Leistungsfähigkeit des Empfängers''  und vom  ''Transportformat und den Ressourcenkombinationen''  (TFRC) ab.

In der Tabelle sind verschiedene Parameterkombinationen für Modulation und Coderate angegeben und die daraus resultierenden Bitraten zu ersehen. Nicht berücksichtigt ist hier der ''Overhead''.
 
==High–Speed Uplink Packet Access==
 
Seit UMTS R’99 wurden die Spezifikationen für den Uplink nicht mehr weiterentwickelt, obwohl die bidirektionalen symmetrischen Anwendungen immer mehr an Bedeutung gewonnen haben und immer größere Anforderungen an die Übertragungsgeschwindigkeiten gestellt wurden. Die Datenraten betrugen bis zur Einführung von Release 6 zwischen  $\text{64 kbit/s}$  und  $\text{128 kbit/s}$, bei idealen Bedingungen bis zu  $\text{384 kbit/s}$.

Mit dem UMTS Release 6 wurde 2004  ''High-Speed Uplink Packet Access''  ('''HSUPA''')  definiert und 2007 eingeführt. Dadurch wurden die Datenraten auf der Aufwärtsstrecke erheblich gesteigert. Diese betragen theoretisch bis zu  $\text{5.8 Mbit/s}$. In der Praxis werden – unter Berücksichtigung der gleichzeitigen Übertragung für mehrere Nutzer und der Empfängerkapazität – immerhin Übertragungsraten bis ca.  $\text{800 kbit/s}$  erreicht.

Die wesentliche Verbesserung durch HSUPA ist auf die Einführung eines zusätzlichen Aufwärtskanals zurückzuführen, dem  ''Enhanced Dedicated Channel''  ('''E-DCH'''). Dieser minimiert unter anderem in den dedizierten Uplink–Kanälen den Einfluss von Anwendungen mit stark unterschiedlichen und teilweise sehr intensiven Datenaufkommen  (englisch:  ''Bursty Traffic'').

Obwohl der  '''E–DCH'''  ein dedizierter Transportkanal ist, garantiert er dem Teilnehmer allerdings keine feste Bandbreite in Aufwärtsrichtung, wie es bei UMTS R’99 der Fall ist. Diese flexible und effiziente Zuteilung der Bandbreite in Abhängigkeit der Kanalbedingungen erlaubt eine wesentliche Steigerung der Zellenkapazität.

[[File:P_ID3116__Bei_T_4_4_S6_v1.png|right|frame|HSUPA im Überblick]]
Neben dem neuen Transportkanal  ('''E–DCH''')  wurden auch im Uplink  ('''HSUPA''')  analog zum Downlink  ('''HSDPA''')  zusätzlich folgende Verfahren eingeführt:
*''Node B Scheduling'',
*''Hybrid Automatic Repeat Request''  (HARQ).

Die Verwendung von HSUPA im Uplink ist nur dann sinnvoll, wenn es mit HSDPA im Downlink kombiniert wird. Ihr Zusammenwirken steigert die Leistungsfähigkeit des Gesamtsystems signifikant.

==UTRAN Long Term Evolution==
 
[[File:P_ID1559__Bei_T_4_4_S7_v1.png|right|frame|Von  '''UMTS'''  zu  '''LTE''']]
''Long Term Evolution''  $\rm (LTE)$  stellt ein Mobilfunksystem der vierten Generation dar, das von der  [http://www.3gpp.org/ 3gpp]  parallel zu den unterschiedlichen Weiterentwicklungsphasen von UMTS entworfen und standardisiert wurde, um den stetig wachsenden Anforderungen an zukünftige Mobilfunksysteme gerecht zu werden. Dieses System wird auch als  ''High Speed OFDM Packet Access''  $\rm (HSOPA)$  bezeichnet.

Das Schaubild fasst die Entwicklung der Mobilfunksysteme aus der Sicht des Jahres 2011 zusammen.
 
LTE wurde als zukunftsweisende Alternative zu den Mobilfunksystemen der dritten Generation rntwickelt. Die Grundzüge von LTE wurden 2004 definiert, konkrete Anforderungen wurden aber erst 2006 erstellt. Erste Systeme begannen 2011 mit dem Betrieb.

Nachfolgend sind einige Merkmale von UTRAN–LTE stichpunktartig und kommentarlos aufgelistet:
*Die für GSM und UMTS zugewiesenen  ''Frequenzbereiche''  werden weiterhin verwendet. Es ist eine Erweiterung in den Bereich um  $\text{2600 MHz}$  geplant.
*Es können zwischen  $200$  und  $400$  aktive Teilnehmer gleichzeitig versorgt werden, was eine Steigerung der  ''Zellenkapazität''  gegenüber UMTS um den Faktor $2$  bis $3$  bedeutet.
*Die Reichweite beträgt  $\text{5 km}$  (bei optimaler Güte) bis zu  $\text{100 km}$  (mit reduzierter Qualität). Die ''maximalen Datenraten'' werden mit  $\text{100 Mbit/s}$  im Downlink und  $\text{50 Mbit/s}$  im Uplink angegeben.
*Die ''Verzögerungszeiten'' werden auf weniger als  $\text{5 ms}$  bei größeren Bandbreitenzuweisungen und auf  $\text{10 ms}$  bei kleineren Bandbreitenzuweisungen herabgesetzt.
*Die Bandbreiten können mit  $\text{1.25 MHz}$,  $\text{2.5 MHz}$,  $\text{5 MHz}$,  $\text{10 MHz}$,  $\text{15 MHz}$  und  $\text{20 MHz}$  in einem sehr weiten Bereich flexibel zugewiesen werden .
*Die verwendeten Vielfachzugriffsverfahren sind  ''Orthogonal Frequency Division Multiple Access''  ('''OFDMA''')  im Downlink und  ''Single Carrier Frequency Division Multiple Multiplexing''  ('''SC–FDMA''')  im Uplink.
*Trotz dieser vielfachen Neuerungen gibt es Kompatibilität zu den Mobilfunksystemen vorheriger Generationen geben und ein nahtloser Übergang zu diesen ist möglich.

Eine detaillierte Beschreibung von LTE finden Sie im vierten Hauptkapitel des Buches  [[Mobile Kommunikation]]. Dieses entstand allerdings ebenfalls schon 2011, also kurz nach Einführung. Für neuere Artikel verweisen wir auf das Internet.

== Aufgabe zum Kapitel==
 
[[Aufgaben:4.8_HSDPA_und_HSUPA|Aufgabe 4.8: HSDPA und HSUPA]]

{{Display}}

Examples of Communication Systems/Nachrichtentechnische Aspekte von UMTS

2020-10-13T15:40:06Z

Rosa: Rosa moved page Examples of Communication Systems/Nachrichtentechnische Aspekte von UMTS to Examples of Communication Systems/Telecommunications Aspects of UMTS

#REDIRECT [[Examples of Communication Systems/Telecommunications Aspects of UMTS]]

Examples of Communication Systems/Telecommunications Aspects of UMTS

2020-10-13T15:40:06Z

Rosa: Rosa moved page Examples of Communication Systems/Nachrichtentechnische Aspekte von UMTS to Examples of Communication Systems/Telecommunications Aspects of UMTS

{{Header
|Untermenü=UMTS – Universal Mobile Telecommunications System
|Vorherige Seite=UMTS–Netzarchitektur
|Nächste Seite=Weiterentwicklungen von UMTS
}}

==Verbesserungen bezüglich Sprachcodierung ==
 
Im Kapitel  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_GSM|GSM]]  (''Global System for Mobile Communications'')  dieses Buches wurden bereits mehrere Sprachcodecs ausführlich beschrieben:

{{BlaueBox|TEXT=
$\text{Zur Erinnerung:}$ 
Ein Sprachcodec dient zur Reduzierung der Datenrate eines digitalisierten Sprach– oder Musiksignals.
*Dabei wird Redundanz und Irrelevanz aus dem Originalsignal entfernt.
*Das Kunstwort &bdquo;Codec” weist darauf hin, dass die gleiche Funktionseinheit sowohl zur Codierung wie auch zur Decodierung verwendet wird.}}

Unter anderem wurde der  [[Examples_of_Communication_Systems/Sprachcodierung#Adaptive_Multi.E2.80.93Rate_Codec|Adaptive Multi-Rate Codec]]  (AMR) vorgestellt, der im Frequenzbereich von  $\text{300 Hz}$  bis  $\text{3400 Hz}$  ein dynamisches Umschalten zwischen acht verschiedenen Modi (Einzelcodecs) unterschiedlicher Datenrate im Bereich von  $\text{4.75 kbit/s}$  bis  $\text{12.2 kbit/s}$  erlaubt und auf  [[Examples_of_Communication_Systems/Sprachcodierung#Algebraic_Code_Excited_Linear_Prediction|ACELP]]  (''Algebraic Code Excited Linear Prediction'') basiert.

Auch in UMTS Release 99 und UMTS Release 4 werden diese AMR–Codecs unterstützt. Sie erlauben im Vergleich zu den früheren Sprachcodecs (''Full–Rate, Half–Rate'' und ''Enhanced Full–Rate Vocoder'')
*eine Unabhängigkeit von den Kanalbedingungen und der Netzauslastung,
*die Möglichkeit, die Datenraten an die Bedingungen anzupassen,
*einen verbesserten flexiblen Fehlerschutz bei stärkerer Funkstörung, und
*dadurch insgesamt eine bessere Sprachqualität.

Im Jahre 2001 wurde vom 3gpp–Forum  (''3rd Generation Partnership Project'')  und der ''International Telecommuncation Union''  (ITU)  für das UMTS Release 5 der neue Sprachcodec  '''Wideband–AMR'''  spezifiziert. Dieser ist eine Weiterentwicklung des AMR und bietet
[[File:P_ID1532__Bei_T_4_3_S1.png|right|frame|Zusammenstellung der Wideband–AMR–Modi]]
*eine erweiterte Bandbreite von  $\text{50 Hz}$  bis  $\text{7 kHz}$  $($Abtastfrequenz  $\text{16 kHz})$,
*insgesamt neun Modi zwischen  $\text{6.6 kbit/s}$  und  $\text{23.85 kbit/s}$  (wovon aber nur fünf Modi genutzt werden), und
*eine verbesserte Sprachqualität und einen besseren (natürlicheren) Klang.
 
Die Tabelle gibt eine Übersicht über die verschiedenen Modi und deren Bitumfang. Sie können sich die Qualität dieser Sprachcodierverfahren bei Sprache und Musik mit dem interaktiven SWF–Applet  [[Applets:Qualität_verschiedener_Sprach–Codecs_(Applet)|Qualität verschiedener Sprach–Codecs]]  verdeutlichen (''Hinweis:''  &bdquo;Nur für &bdquo;Windows” geeignet!   Adobe Flashplayer erforderlich!).

''Anmerkung'':   Die untere Grenzfrequenz von Wideband-AMR ist zwar mit  $\text{50 Hz}$ z spezifiziert, aber auf Grund verwendeter Vorfilter ist diese meist – und auch in der Audio–Demo – auf  $\text{200 Hz}$  angehoben, um die Störanfälligkeit zu reduzieren und die Kenndaten von Handy–Lautsprechern und –Mikrofonen zu berücksichtigen.

{{BlaueBox|TEXT=
$\text{Einige Merkmale von Wideband–AMR}$ 

*Die Sprachdaten werden an den Codec als PCM–codierte Sprache mit  $16000$  Abtastwerten pro Sekunde geliefert. Die Sprachcodierung erfolgt in Blöcken von  $\text{20 ms}$  und die Datenrate wird alle  $\text{20 ms}$  angepasst.
*Das Frequenzband  $\text{(50 Hz}$  bis  $\text{7000 Hz})$  wird in zwei Teilbänder unterteilt, die unterschiedlich codiert werden, um mehr Bit den subjektiv wichtigen Frequenzen zuweisen zu können. Das obere Band  $\text{(6400 Hz}$  bis  $\text{7000 Hz})$  wird nur im höchsten Modus $($mit  $\text{23.85 kbit/s)}$  übertragen. In allen anderen Modi werden bei der Codierung nur die Frequenzen  $\text{50 Hz}$  bis  $\text{6400 Hz}$  berücksichtigt.
*Wideband–AMR unterstützt  ''Discontinuous Transmission''  (DTX). Dieses Feature bedeutet, dass die Übertragung bei Sprachpausen angehalten wird, wodurch sowohl der Energieverbrauch der Mobilstation als auch die Gesamtinterferenz an der Luftschnittstelle gesenkt werden. Dieses Verfahren ist auch unter dem Namen  ''Source–Controlled Rate''  (SCR) bekannt.
*Die  ''Voice Activity Detection''  (VAD) ermittelt, ob gerade gesprochen wird oder nicht und fügt auch bei kürzeren Sprachpausen einen SID–Rahmen  (''Silence Descriptor'')  ein. Dem Teilnehmer wird das Gefühl einer kontinuierlichen Verbindung suggeriert, indem der Decoder während Sprachpausen synthetisch erzeugtes Hintergrundgeräusch  (englisch:  ''Comfort Noise'')  einfügt.}}

==Anwendung des CDMA–Verfahrens bei UMTS==
 
UMTS verwendet das Vielfachzugriffsverfahren  ''Direct Sequence Code Division Multiple Access''  $\rm (DS–CDMA)$, das bereits im Kapitel [[Modulation_Methods/PN–Modulation#Blockschaltbild_und_.C3.A4quivalentes_Tiefpass.E2.80.93Modell|PN–Modulation]]  des Buches „Modulationsverfahren” besprochen wurde.

[[File:P_ID1533__Bei_T_4_3_S2c_v1.png|center|frame|CDMA–Übertragungssystem für zwei Teilnehmer]]

Hier folgt eine kurze Zusammenfassung dieses Verfahrens entsprechend der Grafik, die ein solches System im äquivalenten Tiefpassbereich und stark vereinfacht beschreibt:
*Die beiden Datensignale  $q_1(t)$  und  $q_2(t)$  sollen den gleichen Kanal nutzen, ohne sich gegenseitig zu stören. Die Bitdauer beträgt jeweils  $T_{\rm B}$.
*Jedes der Datensignale wird mit einem zugeordneten Spreizcode –  $c_1(t)$  bzw.  $c_2(t)$  – multipliziert.
*Es wird das Summensignal  $s(t) = q_1(t) · c_1(t) + q_2(t) · c_2(t)$  gebildet und übertragen.
*Beim Empfänger werden die gleichen Spreizcodes  $c_1(t)$  bzw.  $c_2(t)$  zugesetzt und damit die Signale wieder voneinander getrennt.
*Unter der Voraussetzung, dass die Spreizcodes orthogonal sind und dass das AWGN–Rauschen klein ist, gilt für die beiden rekonstruierten Signale am Empfängerausgang:
:$$v_1(t) = q_1(t) \ \text{und} \ v_2(t) = q_2(t).$$
*Bei AWGN–Rauschsignal  $n(t)$  und orthogonalen Spreizfolgen wird dabei die Fehlerwahrscheinlichkeit durch andere Teilnehmer nicht verändert.

{{GraueBox|TEXT=
$\text{Beispiel 1:}$ 
Die Grafik zeigt oben drei Datenbit  $(+1, -1, +1)$  des rechteckförmigen Quellensignals  $q_1(t)$  von Teilnehmer '''1''', jeweils mit der Symboldauer  $T_{\rm B}$.

[[File:P_ID1534__Bei_T_4_3_S2a_v1.png|right|frame|Signale bei ''Direct–Sequence'' Bandspreizung]]
*Die Symboldauer  $T_{\rm C}$  des Spreizcodes  $c_1(t)$  – die man auch  '''Chipdauer'''  nennt – ist um den Faktor  $4$  kleiner.
*Durch die Multiplikation  $s_1(t) = q_1(t) · c_1(t)$  entsteht ein Chipstrom der Länge  $12 · T_{\rm C}$.

Weiter erkennt man aus dieser Darstellung, dass das Signal  $s_1(t)$  höherfrequenter ist als  $q_1(t)$.

*Deshalb spricht man auch von  '''Bandspreizung'''  (englisch:  ''Spread Spectrum'').

*Der CDMA–Empfänger macht diese wieder rückgängig, was als  '''Bandstauchung'''  bezeichnet wird.}}

{{BlaueBox|TEXT=
$\text{Zusammenfassend kann man sagen:}$  
Durch die Anwendung von  $\rm (DS–CDMA)$  auf eine Nutzbitfolge
*vergrößert sich dessen Bandbreite um den  ''Spreizfaktor''  $J = T_{\rm B}/T_{\rm C}$ – dieser ist gleich der Anzahl der  ''Chips pro Bit'';
*ist die Chiprate  $R_{\rm C}$  um den Faktor  $J$  größer als die Bitrate  $R_{\rm B}$;
*ist die Bandbreite des gesamten CDMA–Signals um  $J$  größer als die Bandbreite jedes einzelnen Nutzers.

Das heißt:      $\text{Bei UMTS steht jedem Teilnehmer die gesamte Bandbreite über die gesamte Sendedauer zur Verfügung}$.

Erinnern wir uns:  Bei GSM werden als Vielfachzugriffsverfahren sowohl  ''Frequency Division Multiple Access''  als auch  ''Time Division Multiple Access''  verwendet.
*Hier verfügt jeder Teilnehmer nur über ein begrenztes Frequenzband (FDMA), und
*er hat nur innerhalb von Zeitschlitzen Zugriff auf den Kanal (TDMA).}}

==Spreizcodes und Verwürfelung bei UMTS==
 
Die Spreizcodes für UMTS sollen
*zueinander orthogonal sein, um eine gegenseitige Beeinflussung der Teilnehmer zu vermeiden,
*eine flexible Realisierung unterschiedlicher Spreizfaktoren  $J$  ermöglichen.

Der hier dargelegte Sachverhalt wird auch durch das interaktive Applet  [[Applets:OVSF-Codes_(Applet)|OVSF–Codes]]  verdeutlicht.

{{GraueBox|TEXT=
$\text{Beispiel 2:}$ 
Ein Beispiel hierfür sind die  '''Codes mit variablem Spreizfaktor'''  (englisch:  ''Orthogonal Variable Spreading Faktor'', '''OVSF'''), die Codes der Längen von  $J = 4$  bis  $J = 512$  bereitstellen. Diese können, wie in der Grafik zu sehen ist, mit Hilfe eines Codebaums erstellt werden. Dabei entstehen bei jeder Verzweigung aus einem Code  $C$  zwei neue Codes  $(+C \ +\hspace{-0.1cm}C)$  und  $(+C \ -\hspace{-0.1cm}C)$.

[[File:P_ID1535__Bei_T_4_3_S3c_v1.png|right|frame|Schaubild zur OVSF–Codefamilie]]

Anzumerken ist, dass kein Vorgänger und Nachfolger eines Codes benutzt werden darf.
*Im gezeichneten Beispiel könnten also acht Spreizcodes mit Spreizfaktor  $J = 8$  verwendet werden.
*Auch die vier gelb hinterlegten Codes – einmal mit  $J = 2$, einmal mit  $J = 4$  und zweimal mit  $J = 8$  – sind möglich.
*Die unteren vier Codes mit dem Spreizfaktor  $J = 8$  können aber nicht herangezogen werden, da diese alle mit &bdquo;$+1 \ –\hspace{-0.1cm}1$” beginnen, was bereits durch den OVSF–Code mit Spreizfaktor  $J = 2$  belegt ist.}}

Um mehr Spreizcodes zu erhalten und so mehr Teilnehmer versorgen zu können, wird nach der Bandspreizung mit  $c(t)$  die Folge mit  $w(t)$  chipweise nochmals verwürfelt, ohne dass eine weitere Spreizung stattfindet. Der  '''Verwürfelungscode''' $w(t)$  hat die gleiche Länge und die selbe Rate wie  $c(t)$.

[[File:P_ID1536__Bei_T_4_3_S3a_v1.png|left|frame|Zusätzliche Verwürfelung nach Spreizung]]

Durch die Verwürfelung  (englisch:  ''Scrambling'')  verlieren die Codes ihre vollständige Orthogonalität; man nennt sie ''quasi–othogonal''.

*Bei diesen Codes ist zwar die  [[Modulation_Methods/Spreizfolgen_für_CDMA#Eigenschaften_der_Korrelationsfunktionen|Kreuzkorrelationsfunktion]]  (KKF) zwischen unterschiedlichen Spreizcodes ungleich Null.
*Sie zeichnen sich aber durch eine ausgeprägte  [[Modulation_Methods/Spreizfolgen_für_CDMA#Eigenschaften_der_Korrelationsfunktionen|Autokorrelationsfunktion]]  um den Nullpunkt aus, was die Detektion am Empfänger erleichtert.

[[File:P_ID1538__Bei_T_4_3_S3d_v3.png|right|frame|Typische Spreiz– und Verwürfelungscodes für UMTS]]

Die Verwendung quasi–orthogonaler Codes macht Sinn, da die Menge an orthogonalen Codes begrenzt ist und durch die Verwürfelung verschiedene Teilnehmer auch gleiche Spreizcodes verwenden können.
 
Die Tabelle fasst einige Daten der Spreiz– und Verwürfelungscodes zusammen.
 
[[File:P_ID1537__Bei_T_4_3_S3b_v2.png|right|frame|Generator zur Erzeugung von Goldcodes]]
{{GraueBox|TEXT=
$\text{Beispiel 3:}$ 
Bei UMTS werden für die Verwürfelung so genannte  '''Goldcodes'''  verwendet. Die Grafik aus  [3gpp]<ref>3gpp Group: ''UMTS Release 6 – Technical Specification'' 25.213 V6.4.0., Sept. 2005.</ref>  zeigt das Blockschaltbild zur schaltungstechnischen Erzeugung solcher Codes.
*Dabei werden zunächst zwei unterschiedliche Pseudonoise–Folgen gleicher Länge  $($hier:  $N = 18)$  mit Hilfe von Schieberegistern parallel erzeugt und mit  ''Exklusiv–Oder–Gatter''  bitweise addiert.
*Im Uplink hat jede Mobilstation einen eigenen Verwürfelungscode und die Trennung der einzelnen Kanäle erfolgt über den jeweils gleichen Code.
*Dagegen hat im Downlink jedes Versorgungsgebiet eines &bdquo;Node B&bdquo; einen gemeinsamen Verwürfelungscode.}}

==Kanalcodierung bei UMTS==
 
Ebenso wie bei GSM erfahren EFR– und AMR–codierte Sprachdaten im UMTS einen zweistufigen Fehlerschutz, bestehend aus
*Bildung von CRC–Prüfbits  (englisch:  ''Cyclic Redundancy Check''), und
*anschließender Faltungscodierung  (englisch:  ''Convolutional Coding'').

Diese Verfahren unterscheiden sich jedoch von denjenigen bei GSM durch eine größere Flexibilität, da sie bei UMTS unterschiedliche Datenraten berücksichtigen müssen.

[[File:P_ID1539__Bei_T_4_3_S4a_v1.png|right|frame|Einfügen von CRC– und Tailbits bei UMTS]]
Für die  '''Fehlererkennung'''  mittels CRC werden je nach Größe des Transportblockes  $\text{(10 ms}$  oder  $\text{20 ms})$  acht, zwölf, sechzehn oder  $24$  CRC–Bit gebildet und an diesen angehängt.
*Am Ende eines jeden Rahmens werden außerdem acht Tailbits eingefügt, die Synchronisationszwecken dienen.
*Die Grafik zeigt einen beispielhaften Transportblock des '''DCH'''–Kanals mit  $164$  Nutzdatenbits, an den  $16$  CRC–Prüfbits und acht Tailbits angehängt werden.
 

Für die  '''Fehlerkorrektur'''  kommen bei UMTS – je nach Datenrate – zwei verschiedene Verfahren zum Einsatz:
*Bei niedrigen Datenraten werden wie bei GSM  [[Kanalcodierung/Grundlagen_der_Faltungscodierung|Faltungscodes]]  (englisch:  ''Convolutional Codes'')  mit den Coderaten  $R = 1/2$  oder  $R = 1/3$  verwendet. Diese werden mit acht Speicherelementen eines rückgekoppelten Schieberegisters  $(256$  Zustände$)$ erzeugt. Der Codiergewinn beträgt mit der Coderate  $R = 1/3$  und bei niedrigen Fehlerraten ca.  $4.5$  bis  $6$  dB.
*Bei höheren Datenraten verwendet man  [[Kanalcodierung/Grundlegendes_zu_den_Turbocodes|Turbo–Codes]]  der Rate  $R = 1/3$. Das Schieberegister besteht hier aus drei Speicherzellen, die insgesamt acht Zustände annehmen können. Der Gewinn der Turbo–Codes ist gegenüber Faltungscodes um  $2$  bis  $3$  dB größer und abhängig von der Anzahl der Iterationen. Sie benötigen dafür einen Prozessoren mit hoher Rechenleistung und es kann es zu relativ großen Verzögerungen kommen.

Nach der Kanalcodierung werden die Daten wie bei GSM einer  [[Examples_of_Communication_Systems/Gesamtes_GSM–Übertragungssystem#Interleaving_bei_Sprachsignalen|Interleaver]]  zugeführt, um empfangsseitig die durch Fading entstandenen Bündelfehler auflösen zu können. Schließlich werden zur  ''Ratenanpassung''  der entstandenen Daten an den physikalischen Kanal einzelne Bit nach einem vorgegebenen Algorithmus entfernt  (''Puncturing'')  oder wiederholt  (''Repetition'').

[[File:P_ID1540__Bei_T_4_3_S4b_v1.png|right|frame|Fehlerkorrekturmechanismen bei UMTS]]
{{GraueBox|TEXT=
$\text{Beispiel 4:}$ 
Die Grafik zeigt zunächst die Zunahme der Bits durch einen Faltungs– oder Turbocode der Rate  $R =1/3$, wobei aus dem  $188$–Bit–Zeitrahmen (nach der CRC–Prüfsumme und den Tailbits) ein  $564$–Bit–Rahmen entsteht.
*Danach folgt eine erste externe Verschachtelung und dann eine zweite interne Verschachtelung.
*Nach dieser wird der Zeitrahmen in vier Unterrahmen mit jeweils  $141$  Bit aufgeteilt und diese werden anschließend durch eine Ratenanpassung an den physikalischen Kanal angepasst.}}

==Frequenzgänge und Impulsformung bei UMTS==
 
[[File:UMTS_Bild_1.png|right|frame|Blockschaltbild des optimalen Nyquistentzerrers bei idealem Kanal|class=fit]]
In diesem Abschnitt gehen wir von folgendem Blockschaltbild eines Binärsystems bei idealem Kanal aus   ⇒   $H_{\rm K}(f) = 1$.

Insbesondere gelte:

*Das  ''Sendeimpulsfilter''  wandelt die binären  $\{0, \ 1\}$ Daten in physikalische Signale. Das Filter wird beschrieben durch den Frequenzgang  $H_{\rm S}(f)$, der formgleich mit dem Spektrum eines einzelnen Sendeimpulses ist.

*Bei UMTS ist das Empfangsfilter  $H_{\rm E}f) = H_{\rm S}(f)$  an den Sender angepasst  (''Matched–Filter'')  und der Gesamtfrequenzgang  $H(f) = H_{\rm S}(f) · H_{\rm E}(f)$  erfüllt das  [[Digitalsignalübertragung/Eigenschaften_von_Nyquistsystemen#Erstes_Nyquistkriterium_im_Frequenzbereich|erste Nyquistkriterium]]:
:$$ H(f) = H_{\rm CRO}(f) = \left\{ \begin{array}{c} 1 \\ 0 \\ \cos^2 \left( \frac {\pi \cdot (|f| - f_1)}{2 \cdot (f_2 - f_1)} \right)\end{array} \right.\quad
\begin{array}{*{1}c} {\rm{f\ddot{u}r}} \\ {\rm{f\ddot{u}r}}\\ {\rm sonst }\hspace{0.05cm}. \end{array}
\begin{array}{*{20}c} |f| \le f_1, \\ |f| \ge f_2,\\ \\\end{array}$$

Das bedeutet:   Zeitlich aufeinander folgende Impulse stören sich nicht gegenseitig   ⇒   es treten keine  [[Digitalsignalübertragung/Ursachen_und_Auswirkungen_von_Impulsinterferenzen|Impulsinterferenzen]]  (englisch:  ''Intersymbol Interference'', ISI) auf. Die zugehörige Zeitfunktion lautet:

:$$h(t) = h_{\rm CRO}(t) ={\rm si}(\pi \cdot t/ T_{\rm C}) \cdot \frac{\cos(r \cdot \pi t/T_{\rm C})}{1- (2r \cdot t/T_{\rm C})^2}. $$

*„CRO” steht hierbei für  [[Linear_and_Time_Invariant_Systems/Einige_systemtheoretische_Tiefpassfunktionen#Cosinus-Rolloff-Tiefpass|Cosinus–Rolloff]]  (englisch:  ''Raised Cosine'').
*Die Summe  $f_1 + f_2$  ist gleich dem Kehrwert der Chipdauer  $T_{\rm C} = 260 \ \rm ns$, also gleich  $3.84 \ \rm MHz$.
*Der  ''Rolloff–Faktor''  (wir bleiben bei der in  $\rm LNTwww$  gewählten Bezeichnung  $r$, im UMTS–Standard wird hierfür  $\alpha$  verwendet)

:$$r = \frac{f_2 - f_1}{f_2 + f_1} $$

:wurde bei UMTS zu  $r = 0.22$  festgelegt. Die beiden Eckfrequenzen sind somit

:$$f_1 = {1}/(2 T_{\rm C}) \cdot (1-r) \approx 1.5\,{\rm MHz}, \hspace{0.2cm}
f_2 ={1}/(2 T_{\rm C}) \cdot (1+r) \approx 2.35\,{\rm MHz}.$$

*Die erforderliche Bandbreite beträgt  $B = 2 · f_2 = 4.7 \ \rm MHz$. Für jeden UMTS–Kanal steht somit mit  $5 \ \rm MHz$  ausreichend Bandbreite zur Verfügung.

[[File:P_ID1547__Bei_T_4_3_S5b_v1.png|right|frame|Cosinus–Rolloff–Spektrum und Impulsantwort]]
{{BlaueBox|TEXT=
$\text{Fazit:}$  Die Grafik zeigt
*links das (normierte) Nyquistspektrum  $H(f)$, und
*rechts den zugehörigen Nyquistimpuls  $h(t)$, dessen Nulldurchgänge im Abstand  $T_{\rm C}$  äquidistant sind.
 
$\text{Es ist zu beachten:}$
* Das Sendefilter  $H_{\rm S}(f)$  und das Matched–Filter  $H_{\rm E}(f)$  sind jeweils  [[Digitalsignalübertragung/Optimierung_der_Basisbandübertragungssysteme#Wurzel.E2.80.93Nyquist.E2.80.93Systeme|Wurzel–Cosinus–Rolloff–förmig]]  (englisch:  ''Root Raised Cosine''). Erst das Produkt  $H(f) = H_{\rm S}(f) · H_{\rm E}(f)$  führt zum Cosinus–Rolloff.
*Das bedeutet auch:   Die Impulsantworten  $h_{\rm S}(t)$  und  $h_{\rm E}(t)$  erfüllen für sich allein die erste Nyquistbedingung nicht. Erst die Kombination aus beiden (im Zeitbereich die Faltung) führt zu den gewünschten äquidistanten Nulldurchgängen.}}

==Modulationsverfahren bei UMTS==
 
Die bei UMTS eingesetzten  '''Modulationsverfahren'''  können wie folgt zusammengefasst werden:
*In der Abwärtsrichtung  (''Downlink'')  wird zur Modulation  ''Quaternary Phase Shift Keying''  (QPSK) verwendet – sowohl bei ''FDD''  als auch bei ''TDD''. Dabei werden Nutzdaten (DPDCH–Kanal) und Kontrolldaten (DPCCH–Kanal) zeitlich gemultiplext.
*Bei ''TDD''  wird das Signal in Aufwärtsrichtung  (''Uplink'')  ebenfalls mittels QPSK moduliert, nicht aber bei ''FDD''. Hier wird vielmehr eine  '''zweifache binäre PSK'''  (englisch:  ''Dual Channel–BPSK'') verwendet.

Bei  ''Dual–Channel BPSK''  wird zwar ebenfalls der QPSK–Signalraum genutzt, aber in ''Inphase''– und ''Quadratur–Komponente''  werden unterschiedliche Kanäle übertragen. Pro Modulationsschritt werden also zwei Chips übertragen. Die Brutto–Chiprate ist daher doppelt so groß wie die Modulationsrate von  $3.84$ Mchip pro Sekunde.

[[File:P_ID1548__Bei_T_4_3_S5c_v1.png|right|frame|Zweifache BPSK (''Binary Phase Shift Keying'')]]
{{GraueBox|TEXT=
$\text{Beispiel 5:}$ 
Die Grafik zeigt dieses I/Q–Multiplexing–Verfahren, wie es auch bezeichnet wird, im äquivalenten Tiefpassbereich:
*Die gespreizten Nutzdaten des DPDCH–Kanals werden auf die Inphase–Komponente und die gespreizten Kontrolldaten des DPCCH–Kanals auf die Quadratur–Komponente moduliert und übertragen.
*Nach der Modulation wird die Quadratur–Komponente mit der Wurzel des Leistungsverhältnisses  $G$  zwischen den beiden Kanälen gewichtet, um den Einfluss des Leistungsunterschieds zwischen  $I$  und  $Q$  zu minimieren.
*Abschließend wird das komplexe Summensignal  $(I +{\rm j} · Q)$  mit einem ebenfalls komplexen Verwürfelungscode multipliziert.}}

{{BlaueBox|TEXT=
$\text{Fazit:}$  Ein Vorteil der zweifachen BPSK–Modulation ist die Möglichkeit der Verwendung  '''stromsparender Verstärker'''.
*Zeitmultiplex von Nutz– und Kontrolldaten wie im  ''Uplink''  ist aber im  ''Downlink''  nicht möglich.
*Ein Grund hierfür ist der Einsatz von  ''Discontinuous Transmission''  (DTX) und die damit verbundenen zeitlichen Einschränkungen.}}

==Single–User–Empfänger==
 
Aufgabe eines CDMA–Empfängers ist es, aus der Summe der gespreizten Datenströme die gesendeten Daten der einzelnen Teilnehmer zu separieren und zu rekonstruieren. Dabei unterscheidet man zwischen  ''Single–User''–Empfängern und  ''Multi–User''–Empfängern.

Im Downlink von UMTS wird stets ein  ''Single–User''–Empfänger verwendet, da in der Mobilstation eine gemeinsame Detektion aller Teilnehmer wegen der Vielzahl aktiver Teilnehmer sowie der Länge der Verwürfelungscodes und des asynchronen Betriebs zu aufwändig wäre.

Ein solcher Empfänger besteht aus einer Bank unabhängiger Korrelatoren. Jeder einzelne der insgesamt  $J$  Korrelatoren gehört zu einer spezifischen Spreizfolge. Die Korrelation wird meist in einer so genannten  ''Korrelatordatenbank''  softwaremäßig gebildet.

Dabei erhält man am Korrelatorausgang die Summe aus
*der  ''Autokorrelationsfunktion''  des Spreizcodes und
*der  ''Kreuzkorrelationsfunktion''  aller anderen Teilnehmer mit dem teilnehmereigenen Spreizcode.

[[File:P_ID1549__Bei_T_4_3_S6a_v1.png|right|frame|Single–User–Empfänger mit Matched–Filter]]
Die Grafik zeigt die einfachste Realisierung eines solchen Empfängers mit Matched–Filter.
*Das Empfangssignal  $r(t)$  wird zunächst mit dem Spreizcode  $c(t)$  des betrachteten Teilnehmers multipliziert, was als  ''Bandstauchung''  oder  ''Entspreizung''  bezeichnet wird (gelbe Hinterlegung).
*Danach folgt die Faltung mit der Impulsantwort des Matched–Filters  (''Root Raised Cosine''), um das SNR zu maximieren, und die Abtastung im Bittakt  ( $T_{\rm B}$ ).
*Abschließend erfolgt die Schwellenwertentscheidung, die das Sinkensignal  $v(t)$ und  damit die Datenbit des betrachteten Teilnehmers liefert.

{{BlaueBox|TEXT=
$\text{Bitte beachten Sie:}$ 

Beim AWGN–Kanal haben die Bandspreizung beim Sender und die daran angepasste Bandstauchung beim Empfänger wegen  $c(t)^2 = 1$  keinen Einfluss auf die Bitfehlerwahrscheinlichkeit. Wie in  [[Aufgaben:Aufgabe_4.5:_PN-Modulation| Aufgabe 4.5]]  gezeigt wird, gilt auch mit Bandspreizung/Bandstauchung bei optimalem Empfänger unabhängig vom Spreizgrad  $J$:

:$$p_{\rm B} = {\rm Q} \left( \hspace{-0.05cm} \sqrt { {2 \cdot E_{\rm B} }/{N_{\rm 0} } } \hspace{0.05cm} \right )\hspace{0.05cm}. $$

Dieses Ergebnis lässt sich wie folgt begründen: Die statistischen Eigenschaften von weißem Rauschen  $n(t)$  werden durch die Multiplikation mit dem  $±1$–Signal  $c(t)$  nicht verändert.}}

==RAKE–Empfänger==
 
Ein weiterer Empfänger für die Single–User–Detektion ist der  '''RAKE–Empfänger''', der bei einem Mehrwegekanal zu deutlichen Verbesserungen führt. Die Grafik zeigt seinen Aufbau für einen Zweiwegekanal mit 
[[File:P_ID1560__Bei_T_4_3_S6b_v1.png|right|frame|Struktur des RAKE–Empfängers (Darstellung im äquivalenten Tiefpassbereich)]]
*einem direkten Pfad mit Koeffizient  $h_0$  und Verzögerungszeit  $τ_0$,
*einem Echo mit Koeffizient  $h_1$  und Verzögerungszeit  $τ_1$.

Zur Vereinfachung werden hier die Koeffizienten  $h_0$  und  $h_1$  als reell angenommen. Aufgrund der Darstellung im äquivalenten Tiefpassbereich könnten diese auch komplex sein.

Aufgabe des RAKE–Empfängers ist es, die Signalenergien aller Pfade  (in diesem Beispiel nur zwei)  auf einen einzigen Zeitpunkt zu konzentrieren. Er arbeitet demnach wie eine  ''Harke''  für den Garten, was auch die deutsche Übersetzung für „RAKE” ist.
 
Legt man einen Diracimpuls zur Zeit  $t = 0$  an den Kanaleingang an, so gibt es am Ausgang des RAKE–Empfängers drei Diracimpulse:
:$$ s(t) = \delta(t) \hspace{0.3cm}\Rightarrow\hspace{0.3cm}
y(t) = h_0 \cdot h_1 \cdot \delta(t - 2\tau_0) + (h_0^2 + h_1^2) \cdot \delta(t - \tau_0 - \tau_1)+
h_0 \cdot h_1 \cdot \delta(t - 2\tau_1) .$$

*Die Signalenenergie konzentriert sich auf den Zeitpunkt  $τ_0 + τ_1$. Von den insgesamt vier Wegen tragen zwei dazu bei (mittlerer Term).
*Die Diracfunktionen bei  $2τ_0$  und  $2τ_1$  bewirken zwar Impulsinterferenzen. Ihre Gewichte sind aber deutlich kleiner als die des Hauptpfades.

{{GraueBox|TEXT=
$\text{Beispiel 6:}$ 
Mit den Kanalparametern  $h_0 = 0.8$  und  $h_1 = 0.6$  beinhaltet der Hauptpfad $($mit Gewicht  $h_0)$  nur  $0.82/(0.82 + 0.62) = 64\%$  der gesamten Signalenergie. Mit RAKE–Empfänger und den gleichen Gewichten lautet die obige Gleichung:

:$$ y(t) = 0.48 \cdot \delta(t - 2\tau_0) + 1.0 \cdot \delta(t - \tau_0 - \tau_1)+
0.48 \cdot \delta(t - 2\tau_1) .$$

Der Anteil des Hauptpfades an der Gesamtenergie beträgt nun  ${1^2}/{(1^2 + 0.48^2 + 0.48^2)} ≈ 68\%.$}}

RAKE–Empfänger werden zur Implementierung in mobilen Geräten bevorzugt, sind aber bei vielen aktiven Teilnehmern nur begrenzt leistungsfähig. Bei einem Mehrwegekanal mit vielen  $(M)$  Pfaden hat auch der RAKE  $M$  Finger. Der Hauptfinger  (''Main Finger'')  – auch ''Searcher''  genannt – ist dafür verantwortlich, die individuellen Pfade der Mehrfachausbreitung zu identifizieren und einzuordnen. Er sucht die stärksten Pfade und weist diese zusammen mit ihren Steuerinformationen anderen Fingern zu. Dabei wird die Zeit– und Frequenzsynchronisation aller Finger kontinuierlich mit den Kontrolldaten des empfangenen Signals verglichen.

==Multi–User–Empfänger ==
 
Bei einem Single–User–Empfänger wird nur das Datensignal eines Teilnehmers entschieden, während alle anderen Teilnehmersignale als zusätzliches Rauschen betrachtet werden. Die Fehlerrate eines solchen Detektors wird jedoch dann sehr groß sein, wenn große  ''Intrazellinterferenzen''  (viele aktive Teilnehmer in der betrachteten Funkzelle) oder  ''Interzellinterferenzen''  (stark störende Teilnehmer in Nachbarzellen) vorliegen.

Dagegen treffen  '''Multi–User–Empfänger'''  (Mehrbenutzerempfänger)  eine gemeinsame Entscheidung für alle aktiven Teilnehmer. Deren Eigenschaften können wie folgt zusammengefasst werden:
*Ein Multi–User–Empfänger betrachtet die Interferenzen anderer Teilnehmer nicht als Rauschen, sondern nutzt auch die in den Interferenzsignalen enthaltenen Informationen zur Detektion.
*Der Empfänger ist aufwändig zu realisieren und die Algorithmen sind äußerst rechenintensiv. Er beinhaltet eine extrem große Korrelatordatenbank gefolgt von einem gemeinsamen Detektor.
*Dem Multi–User–Empfänger müssen die Spreizcodes aller aktiven Teilnehmer bekannt sein. Diese Voraussetzung schließt einen Einsatz im UMTS–Downlink (also bei der Mobilstation) aus. Dagegen sind den Basisstationen alle teilnehmerspezifischen Spreizcodes a priori bekannt, so dass im Uplink die Mehrbenutzerdetektion auch tatsächlich zur Anwendung kommt.
*Manche Detektionsalgorithmen verlangen zusätzlich die Kenntnis anderer Signalparameter wie Energien und Verzögerungszeiten. Der gemeinsame Detektor – das Herzstück des Empfängers – ist dafür verantwortlich, den jeweiligen passenden Detektionsalgorithmus anzuwenden. Beispiele für die Mehrbenutzerdetektion sind  ''Decorrelating Detection''  und  ''Interference Cancellation''.

==Near–Far–Effekt==
 
Der Near–Far–Effekt ist ausschließlich ein Problem des Uplinks, also der Übertragung von mobilen Teilnehmern zu einer Basisstation. Wir betrachten ein Szenario mit zwei unterschiedlich weit von der Basisstation entfernten Nutzern entsprechend folgender Grafik. Diese kann man wie folgt interpretieren:

[[File:P_ID2498__Mob_T_3_2_S3b_neu_v3.png|rightr|frame|Szenarien zum Near–Far–Effekt]]

*Senden beide Mobilstationen mit gleicher Leistung, so ist die Empfangsleistung des roten Nutzers  $\rm A$  an der Basisstation aufgrund des Pfadverlustes deutlich kleiner als die des blauen Nutzers  $\rm B$ (linkes Szenario). In großen Makrozellen kann der Unterschied bis zu  $100 \ \rm dB$  ausmachen. Dadurch wird das rote Signal weitgehend durch das blaue verdeckt.

*Man kann den Near–Far–Effekt weitgehend vermeiden, wenn der weiter entfernte Nutzer  $\rm A$  mit höherer Leistung sendet als Nutzer  $\rm B$, wie im rechten Szenario angedeutet. An der Basisstation ist dann die Empfangsleistung beider Mobilstationen (nahezu) gleich.
 
''Anmerkung'':   Bei einem idealisierten System  (Einwegekanal, ideale A/D–Wandler, vollständig lineare Verstärker ) sind die übertragenen Daten der Nutzer orthogonal zueinander und man könnte die Nutzer auch bei sehr unterschiedlichen Empfangsleistungen einzeln detektieren. Diese Aussage gilt für UMTS  (Mehrfachzugriffsverfahren:  CDMA)  ebenso wie für für das 2G–System GSM  (FDMA/TDMA)  und für das 4G–System LTE  (TDMA/OFDMA).

In der Realität ist jedoch die Orthogonalität aufgrund folgender Ursachen nicht immer gegeben:
*verschiedene Empfangspfade   ⇒   Mehrwegekanal,
*nicht ideale Eigenschaften der Spreiz– und Scramblingcodes bei CDMA,
*Asynchronität der Nutzer im Zeitbereich  (Grundlaufzeit der Pfade),
* Asynchronität der Nutzer im Frequenzbereich  (nicht ideale Oszillatoren und Dopplerverschiebung aufgrund der Mobilität der Nutzer).

Folglich sind die Nutzer nicht mehr orthogonal zueinander und der Störabstand des zu detektierenden Nutzers gegenüber den anderen Teilnehmern ist nicht beliebig hoch. Bei  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_GSM|GSM]]  und  [[Mobile_Communications/Allgemeines_zum_Mobilfunkstandard_LTE|LTE]]  kann man von Störabständen von  $25 \ \rm dB$  und mehr ausgehen, bei UMTS (CDMA) jedoch nur von ca.  $15 \ \rm dB$, bei hochratiger Datenübertragung eher noch von etwas weniger.

==Träger–zu–Interferenz–Leistungsverhältnis (CIR)==

Unter  '''Kapazität'''  wird allgemein die Anzahl der verfügbaren Übertragungskanäle pro Zelle verstanden werden. Da aber bei UMTS die Teilnehmerzahl im Gegensatz zum GSM nicht streng begrenzt ist, lässt sich hier keine feste Kapazität angeben.
*Bei perfekten Codes stören sich die Teilnehmer gegenseitig nicht. Dadurch wird die maximale Nutzerzahl allein durch den Spreizfaktor  $J$  und die verfügbare Anzahl der zueinander orthogonalen Codes bestimmt, die aber ebenfalls limitiert ist.
*Praxisnäher sind nichtperfekte, nur quasi–orthogonale Codes. Hier wird die „Kapazität” einer Funkzelle vorwiegend durch die entstehenden Interferenzen bzw. das  ''Träger–zu–Interferenz–Leistungsverhältnis''  (englisch:  ''Carrier–to–Interference Ratio'', CIR) bestimmt.

[[File:P_ID1542__Bei_T_4_3_S8_v1.png|right|frame|''Carrier–to–Interference Ratio''  (&bdquo;CIR”) abhängig von der Teilnehmerzahl]]
 Wie aus dieser Grafik zu ersehen ist, hängt das &bdquo;CIR” direkt von der Anzahl aktiver Teilnehmer ab. Je mehr Teilnehmer aktiv sind, desto mehr Interferenzleistung entsteht und desto kleiner wird das &bdquo;CIR”.

Desweiteren hängt dieses für UMTS entscheidende Kriterium auch von folgenden Größen ab:
*der Topologie und dem Nutzerverhalten (aufgerufene Dienste),
*dem Spreizfaktor  $J$  und der Orthogonalität des verwendeten Spreizcodes.
 
Um den störenden Einfluss der Interferenzleistung auf die Übertragungsqualität zu begrenzen, gibt es zwei Möglichkriten:
*'''Zellatmung''':  Nimmt bei UMTS die Anzahl der aktiven Teilnehmer signifikant zu, so wird der Zellenradius verkleinert und  (wegen der nun weniger Teilnehmer in der Zelle)  auch die aktuelle Interferenzleistung geringer. Für die Versorgung der Teilnehmer am Rande der verkleinerten Zelle springt dann eine weniger belastete Nachbarzelle ein.
*'''Leistungsregelung''':  Überschreitet die Gesamtinterferenzleistung innerhalb einer Funkzelle einen vorgegebenen Grenzwert, so wird die Sendeleistung aller Teilnehmer entsprechend herabgesetzt und/oder die Datenrate reduziert, was eine schlechtere Übertragungsqualität für alle zur Folge hat. Hierzu mehr auf der nächsten Seite.

==Leistung und Leistungsregelung in UMTS==
 
Als Regelgröße bei der Leistungsregelung in UMTS wird das Verhältnis zwischen der Signalleistung und der Interferenzleistung verwendet. Dabei gibt es Unterschiede zwischen dem FDD– und TDD–Modus.

[[File:P_ID1543__Bei_T_4_3_S10a_v1.png|right|frame|Leistungsregelung im FDD–Modus]]
Wir betrachten die  ''Leistungsregelung im FDD–Modus''  genauer. In der Grafik erkennt man zwei verschiedene Regelkreise:
*Der  '''innere Regelkreis'''  steuert die Sendeleistung auf der Basis von Zeitschlitzen, wobei in jedem Zeitschlitz ein Leistungskommando übertragen wird. Die Leistung des Senders wird mit Hilfe der CIR–Schätzungen im Empfänger und den Vorgaben des  ''Radio Network Controllers''  (RNC) aus dem äußeren Regelkreis bestimmt und verändert.
*Der  '''äußere Regelkreis'''  regelt auf Basis von Rahmen mit $10$ Millisekunden Dauer. Er wird im RNC realisiert und ist dafür zuständig, den Soll–Wert für den inneren Regelkreis zu bestimmen.

Der Ablauf der FDD–Leistungsregelung sieht folgendermaßen aus:
*Der RNC gibt einen Sollwert für das Träger–zu–Interferenz–Verhältnis (CIR–Sollwert) vor.
*Der Empfänger schätzt den CIR–Istwert und generiert Steuerkommandos für den Sender.
*Der Sender ändert entsprechend dieser Steuerkommandos die Sendeleistung.

Das Prinzip der  ''Leistungsregelung im TDD–Modus''  ähnelt der oben vorgestellten Regelung für den FDD–Modus, in der Abwärtsrichtung sind sie sogar praktisch identisch.

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
Die  '''TDD–Leistungsregelung'''  ist viel langsamer und dadurch auch unpräziser als bei  '''FDD'''. Eine schnelle Leistungsregelung ist in diesem Fall aber auch gar nicht möglich, da jeder Teilnehmer jeweils nur einen Bruchteil des Zeitrahmens zur Verfügung hat.}}

==Link–Budget ==
 
Bei der Planung von UMTS–Netzen ist die Berechnung des Link-Budgets ein wichtiger Schritt. Die Kenntnis des Link–Budgets ist sowohl bei der Dimensionierung der Versorgungsgebiete als auch für die Bestimmung der Kapazität und der Dienstgüte–Anforderungen erforderlich.

{{BlaueBox|TEXT=
'''Ziel des Link–Budgets'''  ist die Berechnung der  '''maximalen Zellgröße'''  unter Berücksichtigung folgender Kriterien:
*Art und Datenrate der Services,
*Topologie der Umgebung,
*Systemkonfiguration (Lage und Leistung der Basisstationen, Handover–Gewinn),
*Service–Anforderungen (Verfügbarkeit),
*Art der Mobilstation (Geschwindigkeit, Leistung),
*finanzielle und wirtschaftliche Aspekte.}}

[[File:P_ID1545__Bei_T_4_4_S9.png|right|frame|Budget für einen Sprachübertragungskanal]]
{{GraueBox|TEXT=
$\text{Beispiel 7:}$ 
Die Berechnung des Link–Budgets wird am Beispiel eines Sprachübertragungskanals im UMTS–Downlink dargestellt. Zu den beispielhaften Zahlenwerten ist zu bemerken:
*Die Sendeleistung betrage  $P_{\rm S} =19 \ \rm dBm$, was ca.  $79 \ \rm mW$  entspricht. Hierbei ist der Antennenverlust mit  $2\ \rm dB$  berücksichtigt.
*Die Rauschleistung  $P_{\rm R} = 5 · 10^{-11} \ \rm mW$  ist das Produkt aus UMTS–Bandbreite und Rauschleistungsdichte     ⇒   $P_{\rm R} = -103 \ \rm dBm $.
*Die Interferenzleistung ist  $P_{\rm I} = –99\ \rm dBm$  entsprechend  $1.25 · 10^{-10} \ \rm mW$.
*Damit ergibt sich die gesamte Störleistung zu  $P_{\rm R+I} = P_{\rm R} + P_{\rm I} = 1.25 · 10^{-10} \ \rm mW$    ⇒   $P_{\rm R+I} =- 97.5\ \rm dBm$.
*Die Antennenempfindlichkeit ergibt sich zu  $-97.5 - 27 + 5 - 17 + 3.5 = - 133 \ \rm dBm$. Ein großer negativer Wert ist hierbei „gut”.
*Der maximal zulässige Pfadverlust soll möglichst groß sein. Man erhält im Beispiel  $19 - (-133) = 152 \ \rm dB$.
*Das  '''Link–Budget'''  beinhaltet den Margin für Fading und den Handover–Gewinn und beträgt im Beispiel  $140 \ \rm dB$.
*Der '''maximale Zellradius''' lässt sich aus dem Link–Budget mit einer [https://en.wikipedia.org/wiki/Path_loss empirischen Formel] von Okumura–Hata bestimmen. Es gilt:
:$$ {r}\ [{\rm km}] = 10^{({\rm LinkBudget}- 137)/35}= 10^{0.0857}\approx 1.22 . $$

''Anmerkungen'':  
*Die Angabe  $\rm dB$  kennzeichnet eine logarithmische Leistungsangabe, bezogen auf  $1 \ \rm W$.
* Dagegen bezieht sich  $\rm dBm$  auf die Leistung  $1 \ \rm mW$.}}

==UMTS–Funkressourcenverwaltung ==
 
Zentrale Aufgabe der  '''Funkressourcenverwaltung'''  (englisch:  ''Radio Resource Management'', RRM) ist die dynamische Anpassung der Funkübertragungsparameter an die aktuelle Situation  (Fading, Bewegung der Mobilstation, Auslastung, usw.)  mit dem Ziel,
[[File:P_ID1546__Bei_T_4_3_S11_v1.png|right|frame|Radio Resource Management in UMTS]]
*die Übertragungs– und Teilnehmerkapazitäten zu steigern,
*die individuelle Übertragungsqualität zu verbessern und
*die vorhandenen Funkressourcen ökonomisch zu nutzen.

Nachfolgend werden die im Schaubild zusammengestellten wichtigsten RRM–Mechanismen erläutert.

'''Sendeleistungsregelung'''
 Das  ''Radio Resource Management''  versucht, die Empfangsleistung und damit das Träger–zu–Interferenz–Verhältnis (CIR) am Empfänger konstant zu halten oder zumindest zu vermeiden, dass ein vorgegebener Grenzwert unterschritten wird.

Ein Beispiel für die Notwendigkeit der Leistungsregelung ist der  [[Examples_of_Communication_Systems/Nachrichtentechnische_Aspekte_von_UMTS#Near.E2.80.93Far.E2.80.93Effekt|Near–Far–Effekt]], der bekanntlich zu einem Verbindungsabbruch führen kann.

Die Schrittweite der Leistungsregelung beträgt  $1 \ \rm dB$  oder  $2 \ \rm dB$, die Frequenz der Regelungskommandos ist  $1500$  Kommandos pro Sekunde.

'''Regelung der Datenrate'''
 Bei UMTS ist ein Austausch zwischen Datenrate und Übertragungsqualität möglich, die sich über die Wahl des Spreizfaktors realisieren lässt. Eine Verdopplung des Spreizfaktors entspricht hierbei einer Halbierung der Datenrate und erhöht die Qualität um  $3\ \rm dB$  (Spreizgewinn).

'''Zugangskontrolle'''
 Um Überlastsituationen im Gesamtnetz zu vermeiden, wird vor dem Aufbau einer neuen Verbindung überprüft, ob die notwendigen Ressourcen vorhanden sind. Andernfalls wird die neue Verbindung abgewiesen. Diese Überprüfung wird durch Abschätzung der Sendeleistungsverteilung nach der Aufnahme der neuen Verbindung realisiert.

'''Lastregelung'''
 Diese wird aktiv, wenn trotz Zugangskontrolle eine Überlast auftritt. In diesem Fall wird ein Handover zu einem anderen &bdquo;Node B” initiiert und – falls dies nicht möglich ist – werden die Datenraten bestimmter Teilnehmer gesenkt.

'''Handover'''
 Die Funkressourcenverwaltung ist schließlich auch für das Handover verantwortlich, um unterbrechungsfreie Verbindungen zu gewährleisten. Die Zuordnung der Mobilstationen zu den einzelnen Funkzellen erfolgt auf Grundlage von CIR–Messungen.

==Aufgaben zum Kapitel ==
 
[[Aufgaben:Aufgabe_4.5:_Pseudo_Noise-Modulation|Aufgabe 4.5: Pseudo Noise-Modulation]]

[[Aufgaben:Aufgabe_4.5Z:_Zur_Bandspreizung_bei_UMTS|Aufgabe 4.5Z: Zur Bandspreizung bei UMTS]]

[[Aufgaben:Aufgabe_4.6:_OVSF-Codes|Aufgabe 4.6: OVSF-Codes]]

[[Aufgaben:Aufgabe_4.7:_Zum_RAKE-Empfänger|Aufgabe 4.7: Zum RAKE-Empfänger]]

==Quellenverzeichnis==
<references />

{{Display}}

Examples of Communication Systems/UMTS–Netzarchitektur

2020-10-13T15:39:54Z

Rosa: Rosa moved page Examples of Communication Systems/UMTS–Netzarchitektur to Examples of Communication Systems/UMTS Network Architecture

#REDIRECT [[Examples of Communication Systems/UMTS Network Architecture]]

Examples of Communication Systems/UMTS Network Architecture

2020-10-13T15:39:54Z

Rosa: Rosa moved page Examples of Communication Systems/UMTS–Netzarchitektur to Examples of Communication Systems/UMTS Network Architecture

{{Header
|Untermenü=UMTS – Universal Mobile Telecommunications System
|Vorherige Seite=Allgemeine Beschreibung von UMTS
|Nächste Seite=Nachrichtentechnische Aspekte von UMTS
}}

==Basiseinheiten der Systemarchitektur ==
 
Bei der Architektur von UMTS–Netzen unterscheidet man vier grundlegende logische Einheiten. Die Interaktion dieser Einheiten ermöglicht das Bedienen und das Betreiben des Gesamtnetzes.

[[File:P_ID1511__Bei_T_4_2_S1_v1.png|center|frame|Basiseinheiten der UMTS–Systemarchitektur]]

In der Grafik erkennt man:
*$\rm Universal \ Subscriber \ Identity \ Module \ (USIM)$  – Das USIM ist eine entnehmbare IC–Karte, die Funkinformationen und Informationen zur eindeutigen Identifizierung und Authentifizierung des Teilnehmers enthält. Sie unterscheidet sich von der herkömmlichen SIM–Karte durch erweiterte Sicherheitsfunktionen, größere Speicherkapazität und einen integrierten Mikroprozessor, der zur Ausführung von Programmen dient.

*$\rm Mobile \ Equipment \ (ME)$  – Ausgestattet mit einer USIM–Karte stellt das UMTS–Endgerät sowohl die Funkschnittstelle für die Datenübertragung als auch die Bedienelemente für die Benutzer bereit. Es unterscheidet sich von der gängigen GSM–Mobilstation durch eine erweiterte Funktionalität, Multimedia–Anwendungen sowie komplexere und vielfältigere Dienste. Vielfach finden sich auch die Bezeichnungen  ''User Equipment''  (UE) und  ''Terminal Equipment''  (TE).
*$\rm Radio \ Access \ Network \ (RAN)$  – Darunter versteht man die Festnetzinfrastruktur von UMTS, die für die Funkübertragung und die damit verbundenen Aufgaben zuständig ist. Das RAN enthält die Basisstationen  (''Node B'')  und die Kontrollknoten  (''Radio Network Controller'' – RNC), die das RAN und das  ''Core Network''  verbinden.
*$\rm Core \ Network \ (CN)$  – Dieses stellt das Weitverkehrsnetz dar und ist für den Datentransport verantwortlich. Es enthält Vermittlungseinrichtungen (SGSN, GGSN) zu externen Netzen und Datenbanken zur Mobilitäts– und Teilnehmerverwaltung (HLR, VLR). Das  ''Core Network''  enthält auch die Netzmanagement–Einrichtungen  (''Operation and Maintenance Center'' – OMC), die zur Verwaltung des Gesamtnetzes erforderlich sind.

==Domänen und Schnittstellen ==
 
[[File:P_ID1512__Bei_T_4_2_S2_v1.png|right|frame|Basiseinheiten der UMTS–Systemarchitektur]]
Die auf der letzten Seite aufgeführten Einheiten des UMTS–Netzes werden in so genannte  '''Domänen'''  (englisch:  ''Domains'') zusammengefasst.

Darunter versteht man Funktionsblöcke, die zur Standardisierung und zur Untersuchung der funktionalen Einheiten und Schnittstellen innerhalb des UMTS–Netzes dienen.

Man unterscheidet zwei Hauptkategorien von Domänen, nämlich
*die  ''User Equipment Domain'', und
*die  ''Infrastructure Domain''.
 
Die  $\rm User \ Equipment \ Domain$  enthält alle Funktionen, die einen Zugang zum UMTS–Netz ermöglichen, wie zum Beispiel Verschlüsselungsfunktionen für die Übertragung der Daten über die Funkschnittstelle. Man kann diese Domäne in zwei Domänen unterteilen:
*die  '''USIM Domain'''  – die SIM–Karte ist ein Teil dieser Domäne;
*die  '''Mobile Equipment Domain'''  – Sie enthält alle Funktionen, über die ein Endgerät verfügt.

Diese beiden Domänen sind über die  ''Cu–Schnittstelle''  verbunden, die die elektrischen und physikalischen Spezifikationen sowie den Protokollstapel zwischen USIM–Karte und Endgerät umfasst. Dadurch können USIM–Karten verschiedener Netzbetreiber mit allen Endgeräten betrieben werden.

Eine weitere wichtige Schnittstelle ist die  ''Uu–Schnittstelle'', die die Radioverbindung zwischen der Mobilstation und der  ''Infrastructure Domain''  herstellt.

Die  $\rm Infrastructure \ Domain$  gliedert sich in die zwei folgenden Domänen:
*Die  '''Access Network Domain'''  fasst alle Basisstationen – die bei UMTS „Node B” genannt werden – und die Funktionen des  ''Radio Access Networks''  (RAN) zusammen.
*Die  '''Core Network Domain'''  ist für die möglichst fehlerfreie Übermittlung und den Transport der Nutzerdaten verantwortlich.

Diese beiden Domänen sind über eine  ''Iu–Schnittstelle''  verbunden. Diese Schnittstelle ist für die Datenvermittlung zwischen dem  ''Access Network''  und dem  ''Core Network''  verantwortlich und stellt die Trennung zwischen der Transportebene und der Funknetzebene dar.

Die  ''Core Network Domain''  kann wiederum in drei Unterdomänen unterteilt werden:
*Die  ''Serving Network Domain''  enthält alle Funktionen und Informationen, die für den Zugang zum UMTS–Netz nötig sind.
*Die  ''Home Network Domain''  enthält alle Funktionalitäten, die im Heimatnetz eines (fremden) Teilnehmers durchgeführt werden.
*Die  ''Transit Network Domain''  ist ein so genanntes Transitnetz. Dieses wird nur dann wirksam, wenn Datenbankabfragen im Heimatnetz des Teilnehmers durchzuführen sind und das  ''Serving Network''  nicht direkt mit dem  ''Home Network''  verbunden ist.

== Architektur der Zugangsebene ==
 
UMTS–Netze unterstützen sowohl Leitungsvermittlung als auch Paketvermittlung:

{{BlaueBox|TEXT=
$\text{Unterscheidungsmerkmale:}$ 
*Bei der  '''Leitungsvermittlung'''  (englisch:  ''Circuit Switching'', CS) wird der Funkkanal während der gesamten Dauer der Verbindung den beiden Kommunikationspartnern so lange zugewiesen, bis alle Informationen übertragen wurden. Erst danach wird der Kanal freigegeben.

*Bei der  '''Paketvermittlung'''  (englisch:  ''Packet Switching'', PS) können die Teilnehmer den Kanal nicht exklusiv nutzen, sondern der Datenstrom wird im Sender in kleine Datenpakete – jeweils mit der Zieladresse im Header – aufgeteilt, und erst danach versendet. Der Kanal wird von mehreren Teilnehmern gemeinsam benutzt.}}

[[File:P_ID1514__Bei_T_4_2_S3_v1.png|right|frame|Struktureller Aufbau eines UMTS-Netzes]]

Die beiden Modi erkennt man auch in der Zugangsebene des UMTS–Netzes im  ''Core Network''  (CN) wieder, die nebenstehend dargestellt ist.

Die Zugangsebene kann man in zwei Hauptblöcke unterteilen:

Das  $\rm UMTS \ Terrestrial \ Radio \ Access \ Network \ (UTRAN)$  sichert die Funkübertragung von Daten zwischen der Transportebene und der Funknetzebene.

Zum UTRAN gehören die Basisstationen und die Kontrollknoten, deren Funktionen nachfolgend genannt werden:
*Ein  '''Node B'''  – wie eine UMTS–Basisstation meist genannt wird – umfasst die Antennenanlage sowie den CDMA–Empfänger und ist unmittelbar mit den ME–Funkschnittstellen verbunden. Zu seinen Aufgaben gehören die Datenratenanpassung, Daten– und Kanal(de)codierung, Interleaving sowie Modulation bzw. Demodulation. Jeder &bdquo;Node B” kann eine oder mehrere Zellen versorgen.
*Der  '''Radio Network Controller'''  (RNC) ist für die Steuerung der Basisstationen verantwortlich. Ebenso ist er innerhalb der Zellen zuständig für die Rufannahmesteuerung, Verschlüsselung und Entschlüsselung, ATM–Vermittlung, Kanalzuweisung, Handover und Leistungssteuerung.
 
Das  $\rm Core \ Network \ (CN)$  ist für die Vermittlung der Daten  (sowohl  ''circuit-switched''  als auch  ''packet-switched'')  innerhalb des UMTS–Netzes zuständig.

Dazu enthält es bei  ''Leitungsvermittlung''  folgende Hardware– und Softwarekomponenten:
*Das  '''Mobile Services Switching Center'''  (MSC) ist zuständig für das Routing von Gesprächen, Lokalisierung, Authentifizierung, das Handover und die Verschlüsselung von Teilnehmerdaten.
*Das  '''Home Location Register'''  (HLR) enthält alle Teilnehmerdaten wie zum Beispiel Tarifmodell, Telefonnummer sowie die zugehörigen dienstspezifischen Berechtigungen und Schlüssel.
*Das  '''Visitor Location Register'''  (VLR) enthält Ortsinformationen über lokal registrierte Nutzer und Kopien der Datensätze aus dessen HLR. Diese Daten sind dynamisch:  Sobald der Teilnehmer seinen Aufenthaltsort ändert, werden diese Informationen verändert.

Bei  ''paketvermittelter Übertragung''  gibt es folgende Einrichtungen bzw. Register:
*Der  '''Serving GPRS Support Node'''  (SGSN) ist anstelle von MSC und VLR zuständig für Routing und Authentifizierung und hält eine lokale Kopie der Teilnehmerinformationen gespeichert.
*Am  '''Gateway GPRS Support Node'''  (GGSN) gibt es Übergänge zu anderen Paketdatennetzen wie zum Beispiel dem Internet. Eingetroffene Pakete werden durch eine integrierte Firewall gefiltert und an den entsprechenden SGSN weitergeleitet.
*Das  '''GPRS Register'''  (GR) ist Teil des  ''Home Location Register''  (HLR) und enthält zusätzliche Informationen, die für die paketvermittelte Übertragung benötigt werden.

== Physikalische Kanäle ==
 
Physikalische Kanäle dienen der Kommunikation auf der physikalischen Ebene der Funkschnittstelle und werden innerhalb einer Basisstation (&bdquo;Node B&bdquo;) verarbeitet. Dabei unterscheidet man zwischen den  ''dedizierten physikalischen Kanälen''  und  ''gemeinsam genutzten physikalischen Kanälen''.

[[File:P_ID1515__Bei_T_4_2_S4a_v1.png|right|frame|Aufbau der dedizierten physikalischen Kanäle]]

Die  $\rm dedizierten \ physikalischen \ Kanäle$  werden einzelnen Kommunikationspartnern fest zugewiesen. Zu diesen gehören:
*''Dedicated Physical Data Channel''  ('''DPDCH''')  – Dabei handelt es sich um einen unidirektionalen Uplink–Kanal, der Nutz– und Signalisierungsdaten aus höheren Schichten transportiert.
*''Dedicated Physical Control Channel''  ('''DPCCH''')  – Dieser Kontrollkanal enthält Informationen der physikalischen Schicht für die Steuerung der Übertragung, Leitungssteuerungs–Kommandos und Transportformat–Indikatoren, um nur einige Beispiele zu nennen.
*''Dedicated Physical Channel''  ('''DPCH''')  – Dieser Kanal umfasst den '''DPDCH''' und den '''DPCCH''' im Downlink und hat eine Länge von  $2560$  Chips.

Die Grafik zeigt den strukturellen Aufbau des '''DPDCH''' (blau), des '''DPCCH''' (rot) sowie des einhüllenden '''DPCH'''.

*Im '''DPCH''' werden in  $10 \ \rm ms$  genau  $15 · 2560 = 38400$  Chips übertragen, woraus sich für die Chiprate  $3.84 \ \rm Mchip/s$  ergibt.
*Die Nutzdaten im '''DPDCH''' werden aufgesplittet und pro Zeitschlitz werden – je nach Spreizfaktor  $J$  – zwischen  $10$  Bit  $($falls  $J = 256 )$  und  $640$ Bit  $($falls  $J = 4)$  Bit übertragen.
*Im '''DPCCH''' werden einheitlich pro Zeitschlitz zehn Kontrollbits übertragen.
 
In der Tabelle sind die von allen Teilnehmern  $\rm gemeinsam \ genutzten \ physikalischen \ Kanäle$  aufgelistet.

[[File:P_ID1516__Bei_T_4_2_S4b.png|right|frame|Gemeinsam genutzte Kanäle in UMTS]]
Im Folgenden werden die Eigenschaften einiger ausgewählter Kanäle beschrieben:
*Der '''CCPCH''' ist ein Downlink–Kanal mit zwei Unterkanälen. Der '''P–CCPCH''' beinhaltet Daten, die für den Betrieb innerhalb einer Funkzelle notwendig sind, während der '''S–CCPCH''' Daten enthält, die für die Paging–Prozedur und für den Transport von Kontrolldaten verantwortlich sind.
*Der '''PDSCH''' und der '''PUSCH''' sind gemeinsam genutzte Kanäle, die sowohl Nutzdaten als auch Kontrolldaten transportieren können. Der erste ist allein für den Downlink zuständig, der zweite für den Uplink.
*Der '''PRACH''' kontrolliert die Nachrichtenübertragung des Zufallszugriffkanals '''RACH''', während der '''PCPCH''' für den Transport von Datenpaketen nach dem CDMA/CD–Verfahren zuständig ist.

Die folgenden Kanäle sind für die Steuerung und Synchronisierung des Gesamtsystems verantwortlich:
* Der '''CPICH''' ermittelt die Zugehörigkeit der Mobilstation zu einer Basisstation.
*Der '''SCH''' dient zur Zellsuche und Synchronisation der Mobilstation.
*Der '''AICH''' überprüft und ermittelt die Verfügbarkeit des Systems.
*Der '''PICH''' ist für den Funkruf bei der Teilnehmerlokalisierung zuständig.

==Logische Kanäle ==
 
Die logischen Kanäle befinden sich in der MAC (''Medium Access Control'')–Referenzschicht und werden durch den Typ der übertragenen Daten gekennzeichnet.

[[File:P_ID1517__Bei_T_4_2_S5.png|right|frame|Logische Kanäle in UMTS]]
Die in der Tabelle zusammengestellten logischen Kanäle lassen sich in zwei Klassen unterteilen, nämlich in

*Kontrollkanäle  (''Control Channels''):
:Über die  '''Kontrollkanäle'''  (mit Endung '''CCH''')  werden sowohl Kontrollinformationen  ('''BCCH''')  als auch Paging–Informationen  ('''PCCH''')  transportiert. Darüber können auch teilnehmerspezifische Signalisierungsdaten  ('''DCCH''')  oder Transportinformationen zwischen den Teilnehmergeräten und dem UTRAN  ('''CCCH''')  ausgetauscht werden.
*Verkehrskanäle  (''Traffic Channels''):
:Über die  '''Verkehrskanäle'''  (mit Endung  '''TCH''')  werden Teilnehmerinformationen ausgetauscht. Während der  '''DTCH'''  einem mobilen Teilnehmer zum Nutzdatentransport individuell zugewiesen werden kann, wird ein  '''CTCH'''  vorwiegend an alle oder an eine vordefinierte Teilnehmergruppe vergeben.
 
== Transportkanäle ==
 
Transportkanäle befinden sich in der physikalischen Schicht des  [https://de.wikipedia.org/wiki/OSI-Modell ISO/OSI–Schichtenmodells]. Sie
*werden durch die Parameter der Datenübertragung (z.B. die Datenrate) gekennzeichnet,
*gewährleisten die gewünschten Anforderungen bezüglich der Fehlerschutzmechanismen, und
*legen die Art der Datenübertragung – so zu sagen das „WIE” – fest.

Man unterscheidet zwei Klassen von Transportkanälen, nämlich dedizierte und gemeinsam genutzte Transportkanäle.

Zur Klasse der  $\rm dedizierten \ Transportkanäle$  (''Dedicated Transport Channels'' – '''DTCH''') gehören die  ''Dedicated Channels''  ('''DCH'''), die Teilnehmern fest zugewiesen werden.
*Ein  '''DCH'''  transportiert sowohl Nutzdaten als auch Kontrolldaten (Handover–Daten, Messdaten, ...) an die höheren Schichten, in denen sie dann interpretiert und verarbeitet werden.

Zu den  $\rm gemeinsam \ genutzten \ Transportkanälen$  (''Common Transport Channels''  – '''CTCH''')  gehören beispielsweise:
*Der  ''Broadcast Channel''  ('''BCH''')  ist ein Downlink–Kanal, der netzbetreiberspezifische Daten der Funkzelle  (zum Beispiel:  ''Access Random Codes''  zur Signalisierung eines Verbindungsaufbaus)  an die Teilnehmer verteilt. Charakteristisch ist seine relativ hohe Leistung und niedrige Datenrate $($nur  $\text{3.4 kbit/s)}$, um allen Nutzern einen möglichst fehlerfreien Empfang und hohen Prozessgewinn zu ermöglichen.
*Der  ''Forward Access Channel''  ('''FACH''')  ist ein Downlink–Kanal, zuständig für den Transport von Kontrolldaten. Eine Zelle kann mehrere FACH–Kanäle enthalten, wobei einer der Kanäle eine niedrige Datenrate aufweisen muss, um allen Nutzern die Auswertung seiner Daten zu ermöglichen.
*Der  ''Random Access Channel''  ('''RACH''')  ist ein unidirektionaler Uplink–Kanal. Der Teilnehmer kann damit den Wunsch äußern, eine Funkverbindung aufbauen zu wollen. Außerdem können darüber auch kleine Datenmengen übertragen werden.
*Der  ''Common Packet Channel''  ('''CPCH''')  ist ein unidirektionaler Uplink–Datenkanalfür paketorientierte Dienste und eine Erweiterung des RACH–Kanals.
*Der  ''Paging Channel''  ('''PCH''')  ist ein unidirektionaler Downlink–Kanal zur Lokalisierung eines Teilnehmers mit Daten für die Paging–Prozedur.

[[File:P_ID1523__Bei_T_4_2_S6_v1.png|right|frame|Verbindungsaufbau bei UMTS]]
{{GraueBox|TEXT=
$\text{Beispiel 1:}$ 
Die Grafik soll die Interaktion zwischen den Transportkanälen  '''RACH'''  und  '''FACH'''  mit den logischen Kanälen  '''CCCH'''  und  '''DCCH'''  bei einem einfachen Verbindungsaufbau erläutern.

Einige Erklärungen zu diesem Schaubild:
*Ein mobiler Teilnehmer  (''Mobile Equipment'', ME)  äußert den Wunsch für einen Verbindungsaufbau. Als erstes wird dann mit Hilfe des logischen Kanals  '''CCCH'''  und des Transportkanals  '''RACH'''  eine Verbindungsanfrage über den UTRAN an den  ''Radio Network Controller''  (RNC) gesendet.
*Hierzu wird das  '''RRC'''–Protokoll  (''Radio Resource Control'')  verwendet, das die Aufgabe hat, die Signalisierung zwischen dem Teilnehmer und UTRAN/RNC zu gewährleisten.
*Der  ''Radio Network Controller''  (RNC) antwortet auf diese Anfrage über den Transportkanal  '''FACH'''. Dabei werden dem Teilnehmer die nötigen Kontrolldaten für den Verbindungsaufbau übersendet.
*Erst danach wird die Verbindung mit Hilfe des logischen Kanals  '''DCCH'''  tatsächlich aufgebaut.}}

==Kommunikation innerhalb des ISO/OSI–Schichtenmodells==
 
Die Kommunikation zwischen den verschiedenen Schichten des ISO/OSI–Modells wird durch die auf den letzten Seiten vorgestellten logischen, physikalischen und Transport–Kanäle sichergestellt.

[[File:P_ID1518__Bei_T_4_2_S7a_87.png|right|frame|Abbildung der Kanäle bei UMTS]]
Die Grafik rechts zeigt die Struktur sowohl für die Aufwärtsrichtung (Uplink) als auch für die Abwärtsrichtung (Downlink).

Um die Funktionsfähigkeit und den Datenaustausch innerhalb des Gesamtmodells zu garantieren, müssen diese entsprechend der Grafik aufeinander abgebildet werden:
*Zunächst erfolgt die Abbildung des logischen Kanals auf den Transportkanal,
*danach die Abbildung des Transportkanals auf einen physikalischen Kanal.

[[File:P_ID1519__Bei_T_4_2_S7b_v1.png|left|frame|Ausschnitt aus dem ISO/OSI–Schichtenmodell]]
 
Die untere (linke) Grafik soll einen Gesamtüberblick über die Struktur der drei untersten Schichten des ISO/OSI–Modells geben und die Interaktionen der verschiedenen Kanalarten vermitteln.
 
== Zellulare Architektur von UMTS ==
 
Um ein flächendeckendes Netz mit geringer Sendeleistung und ausreichender Frequenzökonomie zu ermöglichen, werden auch bei UMTS wie bei GSM Funkzellen eingerichtet. Die Funkzellen sind im UMTS–Netz  $($Trägerfrequenz um  $\text{2 GHz)}$  deutlich kleiner als bei GSM  $($Trägerfrequenz um  $\text{900 MHz)}$, da bei gleicher Sendeleistung die Reichweite von Funksignalen mit steigender Frequenz abnimmt.

Die Grafik zeigt die  '''Zellenstruktur'''  von UMTS. Man erkennt daraus einen hierarchischen Aufbau und drei Typen von Funkzellen:
[[File:P_ID1520__Bei_T_4_2_S8a_60.png|right|frame|Zellenaufbau bei UMTS]]
*'''Makrozellen'''  sind mit vier bis sechs Kilometer Durchmesser die größten Zellen. Sie erlauben relativ schnelle Bewegungungen. Beispielsweise ist eine Bewegungsgeschwindigkeit bis zu maximal  $500\ \rm km/h$  zulässig, wenn die Datenrate  $144 \ \rm kbit/s$  beträgt. Eine Makrozelle kann möglicherweise eine Vielzahl von Mikro– und Pikozellen überlagern.
*'''Mikrozellen'''  sind mit ein bis zwei Kilometer Durchmesser deutlich kleiner als Makrozellen. Sie erlauben höhere Datenraten bis  $384 \ \rm kbit/s$, dafür aber nur langsamere Bewegungsgeschwindigkeiten. Zum Beispiel ist bei der maximalen Datenrate die maximal zulässige Geschwindigkeit nur noch  $120\ \rm km/h$. Eine Mikrozelle überlagert keine, eine oder eine Vielzahl von Pikozellen.
*'''Pikozellen'''  versorgen nur sehr kleine Gebiete mit etwa  $100$  Meter Durchmesser, aber sehr hohem Datenaufkommen. Sie werden in hochverdichteten Orten wie zum Beispiel Flughäfen, Stadien, usw. eingesetzt. Zulässig sind theoretisch Datenraten bis  $2\ \rm Mbit/s$.
 
Da UMTS als Vielfachzugriffsverfahren  [[Modulationsverfahren/Aufgaben_und_Klassifizierung#FDMA.2C_TDMA_und_CDMA|Code Division Multiple Access]]  (CDMA) verwendet, benutzen alle Teilnehmer den gleichen Frequenzkanal. Dies resultiert in einer relativ hohen Interferenzleistung und einem sehr niedrigen  ''Träger–zu–Interferenz–Abstand''  (englisch:  ''Carrier–to–Interference Ratio'', CIR). Dieser ist zumindest deutlich kleiner als bei  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_GSM|GSM]], das auf FDMA und TDMA basiert.

Ein niedriges CIR kann die Übertragungsqualität erheblich beeinträchtigen, nämlich dann, wenn sich die Signale unterschiedlicher Teilnehmer destruktiv überlagern, was zu Informationsverlust führt.

{{BlaueBox|TEXT=
$\text{Man unterscheidet zwei Arten von Interferenzen::}$ 

*$\rm Intrazellinterferenz$  entsteht durch die Verwendung des gleichen Frequenzkanals von mehreren Teilnehmern innerhalb der gleichen Zelle.
*$\rm Interzellinterferenz$  tritt auf, wenn Teilnehmer verschiedener Zellen den gleichen Frequenzkanal benutzen.}}

[[File:P_ID1521__Bei_T_4_2_S10_v1.png|right|frame|Interzellinterferenz vs. Intrazellinterferenz]]
{{GraueBox|TEXT=
$\text{Beispiel 2:}$ 
Die Grafik veranschaulicht beide Arten der Zellinterferenz.
*In der linken Zelle kommt es zu  ''Intrazellinterferenzen'', wenn die beiden Frequenzen  $f_1$  und  $f_2$  identisch sind.

*Dagegen gibt es  ''Interzellinterferenz'', wenn in den beiden rechten Funkzellen gleiche Frequenzen verwendet werden  $(f_3 = f_4)$.

Intrazellinterferenzen sind wegen des geringen Abstands der Intrazellstörer meistens gravierender als Interzellinterferenzen, das heißt, sie bewirken ein deutlich kleineres  ''Carrier–to–Interference Ratio'' (CIR).}}

== Was versteht man unter Zellatmung? ==
 
Um den Einfluss der Interferenzleistung auf die Übertragungsqualität zu begrenzen, wird bei UMTS die so genannte  $\rm Zellatmung$  eingesetzt. Diese lässt sich wie folgt beschreiben:
*Nimmt die Anzahl der aktiven Teilnehmer und damit die aktuelle Interferenzleistung zu, so wird der Zellenradius verkleinert.
*Da nun weniger Teilnehmer in der Zelle senden, wird damit auch der störende Einfluss der Zellinterferenz geringer.
*Für die Versorgung der am Rande einer ausgelasteten Zelle stehenden Teilnehmer springt dann die weniger belastete Nachbarzelle ein.

Eine Alternative zur Zellatmung ist, dass man die Gesamtsendeleistung innerhalb der Zelle verringert, was allerdings auch eine Reduzierung der Sende– und damit auch der Empfangsqualität bedeutet.

{{GraueBox|TEXT=
$\text{Beispiel 3:}$ 
In der Grafik erkennt man, dass die Anzahl der aktiven Teilnehmer (pro Flächeneinheit) im Versorgungsgebiet von links nach rechts zunimmt.

[[File:P_ID1522__Bei_T_4_2_S8b_v1.png|right|frame|Zur Verdeutlichung von &bdquo;Zellatmung” bei UMTS]]

*Lässt man die Zellengröße gleich, so gibt es in der Zelle mehr aktive Teilnehmer als vorher und dementsprechend nimmt die Qualität aufgrund der Intrazellinterferenzen deutlich ab.
*Verkleinert man dagegen die Zellengröße im gleichen Maße, wie die Teilnehmerzahl zunimmt, so sind in einer Zelle nicht mehr Teilnehmer aktiv als vorher (nach dieser Skizze:  sieben) und die Qualität bleibt (in etwa) erhalten.}}

==Handover in UMTS ==
 
Um den Übergang zwischen verschiedenen Zellen für Mobilfunkteilnehmer möglichst unterbrechungsfrei erscheinen zu lassen, wird bei leitungsvermittelten UMTS–Diensten – wie auch bei GSM – ein Handover eingesetzt. Man unterscheidet bei UMTS zwei Arten:
*$\rm Hard \ Handover$:   Hierbei wird zu einem bestimmten Zeitpunkt die Verbindung hart zu einem anderen &bdquo;Node B” umgeschaltet. Diese Art von Handover geschieht im TDD–Modus während des Umschaltens zwischen Sender und Empfänger.
*$\rm Soft \ Handover$:   Dabei kann ein Mobiltelefon mit bis zu drei Basisstationen kommunizieren. Die Übergabe eines Teilnehmers von einem &bdquo;Node B” zu einem anderen erfolgt allmählich, bis der Teilnehmer diesen Bereich endgültig verlässt. Man spricht in diesem Zusammenhang von  ''Makrodiversität''.

Die  ''Downlink–Daten''  werden im  ''Radio Network Controller''  (RNC) aufgeteilt  (''Splitting''), über die beteiligten Basisstationen ausgestrahlt und in der Mobilstation wieder zusammengesetzt  (''Rake Processing'').

Im  ''Uplink''  werden hingegen die gesendeten Daten von allen beteiligten Basisstationen empfangen. Die Zusammenlegung der Daten  (''Soft Combining'')  findet im RNC statt. Dieser leitet anschließend die Daten an das  ''Core Network''  (CN) weiter.

Man unterscheidet bei  ''Soft Handover''  drei Sonderfälle:
*Bei  '''Softer Handover'''  wird ein Teilnehmer über verschiedene Pfade der gleichen Basisstation versorgt.
*Dagegen geschieht bei  '''Intra–RNC Handover'''  die Versorgung der Teilnehmer über zwei verschiedene Basisstationen, die an denselben RNC angeschlossen sind. Das  ''Combining und Splitting''  der Daten findet in dem gemeinsamen RNC statt.
*Ist der Teilnehmer in einem Gebiet, das von zwei benachbarten  ''Radio Network Controllern''  verwaltet wird, so liegt '''Inter–RNC Handover''' vor.
**Der erste RNC   ⇒   ''Serving RNC''  (SRNC) übernimmt die Kommunikation mit dem  ''Core Network''  und ist für  ''Combining und Splitting''  verantwortlich.
**Der zweite RNC   ⇒   ''Drift RNC''  (DRNC) übernimmt die Kommunikation mit dem  SRNC  und mit dem von ihm verwalteten &bdquo;Node B”.

[[File:P_ID1524__Bei_T_4_1_S10.png|right|frame|Zur Verdeutlichung verschiedener Handover–Strategien]]
{{GraueBox|TEXT=
$\text{Beispiel 4:}$ 
Wir gehen von folgendem Szenario aus. Das Fahrzeug startet bei  $\rm A$, bewegt sich nach rechts und passiert verschiedene Basisstationen, die jeweils mit einem  ''Radio Network Controller''  (RNC) verbunden sind. Die Buchstaben markieren verschiedene Fahrzeugpositionen.

* Bei den Positionen  $\rm A$,  $\rm C$,  $\rm E$,  $\rm G$,  $\rm I$  und  $\rm K$  gibt es stets nur eine RNC–Verbindung, also auch  ''kein Handover''.
* Bei  $\rm B$,  $\rm F$  und  $\rm J$  ist das Fahrzeug mit zwei Basisstationen des gleichen RNC in Kontakt   ⇒   ''Intra–RNC Handover''.
*Bei  $\rm D$  und  $\rm H$  ist das Fahrzeug mit zwei Basisstationen zweier RNCs in Kontakt   ⇒   ''Inter–RNC Handover''.
*Voraussetzung hierfür ist allerdings, dass die Koordination der beiden RNCs durch das  ''Core Network''  (CN) funkioniert. Ansonsten:   ''Hard Handover''.}}

==IP–basierte Netze ==
 
Mit dem UMTS Release 5 wurden unter Anderem  '''IP–basierte Netze'''  (''IP Core Networks'')  eingeführt.

[[File:P_ID1525__Bei_T_4_2_S9_v1.png|right|frame|Netzarchitektur von UMTS – Release 5]]
*Dabei werden sowohl die Nutzdaten als auch die Kontrolldaten über ein internes IP–Netz übertragen.
*Das bedeutet, dass sowohl leitungsvermittelte Dienste als auch paketvermittelte Dienste auf der Basis von IP–Protokollen erbracht werden.

Die Grafik zeigt diese Netzarchitektur in schematischer Weise. Im Vergleich zur ursprünglichen UMTS–Netzarchitektur (Release 99) wurde das Netz um folgende Knoten ergänzt:
*Das  ''Media Gateway''  ('''MGW''')  ist für die Wiedergewinnung der in  ''Voice–over–IP''  (VoIP) konvertierten Sprachpakete in herkömmliche Sprachdaten verantwortlich.
*Der  ''Home Subscriber Server''  ('''HSS''')  fasst die aus dem  ''UMTS Release 99''  bekannten Register  '''HLR'''  und  '''VLR'''  zusammen.
*Der  ''Call State Control Function''  ('''CSCF''')–Knoten ist für die gesamte Steuerung des IP–Netzes in  ''UMTS Release 5''  zuständig und stellt die Kommunikation zwischen CSCF–Knoten und Teilnehmer über das  ''Session Initiation Protocol''  (SIP) her.

Es spricht vieles für den Einsatz einer solchen IP–basierten Netzarchitektur, da diese eine Reihe von Verbesserungen bereitstellt.

Wesentliche  '''Vorteile'''  von IP–Netzen sind:
*eine zukunftsweisende Alternative zur jetzigen Auslegung,
*eine preiswerte Routing–Technologie   ⇒   große Einsparungen bei der Vermittlungstechnik,
*große Flexibilität bei der Einführung neuer Dienste, und
*eine leichte Implementierung von Netzüberwachungstechniken.

Entscheidende  '''Nachteile'''  dieser Architektur sind derzeit (2011) allerdings auch:
*die mühsame Integration der Infrastruktur der zweiten Mobilfunkgeneration,
*die Notwendigkeit von Übergangsknoten zur Konvertierung der Daten in so genannten Gateways, und
*das Fehlen eines eindeutigen und zuverlässigen Sicherheitskonzeptes.

==Aufgaben zum Kapitel ==
 
[[Aufgaben:Aufgabe_4.3:_UMTS–Zugangsebene|Aufgabe 4.3: UMTS–Zugangsebene]]

[[Aufgaben:Aufgabe_4.4:_Zellulare_UMTS-Architektur|Aufgabe 4.4: Zellulare UMTS-Architektur]]

{{Display}}

Examples of Communication Systems/Allgemeine Beschreibung von UMTS

2020-10-13T15:39:41Z

Rosa: Rosa moved page Examples of Communication Systems/Allgemeine Beschreibung von UMTS to Examples of Communication Systems/General Description of UMTS

#REDIRECT [[Examples of Communication Systems/General Description of UMTS]]

Examples of Communication Systems/General Description of UMTS

2020-10-13T15:39:41Z

Rosa: Rosa moved page Examples of Communication Systems/Allgemeine Beschreibung von UMTS to Examples of Communication Systems/General Description of UMTS

{{Header
|Untermenü=UMTS – Universal Mobile Telecommunications System
|Vorherige Seite=Weiterentwicklungen des GSM
|Nächste Seite=UMTS–Netzarchitektur
}}

== # ÜBERBLICK ZUM VIERTEN HAUPTKAPITEL # ==
 
$\rm U$niversal $\rm M$obile $\rm T$elecommunications $\rm S$ystem (UMTS) ist ein Mobilfunksystem der dritten Generation, das bei seiner Einführung eine zukunftsweisende Alternative zu den bis dahin verwendeten Mobilfunksystemen darstellen sollte. Es bietet im Vergleich zu GSM nicht nur eine hochwertigere Sprachqualität, sondern dank seiner schnelleren und paketvermittelten Übertragung auch eine Vielfalt erweiterter Dienste und Funktionalitäten.

UMTS wurde Ende der 1990er Jahre im Rahmen einer Zusammenarbeit zwischen der  ''International Telecommunication Union''  (ITU) und dem 3GPP–Forum (''3rd Generation Partnership Project'') standardisiert und ist seit 2004 in Europa kommerziell verfügbar. In Deutschland wurden bis Ende 2007 mehr als 10 Millionen Nutzer registriert. Weltweit nutzen derzeit (2011) um die 200 Millionen Teilnehmer UMTS oder ähnliche Mobilfunksysteme der dritten Generation.

Dieses Kapitel beinhaltet im Einzelnen:

*UMTS als Mobilfunksystem der dritten Generation,
*die Dienste und Sicherheitsaspekte in UMTS,
*die UMTS–Netzarchitektur,
*die physikalischen, logischen und Transportkanäle sowie deren Interaktionen,
*die zellulare Architektur in UMTS und deren Mechanismen,
*die in UMTS verwendete Sprach– und Kanalcodierung,
*die Bandspreizung und CDMA als Basis von UMTS,
*die Funkressourcenverwaltung und Leistungsregelung in UMTS–Netzen,
*die Weiterentwicklungen von UMTS wie HSDPA und HSUPA,
*ein Ausblick auf Long Term Evolution (LTE), dem Schlagwort der vierten Generation.

Dem 4G–Standard  [[Mobile_Communications/Allgemeines_zum_Mobilfunkstandard_LTE|Long Term Evolution]]  (LTE) ist im Buch „Mobile Kommunikation” ein eigenes Kapitel gewidmet.

==Anforderungen an Mobilfunksysteme der dritten Generation==
 
Die wichtigste Motivation zur Entwicklung von  ''Mobilfunksystemen der dritten Generation''  war die Erkenntnis, dass die Systeme der zweiten Generation den Bandbreitenbedarf zur Nutzung multimedialer Dienste nicht zufrieden stellen konnten.

[[File:P_ID1481__Bei_T_4_1_S1_v2.png|right|frame|Entwicklung der Mobilfunksysteme von 1995 bis 2006]]
Die Grafik zeigt die Entwicklung der Mobilfunksysteme seit 1995 hinsichtlich Leistungsfähigkeit bzw. Datenübertragungsrate aus Sicht des Jahres 2007:
* Die angegebenen Datenraten für HSUPA $($Uplink, bis  $\text{3 Mbit/s)}$  und HSDPA $($Downlink, bis  $\text{7 Mbit/s)}$  waren für 2006/2007 realistisch.
*In den Spezifikationen wurden dagegen für den Uplink  $\text{5.8 Mbit/s}$ und für den Downlink  $\text{14.4 Mbit/s}$ (also deutlich höhere Maximalwerte) genannt, die in der Praxis wohl aber nicht erreichbar sein werden.
 
Die Mobilfunksysteme der dritten Generation sollten über eine größere Bandbreite als das damals bereits etablierte  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_GSM|GSM]]  verfügen und genügend Reserve an Leistungsfähigkeit aufweisen, um auch bei den stetig wachsenden Anforderungen eine hohe Dienstgüte gewährleisten zu können.

Bei der Entwicklung der Systeme der dritten Generation hat die  ''International Telecommunication Union''  (ITU) eine wichtige Rolle gespielt. Sie hat unter anderem einen Anforderungskatalog erstellt, der ihre Eigenschaften festlegte. Dieser Anforderungskatalog umfasst folgende Rahmenbedingungen:
*Hohe Datenraten von  $\text{144 kbit/s}$ (Standard) bis  $\text{2 Mbit/s}$  (In-door),
*symmetrische und asymmetrische Datenübertragung (IP–Dienste),
*leitungsvermittelte (''circuit–switched'') und paketvermittelte (''packed–switched'') Übertragung,
*hohe Sprachqualität und hohe Spektraleffizienz,
*nahtloser Übergang von und zu Systemen der zweiten Generation,
*globale Erreichbarkeit und Verbreitung,
*Anwendungen unabhängig vom verwendeten Netz (''Virtual Home Environment'').

==Der IMT–2000–Standard==
 
Im Jahre 1992 wurde von der  ''International Telecommuncation Union''  (ITU) der Standard  $\rm IMT\hspace{-0.1cm}-\hspace{-0.1cm}2000$  $($''International Mobile Telecommunications at''  2000 MHz$)$  ins Leben gerufen, der die genannten Anforderungen ermöglichen sollte. Dieser umfasst eine Reihe verschiedener Mobilfunksysteme der dritten Generation, die im Laufe der Standardisierung aneinander angenähert wurden, um die Entwicklung von gemeinsamen Endgeräten für alle diese Standards zu ermöglichen.

Um national unterschiedliche Vorarbeiten zu berücksichtigen und den Netzbetreibern die Möglichkeit zu geben, die bereits bestehenden Netzarchitekturen zum Teil weiter zu verwenden, beinhaltet IMT–2000 mehrere Einzelstandards. Diese lassen sich grob in vier Kategorien einteilen:
[[File:P_ID1482__Bei_T_4_1_S2_v1.png|right|frame|Die &bdquo;IMT–Familie” – ein Überblick]]
*$\rm W–CDMA$:   Dazu zählt man die FDD-Komponente des europäischen UMTS–Standards sowie das amerikanische cdma2000–System.
*$\rm TD–CDMA$:   Zu dieser Gruppe zählt die TDD–Komponente von UMTS sowie das chinesische TD–SCDMA, das mittlerweile in den UMTS–TDD–Standard integriert ist.
*$\rm TDMA$:   Eine Weiterentwicklung des GSM–Ablegers EDGE und des amerikanischen Pendants UWC–136, auch bekannt als DS–AMPS.
*$\rm FD–TDMA$:   Die Weiterentwicklung des europäischen Schnurlos–Telefonie–Standards DECT (''Digital Enhanced Cordless Telecommunication'').

Im Folgenden konzentrieren wir uns auf das in Europa entwickelte System  $\rm UMTS$  (''Universal Mobile Telecommunications System''), das die beiden erstgenannten Standards  sowie  $\rm TD–CDMA$  der Systemfamilie IMT–2000 unterstützt.

==Historische Entwicklung von UMTS ==
 
Es folgen einige Daten zur historischen Entwicklung von UMTS und der verwendeten Techniken. Weitere Informationen finden Sie zum Beispiel unter diesem [http://www.umtsworld.com/umts/history.htm Internet–Link].
*'''1940–1950'''   Erste militärische Anwendungen von Signalspreizverfahren.
*'''1949'''   Erste Grundzüge des CDMA–Verfahrens durch C. E. Shannon und J. R. Pierce.
*'''1970'''   Verschiedene CDMA–Entwicklungen für militärische Systeme, z.B. GPS.
*'''1989–1992'''   Grundlagenforschung zu den Eigenschaften zukünftiger Mobilfunksysteme im Rahmen des EU–Programms RACE–1 (''Research, Analysis, Communication, Evaluation'').
*'''1992'''   Erste Überlegungen zum Standard IMT–2000 durch die ITU.
*'''1992–1995'''   EU–Programm RACE–2 mit dem Schwerpunkt „Entwicklung von Systemkonzepten” – basierend auf den Ergebnissen von RACE–1.
*'''1996'''   Gründung des UMTS–Forums in Zürich – Umbenennung des geplanten europäischen Standards „W–CDMA” in „UMTS”.
*'''1998'''   Übernahme der beiden Modi ''W–CDMA'' und ''TD–CDMA'' in den UMTS–Standard auf der ETSI–SMG–Sitzung in Paris.
*'''1998'''   Gründung des ''3gpp''–Forums (''3rd Generation Partnership Project'') durch die Gremien ETSI–SMG, T1P1, ARIB TTC und TTA.
*'''1999'''   Verabschiedung des Standards UMTS–R99 (Release 1999) durch die ETSI. Dieser gilt als Basis für die ersten verfügbaren UMTS–Endgeräte.
*'''2001 '''  Verabschiedung der Release 4 als Weiterentwicklung von UMTS–R99: ''Quality of Service'' (QoS) wird nun an der Funkschnittstelle und im Festnetz unterstützt.
*'''2001 '''  Erstes kommerzielle UMTS–Netz des norwegischen Unternehmens TELENOR.
*'''2002 '''  Verabschiedung der UMTS Release 5:   Die an das GSM–Festnetz angelehnte Architektur wird durch ein vollständig IP–basiertes Festnetz ersetzt.
*'''2002 '''  Erste UMTS–Sprach– und Datenverbindung von Nortel Networks und Qualcomm. Diese Firmen gelten als Vorreiter bei der Umsetzung der UMTS–Technologie.
*'''2004'''   Verabschiedung der UMTS Release 6. Dieser Standard bietet dem Nutzer einen verbesserten QoS und dem Anbieter eine effektivere Ressourcenverwaltung.

[[File:P_ID1483__Bei_T_4_1_S3_v2_90.png|right|frame|Zur historischen Entwicklung von UMTS]]
{{GraueBox|TEXT=
$\text{Zusammenfassung der historischen Entwicklung von UMTS}$ 

Auch bei UMTS ist zwischen den ersten Konzeptüberlegungen und der endgültigen Einführung mehr als ein Jahrzehnt vergangen.

Dies war ähnlich wie bei der Einführung anderer Kommunikationssysteme, wie zum Beispiel bei
*[[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_ISDN|ISDN]]  (''Integrated Services Digital Network''),
*[[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_DSL|DSL]]  (''Digital Subscriber Line''),
*[[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_GSM|GSM]]  (''Global System for Mobile Communications'').}}
 
==Frequenzspektren für UMTS==
 
Zuständig für die Zuweisung von Bandbreiten und Frequenzbänder der Kommunikationssysteme ist die  ''International Telecommunication Union''  (ITU). Insbesondere bei UMTS gibt es aber Abweichungen zwischen den europäischen und den ITU–Frequenzzuweisungen, da manche Frequenzbänder in manchen Ländern schon von anderen Mobilfunksystemen belegt waren. Die Grafik zeigt die europäische (unten) sowie die ITU–Frequenzbelegung (oben).

[[File:P_ID1526__Bei_T_4_1_S4_v1.png|right|frame|UMTS–Frequenzspektren]]
Hierbei bedeuten:
*$\rm GSM \ 1800$ – Frequenzband für den Downlink des GSM 1800,
*$\rm SAT$ – satellitengestützte Systeme (jeweils  $\text{30 MHz}$  für Uplink und Downlink),
*$\rm DECT$ – ''Digital Enhanced Cordless Telecommunications'' (Schnurlostelefon– Standard),
*$\rm UTRA–FDD$ – ''UMTS Terrestrial Radio Access–Frequency Division Duplex'',
*$\rm UTRA–TDD$ – ''UMTS Terrestrial Radio Access–Time Division Duplex''.
 
$\rm UTRA–FDD$  – oder kurz  $\rm FDD$  – besteht aus zwölf gepaarten Uplink– und Downlink–Frequenzbändern zu je  $\text{5 MHz}$  Bandbreite. Die Frequenzbänder liegen in Europa
*zwischen  $\text{1920 MHz}$  und  $\text{1980 MHz}$  im Uplink, sowie
*zwischen  $\text{2110 MHz}$  und  $\text{2170 MHz}$  im Downlink.

Dagegen besteht  $\rm UTRA–TDD$  – oder kurz $\rm TDD$ – aus fünf Frequenzbändern zu je  $\text{5 MHz}$  Bandbreite, in denen mittels Zeitmultiplex sowohl Uplink– als auch Downlink–Daten übertragen werden sollen.
*Für TDD sind die Frequenzen zwischen  $\text{1900 MHz}$  und  $\text{1920 MHz}$  (vier Kanäle) und zwischen  $\text{2020 MHz}$  und  $\text{2025 MHz}$  (ein Kanal) reserviert.
*Das Band zwischen  $\text{2010 MHz}$  und  $\text{2020 MHz}$  wurde noch nicht lizenziert und wird deswegen in Deutschland ebenfalls noch nicht genutzt.

== Vollduplexverfahren ==
 
Um die beiden Übertragungsrichtungen Uplink und Downlink zu trennen, werden in UMTS zwei unterschiedliche Betriebsmodi unterstützt. Man unterscheidet:
*''UMTS Terrestrial Radio Access Frequency Division Duplex''  (UTRA–FDD),
*''UMTS Terrestrial Radio Access Time Division Duplex''  (UTRA–TDD).

Der wesentliche Unterschied zwischen diesen beiden Modi zeigt sich vor allem in der physikalischen Ebene des Protokollstapels. Die beiden Verfahren unterscheiden sich dabei sowohl in ihren Duplex– als auch in ihren Vielfachzugriffsverfahren.

[[File:P_ID1527__Bei_T_4_1_S3a_v1.png|center|frame|UTRA–FDD–Modus in UMTS]]

Im  $\rm UTRA–FDD$–Modus werden – wie in obiger Grafik zu sehen – die Uplink– und Downlink–Daten gleichzeitig auf unterschiedlichen, aber korrespondierenden gepaarten Frequenzblöcken zu je  $\text{5 MHz}$  übertragen. Dabei ist zu beachten:
*Daten verschiedener Teilnehmer werden auf dem gleichen Frequenzband gesendet und empfangen.
*Die Verwendung von verschiedenen CDMA–Spreizcodes ermöglicht die Trennung der jeweiligen Teilnehmerdaten.
*Es wird außerdem das  ''TDMA–Verfahren''  verwendet, um periodische Funktionen wie zum Beispiel die Leistungssteuerung zu realisieren.
*Das  ''FDMA–Verfahren''  kann zusätzlich zu CDMA und TDMA genutzt werden, wenn der Netzbetreiber über mehr als einen Frequenzkanal verfügt.

Der FDD–Modus wird nur in Europa und meist nur bei symmetrischen Diensten verwendet, deren Bandbreitenanforderungen im Uplink und im Downlink etwa gleich sind. Dies ist zum Beispiel bei der Sprachkommunikation oder der Videotelefonie der Fall.

Im  $\rm UTRA–TDD$–Modus werden Uplink– und Downlink–Daten im gleichen Frequenzband übertragen. Dabei werden Uplink und Downlink zeitlich getrennt, wie die folgende Grafik zeigt. Weiterhin gilt:
*Der Umschaltzeitpunkt (''Switching Point'') kann abhängig vom Datenvolumenverhältnis zwischen Uplink und Downlink flexibel gewählt werden.
*Die Teilnehmer werden beim TDD–Modus sowohl durch den Spreizcode  (wie bei FDD)  als auch durch den Zeitschlitz gekennzeichnet.
*Verfügt der Netzbetreiber mehrere Frequenzkanäle, so kann wie bei FDD zusätzlich zu CDMA und TDMA noch FDMA zum Einsatz kommen.

[[File:P_ID1528__Bei_T_4_1_S3b_v1.png|center|frame|UTRA–TDD–Modus in UMTS]]

Der TDD–Modus wird derzeit in Europa noch nicht genutzt und wird nach seiner Einführung hauptsächlich bei asymmetrischen Diensten (zum Beispiel:   Downloads oder Surfen im Internet) eingesetzt werden, bei denen sich die Datenvolumina von Downlink und Uplink deutlich unterscheiden.

==Eigenschaften des UMTS-Funkkanals==
 
Im UMTS–Funkkanal treten neben Interferenzen durch andere Teilnehmer und Rauschen zusätzlich eine Reihe unvorhersehbarer, störender und verzerrender Effekte auf, die sich zudem über der Zeit verändern.

Bedingt durch Reflexionen sowie Streuungen und Beugungen an Objekten erfährt das gesendete Signal eine  '''Mehrwegeausbreitung'''  (englisch:  ''Mulipath Scattering'').

[[File:P_ID1529__Bei_T_4_1_S5a_v2.png|right|frame|Szenario mit Mehrwegeausbreitung]]
*Dabei erreicht das Signal den Empfänger nicht nur über den direkten Pfad, sondern über mehrere Wege mit unterschiedlichen Laufzeiten und unterschiedlich gedämpft.
*Die Mehrwegeausbreitung wird von der Umgebung beeinflusst, zusätzlich aber auch von einer möglichen Bewegung des Teilnehmers, wie in der Grafik durch die Bewegungsgeschwindigkeit  $v$  angedeutet ist.
 
Der  '''Pfadverlust'''  (englisch:  ''Path–Loss'') geht auf Ausbreitungseigenschaften elektromagnetischer Wellen zurück – siehe Seite  [[Mobile_Communications/Distanzabhängige_Dämpfung_und_Abschattung#Gebr.C3.A4uchliches_Pfadverlustmodell|Gebräuchliches Pfadverlustmodell]]  im Buch &bdquo;Mobile Kommunikation”. Für die Untersuchung dieses Dämpfungsphänomens gehen wir von einem vereinfachten Pfadverlustmodell aus. Dieses besagt:
*Die Empfangsleistung eines Funksignals fällt mit der Entfernung  $d$  um  $d^{–γ}$, wobei  $γ$  eine mediumsabhängige Konstante der Funkausbreitungswelle darstellt.
*Unter Berücksichtigung von konstruktiven oder destruktiven Bodenreflexionen nimmt die Konstante  $γ$  unterhalb des  &bdquo;Break Points”  $d_0$  Werte zwischen  $2$  und  $3$  an.
*Oberhalb dieses charakteristischen Punktes verstärken sich die Reflexionseffekte und die Ausbreitungskonstante  $γ$  wächst auf Werte zwischen  $3.5$  und  $4$  an.

[[File:P_ID1530__Bei_T_4_1_S5b_v1.png|right|frame|Pfadverlust (Dämpfung) abhängig von der Entfernung]]
{{GraueBox|TEXT=
$\text{Beispiel 1:}$ 
Rechts dargestellt ist der Pfadverlust (in dB) in Abhängigkeit der Entfernung  $d$. Bei diesem Beispiel ist die Konstante  $α_0 = 10^{–5}$  $($also  $50 \ \rm dB)$  gesetzt und der Break Point liegt bei  $d_0 = \ \rm 100 \ m$.
*Im linken Bereich  $(d \ll d_0)$  gilt  $γ \approx 2$.
*Für  $d \gg d_0$  ist dagegen  $γ \approx 4$.
*Im Bereich um  $d = d_0$  steigt die Ausbreitungskonstante koninuierlich von  $γ = 2$  auf  $γ = 4$  an.}}

==Frequenz– und zeitselektives Fading==
 
Eine wesentliche Eigenschaft des Mobilfunkkanals stellt das so genannte  '''Fading'''  dar. Dieses entsteht durch zeitlich veränderliche Signalabschattungen  (englisch:  ''Shadowing'')  und durch mögliche Bewegungen des Mobilfunkteilnehmers.

Im Buch  [[Mobile Kommunikation]]  wird diese Art der Signalbeeinträchtigung ausführlich behandelt.

Hier folgt nur eine kurze Zusammenfassung. Man unterscheidet zum einen:
*''schnelles Fading''  (englisch:  ''Fast Fading''  oder  ''Short Term Fading'')  mit kurzzeitigen Einbrüchen der Empfangsleistung im Mikrosekundenbereich,
*''langsames Fading''  (englisch:  ''Long Term Fading'')  – also nur langsame Veränderungen (meist) im Sekundenbereich.

''Fast Fading''  beeinträchtigt hauptsächlich Systeme mit großer Symboldauer, also kleiner Bandbreite. Da aber die Bandbreite bei UMTS sehr viel größer ist als bei GSM, ist dieses System weniger anfällig gegenüber ''Fast Fading''.

Weiterhin lässt sich Fading auch noch wie folgt klassifizieren:
*'''Frequenzselektives Fading'''  wird durch Mehrwegeausbreitung über Pfade mit unterschiedlichen Verzögerungszeiten verursacht. Als Folge dieses Fadings werden verschiedene Frequenzanteile durch die Leistungsübertragungsfunktion  $|H_{\rm K}(f)|^2$  des Kanals unterschiedlich gedämpft.
*'''Zeitselektives Fading'''  entsteht durch eine Relativbewegung zwischen Sender und Empfänger. Dadurch kommt es abhängig von der Bewegungsrichtung  (hin zum oder weg vom Sender)  zu Frequenzverschiebungen, die physikalisch durch den  ''Dopplereffekt''  beschrieben werden.

Die Fadingeigenschaften  &bdquo;frequenzselektiv”  und  &bdquo;zeitselektiv”  sollen nun noch etwas genauer erläutert werden, insbesondere wird dargelegt, unter welchen Bedingungen mit welchen dieser Fadingarten zu rechnen ist. Wir verweisen an dieser Stelle auch auf die beiden interaktiven Applets
:: [[Applets:Mehrwegeausbreitung_und_Frequenzselektivität_(Applet)|Mehrwegeausbreitung und Frequenzselektivität]]  sowie
:: [[Applets:Zur_Verdeutlichung_des_Dopplereffekts_(Applet)|Zur Verdeutlichung des Dopplereffekts]].

{{BlaueBox|TEXT=
$\text{Kennzeichen von frequenzselektivem Fading:}$ 
*Durch den Empfang verschiedener Streukomponenten mit unterschiedlichen Verzögerungszeiten entsteht eine  '''Mehrwegeverbreiterung'''  (englisch:  ''Delay Spread'' )  $T_{\rm V}$, definiert als Differenz zwischen maximaler und minimaler Verzögerungszeit. Der Kehrwert hiervon ergibt näherungsweise die Kohärenzbandbreite  $B_{\rm K}$.
*Man spricht dann von  ''frequenzselektivem Fading'', wenn die Kohärenzbandbreite  $B_{\rm K}$  sehr viel kleiner ist als die Signalbandbreite  $B_{\rm S}$. Als Folge werden verschiedene Frequenzanteile durch den Kanal unterschiedlich gedämpft, woraus lineare Verzerrungen resultieren.}}

{{BlaueBox|TEXT=
$\text{Kennzeichen von zeitselektivem Fading:}$ 
*Beim zeitselektiven Fading entsteht eine so genannte  '''Dopplerverbreiterung'''  (englisch:  ''Doppler Spread'' )  $B_{\rm D}$, die als Differenz zwischen der maximal und der minimal auftretenden Dopplerfrequenz definiert ist.
*Deren Kehrwert bezeichnet man als die  ''Korrelationsdauer''  $T_{\rm D} = {1}/{B_{\rm D} }$. In manchen Literaturstellen wird diese Größe auch als  ''Kohärenzzeit''  bezeichnet. Bei UMTS tritt immer dann  ''zeitselektives Fading''  auf, wenn die  ''Korrelationsdauer''  $T_{\rm D}$  sehr viel kleiner ist als die Chipdauer  $T_{\rm C}$.}}

{{GraueBox|TEXT=
$\text{Beispiel 2:}$ 
Die linke Grafik verdeutlicht den Unterschied zwischen frequenzselektivem und nicht frequenzselektivem Fading:
[[File:P_ID1531__Bei_T_4_1_S7_v1.png|right|frame|Die roten Kurven verdeutlichen frequenzselektives und zeitselektives Fading]]
*Dargestellt ist die Leistungsübertragungsfunktion  $\vert H_{\rm K}(f, t)\vert ^2$  des Kanals zu einer festen Zeit  $t$.
*Während blau nichtfrequenzselektives Fading mit  $-5 \ \rm dB$  eingezeichnet ist, zeigt die rote Kurve in der linken Grafik ein Beispiel von frequenzselektivem Fading.
*Unterschiedliche Frequenzanteile werden dabei unterschiedlich gedämpft.

Die rechte Grafik zeigt schematisch zeitselektives Fading:
*Aufgetragen ist hier die Leistungsübertragungsfunktion  $\vert H_{\rm K}(f, t) \vert ^2$  des Kanals für eine feste Frequenz  $f$.
*Die blaue Kurve gilt für nicht zeitselektives Fading:  Zu jeder Zeit wird das Signal um  $5 \ \rm dB$  gedämpft.}}

==UMTS–Dienste ==
 
Die Einführung von UMTS hat sich unter anderem die Erweiterung und Diversifikation der angebotenen Mobilfunkdienste zum Ziel gesetzt. Ein UMTS–fähiges Endgerät muss zusätzlich zu den klassischen Diensten (Sprachübertragung, Messaging, usw.) eine Reihe komplexerer multimedialer Anwendungen und Funktionen unterstützen.

Man kann diese Dienste – je nach Anwendung – in sechs Hauptkategorien unterteilen:
*''Information'' :   Internet–Surfen (''Info–on–demand''), Online–Printmedien,
*''Kommunikation'' :   Video– und Audiokonferenz, Fax, ISDN, Messaging,
*''Unterhaltung'' :   Mobile TV, Mobile Radio, Video–on–Demand, Online–Gaming,
*''Geschäftlicher Bereich'' :   Interaktives Einkaufen, E–Commerce,
*''Technischer Bereich'' :   Online–Betreuung, Distributionsservice (Sprache und Daten),
*''Medizinischer Bereich'' :   Telemedizin.

[[File:P_ID1484__Bei_T_4_1_S9_v1.png|Right|frame|Zusammenstellung und Klassifizierung der UMTS–Dienste]]
{{GraueBox|TEXT=
$\text{Beispiel 3:}$  In der Abbildung sind die UMTS–Dienste nach verschiedenen Merkmalen klassifiziert:
#nach Datenrate in vertikaler Richtung,
#nach Art der Verbindung (bidirektional, unidirektional, Broadcast) in horizontaler Richtung.

''Anmerkungen:''
*Die Höhe eines Kästchens gibt (in etwa) den Bereich für die erforderliche Datenrate an.
*Die Breite deutet näherungsweise auf den Datenumfang hin.}}

==Sicherheitsaspekte ==
 
Die Sicherheitsmerkmale in UMTS–Netzen basieren auf den gleichen Prinzipien wie bei GSM. Allerdings wurden einige GSM–Sicherheitsfunktionen entfernt, ersetzt oder ausgebaut. Dadurch wurden
*die Verschlüsselungsalgorithmen robuster,
*die Authentifizierungsalgorithmen strenger und
*die Kriterien zur Vertraulichkeit eines Teilnehmers enger.

Die wesentlichen von GSM übernommenen Sicherheitsstandards bei UMTS sind:
# Authentifizierung des Teilnehmers,
# Vertraulichkeit der Teilnehmeridentität,
# Verschlüsselung der Funkschnittstelle.

Zusätzlich zu diesen wurden bei UMTS noch weitere Sicherheitsmaßnahmen beachtet:
# Gegenseitige Authentifizierung, um die Nutzung falscher Basisstationen zu vermeiden,
# Verschlüsselung der Verbindung zwischen Basisstation und zugehörigem Kontrollknoten,
# Verschlüsselung und Authentifizierung der Sicherheitsdaten bei der Übertragung,
# Mechanismen zur Aktualisierung der Sicherheitsmerkmale.

Man kann die oben aufgeführten Sicherheitsmaßnahmen entsprechend der Grafik klassifizieren.

[[File:P_ID1486__Bei_T_4_1_S10_v1.png|right|frame|Zusammenstellung der Sicherheitsmaßnahmen bei UMTS]]
Man unterscheidet Sicherheitskonzepte für
*den sicheren  '''Netzzugang'''  (''Network Access Security'')  für jeden Teilnehmer,

*die  '''Netzdomäne'''  (''Network Domain Security'')  – ein sicherer Austausch von Kontrolldaten zwischen den Knoten innerhalb der Netzdomäne wird sichergestellt,

*die  '''Teilnehmerdomäne'''  (''User Domain Security'')  – der Zugang zu den Endgeräten wird sichergestellt,
*die  '''Anwendungsdomäne'''  (''Application Domain Security'')  – der sichere Austausch zwischen Anwendungen der Teilnehmerendgeräte und der Netzanbieter wird garantiert.
 
Der UMTS–Teilnehmer kann jederzeit erkennen, welche dieser Sicherheitsmaßnahmen in Betrieb sind und welche davon für bestimmte Dienste benötigt werden. Man spricht in diesem Zusammenhang von ''Sichtbarkeit'' und ''Konfigurierbarkeit'' der Sicherheit.

==Aufgaben zum Kapitel==
 
[[Aufgaben:Aufgabe_4.1:_Verschiedene_Duplexverfahren_bei_UMTS|Aufgabe 4.1: Verschiedene Duplexverfahren bei UMTS]]

[[Aufgaben:Aufgabe_4.2:_Grundlegendes_zum_UMTS-Funkkanal|Aufgabe 4.2: Grundlegendes zum UMTS-Funkkanal]]

{{Display}}

Examples of Communication Systems/Weiterentwicklungen des GSM

2020-10-13T15:39:26Z

Rosa: Rosa moved page Examples of Communication Systems/Weiterentwicklungen des GSM to Examples of Communication Systems/Further Developments of the GSM

#REDIRECT [[Examples of Communication Systems/Further Developments of the GSM]]

Examples of Communication Systems/Further Developments of the GSM

2020-10-13T15:39:26Z

Rosa: Rosa moved page Examples of Communication Systems/Weiterentwicklungen des GSM to Examples of Communication Systems/Further Developments of the GSM

{{Header
|Untermenü=GSM – Global System for Mobile Communications
|Vorherige Seite=Gesamtes GSM–Übertragungssystem
|Nächste Seite=Allgemeine Beschreibung von UMTS
}}

==Die verschiedenen Generationen des GSM==
 
GSM wurde ursprünglich als ein paneuropäisches Mobilfunknetz konzipiert und entwickelt, vor allem für Telefongespräche und Fax. Die Datenübertragung bei konstanter niedriger Datenrate war sekundär.
Der GSM–Standard wurde nach der Darstellung in verschiedenen Phasen weiter entwickelt. So wurden neue Dienste ermöglicht.

[[File:P_ID1234__Bei_T_3_5_S1_v3.png|right|frame|Die verschiedenen Generationen des GSM]]

Die Grafik aus  [EVB01]<ref name='EVB01'>Eberspächer, J.; Vögel, H.J.; Bettstetter, C.: ''Global System for Mobile Communication''. 3. Auflage. Stuttgart: Teubner, 2001.</ref>  zeigt die Weiterentwicklungen von GSM:
*Das bisher im dritten Hauptkapiteln beschriebene  $\rm GSM$–System beschränkt sich auf die beiden ersten Generationen. Die  $\rm Phase \ 1$  beinhaltete nur grundlegende Teledienste und einige wenige Zusatzdienste, die zur Markteinführung von GSM im Jahr 1991 verbindlich von allen damaligen Netzbetreibern angeboten werden konnten.
*Bereits die Standardisierung der  $\rm Phase \ 2$  in den Jahren von 1995 bis 1997 beinhaltete erste Weiterentwicklungen des GSM–Standards. Dadurch wurden die von  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_ISDN|ISDN]]  her bekannten Zusatzdienste auch für GSM schrittweise verfügbar gemacht und um einige neue Leistungsmerkmale ergänzt, so etwa Anklopfen  (''Call Waiting'')  oder Halten  (''Hold'').
*In den Jahren 1997–2000 wurden neue Datendienste mit höherer Datenrate entwickelt, wie zum Beispiel
:: [[Examples_of_Communication_Systems/Weiterentwicklungen_des_GSM#High_Speed_Circuit.E2.80.93Switched_Data_.28HSCSD.29|High Speed Circuit–Switched Data]]  (HSCSD),
:: [[Examples_of_Communication_Systems/Weiterentwicklungen_des_GSM#General_Packet_Radio_Service_.28GPRS.29|General Packet Radio Service]]  (GPRS), und
:: [[Examples_of_Communication_Systems/Weiterentwicklungen_des_GSM#Enhanced_Data_Rates_for_GSM_Evolution|Enhanced Data Rates for GSM Evolution]]  (EDGE).
:Diese neueren Datendienste werden der  $\rm Phase \ 2+$  (oder Generation 2.5) zugerechnet und sind in der Grafik grün hinterlegt.
*Zur dritten Mobilfunkgeneration gehört unter anderem  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_UMTS|UMTS]]  (''Universal Mobile Telecommunications System''). Dieser Standard ermöglichte deutlich höhere Datenübertragungsraten, als dies mit dem GSM–Standard möglich war. Er wird im vierten Hauptkapitel dieses Buches eingehend behandelt. In obiger Grafik ist dieses System der dritten Generation rot hinterlegt.

Die Neuerungen der  $\rm Phase \ 2+$  betreffen fast alle Aspekte von GSM, von der Funkübertragung bis hin zur Verbindungssteuerung. Die damit ermöglichten neuen Datendienste werden auf den folgenden Seiten näher erklärt.

==High Speed Circuit–Switched Data (HSCSD)==
 
[[File:P_ID1235__Bei_T_3_5_S3_v1.png|right|frame|Bündelung mehrerer Zeitschlitze bei HSCSD]]
Durch den 1999 eingeführten GSM–Datenübertragungsstandard  $\rm High \ Speed \ Circuit–Switched \ Data$  (HSCSD) konnte durch eine verbesserte Kanalcodierung die Nutzdatenrate pro Verbindung von  $9.6 \ \rm kbit/s$  auf  $14.4 \ \rm kbit/s$  erhöht werden, wenn es die Übertragungsbedingungen erlaubten.

Durch die Bündelung mehrerer benachbarter Zeitschlitze konnte die Datenrate noch weiter gesteigert werden.

Die Datenrate hängt davon ab, wie viele Kanäle der Netzbetreiber für die Bündelung zur Verfügung stellt bzw. wie viele Kanäle das HSCSD–Handy verarbeiten kann.
 

Die Grafik erklärt das Prinzip der Bündelung mehrerer Zeitschlitze:

*Jeder der acht physikalischen Kanäle (Zeitschlitze) eines Rahmens bietet maximal  $14.4 \ \rm kbit/s$  für die Datenkommunikation. HSCSD ermöglicht eine Kanalbündelung durch die Kombination mehrerer Zeitschlitze, wie sie auch bei ISDN verwendet wird. Man spricht in diesem Zusammenhang von  ''Multislot Capability''.
*Durch das Zusammenschalten aller acht Kanäle ergäben sich somit  $\rm 8 · 14.4 \ kbit/s = 115.2 \ kbit/s$. Da jedoch die Verbindung zwischen dem  ''Base Station Controller''  (BSC) und dem  ''Mobile Switching Center''  (MSC) auf  $64 \ \rm kbit/s$  begrenzt ist, beschränkt man sich auf die Bündelung von vier Zeitschlitzen, woraus sich die maximale Übertragungsrate zu  $57.6 \ \rm kbit/s$  ergibt.
*Ein Vorteil der HSCSD–Technik gegenüber dem paketorientierten GPRS (siehe nächste Seite) ist die leitungsorientierte Datenübertragung. Dies ist insbesondere für Anwendungen von Vorteil, die gleichmäßige Bandbreiten benötigen, da hier der Übertragungskanal mit niemandem geteilt werden muss. Beispiele hierfür sind die Video– und die Bildübertragung.
*Nachteilig sind allerdings die höheren Übertragungskosten durch die Belegung mehrerer Kanäle. Diese Kanäle stehen somit für andere Mobilfunkteilnehmer nicht mehr zu Verfügung. In einer Funkzelle mit hoher Kanalauslastung kann es deshalb passieren, dass die Bündelung mehrerer Kanäle vom Netzbetreiber unterbunden wird.

==General Packet Radio Service (GPRS)==
 
Mit der GSM–Erweiterung  $\rm General \ Packet \ Radio \ Service$  (GPRS) wurde 2000 erstmals eine paketorientierte Datenübertragung ermöglicht. GPRS unterstützt sehr viele Protokolle (Internet Protocol, X.25, Datex–P, usw.) und erlaubt dem Mobilfunkteilnehmer, mit fremden Datennetzen (Internet oder firmeninternen Intranets) zu kommunizieren. GPRS war ein wichtiger Zwischenschritt in der Evolution der zellularen Mobilfunknetze in Richtung dritter Generation und hin zum mobilen Internet.

Ein GPRS–Benutzer profitiert von kürzeren Zugriffzeiten und der höheren Datenrate $($bis  $21.4 \ \rm kbit/s)$  gegenüber dem herkömmlichen GSM  $(9.6 \ \rm kbit/s)$  und HSCSD  $(14.4 \ \rm kbit/s)$. Die Gebühren ergeben sich bei GPRS nicht aus der Verbindungsdauer, sondern aus der tatsächlich übertragenen Datenmenge. Deshalb muss nicht (wie bei HSCSD) ein Funkkanal dauerhaft für einen Benutzer reserviert werden.

[[File:P_ID1236__Bei_T_3_5_S3_v3.png|right|frame|GPRS–Systemarchitektur]]

Zur Einführung von GPRS waren einige Modifikationen und Ergänzungen im GSM–Netz notwendig, die in der Grafik „GPRS–Systemarchitektur” aus  [BVE99]<ref name ='BVE99'>Bettstetter, C.; Vögel, H.J.; Eberspächer, J.: ''GSM Phase 2+ General Packet Radio Service GPRS: Architecture, Protocols, and Air Interface''. In: IEEE Communications Surveys & Tutorials, Vol. 2 (1999) No. 3, S. 2-14.</ref>  zusammengefasst sind:
*Blaue Linien beschreiben Nutz– und Signalisierungsdaten.
*Die orange–gepunkteten Verbindungen kennzeichnen Signalisierungsdaten.
*'''Gb''', '''Gc''', '''Gd''', usw. geben Schnittstellen von GPRS an.

Zur Integration von GPRS in die bestehende GSM–Systemarchitektur wird diese um eine neue Klasse von Netzknoten erweitert.

Die zusätzlichen GPRS–Komponenten – in der Grafik durch rote Kreise hervorgehoben – werden hier nur stichpunktartig erklärt:
*Die  '''GPRS Support Nodes'''  (GSN) sind für die Übertragung und die Verkehrslenkung  (''Routing'')  der Datenpakete zwischen den Mobilstationen und den externen paketvermittelten Datennetzen verantwortlich. Hierbei unterscheidet man zwischen SGSN und GGSN, die miteinander über ein IP–basiertes GPRS–Backbone–Netz kommunizieren.
*Der  '''Serving GPRS Support Node'''  (SGSN) ist für das Mobilitätsmanagement zuständig und übernimmt für die Paketdatendienste eine ähnliche Funktion wie das  ''Mobile Switching Center''  (MSC) für die verbindungsorientierten Sprachsignale.
*Der  '''Gateway GPRS Support Node'''  (GGSN) ist die Schnittstelle zu fremden paketorientierten Datennetzen. Er konvertiert die vom SGSN kommenden GPRS–Pakete in das entsprechende Protokoll  (IP, X.25, ...)  und sendet diese an das  '''Packet Data Network'''  (PDN) aus.

'''GPRS–Luftschnittstelle'''

Ein GPRS–Handy führt beim Einschalten als erstes die Prozedur „Cell Selection” durch, indem es nach einem Frequenzkanal mit GPRS–Daten sucht. Wurde ein solcher Kanal gefunden, so muss je nach Handyklasse das Handy manuell auf GPRS–Dienste eingestellt werden oder es kann automatisch und dynamisch zwischen GPRS und GSM umschalten. Man unterscheidet:
*Geräte der Klasse  $\rm A$  können GPRS–Datendienste und GSM–Übertragungsdienste gleichzeitig übernehmen; die Kanalressourcen werden parallel paket– und durchschaltevermittelt überwacht.
*Bei Klasse  $\rm B$  werden die Signalisierungskanäle von GSM und GPRS gleichzeitig überwacht, solange kein Dienst durchgestellt ist. Der parallele GSM/GPRS–Betrieb ist aber nicht möglich.
*In der Klasse  $\rm C$  muss sich der Teilnehmer vorher entscheiden, ob er das Handy für GSM oder GPRS nutzen möchte, da Signalisierungskanäle nicht mehr simultan überwacht werden können.

Um die GSM–Funkschnittstelle auf den paketorientierten GPRS–Betrieb umstellen zu können, mussten die logischen Kanäle erweitert werden. Logische GPRS–Kanäle erkennt man an einem vorangestellten „P”, das die paketorientierte Betriebsart indiziert. Fast für alle logischen GSM–Kanäle gibt es das entsprechende GPRS–Äquivalent:
*Der  ''Packet Data Traffic Channel''  (PDTCH) wird bei GPRS als  '''Verkehrskanal'''  für den Nutzdatentransfer verwendet. Der entsprechende GSM–Kanal heißt TCH.
*Die  '''Signalisierungskanäle'''  werden wie bei GSM in den  ''Packet Broadcast Control Channel''  (PBCCH), den  ''Packet Common Control Channel''  (PCCCH) und den  ''Packet Dedicated Control Channel''  (PDCCH) unterteilt.

GPRS ermöglicht den Teilnehmern, Daten mit öffentlichen Datennetzen auszutauschen und verwendet dazu wie GSM die GMSK-Modulation und die FDMA/TDMA–Kombination mit acht Zeitschlitzen pro TDMA-Rahmen. Es ergeben sich folgende Unterschiede:
*Im GSM–Standard wird jeder aktiven Mobilstation genau ein Zeitschlitz eines TDMA–Rahmens zugewiesen. Dieser physikalische Kanal ist für die gesamte Dauer eines Rufes sowohl im Uplink als auch im Downlink für die Mobilstation reserviert.
*Bei GPRS können zur Ratensteigerung bis zu acht Zeitschlitze kombiniert werden. Außerdem werden Up– und Downlink separat zugewiesen. Die physikalischen Kanäle werden nur für die Dauer der Übertragung von Datenpaketen reserviert und anschließend wieder frei gegeben.

'''GPRS–Kanalcodierung'''

Im Gegensatz zum herkömmlichen GSM $($mit der Datenrate  $9.6 \ \rm kbit/s)$  sind bei GPRS vier mögliche  ''Codierschemata''  definiert, die je nach Empfangsqualität genutzt werden können:
*Codierschema 1 $(\rm CS–1)$  mit  $9.05 \ \rm kbit/s$  (181 Bit pro 20 ms),
*Codierschema 2 $(\rm CS–2)$  mit  $13.4 \ \rm kbit/s$  (268 Bit pro 20 ms),
*Codierschema 3 $(\rm CS–3)$  mit  $15.6 \ \rm kbit/s$  (312 Bit pro 20 ms),
*Codierschema 4 $(\rm CS–4)$  mit  $21.4 \ \rm kbit/s$  (428 Bit pro 20 ms).

Die kleinstmögliche Datenrate ist somit  $9.05 \ \rm kbit/s$  ($\rm CS–1$, ein Zeitschlitz), die maximale beträgt derzeit (2007)  $171.2 \ \rm kbit/s$  ($\rm CS–4$, acht Zeitschlitze). Diese theoretische Geschwindigkeit wird in der Praxis jedoch nicht erreicht, da die meisten aktuellen GPRS–Handys nur maximal eine Netto–Datenrate von  $13.4 \ \rm kbit/s$  ($\rm CS–2$) unterstützen. Die Grafik und die nachfolgenden Erklärungen beziehen sich auf diese Kombination.

[[File:P_ID1237__Bei_T_3_5_S5_v1a.png|center|frame|Zur Kanalcodierung bei GPRS]]

*Die  $268$  Informationsbit werden zunächst durch sechs vorcodierte Bit des  ''Uplink State Flags''  (USF),  $16$  Paritätsbit der so genannten  ''Block Check Sequence''  (BCS) und vier Tailbits  $(0000)$  ergänzt. Letztere sind für die Terminierung der Faltungscodes notwendig.
*Zur Kanalcodierung wird der von GSM bekannte Faltungscode der Coderate  $R_{\rm C} = 1/2$  benutzt. Durch diesen werden die insgesamt  $294$ Bit  auf  $588$  Bit verdoppelt und somit ausreichend gegen Übertragungsfehler geschützt.
*Anschließend werden  $132$  dieser  $588$  Bit punktiert, so dass daraus schließlich ein Codewort der Länge  $456$  Bit $($Bitrate  $22.8 \ \rm kbit/s)$  resultiert. Damit ergibt sich eine resultierende Coderate (von Faltungscoder inklusive Punktierung) von  $294/456 ≈ 65\%$.
*Nach der Kanalcodierung werden die Codewörter einem Blockinterleaver der Tiefe  $4$  zugeführt. Das Interleavingschema ist für alle vier Codierschemata identisch.

== Enhanced Data Rates for GSM Evolution ==
 
Die letzte GSM–Erweiterung  $\rm Enhanced \ Data \ Rates \ for \ GSM–Evolution$  (EDGE) mit dem Ziel, die Datenübertragungsrate in GSM–Netzen zu erhöhen, benutzt neben  ''Gaussian Minimum Shift Keying''  (GMSK) als zusätzliches Modulationsverfahren  ''8–Phase Shift Keying''  (8–PSK):
*Bei diesem gibt es acht verschiedene Symbole (bei GMSK nur zwei), die sich durch unterschiedliche Phasenlagen bei Vielfachen von  $45^\circ$  unterscheiden.
*Das bedeutet, dass mit jedem Symbol drei Datenbit übertragen werden können, wodurch die Datenrate im Vergleich zu GPRS um den Faktor  $3$  gesteigert wird.

Mit der Definition von EDGE wird HSCSD zu  ''Enhanced Circuit Switched Data''  (E–CSD) und GPRS zu  ''Enhanced–GPRS''  (E–GPRS). T–mobile ist allerdings der einzige deutsche Netzbetreiber, der derzeit (2007) EDGE in seinem Netz anbietet.

[[File:P_ID1238__Bei_T_3_5_S6a_v1.png|right|frame|''Normal Burst''  von EDGE bzw. E–GPRS]]

Die Grafik zeigt den  ''Normal Burst''  von EDGE bzw. E–GPRS. Man erkennt folgende Unterschiede zum  ''Normal Burst''  bei GSM:
*Der  ''Normal Burst''  besteht bei EDGE aus  $468.75$  Bit anstelle der  $156.25$  Bit bei GSM, woraus die Verdreifachung der Datenrate ersichtlich ist.
*Wie bei GSM gibt es zwei  ''Stealing Flags''. Tailbits, Trainingssequenz und  ''Guard Period''  werden jeweils verdreifacht. Damit verbleiben für das Datenfeld  $57 · 3 + 2 = 173$ Bit.
*Somit werden bei E–GPRS im  ''Normal Burst''  $346$  Bit kanalcodierte Daten  $($Coderate  $R_{\rm C} =1/2)$  pro  $576.9\ \rm µ s$  übertragen, was einer Netto–Datenrate von ca.  $60 \ \rm kbit/s$  entspricht.

'''Modulation and Coding Schemes bei E–GPRS'''

Bei E–GPRS gibt es neun vom Betreiber auswählbare  ''Modulation and Coding Schemes''  (MCS), die von den verwendeten Kanalcodier– und Modulationsverfahren abhängen.

[[File:P_ID1239__Bei_T_3_5_S6c.png|center|frame|Tabelle der  ''Modulation and Coding Schemes''  bei E–GPRS]]

Die Tabelle zeigt die möglichen Schemata von E–GPRS. Daraus ist zu erkennen:
*Die ersten vier Schemata verwenden wie GSM/GPRS das Modulationsverfahren GMSK mit einem bit Information pro Kanalzugriff, während bei  $\rm MCS–5$, ... ,  $\rm MCS–9$  eine achtstufige Phasenmodulation (8–PSK) benutzt wird und damit drei bit pro Symbol übertragen werden.
*Je kleiner die Coderate, desto größer ist die zugesetzte Redundanz und damit die Datensicherheit. Insbesondere zwischen  $\rm MCS–4$  $(R_{\rm C} = 1)$  und  $\rm MCS–5$  $(R_{\rm C} = 0.37)$  nimmt die Coderate wegen der günstigeren Modulationsart trotz höherer Netto–Datenrate signifikant ab (letzte Spalte).
*Der aufwändigste Modus  $\rm MCS–9$  bietet gemäß der Tabelle eine Datenrate von  $59.2 \ \rm kbit/s$  und erlaubt theoretisch die gleichzeitige Belegung von acht Zeitschlitzen, was eine maximale Netto–Datenrate von  $473.6 \ \rm kbit/s$  bedeuten würde. Allerdings ist dieser Modus  $($mit $R_{\rm C} = 1)$  nur bei extrem guten Bedingungen anwendbar und acht Zeitschlitze stehen auch nur selten zur Verfügung.
*Mit  $\rm MCS–8$  und sieben Zeitschlitzen kann man immerhin schon  $380.8 \ \rm kbit/s$  erreichen und ist damit in der Größenordnung von  '''Universal Mobile Telecommunications System'''  (UMTS), dem bekanntesten Standard der dritten Mobilfunkgeneration, der derzeit  $384 \ \rm kbit/s$  anbietet.
*EDGE verwendet die gleichen Frequenzen wie GSM, weshalb diese Technik besonders für Betreiber mit bestehender GSM–Infrastruktur interessant ist, die im Jahr 2000 keine der teueren UMTS–Lizenzen erworben haben und trotzdem eine ausreichend hohe Datenrate anbieten wollen.

Das System UMTS wird im nachfolgenden vierten Hauptkapitel eingehend beschrieben.

==Aufgabe zum Kapitel==
 
[[Aufgaben:Aufgabe_3.8:_General_Packet_Radio_Service|Aufgabe 3.8: General Packet Radio Service]]
==Quellenverzeichnis==
<references />

{{Display}}

Examples of Communication Systems/Gesamtes GSM–Übertragungssystem

2020-10-13T15:39:12Z

Rosa: Rosa moved page Examples of Communication Systems/Gesamtes GSM–Übertragungssystem to Examples of Communication Systems/Entire GSM Transmission System

#REDIRECT [[Examples of Communication Systems/Entire GSM Transmission System]]

Examples of Communication Systems/Entire GSM Transmission System

2020-10-13T15:39:12Z

Rosa: Rosa moved page Examples of Communication Systems/Gesamtes GSM–Übertragungssystem to Examples of Communication Systems/Entire GSM Transmission System

{{Header
|Untermenü=GSM – Global System for Mobile Communications
|Vorherige Seite=Sprachcodierung
|Nächste Seite=Weiterentwicklungen des GSM
}}

==Komponenten der Sprach– und Datenübertragung==
 
Nachfolgend sehen Sie das Blockschaltbild des sendeseitigen GSM–Übertragungssystems, das
*sowohl für digitalisierte Sprachsignale  $($Abtastrate:  $8 \ \rm kHz$,  Quantisierung:  $13$ Bit   ⇒   Datenrate:  $104 \ \rm kbit/s)$
*als auch für  $9.6 \ \rm kbit/s$–Datensignale geeignet ist.

Die Komponenten für die Sprachübertragung sind blau, die für Daten rot und gemeinsame Blöcke grün dargestellt.

[[File:P_ID1216__Bei_T_3_4_S1_v1.png|center|frame|Komponenten der Sprach– und –Datenübertragung bei GSM]]

Hier eine kurze Beschreibung der einzelnen Komponenten:
*Sprachsignale werden durch die Sprachcodierung von  $104 \ \rm kbit/s$  auf  $13 \ \rm kbit/s$  – also um den Faktor  $8$ – komprimiert. Die in der Grafik angegebene Bitrate gilt für den Vollraten–Codec, der pro Sprachrahmen $($Dauer  $T_{\rm R} = 20\ \rm ms)$  genau  $260$  Bit liefert.
*Der  '''AMR–Codec'''  liefert im höchsten Modus  $12.2 \ \rm kbit/s$  $(244$  Bit pro Sprachrahmen$)$. Der Sprachcodec muss aber zusätzlich auch Informationen hinsichtlich des aktuellen Modus übertragen, so dass die Datenrate vor der Kanalcodierung ebenfalls  $13 \ \rm kbit/s$  beträgt.
*Aufgabe der gestrichelt eingezeichneten  '''Voice Activity Detection'''  ist es zu entscheiden, ob der aktuelle Sprachrahmen tatsächlich ein Sprachsignal enthält oder nur eine Sprachpause, während der die Leistung des Sendeverstärkers heruntergefahren werden sollte.
*Durch die  '''Kanalcodierung'''  wird wieder Redundanz hinzugefügt, um Fehlerkorrektur beim Empfänger zu ermöglichen. Pro Sprachrahmen gibt der Kanalcoder  $456$  Bit ab, woraus sich die Datenrate  $22.8 \ \rm kbit/s$  ergibt. Die wichtigeren Bit werden besonders geschützt.
*Der  '''Interleaver'''  verwürfelt die entstehende Bitfolge, um den Einfluss von Bündelfehlern zu vermindern. Die  $456$  Eingangsbit werden auf vier Zeitrahmen zu je  $114$  Bit aufgeteilt. Zwei aufeinander folgende Bits werden somit immer in zwei verschiedenen Bursts übertragen.
*Ein  '''Datenkanal'''  – im Bild rot markiert – unterscheidet sich von einem Sprachkanal (blau gekennzeichnet) nur durch die unterschiedliche Eingangsrate  $(9.6 \ \rm kbit/s$  statt  $104 \ \rm kbit/s)$  und die Verwendung eines zweiten, äußeren Kanalcoders anstelle des Sprachcodierers.

Die grün hinterlegten Komponenten gelten für die Sprach– und Datenübertragung gleichermaßen. Die erste gemeinsame Systemkomponente für Sprach– und Datenübertragung im Blockschaltbild des GSM–Senders ist die  '''Verschlüsselung''', die verhindern soll, dass Unbefugte Zugriff auf die Daten erhalten.

Dabei gibt es zwei grundsätzlich unterschiedliche Verschlüsselungsverfahren:
*'''Symmetrische Verschlüsselung''':  Diese kennt nur einen einzigen geheimen Schlüssel, der sowohl zur Verschlüsselung und Chiffrierung der Nachrichten im Sender als auch zur Entschlüsselung und Dechiffrierung im Empfänger benutzt wird. Der Schlüssel muss vor der Kommunikation erzeugt und zwischen den Kommunikationspartnern über einen sicheren Kanal ausgetauscht werden. Der Vorteil dieses im herkömmlichen GSM angewendeten Verschlüsselungsverfahrens ist, dass es sehr schnell arbeitet.
*'''Asymmetrische Verschlüsselung''':  Dieses Verfahren benutzt zwei unabhängige, aber zueinander passende asymmetrische Schlüssel. Es ist nicht möglich, mit einem Schlüssel den anderen zu berechnen. Der  „Public Key”  ist öffentlich zugänglich und dient der Verschlüsselung. Der  „Private Key”  ist geheim und wird bei der Entschlüsselung verwendet. Im Gegensatz zu den symmetrischen Verschlüsselungsverfahren sind die asymmetrischen Methoden wesentlich langsamer, bieten dafür aber auch eine höhere Sicherheit.

Der zweite grüne Block ist die  '''Burstbildung''', wobei es verschiedene Burstarten gibt. Beim  ''Normal Burst''  werden die  $114$  codierten, verwürfelten und verschlüsselten Bit durch Hinzufügen von  ''Guard Period'', Signalisierungsbits, etc. auf  $156.25$  Bit abgebildet. Diese werden innerhalb eines Zeitschlitzes der Dauer  $T_{\rm Z} = 576.9 \ \rm µ s$  mittels des  ''Modulationsverfahrens''  &bdquo;GMSK” übertragen. Daraus ergibt sich die Brutto–Datenrate  $270.833 \ \rm kbit/s$.

Beim Empfänger gibt es in umgekehrter Reihenfolge die Blöcke
*Demodulation,
*Burstzerlegung,
*Entschlüsselung,
*De–Interleaving,
*Kanaldecodierung,
*Sprachdecodierung.

Auf den nächsten Seiten werden alle Blöcke von obigem Übertragungsschema im Detail vorgestellt.

==Codierung bei Sprachsignalen==
 
Uncodierte Funkdatenübertragung führt zu Bitfehlerraten im Prozentbereich. Mit  [[Kanalcodierung]]  (englisch:  ''Channel Coding'') können aber manche Übertragungsfehler beim Empfänger erkannt oder sogar korrigiert werden. Die Bitfehlerrate lässt sich so auf Werte kleiner als  $10^{–5}$ reduzieren.

[[File:P_ID1219__Bei_T_3_4_S2_v1.png|right|frame|Zur Codierung von Sprachsignalen bei GSM]]

Zunächst betrachten wir die GSM-Kanalcodierung für die Sprachkanäle, wobei als Sprachcoder der  [[Examples_of_Communication_Systems/Sprachcodierung#GSM_Fullrate_Vocoder_.E2.80.93_Vollraten.E2.80.93Codec|Vollraten–Codec]]  vorausgesetzt wird. Die Kanalcodierung eines Sprachrahmens von  $20\ \rm ms$  Dauer erfolgt in vier aufeinander folgenden Schritten entsprechend der Grafik.
 
Aus der Beschreibung im Kapitel  [[Examples_of_Communication_Systems/Sprachcodierung|Sprachcodierung]]  ist zu ersehen, dass nicht alle  $260$  Bit den gleichen Einfluss auf die subjektiv empfundene Sprachqualität haben.
*Deshalb werden die Daten entsprechend ihrer Wichtigkeit in drei Klassen aufgeteilt:   Die  $50$  wichtigsten Bit bilden die  '''Klasse 1a''', weitere  $132$  werden der  '''Klasse 1b'''  zugeteilt und die restlichen  $78$  Bit ergeben die eher unwichtige  '''Klasse 2'''.
*Im nächsten Schritt wird für die  $50$  besonders wichtigen Bit der Klasse 1a mit einem rückgekoppelten Schieberegister eine drei Bit lange  [[Examples_of_Communication_Systems/Verfahren_zur_Senkung_der_Bitfehlerrate_bei_DSL#Cyclic_Redundancy_Check|Cyclic Redundancy Check]]  (CRC)–Prüfsumme berechnet. Das Generatorpolynom für diese CRC–Überprüfung lautet:
:$$G_{\rm CRC}(D) = D^3 + D +1\hspace{0.05cm}. $$

*Anschließend werden den insgesamt  $185$  Bit der Klasse 1a und 1b inclusive den drei (rot eingezeichneten) CRC–Paritätsbits noch vier (gelbe)  ''Tailbits'' „0000”  angehängt. Diese vier Bit initialisieren die vier Speicherregister des nachfolgenden Faltungscoders jeweils mit  $0$, so dass für jeden Sprachrahmen von einem definierten Status ausgegangen werden kann.
*Der Faltungscode mit der Coderate  $R_{\rm C} = 1/2$  verdoppelt diese  $189$  wichtigsten Bit auf  $378$  Bit und schützt diese somit signifikant gegen Übertragungsfehler. Anschließend werden noch die  $78$  Bit der unwichtigeren Klasse 2 ungeschützt angehängt.
*Auf diese Weise ergeben sich nach der Kanalcodierung pro  $20 \ \rm ms$–Sprachrahmen genau  $456$  Bit. Dies entspricht einer (codierten) Datenrate von  $22.8\ \rm kbit/s$  gegenüber  $13\ \rm kbit/s$  nach der Sprachcodierung. Die effektive Kanalcodierungsrate beträgt somit  $260/456 = 57\%$.

==Interleaving bei Sprachsignalen==
 
Das Ergebnis der Faltungsdecodierung hängt nicht nur von der Häufigkeit der Übertragungsfehler ab, sondern auch von deren Verteilung. Um gute Korrekturergebnisse zu erzielen, sollte der Kanal kein Gedächtnis besitzen, sondern möglichst statistisch unabhängige Bitfehler liefern.

Bei Mobilfunksystemen treten Übertragungsfehler aber meist in Blöcken  (''Error Bursts'')  auf. Durch den Einsatz der Interleaving–Technik werden solche Bündelfehler über mehrere Bursts gleichmäßig verteilt und so deren Auswirkungen abgeschwächt.

[[File:P_ID1226__Bei_T_3_4_S2b_v1.png|center|frame|Interleaving bei GSM–Sprachsignalen]]

Bei einem Sprachkanal arbeitet der Interleaver in folgender Weise:
*Die  $456$  Eingangsbit pro Sprachrahmen werden nach einem festen Algorithmus auf vier Blöcke zu je  $114$  Bit aufgeteilt. Wir bezeichnen diese für den  $n$–ten Sprachrahmen mit  $A_n$,  $B_n$,  $C_n$  und  $D_n$. Der Index  $n-1$  bezeichnet den vorhergehenden Rahmen und  $n+1$  den nachfolgenden.
*Der Block  $A_n$  wird weiterhin in zwei Unterblöcke  $A_{{\rm g},\hspace{0.05cm}n}$  und  $A_{{\rm u},\hspace{0.05cm}n}$  zu je  $57$  Bit unterteilt, wobei  $A_{{\rm g},\hspace{0.05cm}n}$  nur die geraden Bitpositionen und  $A_{{\rm u},\hspace{0.05cm}n}$  die ungeraden Bitpositionen von  $A_n$  bezeichnen. In der Grafik sind  $A_{{\rm g},\hspace{0.05cm}n}$  und  $A_{{\rm u},\hspace{0.05cm}n}$  an der roten bzw. blauen Hinterlegung zu erkennen.
*Der Unterblock  $A_{{\rm g},\hspace{0.05cm}n}$  des  $n$–ten Sprachrahmens wird mit dem Block  $A_{{\rm u},\hspace{0.05cm}n-1}$  des vorherigen Rahmens zusammengefügt und ergibt die  $114$  Nutzdaten eines  ''Normal Bursts'':  $\left (A_{{\rm g},\hspace{0.05cm}n}, A_{{\rm u},\hspace{0.05cm}n-1}\right )$.  Gleiches gilt für die drei nächsten Bursts:  $\left (B_{{\rm g},\hspace{0.05cm}n}, B_{{\rm u},\hspace{0.05cm}n-1}\right )$,  $\left (C_{{\rm g},\hspace{0.05cm}n}, C_{{\rm u},\hspace{0.05cm}n-1}\right )$,  $\left (D_{{\rm g},\hspace{0.05cm}n}, D_{{\rm u},\hspace{0.05cm}n-1}\right )$.
*In gleicher Weise werden die ungeraden Unterblöcke des  $n$–ten Sprachrahmens mit den geraden Unterblöcken des nachfolgenden Rahmens verschachtelt:  $\left (A_{{\rm g},\hspace{0.05cm}n+1}, A_{{\rm u},\hspace{0.05cm}n}\right )$, ... ,  $\left (D_{{\rm g},\hspace{0.05cm}n+1}, D_{{\rm u},\hspace{0.05cm}n}\right )$.

{{BlaueBox|TEXT=
$\text{Fazit:}$  Die hier beschriebene Verwürfelungsart wird  ''block-diagonales Interleaving''  genannt, hier speziell vom Grad  $8$:
*Dieses vermindert die Störanfälligkeit gegenüber Bündelfehlern.
*So werden niemals zwei aufeinander folgende Bit eines Datenblocks direkt hintereinander gesendet.
*Mehrbitfehler treten nach dem De–Interleaver isoliert auf und können so wirkungsvoller korrigiert werden.}}

==Codierung und Interleaving bei Datensignalen ==
 
Für die GSM–Datenübertragung steht jedem Teilnehmer lediglich eine Nettodatenrate von  $9.6\ \rm kbit/s$  zur Verfügung. Zur Fehlersicherung werden zwei Verfahren eingesetzt:
*'''Forward Error Correction'''  (FEC, deutsch:  Vorwärtsfehlerkorrektur)  wird auf der physikalischen Schicht durch Anwendung von Faltungscodes realisiert.
*'''Automatic Repeat Request'''  (ARQ); dabei werden auf der Sicherungsschicht defekte und nicht korrigierbare Pakete neu angefordert.

[[File:P_ID1221__Bei_T_3_4_S4_v1.png|center|frame|Zur Verdeutlichung von Codierung und Interleaving bei Datensignalen]]

Die Grafik verdeutlicht Kanalcodierung und Interleaving für den Datenkanal mit  $9.6\ \rm kbit/s$, die im Gegensatz zur Kanalcodierung des Sprachkanals  $($mit Bitfehlerrate  $10^{–5}$... $10^{–6})$  eine nahezu fehlerfreie Rekonstruktion der Daten erlaubt:

*Die Datenbitrate von  $9.6\ \rm kbit/s$  wird zuerst im  ''Terminal Equipment''  der Mobilstation durch eine nicht GSM–spezifische Kanalcodierung um  $25\%$  auf  $12\ \rm kbit/s$  erhöht, um eine Fehlererkennung in leitungsvermittelten Netzen zu ermöglichen.
*Bei der Datenübertragung sind alle Bit gleichwertig, so dass es im Gegensatz zur Codierung des Sprachkanals keine Klassen gibt. Die  $240$ Bit  pro  $20 \ \rm ms$–Zeitrahmen werden zusammen mit vier Tailbits  $0000$  zu einem einzigen Datenrahmen zusammengefasst.
*Diese  $244$  Bit werden wie bei Sprachkanälen durch einen Faltungscoder der Rate  $1/2$  auf  $488$  Bit verdoppelt. Pro einlaufendem Bit werden zwei Codesymbole erzeugt, zum Beispiel gemäß den Generatorpolynomen  $G_0(D) = 1 + D^3 + D^4$  und  $G_1(D) = 1 + D + D^3 + D^4$:

[[File:P_ID1227__Bei_T_3_4_S4b_v1.png|center|frame|Bei GSM verwendeter Faltungscoder der Rate  $1/2$]]

*Der nachfolgende Interleaver erwartet – ebenso wie ein „Sprach–Interleaver” – als Eingabe nur  $456$  Bit pro Rahmen. Deshalb werden von den  $488$  Bit am Ausgang des Faltungscodierers noch  $32$  Bit an den Positionen  $15 · j - 4 \ ( j = 1$, ... ,$ 32 )$  entfernt („Punktierung”).
*Da die Datenübertragung weniger zeitkritisch ist als die Sprachübertragung, wird hier ein höherer Interleaving–Grad gewählt. Die  $456$  Bit werden auf bis zu  $24$ Interleaver–Blöcke  zu je  $19$  Bit verteilt, was bei Sprachdiensten aus Gründen der Echtzeitübertragung nicht möglich wäre.
*Danach werden die  $456$  Bit auf vier aufeinander folgende  ''Normal Bursts''  aufgeteilt und versandt. Beim Einpacken in die Bursts werden wieder Gruppierungen gerader und ungerader Bits gebildet, ähnlich dem Interleaving im Sprachkanal.

==Empfängerseite der GSM–Strecke – Decodierung ==
 
Der GSM–Empfänger (gelb hinterlegt) beinhaltet die GMSK-Demodulation, die Burstzerlegung, die Entschlüsselung, das De–Interleaving sowie die Kanal– und Sprachdecodierung.

[[File:P_ID1223__Bei_T_3_4_S6_v1.png|center|frame|Empfängerseitige Datenverarbeitung bei GSM]]

Zu den beiden letzten Blöcken in obigem Bild ist anzumerken:
*Das Decodierverfahren wird durch die GSM–Spezifikation nicht vorgeschrieben, sondern ist den einzelnen Netzbetreibern überlassen. Die Leistungsfähigkeit ist vom eingesetzten Algorithmus zur Fehlerkorrektur abhängig.
*Zum Beispiel wird beim Decodierverfahren  ''Maximum Likelihood Sequence Estimation''  (MLSE) die wahrscheinlichste Bitsequenz unter Verwendung des Viterbi–Algorithmus oder eines MAP–Empfängers  (''Maximum A–posteriori Probability'')  ermittelt.
*Nach der Fehlerkorrektur wird der  ''Cyclic Redundancy Check''  (CRC) durchgeführt, wobei beim Vollraten–Codec der Grad des verwendeten CRC–Generatorpolynoms  $G= 3$  ist. Damit werden alle Fehlermuster bis zum Gewicht  $3$  und alle Bündelfehler bis zur Länge $4$ erkannt.
*Anhand des CRC wird über die Verwendbarkeit eines jeden Sprachrahmens entschieden. Ist das Testergebnis positiv, so werden im nachfolgenden Sprachdecoder aus den Sprachparametern  $(260$ Bit pro Rahmen$)$  die Sprachsignale synthetisiert.
*Sind Rahmen ausgefallen, so werden die Parameter früherer, als korrekt erkannter Rahmen zur Interpolation verwendet   ⇒   ''Fehlerverschleierung''. Treten mehrere nicht korrekte Sprachrahmen in Folge auf, so wird die Leistung kontinuierlich bis hin zur Stummschaltung abgesenkt.

== Aufgabe zum Kapitel==
 
[[Aufgaben:3.7_Komponenten_des_GSM–Systems|Aufgabe 3.7: Komponenten des GSM–Systems]]

{{Display}}

Examples of Communication Systems/Sprachcodierung

2020-10-13T15:38:57Z

Rosa: Rosa moved page Examples of Communication Systems/Sprachcodierung to Examples of Communication Systems/Voice Coding

#REDIRECT [[Examples of Communication Systems/Voice Coding]]

Examples of Communication Systems/Speech Coding

2020-10-13T15:38:57Z

Rosa: Rosa moved page Examples of Communication Systems/Sprachcodierung to Examples of Communication Systems/Voice Coding

{{Header
|Untermenü=GSM – Global System for Mobile Communications
|Vorherige Seite=Funkschnittstelle
|Nächste Seite=Gesamtes GSM–Übertragungssystem
}}

==Verschiedene Sprachcodierverfahren==
 
Jedem GSM-Teilnehmer steht maximal die Netto–Datenrate  $\text{22.8 kbit/s}$  zur Verfügung, während im ISDN–Festnetz mit einer Datenrate von  $\text{64 kbit/s}$  (bei  $8$  Bit Quantisierung)  bzw.  $\text{104 kbit/s}$  (bei $13$ Bit Quantisierung)  gearbeitet wird. Aufgabe der Sprachcodierung bei GSM ist die Beschränkung der Datenmenge zur Sprachsignalübertragung auf  $\text{22.8 kbit/s}$  und eine bestmögliche Reproduktion des Sprachsignals auf der Empfängerseite. Die Funktionen des GSM–Coders und des GSM–Decoders sind meist in einer Funktionseinheit zusammengefasst, die als &bdquo;Codec” bezeichnet wird.

Zur Sprachcodierung und –Decodierung werden verschiedene Signalverarbeitungsverfahren angewandt:
*Der  '''GSM Fullrate Vocoder'''  (deutsch:  GSM–Vollraten–Sprachcodec)  wurde 1991 aus einer Kombination von drei Kompressionsmethoden für den GSM–Funkkanal standardisiert. Er basiert auf  ''Linear Predictive Coding''  (LPC) in Verbindung mit  ''Long Term Prediction''  (LTP) und  ''Regular Pulse Excitation''  (RPE).
*Der  '''GSM Halfrate Vocoder'''  (deutsch:  GSM–Halbraten–Sprachcodec)  wurde 1994 eingeführt und bietet die Möglichkeit, Sprache bei nahezu gleicher Qualität in einem halben Verkehrskanal $($Datenrate  $\text{11.4 kbit/s})$  zu übertragen.
*Der  '''Enhanced Fullrate Vocoder'''  (EFR–Codec) wurde 1995 standardisiert und implementiert, ursprünglich für das nordamerikanische DCS1900–Netz. Der EFR–Codec bietet gegenüber dem herkömmlichen Vollraten–Codec eine bessere Sprachqualität.
*Der  '''Adaptive Multi–Rate Codec'''  (AMR–Codec) ist der neueste Sprachcodec für GSM. Er wurde 1997 standardisiert und 1999 vom  ''Third Generation Partnership Project''  (3GPP) auch als Standard–Sprachcodec für Mobilfunksysteme der dritten Generation wie UMTS vorgeschrieben.

Sie können sich die Qualität dieser Sprachcodierverfahren bei Sprache und Musik mit dem interaktiven Applet  [[Applets:Qualität_verschiedener_Sprach–Codecs_(Applet)|Qualität verschiedener Sprach–Codecs ]]  verdeutlichen. Diese Audio–Animation berücksichtigt auch den  [https://de.wikipedia.org/wiki/Adaptive_Multi-Rate Wideband–AMR], der 2007 für UMTS entwickelt und standardisiert wurde.

Im Gegensatz zum herkömmlichen AMR, bei dem das Sprachsignal auf den Frequenzbereich von  $\text{300 Hz}$  bis   $\text{3.4 kHz}$  bandbegrenzt wird, geht man beim WB–AMR von einem Wideband–Signal   $\text{(50 Hz – 7 kHz)}$  aus. Dieser ist somit auch für Musiksignale geeignet.

==GSM Fullrate Vocoder – Vollraten–Codec==
 
Beim  '''GSM–Vollraten-Codec'''  (englisch:  ''Full Rate Vocoder'') wird das analoge Sprachsignal im Frequenzbereich zwischen  $300 \ \rm Hz$  und  $3400 \ \rm Hz$  zunächst mit  $8 \ \rm kHz$  abgetastet und danach mit  $13$  Bit linear quantisiert ('''A/D–Wandlung'''), was eine Datenrate von  $104 \ \rm kbit/s$  ergibt.
[[File:P_ID1203__Bei_T_3_2_S2_v3.png|right|frame|LPC–, LTP– und RPE–Parameter beim GSM-Vollraten-Codec]]
Die Sprachcodierung erfolgt bei diesem Verfahren in vier Schritten:
*die Vorverarbeitung,
*die Einstellung des Kurzzeitanalyse–Filters  (''Linear Predictive Coding'', LPC),
*die Steuerung des Langzeitanalyse–Filters  (''Long Term Prediction'', LTP) und
*die Codierung des Restsignals durch eine Folge von Pulsen  (''Regular Pulse Excitation'', RPE).

In der Grafik bezeichnet  $s(n)$  das im Abstand  $T_{\rm A} = 125\ \rm µ s$  abgetastete und quantisierte Sprachsignal nach der kontinuierlich durchgeführten Vorverarbeitung, wobei
*das digitalisierte Mikrofonsignal von einem eventuell vorhandenen Gleichsignalanteil (Offset) befreit wird, um bei der Decodierung einen störenden Pfeifton von ca.  $2.6 \ \rm kHz$  bei der Wiedergewinnung der höheren Frequenzanteile zu vermeiden, und
*zusätzlich höhere Spektralanteile von  $s(n)$  angehoben werden, um die Rechengenauigkeit und Effektivität der nachfolgenden LPC–Analyse zu verbessern.

Die Tabelle zeigt die  $76$  Parameter  $(260$ Bit$)$  der Funktionseinheiten LPC, LTP und RPE. Die Bedeutung der einzelnen Größen wird auf den folgenden Seiten im Detail beschrieben.

[[File:P_ID1218__Bei_T_3_2_Sb2_v3.png|center|frame|Tabelle der Vollraten–Codec–Parameter]]

Alle Verarbeitungsschritte (LPC, LTP, RPE) erfolgen jeweils in Blöcken von  $20 \ \rm ms$  Dauer über  $160$  Abtastwerte des vorverarbeiteten Sprachsignals, die man als  '''GSM–Sprachrahmen'''  bezeichnet.
*Beim Vollraten–Codec werden pro Sprachrahmen insgesamt  $260$ Bit  erzeugt, woraus sich eine Datenrate von  $13 \ \rm kbit/s$  ergibt.
*Dies entspricht einer Kompression des Sprachsignals um den Faktor  $8$  $(104 \ \rm kbit/s$ bezogen auf $13 \ \rm kbit/s)$.

==Linear Predictive Coding – Kurzzeitprädiktion==
 
[[File:P_ID1206__Bei_T_3_2_S3_v1.png|right|frame|Bausteine der GSM-Kurzzeitprädiktion (LPC)]]
Der Block  '''Linear Predictive Coding'''  (LPC) führt eine Kurzzeitprädiktion durch, das heißt, es werden die statistischen Abhängigkeiten der Abtastwerte untereinander in einem kurzen Bereich von einer Millisekunde ermittelt.
 
Es folgt eine Kurzbeschreibung des LPC–Prinzipschaltbildes:
*Zunächst wird dazu das zeitlich unbeschränkte Signal  $s(n)$  in Intervalle  $s_{\rm R}(n)$  von  $20 \ \rm ms$ Dauer  $(160$ Samples$)$ segmentiert. Die Laufvariable innerhalb eines solchen Sprachrahmens kann vereinbarungsgemäß die Werte  $n = 1$, ... , $160$  annehmen.
*Im ersten Schritt der  '''LPC-Analyse'''  werden Abhängigkeiten zwischen den Abtastwerten durch die Autokorrelationskoeffizienten mit Indizes  $0 ≤ k ≤ 8$  quantifiziert:
:$$φ_{\rm s}(k) = \text{E}\big [s_{\rm R}(n) · s_{\rm R}(n + k)\big ].$$
*Aus diesen neun AKF–Werten werden mit Hilfe der so genannten  ''Schur–Rekursion''  acht Reflexionskoeffizienten  $r_{k}$  berechnet, die als Grundlage für die Einstellung der Koeffizienten des LPC–Analysefilters für den aktuellen Rahmen dienen.
*Die Koeffizienten  $r_{k}$  haben Werte zwischen  $±1$. Schon geringe Änderungen der  $r_{k}$  am Rand ihres Wertesbereichs bewirken große Änderungen für die Sprachcodierung. Die acht Reflexionswerte  $r_{k}$  werden logarithmisch dargestellt   ⇒   '''LAR–Parameter''' (''Log Area Ratio''):
:$${\rm LAR}(k) = \ln \ \frac{1-r_k}{1+r_k}, \hspace{1cm} k = 1,\hspace{0.05cm} \text{...}\hspace{0.05cm} , 8.$$

*Anschließend werden die acht LAR–Parameter entsprechend ihrer subjektiven Bedeutung durch unterschiedlich viele Bit quantisiert, codiert und zur Übertragung bereitgestellt. Die beiden ersten Parameter werden mit je sechs Bit, die beiden nächsten mit je fünf Bit, $\rm LAR(5)$  und  $\rm LAR(6)$  mit je vier Bit und die beiden letzten –   $\rm LAR(7)$  und  $\rm LAR(8)$–   mit je drei Bit dargestellt.
*Bei fehlerfreier Übertragung kann am Empfänger aus den acht LPC–Parametern  (insgesamt  $36$  Bit)  mit dem entsprechenden LPC–Synthesefilter das ursprüngliche Signal  $s(n)$  wieder vollständig rekonstruiert werden, wenn man von den unvermeidbaren zusätzlichen Quantisierungsfehlern durch die digitale Beschreibung der LAR-Koeffizienten absieht.
*Weiterhin wird mit Hilfe des LPC–Filters das Prädiktionsfehlersignal  $e_{\rm LPC}(n)$  gewonnen. Dieses ist gleichzeitig das Eingangssignal für die nachfolgende Langzeitprädiktion. Das LPC–Filter ist nicht rekursiv und hat nur ein kurzes Gedächtnis von etwa einer Millisekunde.

{{GraueBox|TEXT=
$\text{Beispiel 1:}$ 
Die Grafik aus  [Kai05]<ref name ='Kai05'>Kaindl, M.: ''Kanalcodierung für Sprache und Daten in GSM-Systemen''. Dissertation. Lehrstuhl für Nachrichtentechnik, TU München. VDI Fortschritt-Berichte, Reihe 10, Nr. 764, 2005.</ref>  zeigt oben einen Ausschnitt des Sprachsignals  $s(n)$  und dessen Zeit–Frequenzdarstellung. Unten ist das LPC–Prädiktionsfehlersignal  $e_{\rm LPC}(n)$  dargestellt.

[[File:P_ID1207__Bei_T_3_2_S3b_v3.png|right|frame|LPC–Prädiktionsfehlersignal bei GSM (Zeit–Frequenzdarstellung)]]

 Man erkennt aus diesen Bildern
*die kleinere Amplitude von  $e_{\rm LPC}(n)$  gegenüber  $s(n)$,
*den deutlich reduzierten Dynamikumfang, und
*das flachere Spektrum des verbleibenden Signals.}}

== Long Term Prediction – Langzeitprädiktion==
 
Bei der  '''Long Term Prediction'''  (LTP) wird die Eigenschaft des Sprachsignals ausgenutzt, dass es auch periodische Strukturen (stimmhafte Abschnitte) besitzt. Dieser Umstand wird dazu verwendet, um die im Signal vorhandene Redundanz zu reduzieren.
[[File:P_ID1208__Bei_T_3_2_S4_v1.png|right|frame|Bausteine der GSM-Langzeitprädiktion (LTP)]]
*Die Langzeitprädiktion (LTP–Analyse und –Filterung) wird viermal pro Sprachrahmen, also alle  $5 \ \rm ms$  durchgeführt.
*Die vier Subblöcke bestehen aus jeweils $40$ Samples und werden mit  $i = 1$, ... , $4$  nummeriert.
 
Es folgt eine Kurzbeschreibung gemäß dem obigen LTP–Prinzipschaltbild – siehe  [Kai05]<ref name ='Kai05'>Kaindl, M.: ''Kanalcodierung für Sprache und Daten in GSM-Systemen''. Dissertation. Lehrstuhl für Nachrichtentechnik, TU München. VDI Fortschritt-Berichte, Reihe 10, Nr. 764, 2005.</ref>.

*Das Eingangssignal ist das Ausgangssignal  $e_{\rm LPC}(n)$  der Kurzzeitprädiktion. Die Signale nach der Segmentierung in vier Subblöcken werden mit  $e_i(l)$  bezeichnet, wobei jeweils  $l = 1, 2$, ... , $40$  gilt.

*Zu dieser Analyse wird die Kreuzkorrelationsfunktion  $φ_{ee\hspace{0.03cm}',\hspace{0.05cm}i}(k)$  des aktuellen Subblocks  $i$  des LPC–Prädiktionsfehlersignals  $e_i(l)$  mit dem rekonstruierten LPC–Restsignal  $e\hspace{0.03cm}'_i(l)$  aus den drei vorherigen Teilrahmen berechnet. Das Gedächtnis dieses LTP–Prädiktors beträgt zwischen  $5 \ \rm ms$  und  $15 \ \rm ms$  und ist somit deutlich länger als das des LPC–Prädiktors  $(1 \ \rm ms)$.
* $e\hspace{0.03cm}'_i(l)$  ist die Summe aus dem LTP–Filter–Ausgangssignal  $y_i(l)$  und dem Korrektursignal  $e_{\rm RPE,\hspace{0.05cm}i}(l)$, das von der folgenden Komponente  (''Regular Pulse Excitation'')  für den  $i$–ten Subblock bereitgestellt wird.
*Der Wert von  $k$, für den die Kreuzkorrelationsfunktion  $φ_{ee\hspace{0.03cm}',\hspace{0.05cm}i}(k)$  maximal wird, bestimmt die für jeden Subblock  $i$  optimale LTP–Verzögerung  $N(i)$. Die Verzögerungen  $N(1)$  bis  $N(4)$  werden jeweils mit sieben Bit quantisiert und zur Übertragung bereitgestellt.
*Der zu  $N(i)$  gehörige Verstärkungsfaktor  $G(i)$  – auch ''LTP–Gain''  genannt – wird so bestimmt, dass der an der Stelle  $N(i)$  gefundene Subblock nach Multiplikation mit  $G(i)$  am besten zum aktuellen Teilrahmen  $e_i(l)$  passt. Die Verstärkungsfaktoren  $G(1)$  bis  $G(4)$  werden jeweils mit zwei Bit quantisiert und ergeben zusammen mit  $N(1)$, ..., $N(4)$  die  $36$  Bit für die acht LTP–Parameter.
*Das Signal  $y_i(l)$  nach LTP–Analyse und –Filterung ist ein Schätzsignal für das LPC–Signal  $e_i(l)$  im  $i$–ten Subblock. Die Differenz zwischen beiden ergibt das LTP–Restsignal  $e_{\rm LTP,\hspace{0.05cm}i}(l)$, das an die nächste Funktionseinheit „RPE” weitergegeben wird.

{{GraueBox|TEXT=
$\text{Beispiel 2:}$ 
Die Grafik aus  [Kai05]<ref name ='Kai05'>Kaindl, M.: ''Kanalcodierung für Sprache und Daten in GSM-Systemen''. Dissertation. Lehrstuhl für Nachrichtentechnik, TU München. VDI Fortschritt-Berichte, Reihe 10, Nr. 764, 2005.</ref>  zeigt
*oben das LPC–Prädiktionsfehlersignal  $e_{\rm LPC}(n)$  – gleichzeitig das LTP-Eingangssignal,
*unten das Restfehlersignal  $e_{\rm LTP}(n)$  nach der Langzeitprädiktion.

[[File:P_ID1209__Bei_T_3_2_S4b_v2.png|right|frame|LTP–Prädiktionsfehlersignal bei GSM (Zeit–Frequenzdarstellung)]]

Es wird nur ein Subblock betrachtet. Deshalb wird hier für die diskrete Zeit bei LPC und LTP der gleiche Buchstabe  $n$  verwendet.

Man erkennt aus diesen Darstellungen
*die kleineren Amplituden von  $e_{\rm LTP}(n)$  gegenüber  $e_{\rm LPC}(n)$  und
*den deutlich reduzierten Dynamikumfang von  $e_{\rm LTP}(n)$,
*besonders in periodischen, also stimmhaften Abschnitten.

Auch im Frequenzbereich zeigt sich eine Reduktion des Prädiktionsfehlersignals aufgrund der Langzeitprädiktion.}}

==Regular Pulse Excitation – RPE–Codierung ==
 
Das Signal nach LPC– und LTP–Filterung ist bereits redundanz–reduziert, das heißt, es benötigt eine geringere Bitrate als das abgetastete Sprachsignal  $s(n)$.

[[File:P_ID1210__Bei_T_3_2_S5_v2.png|right|frame|Bausteine der Regular Pulse Excitation (RPE) bei GSM]]
*Nun wird in der nachfolgenden Funktionseinheit  '''Regular Pulse Excitation'''  (RPE) die Irrelevanz weiter verringert.
*Das bedeutet:   Signalanteile, die für den subjektiven Höreindruck weniger wichtig sind, werden entfernt.
 
Zu diesem Blockschaltbild ist anzumerken:
*Die RPE–Codierung wird jeweils für  $5 \ \rm ms$–Teilrahmen  $(40$ Abtastwerte$)$  durchgeführt. Dies ist hier durch den Index  $i$  im Eingangssignal  $e_{\rm LTP},\hspace{0.03cm} i(l)$  angedeutet, wobei mit  $i = 1, 2, 3, 4$  wieder die einzelnen Subblöcke durchnummeriert sind.
*Im ersten Schritt wird das LTP–Prädiktionsfehlersignal  $e_{{\rm LTP}, \hspace{0.03cm}i}(l)$  durch ein Tiefpassfilter auf etwa ein Drittel der ursprünglichen Bandbreite – also auf  $1.3 \ \rm kHz$  – bandbegrenzt. Dies ermöglicht in einem zweiten Schritt eine Reduktion der Abtastrate um ca. den Faktor  $3$.
*So wird das Ausgangssignal  $x_i(l)$  mit  $l = 1$, ... , $40$  durch Unterabtastung in vier Teilfolgen  $x_{m, \hspace{0.03cm} i}(j)$  mit  $m = 1$, ... , $4$  und  $j = 1$, ... , $13$  zerlegt. Diese Aufspaltung ist in der Grafik verdeutlicht.
*Die Teilfolgen  $x_{m,\hspace{0.03cm} i}(j)$  beinhalten folgende Abtastwerte des Signals  $x_i(l)$:
**$m = 1$:   $l = 1, \ 4, \ 7$, ... , $34, \ 37$ (rote Punkte),
**$m = 2$:   $l = 2, \ 5, \ 8$, ... , $35, \ 38$ (grüne Punkte),
**$m = 3$:   $l = 3, \ 6, \ 9$, ... , $36, \ 39$ (blaue Punkte),
**$m = 4$:   $l = 4, \ 7, \ 10$, ... , $37, \ 40$ $($ebenfalls rot, weitgehend identisch mit  $m = 1)$.

*Für jeden Subblock  $i$  wird im Block  ''RPE Grid Selection''  die Teilfolge  $x_{m,\hspace{0.03cm}i}(j)$  mit der höchsten Energie ausgewählt und der Index  $M_i$  der  ''optimalen Folge''  mit zwei Bit quantisiert und als  $\mathbf{M}(i)$   übertragen. Insgesamt benötigen die vier RPE–Teilfolgen–Indizes  $\mathbf{M}(1)$, ... ,  $\mathbf{M}(4)$  somit acht Bit.
*Von der optimalen Teilfolge für den Subblock  $i$  $($mit Index  $M_i)$  wird das  ''Betragsmaximum''  $x_{\rm max,\hspace{0.03cm}i}$  ermittelt, dieser Wert mit sechs Bit logarithmisch quantisiert und als  $\mathbf{x_{\rm max}}(i)$  zur Übertragung bereit gestellt. Insgesamt benötigen die vier RPE–Blockamplituden  $24$  Bit.
*Zusätzlich wird für jeden Subblock  $i$  die optimale Teilfolge auf  $x_{{\rm max},\hspace{0.03cm}i}$  normiert. Die so erhaltenen  $13$  Abtastwerte werden anschließend mit jeweils drei Bit quantisiert und als  $\mathbf{X}_j(i)$  codiert übertragen. Die  $4 · 13 · 3 = 156$  Bit beschreiben den so genannten  '''RPE–Pulse'''.
*Anschließend werden diese RPE–Parameter lokal wieder decodiert und als Signal  $e_{{\rm RPE},\hspace{0.03cm}i}(l)$  an das LTP–Synthesefilter im vorherigen Subblock zurückgeführt, woraus zusammen mit dem LTP–Schätzsignal  $y_i(l)$  das Signal  $e\hspace{0.03cm}'_i(l)$  erzeugt wird (siehe  [[Examples_of_Communication_Systems/Sprachcodierung#Long_Term_Prediction_.E2.80.93_Langzeitpr.C3.A4diktion|LTP–Grafik]]).
*Durch das Zwischenfügen von jeweils zwei Nullwerten zwischen zwei übertragenen RPE–Abtastwerten wird näherungsweise das Basisband von Null bis  $1300 \ \rm Hz$  in den Bereich von  $1300 \ \rm Hz$  bis  $2600 \ \rm Hz$  in Kehrlage und von  $2600 \ \rm Hz$  bis  $3900 \ \rm Hz$  in Normallage gefaltet. Dies ist der Grund für die notwendige Gleichsignalbefreiung in der Vorverarbeitung. Sonst entstünde durch die beschriebene Faltungsoperation ein störender Pfeifton bei  $2.6 \ \rm kHz$.

==Halfrate Vocoder und Enhanced Fullrate Codec==
 
Nach der Standardisierung des Vollraten–Codecs im Jahre 1991 ging es in der Folgezeit um die Entwicklung neuer Sprachcodecs mit zwei spezifischen Zielen, nämlich um
*die bessere Ausnutzung der in GSM–Systemen verfügbaren Bandbreite, und
*die Verbesserung der Sprachqualität.

Diese Entwicklung kann wie folgt zusammengefasst werden:
*Bis 1994 wurde mit dem  '''Halfrate Vocoder'''  (deutsch:  Halbraten-Codec)  ein neues Verfahren entwickelt. Dieser hat eine Datenrate von  $5.6 \ \rm kbit/s$  und bietet so die Möglichkeit, Sprache in einem halben Verkehrskanal bei annähernd gleicher Qualität zu übertragen. Dadurch können auf einem Zeitschlitz zwei Gespräche gleichzeitig abgewickelt werden. Der Halbraten–Codec wurde allerdings von den Mobilfunkbetreibern nur dann eingesetzt, wenn eine Funkzelle überlastet war. Inzwischen spielt der Halfrate–Codec keine Rolle mehr.
*Um die Sprachqualität weiter zu verbessern, wurde 1995 der  '''Enhanced Fullrate Codec'''  (EFR–Codec) eingeführt. Dieses Sprachcodierverfahren – ursprünglich für das US–amerikanische DCS1900–Netz entwickelt – ist ein Vollraten–Codec mit der (etwas niedrigeren) Datenrate  $12.2 \ \rm kbit/s$. Die Nutzung dieses Codecs muss natürlich vom Mobiltelefon unterstützt werden.
*Statt der RPE–LTP–Komprimierung (''Regular Pulse Excitation – Long Term Prediction'') beim herkömmlichen Vollraten–Codec wird bei dieser Weiterentwicklung zudem  '''Algebraic Code Excitation Linear Prediction'''  (ACELP) angewandt, was eine deutlich bessere Sprachqualität und eine ebenfalls verbesserte Fehlererkennung und –verschleierung bietet. Nähere Informationen darüber finden Sie auf der übernächsten Seite.

==Adaptive Multi–Rate Codec==
 
Die bisher beschriebenen GSM–Codecs arbeiten hinsichtlich Sprach– und Kanalcodierung unabhängig von den Kanalbedingungen und der Netzauslastung stets mit einer festen Datenrate. 1997 wurde ein neues adaptives Sprachcodierverfahren für Mobilfunksysteme entwickelt und kurz darauf durch das ''European Telecommunications Standards Institute'' (ETSI) nach Vorschlägen der Firmen Ericsson, Nokia und Siemens standardisiert. Bei den Forschungsarbeiten zum Systemvorschlag der Siemens AG war der Lehrstuhl für Nachrichtentechnik der TU München, der dieses Lerntutorial $\rm LNTwww$ zur Verfügung stellt, entscheidend beteiligt. Näheres finden Sie unter  [Hin02]<ref name ='Hin02'>Hindelang, T.: ''Source-Controlled Channel Decoding and Decoding for Mobile Communications''. Dissertation. Lehrstuhl für Nachrichtentechnik, TU München. VDI Fortschritt-Berichte, Reihe 10, Nr. 695, 2002.</ref>.

Der  '''Adaptive Multi–Rate Codec'''  – abgekürzt AMR – hat folgende Eigenschaften:
*Er passt sich flexibel an die aktuellen Kanalgegebenheiten und an die Netzauslastung an, indem er entweder im Vollraten–Modus (höhere Sprachqualität) oder im Halbraten–Modus (geringere Datenrate) arbeitet. Daneben gibt es noch etliche Zwischenstufen.
*Er bietet sowohl beim Vollraten– als auch beim Halbratenverkehrskanal eine verbesserte Sprachqualität, was auf die flexibel handhabbare Aufteilung der zur Verfügung stehenden Brutto–Kanaldatenrate zwischen Sprach– und Kanalcodierung zurückzuführen ist.
*Er besitzt eine größere Robustheit gegenüber Kanalfehlern als die Codecs aus der Frühzeit der Mobilfunktechnik. Dies gilt besonders beim Einsatz im Vollraten–Verkehrskanal.

Der AMR–Codec stellt  '''acht verschiedene Modi'''  mit Datenraten zwischen  $12.2 \ \rm kbit/s$  $(244$  Bit pro Rahmen von  $20 \ \rm ms)$  und  $4.75 \ \rm kbit/s$  $(95$ Bit pro Rahmen$)$ zur Verfügung. Drei Modi spielen eine herausgehobene Rolle, nämlich
* $12.2 \ \rm kbit/s$  – der verbesserte GSM–Vollraten–Codec (EFR-Codec),
* $7.4 \ \rm kbit/s$  – die Sprachkompression gemäß dem US–amerikanischen Standard IS–641, und
* $6.7 \ \rm kbit/s$  – die EFR–Sprachübertragung des japanischen PDC–Mobilfunkstandards.

Die folgenden Beschreibungen beziehen sich meist auf den Modus mit  $12.2 \ \rm kbit/s$.

[[File:P_ID3113__Bei_T_3_3_S8c_v1.png|right|frame|Zusammenstellung der AMR–Parameter]]

*Alle Vorgänger–Verfahren des AMR basieren auf der Minimierung des Prädiktionsfehlersignals durch eine Vorwärtsprädiktion in den Teilschritten LPC, LTP und RPE.
*Im Gegensatz dazu verwendet der AMR-Codec eine Rückwärtsprädiktion gemäß dem Prinzip „Analyse durch Synthese”. Dieses Codierungsprinzip bezeichnet man auch als  '''Algebraic Code Excited Linear Prediction'''  (ACELP).

In der Tabelle sind die Parameter des Adaptive Multi–Rate Codecs für zwei Modi zusammengestellt:
*  $244$  Bit pro  $20 \ \rm ms$   ⇒   Modus  $12.2 \ \rm kbit/s$,
*  $95$  Bit pro  $20 \ \rm ms$   ⇒   Modus  $4.75 \ \rm kbit/s$.
 
== Algebraic Code Excited Linear Prediction==
 
Die Grafik zeigt den auf  '''ACELP'''  basierenden  '''AMR-Codec'''. Es folgt eine kurze Beschreibung des Prinzips. Eine detaillierte Beschreibung finden Sie zum Beispiel in  [Kai05]<ref name ='Kai05'>Kaindl, M.: ''Kanalcodierung für Sprache und Daten in GSM-Systemen''. Dissertation. Lehrstuhl für Nachrichtentechnik, TU München. VDI Fortschritt-Berichte, Reihe 10, Nr. 764, 2005.</ref>.

[[File:P_ID1212__Bei_T_3_2_S8_v1.png|center|frame|Algebraic Code Excited Linear Prediction – Prinzip]]

*Das Sprachsignal  $s(n)$, wie beim GSM–Vollraten–Sprachcodec mit  $8 \ \rm kHz$  abgetastet und mit  $13$  Bit quantisiert, wird vor der weiteren Verarbeitung in Rahmen  $s_{\rm R}(n)$  mit  $n = 1$, ... , $160$  bzw. in Subblöcke  $s_i(l)$  mit  $i = 1, 2, 3, 4$  und  $l = 1$, ... , $40$  segmentiert.
*Die Berechnung der LPC–Koeffizienten erfolgt im rot hinterlegten Block rahmenweise alle  $20 \ \rm ms$  entsprechend  $160$  Abtastwerten, da innerhalb dieser kurzen Zeitspanne die spektrale Einhüllende des Sprachsignal  $s_{\rm R}(n)$  als konstant angesehen werden kann.
*Zur LPC–Analyse wird meist ein Filter  $A(z)$  der Ordnung  $10$  gewählt. Beim höchstratigen Modus mit  $12.2 \ \rm kbit/s$  werden die aktuellen Koeffizienten  $a_k \ ( k = 1$, ... , $10)$  der Kurzzeitprädiktion alle  $10\ \rm ms$  quantisiert, codiert und beim gelb hinterlegten Punkt '''1''' zur Übertragung bereitgestellt.
*Die weiteren Schritte des AMR werden alle  $5 \ \rm ms$  entsprechend den  $40$  Abtastwerten der Signale  $s_i(l)$  durchgeführt. Die Langzeitprädiktion (LTP) – im Bild blau umrandet – ist hier als adaptives Codebuch realisiert, in dem die Abtastwerte der vorangegangenen Subblöcke eingetragen sind.
*Für die Langzeitprädiktion (LTP) wird zunächst die Verstärkung  $G_{\rm FCB}$  für das  ''Fixed Code Book''  (FCB) zu Null gesetzt, so dass eine Folge von  $40$  Samples des adaptiven Codebuchs am Eingang  $u_i(l)$  des durch die LPC festgelegten Sprachtraktfilters  $A(z)^{–1}$  anliegen. Der Index  $i$  bezeichnet den betrachteten Subblock.
*Durch Variation der beiden LTP–Parameter  $N_{{\rm LTP},\hspace{0.05cm}i}$  und  $G_{{\rm LTP},\hspace{0.05cm}i}$  soll für diesen  $i$–ten Subblock erreicht werden, dass der quadratische Mittelwert – also die mittlere Leistung – des gewichteten Fehlersignals  $w_i(l)$  minimal wird.
*Das Fehlersignal  $w_i(l)$  ist gleich der Differenz zwischen dem aktuellen Sprachrahmen  $s_i(l)$  und dem Ausgangssignal  $y_i(l)$  des so genannten Sprachtraktfilters bei Anregung mit  $u_i(l)$, unter Berücksichtigung des Wichtungsfilters  $W(z)$  zur Anpassung an die Spektraleigenschaften des menschlichen Gehörs.
*In anderen Worten:   $W(z)$  entfernt solche spektralen Anteile im Signal  $e_i(l)$, die von einem „durchschnittlichen” Ohr nicht wahrgenommen werden. Beim Modus  $12.2 \ \rm kbit/s$  verwendet man  $W(z) = A(z/γ_1)/A(z/γ_2)$  mit konstanten Faktoren  $γ_1 = 0.9$  und  $γ_2 = 0.6$.
*Für jeden Subblock kennzeichnet  $N_{{\rm LTP},\hspace{0.05cm}i}$  die bestmögliche LTP–Verzögerung, die zusammen mit der LTP–Verstärkung  $G_{{\rm LTP},\hspace{0.05cm}i}$  nach Mittelung bezüglich  $l = 1$, ... , $40$  den quadratischen Fehler  $\text{E}[w_i(l)^2]$  minimiert. Gestrichelte Linien kennzeichnen Steuerleitungen zur iterativen Optimierung.
*Man bezeichnet die beschriebene Vorgehensweise als  '''Analyse durch Synthese'''. Nach einer ausreichend großen Anzahl an Iterationen wird der Subblock  $u_i(l)$  in das adaptive Codebuch aufgenommen. Die ermittelten LTP–Parameter  $N_{{\rm LTP},\hspace{0.05cm}i}$  und  $G_{{\rm LTP},\hspace{0.05cm}i}$  werden codiert und zur Übertragung bereitgestellt.

==Fixed Code Book – FCB==
 
[[File:P_ID1214__Bei_T_3_2_S8b_v1.png|right|frame|Spureinteilung beim ACELP-Sprachcodec]]
Nach der Ermittlung der besten adaptiven Anregung erfolgt die Suche nach dem besten Eintrag im festen Codebuch (''Fixed Code Book'', FCB).
*Dieses liefert die wichtigste Information über das Sprachsignal.
*Zum Beispiel werden beim  $12.2 \ \rm kbit/s$–Modus hieraus pro Subblock  $40$  Bit abgeleitet.
* Somit gehen in jedem Rahmen von  $20$  Millisekunden  $160/244 ≈ 65\%$  der Codierung auf den im Bild auf der letzten Seite grün umrandeten Block zurück.
 
Das Prinzip lässt sich anhand der Grafik in wenigen Stichpunkten wie folgt beschreiben:
*Im festen Codebuch kennzeichnet jeder Eintrag einen Puls, bei dem genau  $10$  der  $40$  Positionen mit  $+1$  bzw.  $-1$  belegt sind. Erreicht wird dies gemäß der Grafik durch fünf Spuren mit jeweils acht Positionen, von denen genau zwei die Werte  $±1$  aufweisen und alle anderen Null sind.
*Ein roter Kreis in obiger Grafik  $($an den Positionen  $2,\ 11,\ 26,\ 30,\ 38)$  kennzeichnet eine  $+1$  und ein blauer eine  $-1$  $($im Beispiel bei  $13,\ 17,\ 19,\ 24,\ 35)$. In jeder Spur werden die beiden belegten Positionen mit lediglich je drei Bit codiert (da es nur acht mögliche Positionen gibt).
*Für das Vorzeichen wird ein weiteres Bit verwendet, welches das Vorzeichen des erstgenannten Impulses definiert. Ist die Pulsposition des zweiten Impulses größer als die des ersten, so hat der zweite Impuls das gleiche Vorzeichen wie der erste, ansonsten das entgegengesetzte.
*In der ersten Spur des obigen Beispiels gibt es positive Pulse auf Position  $2 \ (010)$  und Position  $5 \ (101)$, wobei die Positionszählung bei  $0$  beginnt. Diese Spur ist also gekennzeichnet durch die Positionen  $010$  und  $101$  sowie das Vorzeichen  $1$  (positiv).
*Die Kennzeichnung für die zweite Spur lautet:   Positionen  $011$  und  $000$, Vorzeichen  $0$. Da hier die Pulse an Position  $0$  und  $3$  unterschiedliche Vorzeichen haben, steht  $011$  vor  $000$. Das Vorzeichen $0$   ⇒   negativ bezieht sich auf den Puls an der erstgenannten Position  $3$.
*Ein jeder Puls – bestehend aus  $40$  Impulsen, von denen allerdings  $30$  das Gewicht &bdquo;Null” besitzen – ergibt ein stochastisches, rauschähnliches Akustiksignal, das nach Verstärkung mit  $G_{{\rm LTP},\hspace{0.05cm}i}$  und Formung durch das LPC–Sprachtraktfilter  $A(z)^{–1}$  den Sprachrahmen  $s_i(l)$  approximiert.

== Aufgaben zum Kapitel==
 
[[Aufgaben:Aufgabe_3.5:_GSM–Vollraten–Sprachcodec|Aufgabe 3.5: GSM–Vollraten–Sprachcodec]]

[[Aufgaben:Aufgabe_3.6:_Adaptive_Multi–Rate_Codec|Aufgabe 3.6: Adaptive Multi–Rate Codec]]
==Quellenverzeichnis==
<references />

{{Display}}

Examples of Communication Systems/Funkschnittstelle

2020-10-13T15:38:43Z

Rosa: Rosa moved page Examples of Communication Systems/Funkschnittstelle to Examples of Communication Systems/Radio Interface

#REDIRECT [[Examples of Communication Systems/Radio Interface]]

Examples of Communication Systems/Radio Interface

2020-10-13T15:38:43Z

Rosa: Rosa moved page Examples of Communication Systems/Funkschnittstelle to Examples of Communication Systems/Radio Interface

{{Header
|Untermenü=GSM – Global System for Mobile Communications
|Vorherige Seite=Allgemeine Beschreibung von GSM
|Nächste Seite=Sprachcodierung
}}

==Logische Kanäle von GSM ==
 
Entscheidend für den ordnungsgemäßen Betrieb des GSM–Netzes und den Informationsaustausch zwischen Mobil– und Basisstation ist die  '''Funkschnittstelle'''. Diese wird auch „Luftschnittstelle” oder „Physical Layer” genannt und definiert alle physikalischen Kanäle des GSM–Systems sowie deren Zuordnung zu den logischen Kanälen. Weiterhin ist die Funkschnittstelle für weitere Funktionalitäten wie zum Beispiel das  ''Radio Subsystem Link Control''  zuständig.

Beginnen wir mit den ''logischen Kanälen''. Diese können entweder einen ganzen physikalischen Kanal oder auch nur einen Teil eines physikalischen Kanals belegen und unterteilen sich in zwei Kategorien:
*'''Traffic Channels'''  (deutsch:  Verkehrskanäle)  werden ausschließlich für die Übertragung von Benutzerdatenströmen wie Sprache, Fax und Daten genutzt. Diese Kanäle sind für beide Richtungen – also

:: ''Mobile Station'' (MS)   ⇔   ''Base Station Subsystem'' (BSS)

:ausgelegt und können entweder durch einen Vollraten–Verkehrskanal  $\text{(13 kbit/s)}$  oder von zwei Halbratenkanälen  $\text{(je 5.6 kbit/s)}$  belegt werden.
*'''Control Channels'''  (deutsch:  Signalisierungskanäle)  versorgen über die Funkschnittstelle alle aktiven Mobilstationen durch eine paketorientierte Signalisierung, um jederzeit Nachrichten von der  ''Base Transceiver Station''  (BTS ) empfangen bzw. Nachrichten an die BTS senden zu können.

[[File:P_ID1192__Bei_T_3_2_S1.png|right|frame|Zusammenstellung der logischen Kanäle von GSM]]
 Die Tabelle listet die logischen Kanäle des GSM auf.
*Diese unterscheiden sich von den logischen ISDN–Kanälen durch ein zusätzliches „m” für „mobile”.
*Beispielsweise ist der „Bm–Kanal” vergleichbar mit dem B–Kanal des ISDN.
 
==Uplink– und Downlink–Parameter ==
 
Die logischen Kanäle werden auf  ''physikalische Kanäle''  abgebildet, die alle physikalischen Aspekte des Datentransportes beschreiben:
*die Frequenzbereiche für  '''Uplink'''  (Funkstrecke Mobilstation   →   Basisstation) und  '''Downlink'''  (Funkstrecke Basisstation   →   Mobilstation),
*die Aufteilung zwischen  ''Time Division Multiple Access''  (TDMA) und  ''Frequency Division Multiple Access''  (FDMA),
*die  ''Burststruktur'', also die Belegung eines TDMA-Zeitschlitzes bei verschiedenen Anwendungen (Benutzer- und Signalisierungsdaten, Synchronisationsmarken, usw.),
*das Modulationsverfahren  ''Gaussian Minimum Shift Keying''  (GMSK), eine Variante von  ''Continuous Phase – Frequency Shift Keying''  (CP–FSK) mit großer Bandbreiteneffizienz.

Die folgende Tabelle zeigt die Frequenzbereiche der standardisierten GSM–Systeme. Damit zwischen den beiden Richtungen keine Intermodulationsstörungen auftreten, liegt zwischen den Bändern für Uplink und Downlink ein Sicherheitsband, der so genannte  ''Duplexabstand''.

[[File:P_ID1193__Bei_T_3_2_S2.png|center|frame|Frequenzbereiche der standardisierten GSM–Systeme]]

{{GraueBox|TEXT=
$\text{Beispiel 1:}$ 
Beim  $\text{System GSM 900}$  (in Deutschland:  D–Netz)  beginnt der Uplink bei  $\text{890 MHz}$  und der Downlink bei  $\text{935 MHz}$.
*Der Duplexabstand beträgt somit  $\text{45 MHz}$.
*Sowohl der Uplink als auch der Downlink besitzen eine Bandbreite von  $\text{25 MHz}$.
*Abzüglich der Guard–Bänder an den beiden Rändern von jeweils  $\text{100 kHz}$  verbleiben  $\text{24.8 MHz}$, die in  $124$  FDMA-Kanäle zu je  $\text{200 kHz}$  unterteilt sind.

Das $\text{DCS–Band}$  (E–Netz) im Bereich um  $\text{1800 MHz}$  hat einen Duplexabstand von  $\text{95 MHz}$  und eine jeweilige Bandbreite von  $\text{75 MHz}$.
*Unter Berücksichtigung der Guard–Bänder ergeben sich hier  $374$  FDMA–Kanäle zu je  $\text{200 kHz}$.}}

== Realisierung von FDMA und TDMA==
 
[[File:P_ID1194__Bei_T_3_2_S3_v1.png|right|frame|Zusammenspiel zwischen FDMA und TDMA bei GSM]]
Beim GSM–System werden zwei Vielfachzugriffsverfahren parallel verwendet:
*Frequenzmultiplex  (''Frequency Division Multiple Access'', FDMA)  und
*Zeitmultiplex  (''Time Division Multiple Access'', TDMA).

Die Grafik und die Beschreibung gilt für das System  $\text{GSM 900}$, in Deutschland bekannt als D–Netz.

Bei den anderen GSM–Systemen gelten vergleichbare Aussagen.

Wir verweisen hier auch auf die Seite  [[Examples_of_Communication_Systems/Funkschnittstelle#GSM.E2.80.93Rahmenstruktur|GSM–Rahmenstruktur]]  und die  [[Aufgaben:Aufgabe_3.3:_GSM–Rahmenstruktur|Aufgabe 3.3]].
 
*Sowohl im Uplink als auch im Downlink geschieht die Übertragung der Signalisierungs– und Verkehrsdaten parallel in  $124$  Frequenzkanälen, bezeichnet mit &bdquo;RFCH1” bis &bdquo;RFCH124”.
*Die Mittenfrequenz des Uplink–Kanals  $n$  liegt bei  $890 \ {\rm MHz} + n · 0.2 \ {\rm MHz} \ \ ( n = 1$, ... , $124)$.  Am oberen und unteren Ende des  $25 \ {\rm MHz}$–Bandes gibt es Schutzbereiche von  je $100 \ {\rm kHz}$.
*Der Kanal  $n$  im Downlink liegt um den Duplexabstand von  $45 \ {\rm MHz}$  über dem Kanal  $n$  im Uplink bei  $935 \ {\rm MHz} + n · 0.2 \ {\rm MHz}$. Die Kanäle werden ebenso bezeichnet wie diejenigen in der Aufwärtsstrecke.
*Jeder Zelle werden einige Frequenzen per  ''Cell Allocation''  (CA) zugewiesen. In benachbarten Zellen verwendet man verschiedene Frequenzen. Eine Teilmenge der CA ist für logische Kanäle reserviert. Die verbleibenden Kanäle werden einer Mobilstation als  ''Mobile Allocation''  (MA) zugewiesen.
*Diese wendet man zum Beispiel bei Frequenzsprungverfahren  (''Frequency Hopping'')  an, wobei die Daten über verschiedene Frequenzkanäle gesendet werden. Die Übertragung wird dadurch stabiler gegenüber Kanalschwankungen. Meist erfolgt der Frequenzwechsel paketweise.
*Die einzelnen GSM–Frequenzkanäle werden durch Zeitmultiplex (TDMA) noch weiter unterteilt. Jeder FDMA–Kanal wird periodisch in so genannte  ''TDMA–Rahmen''  aufgeteilt, die ihrerseits jeweils acht Zeitschlitze (Time–Slots) umfassen.
*Die  ''Zeitschlitze''  (TDMA–Kanäle) werden zyklisch den einzelnen Teilnehmern zugeordnet und beinhalten jeweils einen so genannten  ''Burst''  von  $156.25$  Bitperioden Länge. Jedem GSM-Nutzer steht in jedem TDMA–Rahmen genau einer der acht Zeitschlitze zur Verfügung.
*Die TDMA–Rahmen des Uplinks werden gegenüber denen des Downlinks mit drei Zeitschlitzen Verzögerung gesendet. Dies hat den Vorteil, dass die gleiche Hardware einer Mobilstation sowohl zum Senden als auch zum Empfangen einer Nachricht eingesetzt werden kann.
*Die Dauer eines Zeitschlitzes beträgt  $T_{\rm Z} ≈ 577 \ \rm µ s$, die eines TDMA–Rahmens  $4.615 \ \rm ms$. Diese Werte ergeben sich aus der GSM–Rahmenstruktur. Insgesamt  $26$  TDMA–Rahmen werden zu einem so genannten Multiframe der Dauer  $120 \ \rm ms$  zusammengefasst:
:$$T_{\rm Z} = \frac{120\,{\rm ms}}{8 \cdot 26} \approx 576.9\,{\rm µ s }\hspace{0.05cm}. $$

==Die verschiedenen Burstarten bei GSM ==
 
Wie gerade gezeigt wurde, beinhaltet ein  ''Burst''  jeweils  $156.25$  Bit und hat die Dauer  $T_{\rm Z} ≈ 577 \ \rm µ s$.
[[File:P_ID1195__Bei_T_3_2_S4_v1.png|right|frame|Die verschiedenen Burstarten bei GSM]]
*Daraus berechnet sich die Bitdauer zu  $T_{\rm B} ≈ 3.69 \ \rm µ s$.

*Zur Vermeidung von Überlappungen von Bursts aufgrund unterschiedlicher Laufzeiten zwischen Mobil– und Basisstation ist am Ende eines jeden Bursts eine  '''Guard Period'''  (GP) eingefügt.

*Dieser Sicherheitsabstand beträgt  $8.25$  Bitdauern, also  $8.25 · 3.69 \ {\rm µ s} ≈ 30.5 \ {\rm µ s}$.

Man unterscheidet fünf verschiedene Arten von Bursts, wie aus obigem Bild hervorgeht:
*Normal Burst (NB),
*Frequency Correction Burst (FB),
*Synchronization Burst (SB),
*Dummy Burst (DB),
*Access Burst (AB).
 
*Der  '''Normal Burst'''  wird eingesetzt, um Daten von Verkehrs– und Signalisierungskanälen zu übertragen. Die fehlerschutzcodierten Nutzdaten (blau, zwei mal  $57$  Bits) ergeben zusammen mit je drei Tailbits (rot, in dieser Zeit wird die Sendeleistung geregelt), zwei Signalisierungsbits (grün) und  $26$  Bits für die Trainingssequenz (gelb, erforderlich für die Kanalschätzung und Synchronisation) insgesamt  $148$  Bit. Dazu kommt die Guard Period von  $8.25$ Bit  (grau).

::Die zwei (grünen) Signalisierungsbits – auch ''Stealing Flags'' genannt – zeigen an, ob der Burst lediglich Nutzdaten oder hochpriorisierte Signalisierungsinformationen transportiert, die immer verzögerungsfrei zu übertragen sind. Mit Hilfe der ''Trainingssequenz'' kann der Kanal geschätzt werden, was eine Voraussetzung für die Anwendung eines Entzerrers zur Verminderung von Impulsinterferenzen ist.

*Der  '''Frequency Correction Burst'''  wird zur Frequenzsynchronisierung einer Mobilstation verwendet. Alle Bits außer den Tailbits und der Guard Period sind hier auf logisch &bdquo;$0$” gesetzt. Die wiederholte Ausstrahlung eines solchen Bursts auf dem  ''Frequency Correction Channel''  (FCCH) entspricht einem unmodulierten Trägersignal mit der Frequenz  $f_{\rm T} + Δf_{\rm A}$  (Trägerfrequenz + Frequenzhub). Dieser Wert ergibt sich aus der Tatsache, dass das Modulationsverfahren  [[Examples_of_Communication_Systems/Funkschnittstelle#Gaussian_Minimum_Shift_Keying_.28GMSK.29|Gaussian Minimum Shift Keying]]  ein FSK–Sonderfall ist.

*Mit dem  '''Synchronization Burst'''  werden Informationen übertragen, mit deren Hilfe sich eine Mobilstation zeitlich mit der BTS synchronisiert. Neben einer langen Midambel von  $64$  Bit enthält der ''Synchronization Burst'' die TDMA–Rahmen–Nummer und den  ''Base Transceiver Station Identity Code''  (BSIC). Bei wiederholter Ausstrahlung eines solchen Bursts spricht man vom  ''Synchronization Channel''  (SCH).

*Der  '''Dummy Burst'''  (DB) wird von jeder  ''Base Transceiver Station''  (BTS) auf einer speziell ihr zugeteilten Frequenz  (''Cell Allocation'')  ausgesandt, wenn keine anderen Bursts zu versenden sind. Damit ist sichergestellt, dass eine Mobilstation stets Leistungsmessungen durchführen kann.

*Der  '''Access Burst'''  wird für wahlfreien Vielfachzugriff auf dem  ''Random Access Channel''  (RACH) eingesetzt. Um die Wahrscheinlichkeit von Kollisionen auf dem RACH gering zu halten, besitzt der  ''Access Burst''  eine wesentliche längere  ''Guard Period''  von  $68.25$  Bitdauern als die übrigen Bursts.

==GSM–Rahmenstruktur ==
 
Durch die GSM–Rahmenstruktur erfolgt die Abbildung der logischen Kanäle auf physikalische Kanäle. Hierbei wird unterschieden zwischen
*der  '''Abbildung in der Frequenz''', basierend auf  ''Cell Allocation''  (CA), ''Mobile Allocation''  (MA), der TDMA–Rahmennummer (FN) und den Vorschriften für das (optionale)  ''Frequency Hopping'',
*der  '''Abbildung in der Zeit''', wobei die TDMA–Rahmen mit jeweils acht Zeitschlitzen zur Übertragung der Bursts in Multiframes, Superframes und Hyperframes zusammengefasst werden.

[[File:P_ID1196__Bei_T_3_2_S5_v1.png|center|frame|Die GSM–Rahmenstruktur ]]

Entsprechend diesem Bild gelten folgende Aussagen:

*'''Multiframes'''  werden für die Abbildung von logischen Kanälen auf physikalische Kanäle genutzt. Hierbei sind zwei Arten zu unterscheiden, solche mit  $26$  TDMA–Rahmen und einer Zyklusdauer von  $120 \ \rm ms$ und solche mit  $51$  TDMA–Rahmen und einer Dauer von  $235.4 \ \rm ms$.

*Die Bursts der Verkehrskanäle (TCH) und der zugeordneten Steuerungskanäle (SACCH, FACCH) werden in jeweils  $26$  aufeinander folgenden TDMA-Rahmen übertragen. Dabei wird stets nur ein Zeitschlitz je TDMA-Rahmen für den jeweiligen Multiframe berücksichtigt.
*Von der Brutto–Datenrate pro Nutzer  $\text{(ca. 33.9 kbit/s)}$  sind   $\text{9.2 kbit/s}$  für Synchronisierung, Signalisierung und ''Guard Period'' reserviert und  $\text{1.9 kbit/s}$  für SACCH und IDLE. Die (codierten und verschlüsselten) Nutzdaten belegen bei Multiframe-Struktur mit  $26$  Rahmen nur  $\text{22.8 kbit/s}$.
*Die Multiframe-Struktur mit  $51$  Rahmen (rechte Bildhälfte) dient dazu, mehrere logische Kanäle auf einen physikalischen Kanal zu multiplexen. In 51 aufeinander folgenden TDMA–Rahmen werden jeweils alle Daten der Signalisierungskanäle (außer FACCH und SACCH) übertragen.
*Ein  '''Superframe'''  besteht aus  $1326$  aufeinander folgenden TDMA-Rahmen  $(51$  Multiframes mit je  $26$ TDMA–Rahmen bzw. aus  $26$  Multiframes mit je  $51$  TDMA–Rahmen$)$ und dauert ca.  $6.12$  Sekunden.

*Ein  '''Hyperframe'''  fasst jeweils  $2048$  Superframes  (bzw.  $2\hspace{0.08cm}715{\hspace0.08cm}648$  TDMA–Rahmen)  zusammen und wird mit seiner langen Zyklusdauerzur Synchronisierung der Nutzdatenverschlüsselung verwendet. Diese beträgt      $\text{3 Stunden, 28 Minuten und 53.760 Sekunden}.$

==Modulation bei GSM–Systemen==
 
Entsprechend den Aussagen der letzten Seiten müssen in einem Frequenzkanal  $156.25$  Bit pro Zeitschlitz  $(0.5769 \ \rm ms)$  übertragen werden. Dies entspricht einer Gesamtbitrate (für acht TDMA–Nutzer inkl. Kanalcodierung, Signalisierungs– und Synchronisationsinformation, etc.) von  $R_{\rm ges} = 270\hspace{0.08cm}833 \ \rm bit/s$.

Für diese Bitrate steht bei GSM eine Bandbreite von  $B = 200 \ \rm kHz$  zur Verfügung. Man benötigt deshalb ein Modulationsverfahren mit einer Bandbreiteneffizienz von mindestens  $β =R_{\rm ges}/B = 1.35$.

Beim GSM–Mobilfunk findet das Modulationsverfahren  '''Gaussian Minimum Shift Keying'''  (GMSK) Anwendung. Dieses wurde schon im Kapitel  [[Modulationsverfahren/Nichtlineare_digitale_Modulation#GMSK_.E2.80.93_Gaussian_Minimum_Shift_Keying|Nichtlineare digitale Modulation]]  des Buches &bdquo;Modulationsverfahren” ausführlich behandelt. Hier folgt eine kurze, stichpunktartige Beschreibung:
*GMSK ist eine abgewandelte Form von  '''Frequency Shift Keying'''  (FSK). Diese ergibt sich, wenn man einen  [[Modulationsverfahren/Frequenzmodulation_(FM)#Realisierung_eines_FM.E2.80.93Modulators|Frequenzmodulator]]  mit einem binären bipolaren rechteckförmigen Eingangssignal betreibt.
*Ein solches FSK-Signal  $s(t)$  beinhaltet innerhalb einer jeden Symboldauer  $T$  jeweils nur eine einzige Augenblicksfrequenz  $f_{\rm A}(t) = \rm const.$ Ist das (normierte) Eingangssignal gleich  $+1$, so ist  $f_{\rm A}(t)$  gleich der Summe aus der Trägerfrequenz  $f_{\rm T}$  und dem Frequenzhub  $Δf_{\rm A}$. Entsprechend gilt für den Amplitudenwert  $-1$:   $f_{\rm A}(t) = f_{\rm T} - Δf_{\rm A}$.
*Um eine einfache Demodulation zu ermöglichen, sollten die beiden Signale mit den Frequenzen  $f_{\rm T} ± Δf$  innerhalb der Symboldauer  $T$  orthogonal zueinander sein. Demzufolge muss gelten:

:$$\int^{T} _{0} \cos \big(2 \pi t \cdot (f_{\rm T}+ \Delta f_{\rm A} )\big)\cdot \cos \big(2 \pi t \cdot (f_{\rm T}- \Delta f_{\rm A} )\big)\,{\rm
d}t= 0\hspace{0.05cm}. $$

:Daraus ergibt sich für den  '''Frequenzhub'''  die Anforderung:

:$$\Delta f_{\rm A} = \frac{k}{4 \cdot T}\hspace{0.2cm}{\rm
mit}\hspace{0.2cm}k = 1, 2, 3, \text{...}$$

*Da bei FSK–Systemen der  '''Modulationsindex'''  zu  $h = 2 · Δf_{\rm A} · T$  definiert ist, folgt  $h = k/2$. Der kleinste Wert unter Einhaltung der Orthogonalitätsbedingungen ist somit  $h_{\rm min} = 0.5$.
*Ein FSK–System mit  $h = 0.5$  bzw.  $Δf_{\rm A}$ = ${1}/{4T}$  bezeichnet man als  [[Modulationsverfahren/Nichtlineare_digitale_Modulation#MSK_.E2.80.93_Minimum_Shift_Keying|Minimum Shift Keying]]  – kurz MSK. Dieses wird in allen GSM-Systemen eingesetzt, da ein größerer Modulationindex als  $h = 0.5$  eine deutlich größere Bandbreite beanspruchen würde.
*Ein sehr schmales Spektrum ergibt sich allerdings nur dann, wenn an den Symbolgrenzen Phasensprünge durch Phasenwertanpassung vermieden werden. MSK gehört somit zu den  ''Continuous Phase Frequency Shift Keying''–Verfahren ('''CP–FSK''', siehe nächste Seite).
*Vor dem Frequenzmodulator wird zusätzlich noch ein Tiefpass mit Gauß–Charakteristik eingefügt, wodurch die GSM–Bandbreite weiter verringert wird. Man nennt diese Modulationsart  [[Examples_of_Communication_Systems/Funkschnittstelle#Gaussian_Minimum_Shift_Keying_.28GMSK.29|Gaussian Minimum Shift Keying]] ('''GMSK''').

==Kontinuierliche Phasenanpassung bei FSK ==
 
Ausgehend vom Rechtecksignal  $q(t)$  und der Trägerfrequenz  $f_{\rm T} = 4/T$  betrachten wir die FSK–Signale  $s_{\rm A}(t)$, ... ,  $s_{\rm D}(t)$  bei unterschiedlichem Frequenzhub  $Δf_{\rm A}$   ⇒   Modulationindex $h = 2 · Δf_{\rm A} · T$.

[[File:P_ID1197__Bei_T_3_2_S7_v2.png|center|frame|Beispielhafte Signale zur kontinuierlichen Phasenanpassung]]

Zu den Signalverläufen ist anzumerken (wir verweisen auch auf das interaktive Applet  [[Applets:Frequency_Shift_Keying_%26_Continuous_Phase_Modulation|Frequency Shift Keying & Continuous Phase Modulation]]):
*Das Signal  $s_{\rm A}(t)$  ergibt sich mit  $Δf_{\rm A} = 1/T$   ⇒   Modulationsindex  $h = 2$. Man erkennt die höhere Frequenz  $f_1 = 5/T$  $($für $a_ν = +1)$  gegenüber der Frequenz  $f_2 = 3/T$  $($für $a_ν = -1)$.
*Mit  $Δf_{\rm A} = 0.5/T$  $($Signal  $s_{\rm {\rm B}}(t)$,  $h = 1)$  gilt  $f_1 = 4.5/T$  und  $f_2 = 3.5/T$. An jeder Symbolgrenze tritt ein Phasensprung um  $π$  auf, wenn keine Phasenanpassung wie beim Signal  $s_{\rm C}(t)$  vorgenommen wird.
*Bei  $s_{\rm C}(t)$  wird im Bereich  $0$ ... $T$  der Koeffizient  $a_1 = +1$  durch  $\cos(2π·f_1·t)$  repräsentiert, während der ebenfalls positive Koeffizient  $a_2 = +1$  im Bereich  $T$ ... $2T$  zum Signal  $-\cos(2π·f_1\hspace{0.01cm}·\hspace{0.01cm}(t-T))$  führt. Durch diese Anpassung werden somit Phasensprünge vermieden.
*Das Signal  $s_{\rm D}(t)$  beschreibt das MSK-Signal  $($Frequenzhub  $Δf_{\rm A} = 0.25/T$   ⇒   Modulationsindex  $h = 0.5)$, ebenfalls mit Phasenanpassung. Hier sind bei jeder Symbolgrenze – je nach den vorherigen Symbolen – vier unterschiedliche Anfangsphasen möglich.
*Bei  $\rm GSM \ 900$  beträgt die Trägerfrequenz  $f_{\rm T} = 900\ \rm MHz$  und die Symboldauer ist  $T ≈ 3.7 \ \rm µ s$. Mit dem Modulationsindex  $h = 0.5$  ergibt sich  $Δf_{\rm A} ≈ 68 \ \rm kHz$. Die beiden Frequenzen  $f_1 = 900.068\ \rm MHz$  und  $f_2 = 899.932 \ \rm MHz$  liegen somit sehr eng beieinander.

== Minimum Shift Keying (MSK) ==
 
Die Grafik zeigt das Modell zur Erzeugung einer MSK–Modulation und typische Signalverläufe.

[[File:P_ID2190__Bei_T_3_2_S6_v1.png|center|frame|Blockschaltbild zur Erzeugung einer MSK und entsprechende Signalverläufe]]
Man erkennt

*am Punkt  '''(1)'''  das digitale Quellensignal, bestehend aus einer Folge von Diracimpulsen im Abstand  $T$, gewichtet mit den Amplitudenkoeffizienten  $a_ν ∈ \{-1, +1\}$:

:$$q_\delta(t) = \sum_{\nu = - \infty}^{+\infty}a_{ \nu} \cdot \delta (t - \nu
\cdot T)\hspace{0.05cm}; $$

*am Punkt  '''(2)'''  das Rechtecksignal  $q_{\rm R}(t)$  nach Faltung mit dem Rechteckimpuls  $g(t)$  der Dauer  $T$  und der Höhe  $1/T$  (die Amplitude wurde aus Kompatibilitätsgründen zu späteren Seiten so gewählt):

:$$q_{\rm R}(t) = \sum_{\nu = - \infty}^{+\infty}a_{ \nu} \cdot g (t - \nu
\cdot T)\hspace{0.05cm}; $$

*den Frequenzmodulator, der sich gemäß der Beschreibung im Kapitel  [[Modulationsverfahren/Frequenzmodulation_(FM)#Signalverl.C3.A4ufe_bei_Frequenzmodulation|Signalverläufe bei FM]]  als Integrator und nachgeschalteten Phasenmodulator realisieren lässt. Für das Signal am Punkt  '''(3)'''  gilt dann:

:$$\phi(t) = \frac{\pi}{2}\cdot \int_{0}^{t}
q_{\rm R}(\tau)\hspace{0.1cm} {\rm d}\tau \hspace{0.05cm}.$$

Die Phasenwerte bei der Symboldauer $T$ sind Vielfache von  $π/2 \ (90^\circ)$, wobei der für MSK gültige Modulationsindex  $h = 0.5$  berücksichtigt ist. Der Phasenverlauf ist linear. Daraus ergibt sich am Punkt  '''(4)'''  des Blockschaltbildes das MSK–Signal zu

:$$s(t) = s_0 \cdot \cos \big(2 \pi f_{\rm T} \hspace{0.05cm}t +
\phi(t)\big) = s_0 \cdot \cos \big(2 \pi \cdot t \cdot (f_{\rm T}+a_{ \nu} \cdot {\rm \Delta}f_{\rm A} )\big) \hspace{0.05cm}.$$

Die Realisierung von  ''Minimum Shift Keying''  (MSK) durch eine spezielle Variante von  ''Offset–QPSK''  wird durch das interaktive Applet  [[Applets:QPSK_und_Offset-QPSK_(Applet)|QPSK und Offset–QPSK]]  verdeutlicht.

==Gaussian Minimum Shift Keying (GMSK)==
 
Ein Vorteil von MSK gegenüber anderen Modulationsarten ist der geringere Bandbreitenbedarf. Durch geringfügige Modifikationen hin zum  [[Modulationsverfahren/Nichtlineare_digitale_Modulation#GMSK_.E2.80.93_Gaussian_Minimum_Shift_Keying|Gaussian Minimum Shift Keying]]  – abgekürzt GMSK– ergibt sich nochmals eine schmaleres Spektrum.

[[File:P_ID1748__Mod_T_4_4_S9_neu.png |center|frame| Blockschaltbild zur Erzeugung einer GMSK und entsprechende Signalverläufe]]

Man erkennt aus dem Blockschaltbild folgende Unterschiede zum MSK (wir verweisen auf das interaktive Applet  [[Applets:Frequency_Shift_Keying_%26_Continuous_Phase_Modulation|Frequency Shift Keying & Continuous Phase Modulation]]):
*Der Frequenzimpuls  $g(t)$  ist nun nicht mehr rechteckförmig wie der Impuls  $g_{\rm R}(t)$, sondern weist flachere Flanken auf. Demzufolge ergibt sich auch ein weicherer Phasenverlauf am Punkt  '''(3)'''  als beim MSK–Verfahren (siehe letzte Seite), bei dem  $ϕ(t)$  symbolweise linear ansteigt bzw. abfällt.
*Man erreicht diese sanfteren Phasenübergänge bei GMSK durch ein  '''Gaußtiefpassfilter'''  mit dem Frequenzgang bzw. der Impulsantwort

:$$H_{\rm G}(f) = {\rm e}^{-\pi \hspace{0.05cm} \cdot \hspace{0.05cm} \big({f}/(2 \hspace{0.05cm} \cdot \hspace{0.05cm} f_{\rm G})\big)^2} \hspace{0.2cm}\bullet\!\!-\!\!\!-\!\!\!-\!\!\circ\, \hspace{0.2cm}
h_{\rm G}(t) = 2 f_{\rm G} \cdot {\rm e}^{-\pi\hspace{0.05cm} \cdot \hspace{0.05cm} (2 \hspace{0.05cm} \cdot \hspace{0.05cm} f_{\rm G}\hspace{0.05cm} \cdot \hspace{0.05cm} t)^2}\hspace{0.05cm}.$$

*Bei GSM ist die 3dB–Grenzfrequenz zu  $f_{\rm 3dB} = 0.3/T$  festgelegt. Wie in Aufgabe  [[Aufgaben:3.4_GMSK–Modulation|Aufgabe 3.4]]  gezeigt wird, gilt somit für die systemtheoretische Grenzfrequenz:
:$$f_{\rm G} ≈ 1.5 · f_{\rm 3dB} = 0.45/T.$$
*Der resultierende Frequenzimpuls  $g(t)$  am Punkt  '''(2)'''  des Blockschaltbildes ergibt sich aus der Faltung des Rechteckimpulses  $g_{\rm R}(t)$  mit der Impulsantwort  $h_{\rm G}(t)$  des Gaußtiefpasses zu

:$$g(t) = g_{\rm R}(t) \star h_{\rm G}(t)\hspace{0.05cm}. $$

*Das GMSK–modulierte Signal  $s(t)$  weist nun nicht mehr abschnittsweise (je Symboldauer) eine konstante Frequenz auf. Diesen Unterschied zur MSK kann man allerdings aus dem Signalverlauf am Punkt  '''(4)'''  des Blockschaltbildes nur schwer erkennen.

==Vor– und Nachteile von GMSK==
 
Hier werden die wichtigsten Merkmale des Modulationsverfahren  ''Gaussian Minimum Shift Keying''  zusammenfassend aufgeführt.

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
Der wesentliche Vorteil von GMSK ist der sehr geringe Bandbreitenbedarf.}}

[[File:P_ID1200__Bei_T_3_2_S10_v2.png|right|frame|Leistungsdichtespektren von QPSK und MSK]]
Die folgende Grafik wurde dem Buch  [Kam04]<ref name ='Kam04'>Kammeyer, K.D.: ''Nachrichtenübertragung''. Stuttgart: B.G. Teubner, 4. Auflage, 2004.</ref>  entnommen.
*Die linke Grafik zeigt das logarithmierte Leistungsdichtespektrum  $10 · \text{lg} \ {\it Φ}_s(f)/{\it Φ}_0$  des Verfahrens  ''Minimum Shift Keying''  (MSK) im Vergleich zu  ''Quaternary Phase Shift Keying''  (QPSK), wobei  ${\it Φ}_0$  „geeignet” gewählt wurde.
*Auf der Abszisse ist die normierte Frequenz  $f · T_{\rm B}$  aufgetragen. Bei MSK ist die Bitdauer  $T_{\rm B}$  gleich der Symboldauer  $T$, während bei QPSK  $T_{\rm B} = T/2$  gilt.
*Im rechten Diagramm, das sich ausschließlich auf  (G)MSK  bezieht, könnte die Abszisse auch mit  $f · T$  beschriftet werden.
 
Man erkennt aus der linken Darstellung:
*Die erste Nullstelle im Leistungsdichtespektrum (LDS) tritt bei der QPSK (gestrichelte Kurve) beim normierten Abszissenwert  $f · T_{\rm B} = 0.5$  auf, bei der MSK dagegen erst bei  $f · T_{\rm B} = 0.75$.
*Im weiteren Verlauf ergibt sich jedoch bei MSK ein deutlich schnellerer LDS–Abfall als der asymptotische  $f^{-2}$–Abfall bei QPSK.
*Zu beachten ist, dass für die MSK ein Cosinusimpuls zur Spektralformung zugrunde liegt und für die QPSK ein Rechteckimpuls.

Die rechte Darstellung zeigt den Einfluss der gaußförmigen Impulsformung bei GMSK auf das Leistungsdichtespektrum  ${\it Φ}_s(f)$, wobei als Parameter die normierte 3dB–Grenzfrequenz verwendet wird.
*Je kleiner  $f_{\rm 3\ dB}$  ist, desto schmalbandiger ist das Leistungsdichtespektrum. Im GSM–Standard wurde  $f_{\rm 3\ dB} · T$ = 0.3  festgelegt. Mit diesem Wert wird die Bandbreite bereits entscheidend reduziert, was zu geringeren  ''Nachbarkanalinterferenzen''  führt.
*Andererseits wirken sich mit dieser Grenzfrequenz die  ''Impulsinterferenzen''  schon gravierend aus. Die Augenöffnung ist kleiner als  $50\%$  und es ist eine geeignete Entzerrung vorzusehen.

Des Weiteren ist zu vermerken:
*Die binäre FSK stellt – auch bei kontinuierlicher Phasenanpassung – allgemein ein nichtlineares Modulationsverfahren dar. Deshalb ist eine kohärente Demodulation eigentlich nicht möglich.
*Eine Ausnahme bildet die MSK als Sonderfall für den Modulationsindex  $h = 0.5$, die sich als  ''Offset–QPSK''  linear realisieren lässt und somit auch kohärent demoduliert werden kann.
*Ohne Berücksichtigung der Impulsinterferenzen beträgt die  ''Bitfehlerwahrscheinlichkeit''
:$$p_{\rm B} = {\rm Q} \left(\sqrt{{E_{\rm B}}/{N_0}}\hspace{0.09cm}\right) =
{1}/{2}\cdot{\rm erfc} \left(\sqrt{{E_{\rm B}}/{2N_0}}\hspace{0.09cm}\right)
\hspace{0.05cm}.$$

*Gegenüber der QPSK ergibt sich eine Degradation um  $3\ \rm dB$. Das interaktive Applet  [[Applets:Komplementäre_Gaußsche_Fehlerfunktionen|Komplementäre Gaußsche Fehlerfunktionen]]  liefert die Zahlenwerte der hier verwendeten Funktionen  ${\rm Q}(x)$  bzw.  $1/2 \cdot {\rm erfc}(x)$.
*Ein Vorteil der GMSK gegenüber der QPSK ist, dass sich trotz der spektralen Formung des Grundimpulses eine konstante Hüllkurve ergibt. Deshalb spielen Nichtlinearitäten auf dem Kanal nicht eine so große Rolle als bei anderen Modulationsverfahren. Dies ermöglicht den Einsatz einfacher und kostengünstiger Leistungsverstärker, einen geringeren Leistungsverbrauch und damit auch längere Betriebsdauern akkubetriebener Geräte.

==Radio Subsystem Link Control==
 
Eine weitere Funktion der Funkschnittstelle ist die Steuerung der Funkverbindung. So übernimmt das so genannte  ''Radio Subsystem Link Control''  folgende Aufgaben:

Es ist für die Messung der Empfangsqualität zuständig. Während einer aufgebauten Verkehrs– oder Signalisierungsverbindung erfolgt in regelmäßigen Abständen die Kanalvermessung der Mobilstation hinsichtlich Empfangsfeldstärke und Bitfehlerrate   ⇒   '''Quality Monitoring'''. Diese Werte werden in einem Messreport zur Basisstation über den Signalisierungskanal SACCH übertragen und von dieser für die Leistungsregelung und das Handover verwendet.

Die  '''Power Control'''  (deutsch:  Leistungsregelung)  ist erforderlich, damit alle Mobilstationen nur mit der minimal erforderlichen Energie abstrahlen. Die Sendeleistung kann adaptiv in Schritten von  $2 \ \rm dBm$  zwischen  $43 \ \rm dBm$  $\text{(Stufe 0:}$  $20\ \rm W$)  und  $13 \ \rm dBm$  $\text{(Stufe 15:}$  $20\ \rm mW$)  geregelt werden. Auch die Sendeleistung der Basisstationen wird in Schritten von  $2 \ \rm dBm$  angepasst, um optimale Netzkapazität zu erzielen. Eine Ausnahme bildet der BCCH–Träger mit konstanter Sendeleistung, um den Mobilstationen eine vergleichende Messung benachbarter BCCH–Träger zu ermöglichen.

[[File:P_ID3110__Bei_T_3_2_S11_v2.png|right|frame|Adaptive Frame Alignment]]

Das  '''Adaptive Frame Alignment'''  – also die adaptive Rahmensynchronisation – dient dazu, Kollisionen zwischen Uplink– und Downlinkdaten zu vermeiden, die von der Mobilstation um drei Zeitschlitze versetzt gesendet bzw. empfangen werden sollen. Dies zeigt nebenstehende Grafik.

Im mittleren, gelb hinterlegten Bereich ist der Downlink dargestellt, wobei die Daten um die Zeit  $T_{\rm R}$  (''Round Trip Delay Time'')  später bei der Mobilstation (MS) ankommen, als sie von der  ''Base Transceiver Station''  (BTS) gesendet wurden (grüne Markierung).

Im oberen Bereich ist der Uplink ohne ''Timing Advance''  dargestellt.
*Die MS beginnt genau drei Zeitschlitze nach dem Empfang mit dem Senden (blaue Markierung).
*Aufgrund der Verzögerungen im Downlink und Uplink erreicht der Zeitschlitz  $0$  die BTS nicht wie gefordert zu der Zeit  $3T_{\rm Z}$, sondern um  $2T_{\rm Z}$  später (rote Markierung).
*Beim ''Timing Advance'' Uplink (untere Skizze) wird diese Verzögerung bereits von der Mobilstation kompensiert, indem die Daten um die Zeit  $T_{\rm A} = 2T_{\rm R}$  früher versandt werden und diese somit genau zeitsynchron bei der BTS ankommen.

Für das  ''Timing Advance''  stehen die Stufen $0 – 63$ zur Verfügung, wobei jede Stufe einer Bitdauer  $T_{\rm B}$  entspricht.

*Das maximale  ''Timing Advance''  beträgt somit  $\rm 63 · 3.7 \ µ s ≈ 233 \ µs$, so dass sich die maximale zulässige Laufzeit in einer Richtung zu  $T_{\rm R} ≈ 116\ {\rm µ s}$ ergibt.
*Daraus kann der erlaubte Zellenradius von GSM (Entfernung zwischen BTS und MS) berechnet werden: 
:$$116\ \rm µ s · 3 · 10^8 \ m/s ≈ 35 \ km.$$

== Aufgaben zum Kapitel==
 
[[Aufgaben:3.3_GSM–Rahmenstruktur|Aufgabe 3.3: GSM–Rahmenstruktur]]

[[Aufgaben:3.3Z_GSM_900_und_GSM_1800|Aufgabe 3.3Z: GSM 900 und GSM 1800]]

[[Aufgaben:3.4_GMSK–Modulation|Aufgabe 3.4: GMSK–Modulation]]

[[Aufgaben:Aufgabe_3.4Z:_FSK_mit_kontinuierlicher_Phase|Aufgabe 3.4Z: FSK mit kontinuierlicher Phase]]

==Quellenverzeichnis==
<references />

{{Display}}

Examples of Communication Systems/Allgemeine Beschreibung von GSM

2020-10-13T15:38:30Z

Rosa: Rosa moved page Examples of Communication Systems/Allgemeine Beschreibung von GSM to Examples of Communication Systems/General Description of GSM

#REDIRECT [[Examples of Communication Systems/General Description of GSM]]

Examples of Communication Systems/General Description of GSM

2020-10-13T15:38:30Z

Rosa: Rosa moved page Examples of Communication Systems/Allgemeine Beschreibung von GSM to Examples of Communication Systems/General Description of GSM

{{Header
|Untermenü=GSM – Global System for Mobile Communications
|Vorherige Seite=Verfahren zur Senkung der Bitfehlerrate bei DSL
|Nächste Seite=Funkschnittstelle
}}
== # ÜBERBLICK ZUM DRITTEN HAUPTKAPITEL # ==
 
Der momentan (2011) weltweit führende Mobilfunkstandard ist GSM – ''Global System for Mobile Communications''. Dieser wurde Ende der 1980er Jahre entwickelt und arbeitet vollständig digital. Er wird 2011 in mehr als 200 Ländern genutzt, vorwiegend zum Telefonieren über das Handy, daneben aber auch für Kurzmitteilungen (SMS) sowie für mobile leitungs– bzw. paketvermittelte Datenübertragung (HSCSD, GPRS, EDGE).

Dieses Kapitel beinhaltet im Einzelnen:
*die allgemeine Beschreibung von GSM mit wichtigen Begriffsdefinitionen,
*die Funkschnittstelle von GSM und deren logische und physikalische Kanäle,
*die wichtigsten Sprachcodierverfahren zur Datenkomprimierung,
*das Gesamtübertragungsmodell von GSM zur Sprach– und Datenübertragung,
*die bei GSM angewandte Kanalcodierung mit  ''Interleaving''  und  ''Verschlüsselung'', und
*die Weiterentwicklungen von GSM wie HSCSD, GPRS und EDGE.

==Entstehung und Historie von GSM ==
 
Der GSM–Standard wurde um 1990 mit dem Ziel eingeführt, ein einheitliches paneuropäisches mobiles Telefonsystem und –netz anbieten zu können. Die Nutzung zur Datenübertragung stand zunächst nicht im Mittelpunkt, wurde aber seitdem durch Zusatzspezifikationen hinsichtlich Datenrate stetig verbessert.

Nachfolgend einige Daten zur historischen Entwicklung von GSM:

'''1982'''   Bei der „Conférence Européenne des Postes et Télécommunications” (CEPT) wird die  ''Groupe Spécial Mobile''  – abgekürzt GSM – eingerichtet.

'''1987'''   Es wird eine Kooperation zwischen $17$ zukünftigen Betreibern aus $15$ europäischen Ländern gebildet und mit der GSM–Spezifikation begonnen.

'''1990'''   Die Phase 1 der GSM 900-Spezifikation (für 900 MHz) wird abgeschlossen und es beginnt die Anpassung für das System DCS 1800  (''Digital Cellular System'')  um die Frequenz 1.8 GHz.

'''1992'''   Die meisten europäischen GSM-Netzbetreiber beginnen den kommerziellen Betrieb, zunächst nur mit Sprachdiensten. Ende 1992 sind bereits 13 Netze in sieben Ländern „on air”.

'''1995'''   Die Phase 2 der GSM-Standardisierung beginnt. Diese beinhaltet Daten, SMS-Roaming, Fax sowie Anpassungen für GSM/PCS 1900, das im gleichen Jahr in den USA ans Netz geht.

'''1999'''   Mit der Einführung von WAP  (''Wireless Application Protocol'')  wird es erstmals möglich, Inhalte des Internets und andere interaktive Dienstangebote auf Mobilgeräte zu übertragen.

'''2000'''   Die Erweiterung GPRS  (''General Packet Radio Service'')  verbessert und vereinfacht zudem den drahtlosen Zugang zu paketvermittelten Datennetzen wie IP– oder X.25–Protokolle.

'''2000'''   Mit der Phase 2+ wird gleichzeitig EDGE  (''Enhanced Data Rates for GSM Evolution'')  eingeführt, womit die Datenrate gegenüber GPRS etwa um den Faktor $3$ gesteigert werden kann.

'''2006'''   Bis zum Jahr 2006 ist die Zahl der Netzbetreiber in $213$ Ländern/Gebieten weltweit auf $147$ angestiegen und es werden mehr als zwei Milliarden Teilnehmer versorgt. Allein in Deutschland gab es Ende 2005 schon mehr als $70$ Millionen GSM–Handys.

Die derzeit (2011) eingesetzten GSM-Standards sind:
*$\text{GSM 900}$:   Frequenzbereich um 900 MHz (D–Netze, in Deutschland TD1, Vodafone D2),
*$\text{GSM/DCS 1800}$:   Frequenzbereich um 1800 MHz (E–Netze, in Deutschland alle Betreiber),
*$\text{GSM/PCS 1900}$:   Frequenzbereich um 1900 MHz (vorwiegend in den USA eingesetzt).

==Zellularstruktur von GSM ==
 
Ein Charakteristikum von GSM ist die  '''zellulare Netzstruktur''', die für einfache Berechnungen häufig durch Hexagone – also durch Sechsecke – entsprechend der linken Grafik idealisiert beschrieben wird. Dadurch kann ein Versorgungsgebiet mit jeweils einer Basisstation pro Zelle lückenlos versorgt werden, wenn die Reichweite der Basisstation mindestens so groß ist wie der Zellenradius.

[[File:P_ID1180__Bei_T_3_1_S2_v1.png|center|frame|Idealisierte und realistische GSM-Zellenstruktur]]

Aus dieser zellularen Struktur ergeben sich folgende Konsequenzen für das GSM–System:
*Der  ''Zellenradius''  muss umso kleiner gewählt werden, je größer die Trägerfrequenz ist. Beim D-Netz  $(f_{\rm T} ≈ 900 \ \rm MHz)$  beträgt der maximale Zellenradius etwa  $35 \ \rm km$, beim E–Netz ist dieser aufgrund der höheren Frequenz  $(f_{\rm T} ≈ 1800 \ \rm MHz)$  mit  $8 \ \rm km$  deutlich geringer.
*Bewegt sich ein mobiler Teilnehmer in dem Gebiet, so wird er verschiedene Zellen durchqueren und somit mit verschiedenen Basisstationen in Kontakt stehen. Ein nicht zu vernachlässigendes Problem ist das so genannte  ''Handover''  beim Überqueren einer Zellgrenze während eines Gesprächs.
*Benutzt man in allen Zellen die gleiche Trägerfrequenz, so kann es bei Überreichweiten zu  ''Interzellinterferenzen''  kommen. Häufig verwendet man deshalb in benachbarten Zellen andere Frequenzen. Im obigen Beispiel werden drei unterschiedliche Frequenzen benutzt, was durch die Farben weiß, gelb und blau angedeutet ist. Diesem Beispiel liegt der ''Reuse–Faktor'' $3$ zugrunde.

Die rechte Grafik zeigt ein realistischeres Zellen–Layout mit unterschiedlich großen Zellen – je nach Teilnehmerdichte und Geländetopologie.
*Außerdem erkennt man, dass sich die Basisstation nicht immer im Zellenmittelpunkt befinden muss.
*Die Farben &bdquo;Weiß” und &bdquo;Rot” haben hier keine besondere Bedeutung.

==GSM–Systemarchitektur und –Netzkomponenten==
 
GSM ist ein hierarchisch gegliedertes System verschiedener Netzkomponenten. Es hat zwei wesentliche Bestandteile, die  ''Mobilstationen''  (MS, Mobilteilnehmer) und das  ''fest installierte GSM–Netz''. Eine jede Mobilstation besteht im Wesentlichen aus zwei Einheiten:
*dem  '''Mobile Equipment'''  (ME): Jedem ME ist eine eindeutige Nummer, die so genannte  ''International Mobile Equipment Identity''  (IMEI) zugeteilt.
*dem  '''Subscriber Identity Modul'''  (SIM): Dieses ist ein kleiner, durch PIN geschützter Prozessor und Speicher, verantwortlich für die Zuordnung der Benutzerdaten und die Authentifizierung.

[[File:P_ID1181__Bei_T_3_1_S3_v1.png|right|frame|GSM–Systemarchitektur und –Netzkomponenten]]

Die Grafik zeigt die Struktur für ein so genanntes  ''Public Land Mobile Network''  (PLMN) des GSM, also die GSM–Systemarchitektur. Diese ist für die Sprachübertragung ausgelegt, aber auch für die Datenübertragung in eingeschränktem Maße geeignet.

Aus dieser Grafik erkennt man:
*Die Mobilstation (MS) kommuniziert über Funk mit der nächstgelegenen  '''Base Transceiver Station'''  (BTS, Sende– und Empfangsbasisstation).
*Mehrere BTS werden gebietsweise zusammengefasst und sind als Einheit einem  '''Base Station Controller'''  (BSC, Kontrollstation) unterstellt.
*Das  '''Base Station Subsystem'''  (BSS) besteht aus einer Vielzahl von BTS und mehreren BSC. In der Grafik ist ein solches BSS blau–gestrichelt umrandet.
*Jede BSC ist schließlich mit einem  '''Mobile Switching Center'''  (MSC, Vermittlungsrechner) verbunden, dessen Funktion mit einem Vermittlungsknoten im Festnetz vergleichbar ist.

Die fest installierte GSM-Infrastruktur kann in drei Subnetze untergliedert werden:
*dem '''Base Station Subsystem''' (BSS, Funknetz-BSS)   ⇒   Näheres siehe nächste Seite,
*dem '''Switching and Management Subsystem''' (SMSS, Mobilvermittlungsnetz)   ⇒   Näheres siehe übernächste Seite, und
*dem '''Operation and Maintenance Subsystem''' (OMSS, Betrieb und Wartung).

Das OMSS sorgt für das Einrichten der Teilnehmer, die Überprüfung der Berechtigungen, die Sperrung der Geräte, die Gebührenerfassung, die Wartung der Netzkomponenten sowie die Steuerung des Verkehrsflusses. Es beinhaltet folgende Komponenten:
*Das  '''Operation and Maintenance Center'''  (OMC) – grün umrandet – überwacht einen Teil des gesamten Mobilfunknetzes und löst die Steuerfunktionen des Netzes aus. Es unterteilt sich in die Komponenten  '''OMC-B'''  ⇒   Überwachung der  ''Base Station Controller''  (BSC) und  '''OMC-S'''  ⇒   Kontrolle des  ''Mobile Switching Centers''  (MSC).
*Die Netzkontrolle kann auch zentralisiert in einem  '''Network Management Center'''  (NMC) erfolgen, das den OMCs übergeordnet ist.

Weitere wichtige Funktionen/Aufgaben des  ''Operation and Maintenance Centers''  (OMC) sind die Verwaltung des kommerziellen Betriebs, die Netzkonfiguration, das Sicherheitsmanagement und alle Wartungsarbeiten hinsichtlich Hardware und Software.

==Base Station Subsystem (BSS) ==
 
Die folgende Grafik zeigt im linken Teil ein  '''Base Station Subsystem''', abgekürzt BSS. Ein solches Funknetz besteht aus folgenden Netzkomponenten:
*Die  '''Base Transceiver Station'''  (BTS) stellt mindestens je einen Funkkanal für den Nutzverkehr bzw. die Signalisierung bereit. Sie besitzt neben dem HF–Teil (Sende– und Empfangseinrichtung) noch einige Komponenten zur Signal– und Protokollverarbeitung. An die BTS sind eine oder mehrere Antennen angeschlossen, die meist einen 120°–Sektor versorgen.
*Um die Basisstationseinheiten (BTS) klein halten zu können, ist die wesentliche Steuerungs- und Protokollintelligenz oft in den  '''Base Station Controller'''  (BSC) verlagert. Dabei können durchaus auch mehrere BTS von einem gemeinsamen BSC gesteuert werden.
*Bevor das Sprachsignal dem Vermittlungssystem übergeben wird, wandelt die  '''Transcoding & Rate Adaption Unit'''  (TRAU) die Rate des GSM-Sprachsignals von  $\text{13 kbit/s}$ auf  $\text{64 kbit/s}$. Des Weiteren übernimmt die TRAU auch die Ratenanpassung für die Datendienste.

[[File:P_ID1189__Bei_T_3_1_S4_v1.png|right|frame|GSM:  ''Base Station Subsystem'']]

Jeder BTS werden verschiedene Parameter zugeordnet, nämlich:
*Eine oder mehrere Funkzellen werden zu einer  ''Location Area''  (LA) zusammengefasst. Jede LA erhält eine eigene Kennziffer – den so genannten  ''Location Area Identifier''  (LAI). Dieser wird von der Basisstation auf dem  ''Broadcast Control Channel''  (BCCH) regelmäßig ausgesendet.
*Dadurch kann jede Mobilstation über die LAI auch ihren aktuellen Aufenthaltsort feststellen. Bei einem Wechsel der  ''Location Area''  fordert die Mobilstation ein  ''Location Update''  an.

Weitere Parameter des  ''Base Station Subsystems''  sind unter anderem:
*die  ''Cell Allocation''  (CA): Zuordnung eines Satzes von Frequenzen zu einer BTS,
*der  ''Cell Identifier''  (CI): Kennzeichnung der einzelnen Zellen innerhalb einer LA,
*der  ''Base Transceiver Station Identity Code''  (BSIC): Kennung der Basisstation.

==Switching and Management Subsystem (SMSS) ==
 
Das  '''Switching and Management Subsystem'''  (SMSS, deutsch: Mobilvermittlungsnetz) besteht aus den Mobilvermittlungszentren (MSC bzw. GMSC) und verschiedenen Datenbanken (VLR, HLR, AUC, EIR, etc.), wie die nachfolgende Grafik aus  [BVE99]<ref name ='BVE99'>Bettstetter, C.; Vögel, H.J.; Eberspächer, J.: ''GSM Phase 2+ General Packet Radio Service GPRS: Architecture, Protocols, and Air Interface''. In: IEEE Communications Surveys & Tutorials, Vol. 2 (1999) No. 3, S. 2-14.</ref>  zeigt.

[[File:P_ID1184__Bei_T_3_1_S5_v5.png|right|frame|GSM:  ''Switching and Management Subsystem'']]

Zu dieser Darstellung ist zu bemerken:
*Das  '''Mobile Switching Center'''  (MSC) – also das Mobilvermittlungszentrum – erfüllt die gleichen vermittlungstechnischen Funktionen wie ein Festnetz-Vermittlungsknoten, z.B. die Wegesuche und die Signalwegeschaltung. Zusätzlich muss ein MSC jedoch auch die Mobilität der Teilnehmer berücksichtigen (Aufenthaltsregistrierung, Handover beim Zellwechsel, und einiges mehr).

*Das  '''Gateway Mobile Switching Center'''  (GMSC) ist für die Verbindung zwischen Festnetz – zum Beispiel dem ISDN – und dem Mobilfunknetz verantwortlich. Wird beispielsweise ein Mobilfunkteilnehmer aus dem Festnetz angerufen, so ermittelt das GMSC im HLR (siehe unten) das zuständige MSC und vermittelt den Ruf weiter.
 
MSC und GMSC haben Zugriff auf verschiedene Datenbanken:
*Das  '''Home Location Register'''  (HLR, deutsch:  Heimatregister)  ist ein zentrales Register für die Teilnehmerdaten in einem PLMN. Es beinhaltet permanente Daten, aber auch temporäre, die zur Wegesuche für Rufe der eigenen Mobilteilnehmer benötigt werden.
*Das  '''Visitor Location Register'''  (VLR, deutsch:  Besucherregister)  speichert die Daten aller Mobilstationen, die sich momentan im Verwaltungsbereich des zugehörigen MSC aufhalten, also auch die Teilnehmer anderer Netzbetreiber.
*Das  '''Authentication Center'''  (AUC) ist für die Speicherung von vertraulichen Daten und von Schlüsseln verantwortlich.
*Das  '''Equipment Identity Register'''  (EIR, deutsch:  Geräteregister)  speichert Seriennummern  (''International Mobile Station Equipment Identity'', IMEI)  der Endgeräte.

Zwischen den Datenbanken (VLR, HLR, AUC, etc.) zweier an einer Sprachverbindung beteiligten Mobilvermittlungszentren gibt es einen ständigen Datenabgleich. Hierzu erforderlich sind verschiedene Kennzeichnungen für alle Teilnehmer, zum Beispiel:
*Die  ''Mobile Station Roaming Number''  (MSRN) ist eine temporäre, aufenthaltsabhängige ISDN-Nummer. Sie wird jeder Mobilstation vom lokal zuständigen VLR zugewiesen und vom HLR auf Anfrage an das GMSC weitergeleitet. Damit werden Rufe zu einer Mobilstation geroutet.
*Die  ''Temporary Mobile Subscriber Identity''  (TMSI) ist eine weitere Kennnummer, die nur im Gebiet des VLR gültig ist und anstelle der  ''International Mobile Subscriber Identity''  (IMSI) zur Adressierung einer Mobilstation verwendet wird.

{{GraueBox|TEXT=
$\text{Beispiel 1:}$ 
Wir betrachten das Mobilfunknetz eines Betreibers  $\rm A$, dessen Kunde der Teilnehmer  '''1'''  ist.
*Das  ''Visited Location Register''  von Betreiber  $\rm A$  – abgekürzt VLR(A) – enthält Informationen zum genauen Aufenthalt (In welcher Zelle? Welches BTS?) aller Teilnehmer.
*Für diesen Teilnehmer  '''1'''  stimmt der Eintrag im  ''Home Location Register''  HLR(A) mit VLR(A) überein. So erkennt Betreiber  $\rm A$, dass Teilnehmer  '''1'''  sein Kunde ist, und es wird eine Verbindung hergestellt.

Der Teilnehmer  '''2'''  ist Kunde eines anderen Betreibers  $\rm B$, der sich momentan per „Roaming“ im Netz  $\rm A$  befindet.
*Das  ''Visitor Location Register''  von Betreiber  $\rm A$  – abgekürzt VLR(A) – enthält Informationen zum genauen Aufenthalt des fremden Teilnehmers  '''2'''  und eine Kopie von HLR(B) des Betreibers  $\rm B$.
*Der Betreiber  $\rm A$  erkennt so diesen fremden Kunden und erteilt ihm die Freigabe für Roaming in seinem Netz  $\rm A$. Voraussetzung ist allerdings, dass zwischen den Netzbetreibern ein Roaming–Vertrag besteht.}}

==Von GSM bereitgestellte Dienste ==
 
Die GSM-Dienste sind in die drei Kategorien aufgeteilt:
*'''Bearer Services'''  – Trägerdienste,
*'''Teleservices'''  – Tele(matik)dienste,
*'''Supplementary Services'''  – Zusatzdienste.

Träger– und Teledienste fasst man unter dem Oberbegriff „Telekommunikationsdienste” zusammen. Deshalb muss jedes  ''Public Land Mobile Network''  (PLMN) die entsprechende Festnetz–Infrastruktur und eine Netzübergangsvermittlungsfunktion  (''Interworking Function'', IWF)  zur Verfügung stellen.

Die  '''Trägerdienste'''  sind für die Datenübertragung grundlegend. Sie stellen die notwendigen technischen Einrichtungen zum gesicherten Transport der Nutzdaten bereit. Zu den reinen Transportdiensten gehören:

[[File:P_ID1185__Bei_T_3_1_S6_v1.png|right|frame|Klassifizierung der GSM–Dienste]]
*synchrone leitungsvermittelte Datenübertragung  (mit 2400, 4800 oder 9600 bit/s),
*asynchrone leitungsvermittelte Datenübertragung  (mit 300 oder 1200 bit/s).
*synchrone paketvermittelte Datenübertragung   (mit 2400, 4800 oder 9600 bit/s).
*asynchrone paketvermittelte Datenübertragung  (mit 300 oder 9600 bit/s).
 
Die Trägerdienste werden dazu noch in zwei verschiedene Modi unterteilt:
*Im so genannten  ''transparenten Modus''  besteht eine durch Vorwärtsfehlerkorrektur gesicherte Verbindung zwischen Endgerät und MSC. Dieser Modus ist durch eine konstante Bitrate, eine konstante Übertragungsverzögerung und – abhängig vom jeweiligen Kanalzustand – eine schwankende Bitfehlerhäufigkeit gekennzeichnet.
*Dagegen basiert der  ''nichttransparente Modus''  auf dem  ''Radio Link Protocol''  (RLP). Durch ein zusätzliches ARQ–Verfahren  (''Automatic Repeat Request'')  werden Blöcke mit zu vielen Bitfehlern zur Wiederübertragung angefordert, so dass die Netto–Bitrate und die Verzögerung stark von den Übertragungsbedingungen abhängen.

==Die Teledienste von GSM ==
 
Die zweite Kategorie der GSM-Dienste sind  '''Teledienste'''. Diese sind Ende-zu-Ende-Dienste, für die in der Regel keine Netzübergangsumsetzung  (''Interworking Function'', IWF)  erforderlich ist. In obiger Grafik bezeichnet „MS–TE“ das Terminal–Equipment der Mobilstation.

Die wichtigsten Teledienste sind:
*der  '''Telefondienst'''. Dieser Basisdienst für die Übertragung digital–codierter Sprachsignale benutzt eine bidirektionale sowie symmetrische Punkt-zu-Punkt-Verbindung und bietet so genannte „Services” an, wie zum Beispiel Anrufumleitung, Anrufsperre und geschlossene Benutzergruppen;
*der  '''Faxdienst''', der zur Übertragung der Daten einen transparenten Trägerdienst nutzt;
*der  '''Kurznachrichtendienst''' (englisch:  ''Short Message Service'', SMS), der von GSM seit 1996 bereitgestellt wird. Hiermit können Nachrichten mit einem verbindungslosen paketvermittelten Protokoll von oder zu einer Mobilstation übertragen werden. Hierzu muss ein Netzbetreiber ein Dienstzentrum  (''Service Center'')  einrichten.

Man unterscheidet zwei Typen von Kurznachrichten:
*'''Punkt-zu-Punkt-Nachrichten'''  zwischen den Mobilstationen und einer Vermittlungsstelle mit einer maximalen Länge von 160 alphanumerischen Zeichen,
*'''Short Message Service Cell Broadcast'''  (SMSCB). Diese Nachrichten werden nur in einem begrenzten, regionalen Gebiet ausgestrahlt und können von der Mobilstation nur im Ruhezustand empfangen werden. Die Länge ist auf 93 Zeichen beschränkt.

Die  '''Zusatzdienste'''  als dritte Kategorie der GSM–Dienste modifizieren und ergänzen die Funktionalität eines GSM–Telekommunikationsdienstes. GSM der Phase 1 bietet die gleichen Zusatzdienste an wie  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_ISDN|ISDN]], beispielsweise Anrufanzeige, Rufumleitung  (''Call Forwarding'')  und Rufnummernsperre  (''Call Restriction'').

Neuere GSM–Dienste der Phase 2+ sind:
*[[Examples_of_Communication_Systems/Weiterentwicklungen_des_GSM#High_Speed_Circuit.E2.80.93Switched_Data_.28HSCSD.29|High Speed Circuit-Switched Data]]  (HSCSD, Leitungsdatendienst),
*[[Examples_of_Communication_Systems/Weiterentwicklungen_des_GSM#General_Packet_Radio_Service_.28GPRS.29|General Packet Radio Service]]  (GPRS, Paketdatendienst), sowie
*[[Examples_of_Communication_Systems/Weiterentwicklungen_des_GSM#Enhanced_Data_Rates_for_GSM_Evolution|Enhanced Data Rates for GSM Evolution]]  (EDGE, höherratige Datenübertragung).

==Aufgaben zum Kapitel==
 
[[3.1_GSM–Netzkomponenten|Aufgabe 3.1: GSM–Netzkomponenten]]

[[Aufgaben:3.2_GSM–Dienste|Aufgabe 3.2: GSM–Dienste]]

==Quellenverzeichnis==
 

{{Display}}

Examples of Communication Systems/Verfahren zur Senkung der Bitfehlerrate bei DSL

2020-10-13T15:38:10Z

Rosa: Rosa moved page Examples of Communication Systems/Verfahren zur Senkung der Bitfehlerrate bei DSL to Examples of Communication Systems/Methods to Reduce the Bit Error Rate in DSL

#REDIRECT [[Examples of Communication Systems/Methods to Reduce the Bit Error Rate in DSL]]

Examples of Communication Systems/Methods to Reduce the Bit Error Rate in DSL

2020-10-13T15:38:09Z

Rosa: Rosa moved page Examples of Communication Systems/Verfahren zur Senkung der Bitfehlerrate bei DSL to Examples of Communication Systems/Methods to Reduce the Bit Error Rate in DSL

{{Header
|Untermenü=DSL – Digital Subscriber Line
|Vorherige Seite=xDSL als Übertragungstechnik
|Nächste Seite=Allgemeine Beschreibung von GSM
}}

==Übertragungseigenschaften von Kupferkabeln ==
 
Wie schon im Kapitel  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_DSL|Allgemeine Beschreibung von DSL]]  erwähnt, sind im Telefonleitungsnetz der Deutschen Telekom vorwiegend Kupfer–Doppeladern mit einem Durchmesser von  $\text{0.4 mm}$  verlegt. Der Teilnehmeranschlussbereich  $\rm (TAL)$  – häufig auch als „Last Mile” bezeichnet – ist in drei Segmente gegliedert:
*das Hauptkabel,
*das Verzweigungskabel,
*das Hausanschlusskabel.

Die Leitungslänge beträgt im Durchschnitt weniger als vier Kilometer. In den Städten ist die Kupferleitung in  $90\%$  aller Fälle kürzer als  $\text{2.8 km}$.

[[File:P_ID1954__Bei_T_2_4_S1a_v1.png|center|frame|Aufbau des Teilnehmeranschlussbereichs]]

Die hier besprochenen  $\rm xDSL$–Varianten wurden speziell für den Einsatz auf solchen symmetrischen Kupfer–Doppeladern im Kabelverbund entwickelt. Um die technischen Anforderungen an die xDSL–Systeme besser verstehen zu können, muss ein genauer Blick auf die Übertragungseigenschaften und Störungen auf den Leiterpaaren gerichtet werden. Dieses Thema wurde schon im vierten Hauptkapitel  ''Eigenschaften elektrischer Leitungen''  des Buches  [[Lineare zeitinvariante Systeme]]  ausführlich behandelt und wird deshalb hier nur kurz anhand des  [[Linear_and_Time_Invariant_Systems/Einige_Ergebnisse_der_Leitungstheorie#Wellenwiderstand_und_Reflexionen|Ersatzschaltbildes]]  zusammengefasst:
*Die Leitungsübertragungseigenschaften werden durch den  ''Wellenwiderstand''  $Z_{\rm W}(f)$  und das Übertragungsmaß  $γ(f)$  vollständig charakterisiert. Beide Größen sind im allgemeinen komplex.
*Das  ''Dämpfungsmaß''  $α(f)$  ist der Realteil des Übertragungsmaßes und beschreibt die Dämpfung der sich entlang der Leitung ausbreitenden Welle; $α(f)$  ist eine gerade Funktion der Frequenz.
*Der ungerade Imaginärteil  $β(f)$  des komplexen Übertragungsmaßes heißt  ''Phasenmaß''  und gibt die Phasendrehung der Signalwelle entlang der Leitung an.

[[File:P_ID1955__Bei_T_2_4_S1b_v1.png|right|frame|Dämpfungsmaß von Kupfer–Doppeladern]]
{{GraueBox|TEXT=
$\text{Beispiel 1:}$  Wir betrachten beispielhaft das rechts dargestellte Dämpfungsmaß, das auf empirische Untersuchungen der Deutschen Telekom zurückgeht.

Die Kurven ergaben sich durch Mittelung über eine große Anzahl gemessener Leitungen von einem Kilometer Länge im Frequenzbereich bis  $\text{30 MHz}$. Man erkennt:
* Das Dämpfungsmaß  $α(f)$  steigt etwa proportional mit der Wurzel der Frequenz an und wird mit steigendem Leiterdurchmesser  $d$  geringer.
* Die Dämpfungsfunktion  $a(f)$  steigt linear mit der Kabellänge  $l$  an:
:$$a(f) = α(f) · l.$$

Beachten Sie den Unterschied zwischen
*&bdquo;$a$” (für die Dämpfungsfunktion) und
*&bdquo;$alpha$” (für das Dämpfungsmaß, bezogen auf die Länge).}}

Für den Leitungsdurchmesser  $\text{0.4 mm}$  wurde in  [PW95]<ref name ='PW95'>Pollakowski, M.; Wellhausen, H.W.: ''Eigenschaften symmetrischer Ortsanschlusskabel im Frequenzbereich bis 30 MHz''. Mitteilung aus dem Forschungs- und Technologiezentrum der Deutschen Telekom AG, Darmstadt, Verlag für Wissenschaft und Leben Georg Heidecker, 1995.</ref>  eine empirische Näherungsformel für das Dämpfungsmaß angegeben:

:$$\alpha(f) = \left [ 5.1 + 14.3 \cdot \left (\frac{f}{\rm 1\,MHz}\right )^{0.59} \right ] \frac{\rm dB}{\rm km}
\hspace{0.05cm}.$$

Wertet man diese Gleichung aus, so können folgende beispielhafte Werte genannt werden:
*Die Dämpfung  $a(f)$  einer Kupfer–Doppelader der Länge  $l = 1 \ \rm km$  mit Durchmesser  $0.4 \ \rm mm$  beträgt für die Signalfrequenz  $10\ \rm MHz$  etwas mehr als  $60\ \rm dB$.
*Bei doppelter Frequenz  $(20 \ \rm MHz)$  steigt der Dämpfungswert auf über  $90 \ \rm dB$. Es zeigt sich, dass die Dämpfung nicht exakt mit der Wurzel der Frequenz ansteigt, wie es bei alleiniger Betrachtung des Skin–Effekts der Fall wäre, da auch verschiedene andere Effekte zur Dämpfung beitragen.
*Wird die Kabellänge auf  $l = 2 \ \rm km$  verdoppelt, so erreicht die Dämpfung einen Wert von mehr als  $120 \ \rm dB$  $($bei  $10 \ \rm MHz)$, was einem Amplitudendämpfungsfaktor kleiner als  $10^{-6}$  entspricht.
*Durch die Frequenzabhängigkeit von  $α(f)$  und  $β(f)$  kommt es sowohl zu  ''Intersymbolinterferenzen''  $\rm (ISI)$  als auch zu  ''Inter–Carrier–Interferenzen''  $\rm (ICI)$. Vorzusehen ist also bei xDSL eine geeignete Entzerrung.

Im Kapitel  [[Linear_and_Time_Invariant_Systems/Eigenschaften_von_Kupfer–Doppeladern|Eigenschaften von Kupfer–Doppeladern]]  des Buches &bdquo;Lineare zeitinvariante Systeme” wird diese Thematik ausführlich behandelt. Wir verweisen auf die beiden interaktiven Applets  [[Applets:Dämpfung_von_Kupferkabeln|Dämpfung von Kupferkabeln]]  und  [[Applets:Zeitverhalten_von_Kupferkabeln|Zeitverhalten von Kupferkabeln]].

==Störungen bei der Übertragung ==
 
Jedes Nachrichtensystem wird durch Rauschen beeinflusst, das meist in erster Linie aus dem thermischen Widerstandsrauschen resultiert. Zusätzlich sind bei einer Zweidrahtleitung noch zu beachten:
*'''Reflexionen''':   Durch die gegenläufige Welle wird die Dämfung eines Leitungspaares erhöht, was im  [[Linear_and_Time_Invariant_Systems/Einige_Ergebnisse_der_Leitungstheorie#Einfluss_von_Reflexionen_.E2.80.93_Betriebsd.C3.A4mpfung|Betriebsdämpfungsmaß]]  der Leitung berücksichtigt wird. Um solche Reflexion zu verhindern, müsste der Abschlusswiderstand  $Z_{\rm E}(f)$  identisch mit dem (komplexen und frequenzabhängigen) Wellenwiderstand  $Z_{\rm W}(f)$  gewählt werden. Dies ist in der Praxis schwierig. Deshalb werden die Abschlusswiderstände reell und konstant gewählt und die daraus resultierenden Reflexionen – wenn möglich – mit technischen Mitteln bekämpft.
*'''Nebensprechen''':   Dies ist dominante Störung bei leitungsgebundener Übertragung. Nebensprechen entsteht, wenn es durch induktive und kapazitive Kopplungen zwischen benachbarten Adern eines Kabelbündels zu gegenseitigen Beeinflussungen bei der Signalübertragung kommt.

[[File:P_ID1956__Bei_T_2_4_S2a_v1.png|right|frame|Zum Entstehen von Nebensprechen]]
Beim Nebensprechen unterscheidet man zwischen zwei Typen (siehe Grafik):

*'''Nahnebensprechen'''  (englisch:  ''Near End Crosstalk'', NEXT): Der störende Sender und der gestörte Empfänger befinden sich auf der gleichen Seite des Kabels.
*'''Fernnebensprechen'''  (englisch:  ''Far End Crosstalk'', FEXT): Der störende Sender und der gestörte Empfänger befinden sich auf den gegenüberliegenden Seiten des Kabels.

Das Fernnebensprechen nimmt mit zunehmender Leitungslänge aufgrund der Dämpfung stark ab, so dass auch bei DSL das Nahnebensprechen dominant ist.
 
{{BlaueBox|TEXT=
$\text{Fazit:}$ 
Zusammenfassend lässt sich sagen:
*Mit steigender Frequenz und abnehmendem Abstand zwischen den Leiterpaaren – wie innerhalb eines Sternvierers – nimmt das Nahnebensprechen zu. Weniger kritisch ist es, wenn sich die Adern in verschiedenen Grundbündeln befinden.
*Je nach eingesetzter Verseiltechnik, Abschirmung und Fertigungsgenauigkeit des Kabels tritt dieser Effekt unterschiedlich stark auf. Die Leitungslänge spielt dagegen bei Nahnebensprechen keine Rolle:   Der eigene Sender wird durch das Kabel nicht gedämpft.
*Durch geschickte Belegung kann man das Nebensprechen signifikant reduzieren, zum Beispiel, indem man benachbarte Doppeladern mit verschiedenen Diensten belegt, die unterschiedliche und möglichst wenig überlappende Frequenzbänder nutzen.}}

==Signal–zu–Rausch–Verhältnis, Reichweite und Übertragungsrate ==
 
Zur Bewertung der Qualität eines Übertragungssystems wird meist das Signal–zu–Rausch–Verhältnis  (''Signal–to–Noise Ratio'', SNR) vor dem Entscheider herangezogen. Dieses ist auch ein Maß für die zu erwartende Bitfehlerrate (BER).
*Signal und Rauschen im gleichen Frequenzband verringern das SNR und führen zu einer höheren Bitfehlerrate oder – bei vorgegebener Bitfehlerrate – zu einer niedrigeren Übertragungsrate.
*Die Zusammenhänge zwischen Sendeleistung, Kanalgüte (Kabeldämpfung und Störleistung) sowie erreichbarer Übertragungsrate können sehr gut durch Shannons Kanalkapazitätsformel verdeutlicht werden:

:$$C \left [ \frac{\rm bit}{\rm Symbol} \right ] = \frac {1}{2} \cdot \log_2 \left ( 1 + \frac{P_{\rm E}}{P_{\rm N}} \right )=
\frac {1}{2} \cdot \log_2 \left ( 1 + \frac{\alpha_{\rm K}^2 \cdot P_{\rm S}}{P_{\rm N}} \right ) \hspace{0.05cm}.$$

Die  '''Kanalkapazität'''  $C$  bezeichnet die maximale Übertragungsbitrate, mit der bei idealen Voraussetzungen (unter Anderem die bestmögliche Codierung mit unendlicher Blocklänge) übertragen werden kann   ⇒   ''Kanalcodierungstheorem''. Näheres hierzu finden Sie im vierten Hauptkapitel ''Wertkontinuierliche Informationstheorie''  des Buches  [[Informationstheorie]].

Wir gehen davon aus, dass die Bandbreite durch die xDSL–Variante festliegt und dass Nahnebensprechen die dominante Störung ist. Dann kann die Übertragungsrate durch folgende Maßnahmen verbessert werden:
*Man vergrößert bei gegebener Sendeleistung  $P_{\rm S}$  und gegebenem Medium (zum Beipiel:   Kupfer–Doppeladern mit 0.4 mm Durchmesser) die zur Demodulation nutzbare Empfangsleistung  $P_{\rm E}$  nur durch eine kürzere Leitungslänge.
*Man vermindert die Störleistung  $P_{\rm N}$, was bei gegebener Bandbreite  $B$  durch eine erhöhte Nebensprechdämpfung zu erreichen wäre, die wiederum auch vom Übertragungsverfahren auf den benachbarten Leitungspaaren abhängt.
*Eine Erhöhung der Sendeleistung  $P_{\rm S}$  wäre hier nicht zielführend, da sich eine größere Sendeleistung gleichzeitig ungünstig auf das Nebensprechen auswirkt. Diese Maßnahme wäre nur bei einem AWGN–Kanal  (Beispiel:  Koaxialkabel) erfolgreich.

Diese Auflistung zeigt, dass bei xDSL ein direkter Zusammenhang zwischen Reichweite (Leitungslänge), Übertragungsrate und eingesetztem Übertragungsverfahren besteht. Aus der folgenden Grafik, die sich auf Messungen mit 1–DA–xDSL–Verfahren und 0.4mm–Kupferkabeln bei Versuchssystemen mit realitätsnahen Störbedingungen bezieht, erkennt man deutlich diese Abhängigkeiten.

[[File:P_ID1957__Bei_T_2_4_S3a_v1.png|right|frame|Reichweite und Gesamtbitrate bei ADSL und VDSL]]
{{GraueBox|TEXT=
$\text{Beispiel 2:}$ 
Die Grafik zeigt für einige ADSL– und VDSL–Varianten
*die Reichweite (maximale Kabellänge)  $l_{\rm max}$  und
*die Gesamtübertragungsrate  $R_{\rm ges}$  von Upstream (erste Angabe) und Downstream (zweite Angabe).

Die Gesamtübertragungsrate liegt bei den betrachteten Systemen zwischen  $2.2 \ \rm Mbit/s$  und  $53\ \rm Mbit/s$. Die Reichweite bezieht sich hier auf eine Kupferdoppelader mit 0.4 mm Durchmesser.

Die Tendenz der Messwerte ist in dieser Grafik als durchgezogene (blaue) Kurve eingezeichnet und kann als grobe Näherung folgendermaßen formuliert werden:

:$$l_{\rm max}\,{\rm \big [in}\,\,{\rm km \big ] } = \frac {20}{4 + R_{\rm ges}\,{\rm \big [in}\,\,{\rm Mbit/s \big ] } } \hspace{0.05cm}.$$

Man erkennt, dass sich die Reichweite aller derzeitigen Systeme (etwa zwischen einem halben und dreieinhalb Kilometer Leitungslänge) von dieser Faustformel um maximal $±25\%$ unterscheiden (gestrichelte Kurven).}}

{{GraueBox|TEXT=
$\text{Beispiel 3:}$ 
Im unteren Diagramm sind die Gesamtdatenübertragungsraten von ADSL2+ und VDSL(2) als Funktion der Leitungslänge dargestellt, wobei sich die (unterschiedlich) roten Kurven auf den Downstream und die beiden blauen Kuvren auf den Upstream beziehen. Zugrunde liegt ein „worst-case”–Störszenario mit folgenden Randbedingungen:
[[File:P_ID1965__Bei_T_2_4_S3b_v1.png|right|frame|Übertragungsraten und Kabellängen bei ADSL2+ und VDSL(2)]]
*Kabelbündel mit 50 Kupferdoppeladern (0.4 mm Durchmesser), PE–isoliert,
*Ziel–Symbolfehlerrate $10^{–7}, 6 \ \text{dB}$ Margin (Reserve–SNR, um Ziel–Datenrate zu erreichen),
*gleichzeitiger Betrieb folgender Übertragungsverfahren:
**25 mal ADSL2+ über ISDN,
**14 mal ISDN, viermal SHDSL (1 Mbit/s),
**je fünfmal SHDSL (2 Mbit/s) und VDSL2 Bandplan 998, sowie
**zweimal HDSL.

Man erkennt aus dieser Darstellung:
*Bei kurzen Leitungslängen sind die erzielbaren Übertragungsraten bei VDSL(2) deutlich höher als bei ADSL2+.
*Ab einer Leitungslänge von etwa 1800 Meter ist dagegen ADSL2+ deutlich besser als VDSL(2).
*Dies ist darauf zurückzuführen, dass VDSL(2) in den unteren Frequenzbändern mit deutlich niedrigerer Sendeleistung arbeitet, um benachbarte Übertragungssysteme weniger zu stören.
*Mit zunehmender Leitungslänge werden die frequenzmäßig höher angesiedelten Subkanäle wegen der zunehmenden Dämpfung zur Datenübertragung unbrauchbar, was den Absturz der Datenrate erklärt.}}

==DSL–Fehlerkorrekturmaßnahmen im Überblick==
 
Um die Bitfehlerrate der xDSL–Systeme zu senken, wurden in den Spezifikationen eine Reihe von Verfahren geschickt miteinander kombiniert, um den zwei häufigsten Fehlerursachen entgegen zu wirken:
*Übertragungsfehler aufgrund von Impuls– und Nebensprechstörungen auf der Leitung:   Besonders bei hohen Datenraten liegen benachbarte Symbole im QAM–Signalraum eng beieinander, was die Fehlerwahrscheinlichkeit signifikant erhöht.
*Abschneiden von Signalspitzen aufgrund mangelnder Dynamik der Sendeverstärker (''Clipping''):   Dieses Abschneiden entspricht ebenfalls einer Impulsstörung und wirkt als zusätzliche farbige Rauschbelastung, die das SNR merkbar verschlechtert.

[[File:P_ID1959__Bei_T_2_4_S4_v1.png|right|frame|Vollständiges DSL/DMT-System]]
Beim DMT–Verfahren sind für Fehlerkorrekturmaßnahmen in den Signalprozessoren zwei Pfade realisiert. Die Bitzuordnung zu diesen Pfaden übernimmt ein Multiplexer mit Sync–Kontrolle.
*Beim  '''Fast–Path'''  setzt man auf geringe Wartezeiten (''Latency'').
*Beim  '''Interleaved–Path'''  stehen niedrige Bitfehlerraten im Vordergrund. Hier ist die Latenz aufgrund des Einsatzes eines Interleavers größer.
*Eine duale Latenz bedeutet die gleichzeitige Verwendung beider Pfade. Die ''ADSL Transceiver Units''  müssen zumindest im Downstream eine duale Latenz unterstützen.
 
Auf den restlichen Kapitelseiten werden für beide Pfade die Fehlerschutzverfahren erörtert.
 (Bei anderen Modulationsverfahren sind die beschriebenen Fehlerschutzmaßnahmen prinzipiell gleich, im Detail jedoch verschieden).
*Die Übertragungskette beginnt mit dem  ''Cyclic Redundancy Check''  (CRC), der eine Prüfsumme über einen Überrahmen bildet, die beim Empfänger ausgewertet wird.
*Aufgabe des Scramblers ist es, lange Folgen von Einsen und Nullen umzuwandeln, um häufigere Signalwechsel zu erzeugen.
*Danach folgt die Vorwärtsfehlerkorrektur  (''Forward Error Correction'', FEC), um empfangsseitig Bytefehler erkennen und eventuell sogar korrigieren zu können. Standard ist bei xDSL eine Reed–Solomon–Codierung, oft kommt zusätzlich die Trellis–Codierung zum Einsatz.
*Aufgabe des  ''Interleavers''  ist es, die empfangenen Codeworte über einen größeren Zeitbereich zu verteilen, um eventuell auftretende Übertragungsstörungen ebenfalls auf mehrere Codeworte zu verteilen und damit die Chancen einer Rekonstruktion zu erhöhen.
*Nach dem Durchlaufen der einzelnen Bitsicherungsverfahren werden die Datenströme von Fast– und Interleaved–Pfad im  ''Tone Ordering''  zusammengeführt und bearbeitet. Hier werden auch die Bits den Trägerfrequenzen (Bins) zugewiesen.
*Außerdem werden im DMT-Sender nach der IDFT ein Schutzintervall und ein zyklisches Präfix eingefügt, das im DMT–Empfänger wieder entfernt wird. Dies stellt bei verzerrendem Kanal eine sehr einfache Realisierung der Signalentzerrung im Frequenzbereich dar.

==Cyclic Redundancy Check==
 
Die  ''zyklische Redundanzprüfung''  (englisch:  ''Cyclic Redundancy Check'', CRC) ist ein einfaches Verfahren auf Bitebene, um die Unversehrtheit der Daten bei der Übertragung oder der Duplizierung zu überprüfen. Das CRC–Prinzip wurde bereits im  [[Examples_of_Communication_Systems/ISDN–Primärmultiplexanschluss#Rahmensynchronisation|ISDN–Kapitel]]  im Detail beschrieben.

Hier folgt eine kurze Zusammenfassung, wobei die bei den xDSL–Spezifikationen verwendete Nomenklatur verwendet wird:
*Vor der Datenübertragung wird für einen Datenblock  $D(x)$  mit  $k$  Bit   ⇒   $d_0$, ... , $d_{k-1}$  ein Prüfwert  $C(x)$  mit acht Bit gebildet und an die ursprüngliche Datenfolge angehängt. Die Variable  $x$  bezeichnet hierbei einen Verzögerungsoperator.
*$C(x)$  ergibt sich als der Divisionsrest der Polynomdivision von  $D(x)$  durch das Prüfpolynom  $G(x)$. Diese Operation wird durch Modulo–2–Gleichungen beschrieben:
:$$D(x) = d_0 \cdot x^{k-1} + d_1 \cdot x^{k-2} + ... + d_{k-2} \cdot x + d_{k-1}\hspace{0.05cm},$$
:$$G(x) = x^8 + x^4 + x^3 + x^2 + 1 \hspace{0.05cm},$$
:$$C(x) = D(x) \cdot x^8 \,\,{\rm mod }\,\, G(x) = c_0 \cdot x^7 + c_1 \cdot x^6 + \text{...} + c_6 \cdot x + c_7
\hspace{0.05cm}.$$

*Beim Empfänger wird nach dem gleichen Verfahren erneut ein CRC–Wert gebildet und und mit dem übermittelten Prüfwert verglichen. Sind beide ungleich, so liegt mindestens ein Bitfehler vor.
*Auf diese Weise können Bitfehler erkannt werden, wenn diese nicht zu gehäuft sind. In der ADSL–Praxis ist das CRC–Verfahren ausreichend zur Bitfehlererkennung.

[[File:P_ID1968__Bei_T_2_4_S5_v1.png|center|frame|CRC–Prüfwertbildung bei ADSL]]

Die Grafik zeigt eine beispielhafte Schaltung – realisierbar in Hardware oder Software – zur CRC–Prüfwertbildung mit dem für ADSL spezifizierten Generatorpolynom  $G(x)$:
*Der zu prüfende Datenblock wird von links in die Schaltung eingebracht, der Ausgang rückgekoppelt und mit den Stellen des Generatorpolynoms  $G(x)$  exklusiv–oder–verknüpft. Nach Durchlauf des gesamten Datenblocks enthalten die Speicherelemente den CRC–Prüfwert  $C(x)$.
*Anzumerken ist in diesem Zusammenhang, dass bei ADSL die Daten in so genannte Superframes (zu je 68 Rahmen) aufgespaltet werden. Jeder Rahmen beinhaltet Daten aus dem Fast– und Interleaved–Pfad. Zusätzlich werden Verwaltungs– und Synchronisations–Bits in spezifischen Rahmen übertragen.
*Pro ADSL–Superframe und pro Pfad werden acht CRC–Bits gebildet und als  ''Fast Byte''  bzw.  ''Sync Byte''  als erstes Byte von Rahmen  $0$  des nächsten Superframes übertragen.

==Scrambler und De–Scrambler==
 
Aufgabe des Scramblers ist es, lange Folgen von Einsen und Nullen so umzuwandeln, dass häufige Symbolwechsel erfolgen.
*Eine mögliche Realisierung stellt eine Schieberegisterschaltung mit rückgeführten Exklusiv–Oder–verknüpften Zweigen dar.
*Um beim Empfänger die ursprüngliche Binärfolge herzustellen, muss dort ein spiegelbildlich selbstsynchronisierender De–Scrambler verwendet werden.

Die Grafik zeigt links ein Beispiel eines bei DSL tatsächlich eingesetzten Scramblers mit 23 Speicherelementen. Rechts ist der zugehörige De–Scrambler dargestellt.

[[File:P_ID1960__Bei_T_2_4_S6a.png|center|frame|Scrambler und De–Scrambler bei DSL/DMT-System]]

Das sendeseitige Schieberegister wird mit einem beliebigen Startwert geladen, der keinen weiteren Einfluss auf die Funktion der Schaltung hat. Bezeichnet man mit  $e_n$  die Bits der binären Eingangsfolge und mit  $a_n$  die Bits am Ausgang, so gilt folgender Zusammenhang:

:$$a_n = e_n \oplus a_{n- 18}\oplus a_{n- 23}\hspace{0.05cm}.$$

Im Beispiel besteht die Eingangsfolge aus 80 aufeinander folgenden Einsen (linke obere graue Hinterlegung), die bitweise in den Scrambler geschoben werden. Die Ausgangsbitfolge weist dann – wie gewünscht – häufige Null–Eins–Wechsel auf.

Der De–Scrambler (rechts dargestellt) kann zu jedem beliebigen Zeitpunkt gestartet werden. Am Ausgangsdatenstrom erkennt man,
*dass der De–Scramber zunächst einige (bis zu maximal 23) fehlerhafte Bits ausgibt,
*sich dann aber automatisch synchronisiert und
*anschließend die ursprüngliche Bitfolge (nur Einsen) fehlerfrei zurückgewinnt.

Es ist zu beachten, dass für dieses Beispiel zwar die Bitübertragung als fehlerfrei angenommen wurde, aber auch der De–Scrambler mit einem beliebigen Startwert geladen werden kann, was bedeutet, dass zwischen beiden Schaltungen keine Synchronisierung erforderlich ist.

==Vorwärtsfehlerkorrektur==
 
Zur Vorwärtsfehlerkorrektur (''Forward Error Correction'',  FEC) wird bei allen xDSL–Varianten ein  [[Kanalcodierung/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Code]]  (RS–Codierung) verwendet. Bei manchen Systemen – beispielsweise bei ADSL der Deutschen Telekom – wurde als zusätzliche Fehlerschutzmaßnahme ''Trellis Code Modulation''  (TCM) verbindlich festgelegt, auch wenn diese von den internationalen Gremien nur als „optional” spezifiziert wurde.

Beide Verfahren werden im Buch  [[Kanalcodierung]]  ausführlich behandelt. Hier folgt eine kurze Zusammenfassung der Reed–Solomon–Codierung im Hinblick auf die Anwendung bei DSL:
*Mit der Reed–Solomon–Codierung werden Redundanz–Bytes für fest vereinbarte Stützstellen des Nutzdatenpolynoms generiert. Bei systematischer RS–Codierung wird ähnlich dem CRC–Verfahren ein Prüfwert berechnet und an den zu schützenden Datenblock angehängt.
*Die Daten werden jedoch nicht mehr bitweise, sondern byteweise verarbeitet. Demzufolge werden arithmetische Operationen nicht mehr im Galois–Feld  $\rm GF( 2 )$  ausgeführt, sondern in  $\rm GF(2^8)$.

Die Reed–Solomon–Prüfziffer lässt sich auch als Divisionsrest einer Polynomdivision ermitteln, bei xDSL mit folgenden Parametern:
*Anzahl  $S$  der zu überwachenden DMT–Symbole pro Reed–Solomon–Codewort  $(S \ge 1$  für den Fast–Puffer,  $S =2^0$, ... , $2^4$  für den Interleaved–Puffer$)$,
*Anzahl  $K$  der Nutzdatenbytes in den  $S$  DMT–Symbolen, definiert als Polynom  $B(x)$  vom Grad  $K$, wobei das „B” auf Bytes hinweist,
*Anzahl  $R$  der RS–Prüfbytes  $($gerade Zahl zwischen $2$ bis $16)$ pro Prüfwert (&bdquo;Fast” oder &bdquo;Interleaved”),
*Summe  $N = K + R$  der Nutzdatenbytes und Prüfbytes des Reed–Solomon–Codewortes.

Die Besonderheiten der Reed–Solomon–Codierung bei xDSL werden hier ohne weitere Kommentierung angegeben:
*Bei xDSL muss die Anzahl  $R$  der Prüfbytes ein ganzzahliges Vielfaches der Symbolanzahl  $S$  sein, damit diese im Nutzdatenpolynom gleichmäßig verteilt werden können.
*Die so genannten  [https://de.wikipedia.org/wiki/MDS-Code MDS–Codes]  (''Maximum Distance Separable'') – eine Unterklasse der RS–Codes – erlauben die Korrektur von  $R/2$  verfälschten Nutzdatenbytes.
*Vom gewählten Reed–Solomon–Code für die DMT–Systeme ergibt sich als Einschränkung eine maximale Codewortlänge von  $2^8–1 = 255$  Byte entsprechend $2040$ Bit.
*Die Redundanz der Reed–Solomon–Codes kann bei ungünstigen Codeparametern eine beachtliche Datenmenge erzeugen, wodurch die Nettoübertragungsrate erheblich geschmälert wird.
*Es empfiehlt sich eine sinnvolle Aufteilung der Datenübertragungsmenge  (''Bruttodatenrate'')  in Nutzdaten  (Nettodatenrate, ''Payload'')  und Fehlerschutzdaten  (''Overhead'').
*Die Reed–Solomon–Codierung erzielt einen hohen Codiergewinn. Ein System ohne Codierung müsste für die gleiche Bitfehlerrate ein um  $3 \ \rm dB$ größeres SNR aufweisen.
*Durch die  ''Trellis–codierte Modulation''  (TCM) in Verbindung mit den anderen Fehlerschutzmaßnahmen fällt der Codiergewinnn höchst unterschiedlich aus; er bewegt sich zwischen  $0 \ \rm dB$  und  $6 \ \rm dB$.

==Interleaving und De–Interleaving==
 
Gemeinsame Aufgabe von Interleaver (beim Sender) und De–Interleaver (beim Empfänger) ist es, die empfangenen Reed–Solomon–Codewörter über einen größeren Zeitbereich zu verteilen, um eventuell auftretende Übertragungsfehler auf mehrere Codeworte zu verteilen und damit die Chance einer korrekten Decodierung zu erhöhen.

Das Interleaving ist durch den Parameter $D$ (&bdquo;Tiefe”) charakterisiert, der Werte zwischen  $2^0$  und  $2^9$  annehmen kann.

[[File:P_ID1961__Bei_T_2_4_S8a_v1.png|right|frame|Zum DSL–Interleaving mit  $D = 2$]]
{{GraueBox|TEXT=
$\text{Beispiel 4:}$  Die Grafik verdeutlicht das Prinzip anhand der Reed–Solomon–Codeworte  $A$,  $B$,  $C$  mit jeweils fünf Byte sowie der Interleaver–Tiefe  $D = 2$.

Jedes Byte  $B_i$  des mittleren Reed–Solomon–Codewortes  $B$  wird um  $V_i = (D - 1) · i$  Bytes verzögert und es werden zwei Interleaver–Blöcke gebildet:
*Im ersten Block sind die Bytes  $B_0$,  $B_1$  und  $B_2$  zusammen mit den Bytes  $A_3$  und  $A_4$  des vorherigen Codewortes zusammengefasst.
*Der zweite Block beinhaltet die Bytes  $B_3$  und  $B_4$  zusammen mit den Bytes  $C_0$,  $C_1$  und  $C_2$  des nachfolgenden Codewortes.}}

Diese &bdquo;Verwürfelung” hat folgende Vorteile (vorausgesetzt,  $D$ ist hinreichend groß):
*Die Fehlerkorrekturmöglichkeiten des Reed–Solomon–Codes werden verbessert.
*Die Nutzdatenrate bleibt gleich, wird also nicht vermindert (Redundanzfreiheit).
*Bei Störungen müssen nicht ganze Pakete auf Protokollebene wiederholt werden.

Nachteilig ist, dass es mit zunehmender Interleaver–Tiefe  $D$  zu merklichen Verzögerungszeiten (in der Größenordnung von Millisekunden) kommen kann, was für Echtzeitanwendungen große Probleme bereitet. Interleaving mit geringer Tiefe ist allerdings nur bei genügend hohem Signal–zu–Rausch–Abstand sinnvoll.

{{GraueBox|TEXT=
$\text{Beispiel 5:}$ 
Ein Beispiel für die Vorteile von Interleaver/De–Interleaver bei Vorhandensein von Bündelfehlern zeigt die untere Grafik:

*In der ersten Zeile sind die Bytefolgen nach der Reed–Solomon–Codierung dargestellt, wobei jedes Codeworte beispielhaft aus sieben Bytes besteht.
*In der mittleren Zeile werden die Datenbytes durch das Interleaving mit  $D = 3$  verschoben, sodass zwischen  $C_i$  und  $C_{i+1}$  zwei fremde Bytes liegen und das Codewort auf drei Blöcke verteilt wird.
*Es sei nun angenommen, dass während der Übertragung eine Impulsstörung drei aufeinander folgende Bytes in einem einzigen Datenblock verfälscht wurden.
*Nach dem De–Interleaver ist die ursprüngliche Bytefolge der Reed–Solomon–Codewörter wieder hergestellt, wobei die drei fehlerhaften Bytes auf drei unabhängige Codewörter verteilt sind.
*Wurden bei der Reed–Solomon–Codierung jeweils zwei Redundanzbytes eingefügt, so lassen sich die nun separierten Byteverfälschungen vollständig korrigieren.

[[File:P_ID1962__Bei_T_2_4_S8b_v1.png|center|frame|Zum DSL–Interleaving mit  $D = 3$]]}}

==Gain Scaling und Tone Ordering==
 
Eine besonders vorteilhafte Eigenschaft von DMT ist die Möglichkeit, die Subkanäle (englisch:  ''Bins'') individuell an die vorliegende Kanalcharakteristik anzupassen und eventuell &bdquo;Bins” mit ungünstigem SNR ganz abzuschalten. Dabei wird wie folgt vorgegangen:

[[File:P_ID1963__Bei_T_2_4_S9_v1.png|right|frame|Bit-Bin-Zuordnung anhand des SNR]]
*Vor dem Start der Übertragung – und eventuell auch dynamisch während des Betriebs – wird vom DMT–Modem für jeden &bdquo;Bin” die Kanalcharakteristik gemessen und entsprechend dem SNR individuell die maximale Übertragungsrate festgelegt (siehe Grafik).
*Während der Initialisierung tauschen die  ''ADSL Transceiver Units''  Bin–Informationen aus, zum Beispiel die jeweiligen „Bits/Bin” und die erforderliche Sendeleistung (''Gain''). Dabei sendet die  $\rm ATU–C$  Informationen über den Upstream und die  $\rm ATU–R$  Informationen über den Downstream.
*Diese Mitteilung hat die Form  $\{b_i, g_i\}$  wobei  $b_i$  (4 Bit) die Größe der Konstellation angibt. Für den Upstream gilt für den Index  $i = 1$, ... , $31$  und für den Downstream  $i = 1$, ... , $255$.
*Der Gain  $g_i$  ist eine Festkommazahl mit zwölf Bit. Beispielsweise steht  $g_i = 001.010000000$ für den Dezimalwert  $1 + 1/4 =1.25$. Dieser gibt an, dass die Signalleistung von Kanal  $i$  um  $1.94 \ \rm dB$  höher sein muss als die Leistung des während der Kanalanalyse gesendeten Testsignals.
 
Beim gleichzeitigen Betrieb des Fast– und des Interleaved–Pfades (siehe  [[Examples_of_Communication_Systems/Verfahren_zur_Senkung_der_Bitfehlerrate_bei_DSL#DSL.E2.80.93Fehlerkorrekturma.C3.9Fnahmen_im_.C3.9Cberblick|Grafik]]  auf der Seite &bdquo;DSL–Fehlerkorrekturmaßnahmen”) kann durch eine optimierte Trägerfrequenzbelegung (''Tone Ordering'') die Bitfehlerrate weiter gesenkt werden. Hintergrund dieser Maßnahme ist wieder das ''Clipping''  (Abschneiden von Spannungsspitzen), wodurch das SNR insgesamt verschlechtert wird. Dieses Verfahren beruht auf folgenden Regeln:
*Bins mit dichter Konstellation (viele Bits/Bin   ⇒   größere Verfälschungswahrscheinlichkeit) werden dem Interleaved–Zweig zugeordnet, da dieser durch den zusätzlichen Interleaver per se zuverlässiger ist. Entsprechend werden die Subkanäle mit niederwertiger Belegung (wenige Bits/Bin) für den Fast–Datenpuffer reserviert.
*Gesendet werden dann neue Tabellen für Upstream und Downstream, in denen die Bins nicht mehr nach dem Index geordnet sind, sondern entsprechend den Bits/Bin–Verhältnissen. Anhand dieser neuen Tabelle ist es für die  $\rm ATU–C$  bzw.  $\rm ATU–R$  möglich, die Bit–Extraktion erfolgreich durchzuführen.

==Einfügen von Guard–Intervall und zyklischem Präfix ==
 
Im Kapitel  [[Modulationsverfahren/Realisierung_von_OFDM-Systemen#Guard.E2.80.93L.C3.BCcke_zur_Verminderung_der_Impulsinterferenzen| Realisierung von OFDM–Systemen]]  des Buches &bdquo;Modulationsverfahren” wurde bereits gezeigt, dass durch die Einfügung eines Schutzabstandes – man bezeichnet diesen auch als  ''Guard–Intervall''  oder  ''Guard–Lücke'' – die Bitfehlerrate bei Vorhandensein von linearen Kanalverzerrungen entscheidend verbessert werden kann.

Wir gehen davon aus, dass sich die Kabelimpulsantwort  $h_{\rm K}(t)$  über die Zeitdauer  $T_{\rm K}$  erstreckt. Ideal wäre  $h_{\rm K}(t) = δ(t)$  und dementsprechend eine unendlich kurze Ausdehnung:   $T_{\rm K} = 0$. Bei verzerrendem Kanal  $(T_{\rm K} > 0 )$  gilt:
*Durch Einfügung eines ''Guard–Intervalls''  der Dauer  $T_{\rm G}$  lassen sich ''Intersymbolinterferenzen''  zwischen den einzelnen DSL–Rahmen vermeiden, solange  $T_{\rm G}$ ≥ $T_{\rm K}$  gilt. Diese Maßnahme führt allerdings zu einem Ratenverlust um den Faktor  $T/(T + T_{\rm G})$  mit der Symboldauer  $T = {1}/{f_0}$.
*Damit gibt es aber immer noch ''Inter–Carrier–Interferenzen''  zwischen den einzelnen Subträgern innerhalb des gleichen Rahmens, das heißt, die  [[Modulationsverfahren/Allgemeine_Beschreibung_von_OFDM#Systembetrachtung_im_Frequenzbereich_bei_kausalem_Grundimpuls|DMT–Einzelspektren]]  sind nicht mehr  $\rm si$–förmig und es kommt zu einer De–Orthogonalisierung.
*Durch ein  [[Modulationsverfahren/Realisierung_von_OFDM-Systemen#Zyklisches_Pr.C3.A4fix|zyklisches Präfix]]  lässt sich auch dieser störende Effekt vermeiden. Dabei erweitert man den Sendevektor  $\mathbf{s}$  nach vorne um die letzten  $L$  Abtastwerte des IDFT–Ausgangs, wobei der Minimalwert für $L$ durch die Dauer  $T_{\rm K}$  der Kabelimpulsantwort vorgegeben ist.

{{GraueBox|TEXT=
$\text{Beispiel 6:}$ 
Die Grafik zeigt diese Maßnahme beim DSL/DMT–Verfahren, für das der Parameter  $L = 32$  festgelegt wurde.

[[File:P_ID1964__Bei_T_2_4_S10a_v1.png|right|frame|DMT–Sendesignal mit zyklischem Präfix]]
*Die Abtastwerte  $s_{480}$ , ... , $s_{511}$  werden als Präfix  $(s_{-32}$ , ... , $s_{-1})$  zum IDFT–Ausgangsvektor  $(s_0$ , ... , $s_{511})$  hinzugefügt.
*Das Sendesignal  $s(t)$  hat nun statt der Symboldauer  $T ≈ 232 \ {\rm µ s}$  die resultierende Dauer  $T + T_{\rm G} = 1.0625 \cdot T ≈ 246 \ {\rm µ s}$. Dadurch wird die Rate um den Faktor  $0.94$  verringert.
*Bei der empfangsseitigen Auswertung beschränkt man sich auf den Zeitbereich von  $0$  bis  $T$. In diesem Zeitintervall ist der störende Einfluss der Impulsantwort bereits abgeklungen und die Subkanäle sind – ebenso wie bei idealem Kanal – zueinander orthogonal.
*Die Abtastwerte  $s_{-32}$ , ... , $s_{-1}$  werden am Empfänger verworfen – eine recht einfache Realisierung der Signalentzerrung.}}

Die letzte Grafik dieses Kapitels zeigt das gesamte DMT–Übertragungssystem, allerdings ohne die vorne beschriebenen  [[Examples_of_Communication_Systems/Verfahren_zur_Senkung_der_Bitfehlerrate_bei_DSL#DSL.E2.80.93Fehlerkorrekturma.C3.9Fnahmen_im_.C3.9Cberblick| Fehlerschutzmaßnahmen]]. Man erkennt:

[[File:P_ID1967__Bei_T_2_4_S10_v1.png|right|frame|DMT–System mit zyklischem Präfix]]
*Im Block „Addiere zyklisches Präfix” werden die Abtastwerte  $s_{480}$, ... , $s_{511}$  als  $s_{-32}$, ... , $s_{-1}$  hinzugefügt. Das Sendesignal  $s(t)$  hat somit den im  $\text{Beispiel 6}$  gezeigten Verlauf.
*Das Empfangsignal  $r(t)$  ergibt sich aus der Faltung von  $s(t)$  mit  $h_{\rm K}(t)$. Nach A/D–Wandlung und Entfernen des zyklischen Präfix erhält man die Eingangswerte  $r_0$, ... , $ r_{511}$  für die DFT.
*Die (komplexen) Ausgangswerte  $D_k\hspace{0.01cm}'$  der DFT hängen nur vom jeweiligen (komplexen) Datenwert  $D_k$  ab. Unabhängig von anderen Daten  $D_κ (κ ≠ k)$  gilt mit dem Rauschwert  $n_k\hspace{0.01cm}'$:

:$${D}_k\hspace{0.01cm}' = \alpha_k \cdot {D}_k + {n}_k\hspace{0.01cm}', \hspace{0.2cm}\alpha_k = H_{\rm K}( f = f_k)
\hspace{0.05cm}. $$

*Jeder Träger  $D_k$  wird durch einen eigenen (komplexen) Faktor  $α_k$, der nur vom Kanal abhängt, in seiner Amplitude und Phase verändert. Der Frequenzbereichsentzerrer hat nur die Aufgabe, den Koeffizienten  $D_k\hspace{0.01cm}'$  mit dem inversen Wert  ${1}/{α_k}$  zu multiplizieren. Man erhält schließlich:

:$$ \hat{D}_k = {D}_k + {n}_k \hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
*Diese einfache Realisierungsmöglichkeit der vollständigen Entzerrung des stark verzerrenden Kabelfrequenzgangs war eines der entscheidenden Kriterien, dass sich bei  $\rm xDSL$  das  $\rm DMT$–Verfahren gegenüber  $\rm QAM$  und  $\rm CAP$  durchgesetzt hat.
*Meist findet direkt nach der A/D–Wandlung zusätzlich noch eine Vorentzerrung im Zeitbereich statt, um auch die Intersymbolinterferenzen zwischen benachbarten Rahmen zu vermeiden.}}

==Aufgaben zum Kapitel==
 
[[Aufgabe_2.5:_DSL–Fehlersicherungsmaßnahmen|Aufgabe 2.5: DSL–Fehlersicherungsmaßnahmen ]]

[[Aufgabe_2.5Z:_Reichweite_und_Bitrate_bei_ADSL|Aufgabe 2.5Z: Reichweite und Bitrate bei ADSL]]

[[Aufgabe_2.6:_Zyklisches_Präfix|Aufgabe 2.6: Zyklisches Präfix]]
==Quellenverzeichnis==
<references />

{{Display}}

Examples of Communication Systems/xDSL als Übertragungstechnik

2020-10-13T15:37:55Z

Rosa: Rosa moved page Examples of Communication Systems/xDSL als Übertragungstechnik to Examples of Communication Systems/xDSL as Transmission Technology

#REDIRECT [[Examples of Communication Systems/xDSL as Transmission Technology]]

Examples of Communication Systems/xDSL as Transmission Technology

2020-10-13T15:37:55Z

Rosa: Rosa moved page Examples of Communication Systems/xDSL als Übertragungstechnik to Examples of Communication Systems/xDSL as Transmission Technology

{{Header
|Untermenü=DSL – Digital Subscriber Line
|Vorherige Seite=xDSL–Systeme
|Nächste Seite=Verfahren zur Senkung der Bitfehlerrate bei DSL
}}

==Mögliche Bandbreitenbelegungen für xDSL==
 
Die xDSL–Spezifikationen lassen den Betreibern viele Freiheiten hinsichtlich der Belegung.

Zur notwendigen Richtungstrennung der xDSL–Signalübertragung nach
*Abwärtsrichtung vom Anbieter zum Kunden (''Downstream'' mit möglichst hoher Datenrate),
*Aufwärtsrichtung vom Kunden zum Anbieter (''Upstream'' mit meist niedrigerer Datenrate)

wurden hierfür zwei Varianten standardisiert:

{{BlaueBox|TEXT=
$\text{Definition:}$ 
*Beim  '''Frequenzgetrenntlageverfahren'''  werden die Datenströme für die beiden Richtungen in zwei voneinander getrennten Frequenzbändern übertragen mit dem Vorteil, dass zur Trennung der Übertragungsrichtungen ein einfaches Filter genügt, was die technische Realisierung vereinfacht.
*Beim  '''Frequenzgleichlageverfahren'''  überlagern sich in einem bestimmten Teil die Spektren von Upstream und Downstream. Die Trennung erfolgt hier mit Hilfe einer Echokompensationsschaltung. Vorteile des Verfahrens sind der geringere Bandbreitenbedarf bei höheren (und damit stärker gedämpften) Frequenzen sowie eine größere Reichweite.}}

[[File:P_ID1936__Bei_T_2_3_S1_v1.png|right|frame|Frequenzgetrennt– und Frequenzgleichlageverfahren]]
Die Grafik stellt diese beiden Möglichkeiten vergleichend gegenüber.

Grundsätzlich überlassen die Spezifikationen den Entwicklern/Betreibern die Entscheidung,
*xDSL alleine auf der Teilnehmeranschlussleitung zu betreiben, oder
*einen Mischbetrieb von xDSL mit den Telefondiensten POTS  (''Plain Old Telephone Service'')  oder ISDN  (''Integrated Services Digital Network'')  zu ermöglichen,
*und somit den von den beiden Telefondiensten belegten unteren Frequenzbereich für xDSL auszuschließen oder auch zu belegen.
 
==ADSL–Bandbreitenbelegung in Deutschland==
 
Wegen der technisch deutlich einfacheren Realisierbarkeit fiel in Deutschland für ADSL und ADSL2+ die Entscheidung zugunsten

[[File:P_ID1937__Bei_T_2_3_S2_v1.png|right|frame|ADSL–Bandbreitenbelegung in Deutschland]]
*des Frequenzgetrenntlageverfahrens,
*die generelle Reservierung des unteren Frequenzbereichs für ISDN.

Das Frequenzgleichlageverfahren wird zwar teilweise noch verwendet, aber eher selten.

Bei den Übertragungsverfahren
* [[Modulation_Methods/Quadratur–Amplitudenmodulation|QAM]]  (Quadratur–Amplitudenmodulation) und
*[[Examples_of_Communication_Systems/xDSL_als_Übertragungstechnik#Carrierless_Amplitude_Phase_Modulation_.28CAP.29|CAP]]  (''Carrierless Amplitude Phase Modulation'')

wird die für DSL verfügbare Bandbreite nicht weiter zerlegt.

Dagegen werden beim Mehrträgerverfahren  [[Modulation_Methods/Weitere_OFDM–Anwendungen#Eine_Kurzbeschreibung_von_DSL_.E2.80.93_Digital_Subscriber_Line|DMT]]  (''Discrete Multitone Transmission'') der Aufwärtskanal und der Abwärtskanal in  $N_{\rm Up}$  bzw.  $N_{\rm Down}$  Subkanäle  (englisch: ''Bins'') zu je 4.3125 kHz aufgeteilt.
 
Außerdem ist zu obiger Grafik anzumerken:
*Telefondienste (POTS bzw. ISDN) und xDSL liegen in verschiedenen Frequenzbändern, was die gegenseitigen Störungen im Bündelkabel minimiert. Das signalstärkere ISDN stört somit nicht das parallel laufende xDSL und umgekehrt.
*Der untere Frequenzbereich bis $\text{120 kHz}$  wurde für ISDN (wahlweise POTS) reserviert. Dieser Wert ergibt sich aus der ersten Nullstelle des  [[Digitalsignalübertragung/Blockweise_Codierung_mit_4B3T-Codes#AKF_und_LDS_der_4B3T.E2.80.93Codes|ISDN–Spektrums mit 4B3T–Codierung]]. Oberhalb von $\text{120 kHz}$  wird das ISDN–Spektrum vollständig unterdrückt.
*Zur Trennung von Telefon– und xDSL–Signal wird an beiden Enden der Zweidrahtleitung ein  [[Examples_of_Communication_Systems/xDSL–Systeme#Komponenten_eines_DSL.E2.80.93Internetzugangs|Splitter]]  eingesetzt, der je ein Tiefpassfilter und ein Hochpassfilter beinhaltet und auch die folgende Frequenzlücke bis $\text{138 kHz}$  berücksichtigt.
*Nach dieser Belegungslücke folgt das ADSL–Upstream-Band von $\text{138 kHz}$  bis $\text{276 kHz}$. Diese Bandbreite erlaubt die Übertragung von  $N_{\rm Up} = 32$  Subträgern zu je $\text{4.3125 kHz}$. Dieser Wert ergibt sich aus der Rahmenübertragungsgeschwindigkeit.
*Der anschließende Downstream–Bereich reicht bei ADSL bis $\text{1104 kHz}$, womit  $N_{\rm Down} = 256$  Subträger realisiert werden können. Die Trennung von Auf– und Abwärtskanal bei xDSL erfolgt über ein Bandpassfilter im Modem.
*Allerdings dürfen die ersten $64$ Subträger  $($dies entspricht $\text{276 kHz)}$  nicht belegt werden. Beim  [[Examples_of_Communication_Systems/xDSL_als_Übertragungstechnik#M.C3.B6gliche_Bandbreitenbelegungen_f.C3.BCr_xDSL|Frequenzgleichlageverfahren]]  wären nur $32$ Subträger auszusparen, wobei zu berücksichtigen ist, dass die Trennung von Aufwärts– und Abwärtsrichtung eine aufwändigere Realisierung erfordert.
*Bei ADSL2+ ist die Systembandbreite gleich $\text{2208 kHz}$   ⇒   $N_{\rm Down} = 512$  Subträger. Die Anzahl der auszusparenden Bins bleibt gegenüber ADSL unverändert. Berücksichtigt man, dass zwei Bins von Kontrollfunktionen (beispielsweise zur Synchronisation von Sender und Empfänger) belegt werden, so verbleiben $190$  (ADSL) bzw. $446$  (ADSL2+) Downstream–Kanäle für Nutzer.
*Die in Deutschland vorgeschriebene ISDN–Reservierung hat für xDSL allerdings die Konsequenz, dass die niedrigen Frequenzen, die bei einer Kupferleitung mit Abstand am wenigsten gedämpft werden und damit eigentlich am besten geeignet wären, nicht genutzt werden können.
*Aus der Frequenzanordnung erkennt man weiterhin, dass die Downstream–Subkanäle stärker gedämpft werden als die Upstream–Subkanäle (höhere Frequenzen) und demzufolge ein kleineres Signal–zu–Rauschleistungsverhältnis (SNR) aufweisen.
*Die Entscheidung  „Upstream unterhalb Downstream”  hängt damit zusammen, dass der Ausfall von Downstream–Kanälen nur eine vergleichsweise geringe Auswirkung auf die Übertragungsrate hat. Im Upstream würde sich ein solcher Ausfall prozentual viel stärker bemerkbar machen.

==VDSL(2)–Bandbreitenbelegung==
 
Für VDSL(2) hat die ITU mehrere Profile festgelegt. Für die in Deutschland eingesetzten Systeme gilt zum Zeitpunkt der Erstellung dieses Kapitels (2010) die in der Grafik angegebene Frequenzbandbelegung gemäß dem VDSL(2) Plan 998b – Profil 17a (Annex B) der ITU. Die (leicht) hellere Farbgebung bei den höheren Frequenzen soll darauf hinweisen, dass diese Kanäle stärker gedämpft werden.

[[File:P_ID1939__Bei_T_2_3_S3_v1.png|center|frame|VDSL(2)–Bandbreitenbelegung in Deutschland]]

Ohne Anspruch auf Vollständigkeit lässt sich dieser Belegungsplan wie folgt charakterisieren:
*Um höhere Bitraten zu erreichen, werden hier achtmal so viele Bins verwendet als bei ADSL2+. Damit beträgt die Systembandbreite  $8 · \text{2208 MHz = 17664 MHz}$, womit Übertragungsraten bis zu $\text{100 Mbit/s}$  (abhängig von Kabellänge und –beschaffenheit) ermöglicht werden.
*Auch hier gilt, dass die Frequenzbänder für die Upstream–Subkanäle immer bei den niedrigeren Frequenzen angeordnet sind, da die größere Kabeldämpfung (mit der Frequenz zunehmend) beim Upstream einen prozentual größeren Einfluss auf die Gesamtbitrate hat als beim Downstream.
*Bei VDSL(2)–Systemen wird stets das so genannte  [[Examples_of_Communication_Systems/xDSL_als_Übertragungstechnik#M.C3.B6gliche_Bandbreitenbelegungen_f.C3.BCr_xDSL|Frequenzgetrenntlageverfahren]]  verwendet. Eine Überlappung der Upstream– und Downstream–Frequenzbänder ist in der ITU–Spezifikation für VDSL(2) kategorisch ausgeschlossen.
*Bei den VDSL–Systemen in Deutschland sind die unteren Frequenzen wieder für ISDN reserviert. Danach folgen abwechselnd Bereiche für Upstream und Downstream. Aus den angegebenen Bereichsgrenzen erkennt man die gegenüber dem Downstream schmäleren Upstream–Bereiche.
*Man erkennt eine abwechselnde Anordnung von Upstream– und Downstreambereichen. Ein Grund hierfür ist, dass bei diesem breiten Spektrum vermieden werden soll, dass eine Richtung (zum Beispiel abwärts) nur stark gedämpfte (also hohe) Frequenzen zugewiesen bekommt.
*Die VDSL(2)–Spezifikation sieht Belegungspläne bis zu Systembandbreiten von  $\text{30 MHz}$  (nach dem Profil 30a) vor, die Übertragungsraten bis etwa  $\text{ 200 Mbit/s}$  auf kurzen Strecken ermöglichen sollen. Dafür wird auch die Bandbreite der einzelnen Subkanäle gegenüber ADSL auf  $\text{8.625 kHz}$  verdoppelt.
*Alle Belegungspläne werden mit verschiedenen Masken für das Leistungsdichtespektrum versehen, um so die maximale Sendeleistung und damit die Störung benachbarter Systeme im Kabelbündel (Nebensprechen) zu begrenzen.

==Übertragungsverfahren im Überblick==
 
Zu Beginn der verschiedenen Standardisierungsprozeduren für die einzelnen xDSL–Varianten wurden als Basis verschiedene Übertragungsverfahren festgelegt:
*[[Modulation_Methods/Pulscodemodulation|Pulscodemodulation (PCM)]]  für ISDN sowie ''Trellis Coded–Pulse Amplitude Modulation''  für HDSL2 und SHDSL/SDSL,
* [[Modulation_Methods/Quadratur–Amplitudenmodulation|Quadratur–Amplitudenmodulation (QAM)]]  für QAM–ADSL und QAM–VDSL,
* [[Examples_of_Communication_Systems/xDSL_als_Übertragungstechnik#Carrierless_Amplitude_Phase_Modulation_.28CAP.29|Carrierless Amplitude Phase Modulation (CAP)]]  für CAP–HDSL und CAP–ADSL,
*[[Modulation_Methods/Weitere_OFDM–Anwendungen#Eine_Kurzbeschreibung_von_DSL_.E2.80.93_Digital_Subscriber_Line|Discrete Multitone Transmission (DMT)]]  für ADSL, ADSL2, ADSL 2+, VDSL und VDSL2.

Mit zunehmender Forderung des Marktes nach höheren Übertragungsraten und den damit verbundenen Anforderungen kristallisierten sich zwei geeignete Hauptverfahren heraus, nämlich  $\rm QAM/CAP$  und  $\rm DMT$.

Da sich die Hersteller von 1997 bis 2003 auch aus patentrechtlichen Gründen auf keinen gemeinsamen Standard einigen konnten (man spricht in diesem Zusammenhang sogar von ''Line Code Wars''), kam es lange Zeit zur Koexistenz beider konkurrierender Verfahren. Bei den so genannten DSL–Olympics 2003 wurde schließlich die Entscheidung zugunsten von DMT getroffen,
*einerseits wegen der etwas besseren &bdquo;Performance” allgemein,
*insbesondere aber wegen der höheren Robustheit gegenüber Schmalbandstörungen.

Insbesondere für die USA (viele Telefonfreileitungen und damit verbundene Probleme mit eingekoppelten Funksignalen) hat das zweite Argument eine große Rolle gespielt.

Die heutigen (2010) in Deutschland vorwiegend angebotenen xDSL–Varianten ADSL2(+) und VDSL(2) basieren alle auf dem ''Discrete Multitone Transmission''–Verfahren, wobei aber die einzelnen Subträger durchaus mit QAM–Signalen belegt sein können.

Zunächst sollen aber in aller Kürze die Systeme  $\rm xDSL–QAM$  und  $\rm xDSL–CAP$  betrachtet werden.

==Grundlagen der Quadratur–Amplitudenmodulation==
 
Die Grafik zeigt das Referenzmodell für ADSL–QAM, wobei wir uns hier nur mit den roten Funktionsblöcken  ''QAM–Modulator''  und  ''QAM–Demodulator''  beschäftigen wollen.

[[File:P_ID1940__Bei_T_2_3_S5_v2.png|center|frame|Referenzmodell für ADSL–QAM]]

Die Trägerfrequenz  $f_{\rm T}$  liegt jeweils innerhalb des spezifizierten Auf– und Abwärts–Bandes der jeweiligen xDSL–Variante. Sie wird ebenso wie die Signalraumgröße (zwischen vier und 256 Signalraumpunkte) und die Symbolrate durch Kanalmessungen bei der Initialisierung der Übertragung festgelegt.

Für ADSL–QAM wurden folgende Symbolraten $($in  ${\rm kBaud} = 1000 \ \rm Symbole/s)$  festgelegt:
[[File:P_ID1941__Bei_T_2_3_S5a_neu_v2.png|right|frame|Modell der Quadratur–Amplitudenmodulation]]
*$20$, $40$, $84$, $100$, $120$, $136$  im Upstream,
*$40$, $126$, $160$, $252$, $336$, $504$, $806.4$, $1008$  im Downstream.

Das Prinzip wurde bereits im Kapitel  [[Modulation_Methods/Quadratur–Amplitudenmodulation|Quadratur–Amplitudenmodulation]]  des Buches „Modulationsverfahren” ausführlich beschrieben.

Hier folgt nur eine kurze Zusammenfassung anhand der unteren Grafik.
 
*QAM ist ein Einträgermodulationsverfahren um die Trägerfrequenz  $f_{\rm T}$. Zunächst erfolgt eine blockweise Seriell–/Parallelwandlung des Bitstroms und die Signalraumzuordnung.
*Aus jeweils  $b$  Binärsymbolen werden zwei mehrstufige Amplitudenkoeffizienten  $a_{{\rm I}n}$  und  $a_{{\rm Q}n}$  abgeleitet (Inphase– und Quadraturkomponente), wobei beide Koeffizienten jeweils einen von  $M = 2^{b/2}$  möglichen Amplitudenwerten annehmen können.
*Das in der Grafik betrachtete Beispiel gilt für die  $\text{16–QAM}$  mit  $b = M = 4$  und dementsprechend $16$  Signalraumpunkten. Bei einer   $\text{256–QAM}$  würde  $b = 8$  und  $M = 16$  gelten  $(2^b = M^2 = 256)$.
*Die Koeffizienten  $a_{{\rm I}n}$  und  $a_{{\rm Q}n}$  werden jeweils einem Diracpuls als Gewichte eingeprägt. Zur Impulsformung verwendet man (wegen der geringen Bandbreite) meist ein Cosinus–Rolloff–Filter. Mit dem Sendegrundimpuls  $g_s(t)$  gilt dann in den beiden Zweigen des Blockschaltbilds:
:$$ s_{\rm I}(t) = \sum_{n = - \infty}^{+\infty}a_{\rm
I\hspace{0.03cm}\it n} \cdot g_s (t - n \cdot T)\hspace{0.05cm},\hspace{0.5cm}
s_{\rm Q}(t) = \sum_{n = - \infty}^{+\infty}a_{\rm
Q\hspace{0.03cm}\it n} \cdot g_s (t - n \cdot
T)\hspace{0.05cm}.$$
*Anzumerken ist ferner, dass wegen der redundanzfreien Umsetzung auf einen höherstufigen Code die Symboldauer  $T$  dieser Signale um den Faktor  $b$  größer ist als die Bitdauer  $T_{\rm B}$  der binären Eingangsfolge. Im gezeichneten Beispiel (16–QAM) gilt  $T = 4 · T_{\rm B}$.
*Das  '''QAM–Sendesignal'''  $s(t)$  ist dann die Summe der beiden mit Cosinus bzw. Minus–Sinus multiplizierten Teilsignale (möglicherweise folgt noch eine Bandbegrenzung, um Interferenzen zu benachbarten Bändern zu verhindern, wie in der unteren Grafik angedeutet):
:$$s(t) = s_{\rm I}(t) \cdot \cos (2 \pi f_{\rm T}\,t) - s_{\rm Q}(t) \cdot \sin (2 \pi f_{\rm T}\,t)
\hspace{0.05cm}. $$
*Die beiden Zweige  $(\rm I$  und  $\rm Q)$  können wegen der Orthogonalität von Cosinus– und (Minus–) Sinus als zwei völlig getrennte  [[Digitalsignalübertragung/Trägerfrequenzsysteme_mit_kohärenter_Demodulation#M.E2.80.93stufiges_Amplitude_Shift_Keying_.28M.E2.80.93ASK.29|$M$–stufige ASK–Systeme]]  aufgefasst werden, die sich gegenseitig nicht stören, solange alle Komponenten optimal ausgelegt sind.
*Das bedeutet gleichzeitig:   Die Quadratur–Amplitudenmodulation ermöglicht gegenüber einer  [[Digitalsignalübertragung/Trägerfrequenzsysteme_mit_kohärenter_Demodulation#Binary_Phase_Shift_Keying_.28BPSK.29|''Binary Phase Shift Keying'']]  (BPSK: Modulation nur mit Cosinus oder Sinus) eine Verdoppelung der Datenrate bei gleichbleibender Qualität.

[[File:P_ID3120__Bei_T_2_3_S5b_v1.png|right|frame|Quadratur–Amplitudenmodulation als Bandpass– und Tiefpassmodell]]
Die letzte Grafik zeigt
*oben das Bandpass–Modell,
*unten das äquivalente Tiefpass–Modell.

In diesem kombiniert man Inphase– und Quadraturkoeffizient zum komplexen Amplitudenkoeffizienten
:$$a_n = a_{\text{I}n} + {\rm j} · a_{\text{Q}n}$$
und ersetzt zusätzlich das C–Signal  $s(t)$  durch das äquivalente Tiefpass–Signal
:$$s_{\rm TP}(t) = s_{\rm I}(t) + {\rm j} · s_{\rm Q}(t).$$

Die Darstellung des QAM–Senders und des QAM–Empfängers ist Inhalt der Flash–Animation  [[Applets:Prinzip_der_Quadratur-Amplitudenmodulation_(Applet)|Prinzip der Quadratur–Amplitudenmodulation]].
 
{{BlaueBox|TEXT=
$\text{Fazit:}$ 
*Mit steigendem Bitanzahl  $b$  und damit größerer Anzahl definierter Symbole  $(M^2)$  nimmt die Bandbreiteneffizienz zu, aber es steigt auch der Aufwand für die Signalverarbeitung.
*Außerdem ist zu berücksichtigen, dass eine dichte QAM–Belegung nur bei ausreichend gutem Kanal angemessen ist.}}
 
==Mögliche QAM-Signalraumkonstellationen==
 
Wir betrachten noch an drei Beispielen mögliche Anordnungen der Signalraumpunkte bei der Quadratur–Amplitudenmodulation.

{{GraueBox|TEXT=
$\text{Beispiel 1:}$ 
Ein wichtiger QAM–Parameter ist die Bitanzahl  $b$, die zum Amplitudenkoeffizientenpaar  $(a_{\rm I}, a_{\rm Q})$  verarbeitet werden. Hierbei ist  $b$  stets geradzahlig.
[[File:P_ID1943__Bei_T_2_3_S6a_v1.png|right|frame|Signalraumkonstellationen $\rm 4\hspace{0.05cm}–\hspace{-0.02cm}QAM$ und $\rm 16\hspace{0.05cm}–\hspace{-0.02cm}QAM$]]

Ist  $b = 2$, so kann sowohl  $a_{\rm I}$  als auch  $a_{\rm Q}$  nur die Werte  $±1$  annehmen und es ergibt sich die  $\rm 4\hspace{0.05cm}–\hspace{-0.02cm}QAM$  entsprechend der linken Konstellation.

Entsprechend einer ITU–Empfehlung gilt dabei die Zuordnung:
:$$q_1 = 0, \ q_0 = 0 \, \Leftrightarrow \,a_{\rm I} = +1, \ a_{\rm Q} = +1,$$
:$$q_1 = 0, \ q_0 = 1 \, \Leftrightarrow \, a_{\rm I} = +1, \ a_{\rm Q} = -1,$$
:$$q_1 = 1, \ q_0 = 0 \, \Leftrightarrow \,a_{\rm I} = -1, \ a_{\rm Q} = +1,$$
:$$q_1 = 1, \ q_0 = 1 \, \Leftrightarrow \, a_{\rm I} = -1, \ a_{\rm Q} = -1.$$

Der gelb markierte Punkt  '''10'''  $(a_{\rm I} = -1, \ a_{\rm Q} = 1)$  steht also für  $q_1 = 1$  und  $q_0 = 0$.

Mit  $b = 4$   ⇒   $M = 2^{b/2} = 4$  kommt man zur  $\rm 16\hspace{0.05cm}–\hspace{-0.02cm}QAM$ gemäß dem rechten Diagramm mit den möglichen Amplitudenkoeffizienten 
:$$a_{\rm I} ∈ \{±3, ±1\}, \ \ a_{\rm Q} ∈ \{±3, ±1\}.$$

Die Zuordnung lässt sich mit Hilfe des links unten angegebenen Hilfsgrafen ermitteln, wie die folgenden Zahlenbeispiele verdeutlichen.

$\rm (A)$  $q_3 = 1, \ q_2 = 0, \ q_1 = 1,\ q_0 = 1$ (gelbe Markierung):
*Die beiden höchstwertigen Bit  (''Most Significant Bit'', MSB)  '''10'''  bestimmen entsprechend dem  $\rm 4-QAM$–Diagramm den Quadranten, in dem das Symbol liegt.
*Die beiden niederwertigen Bit  ('''11''')  legen zusammen mit dem Hilfsgrafen den Punkt innerhalb des Quadranten fest. Das Ergebnis ist  $a_{\rm I} = -1$,  $a_{\rm Q} = +3$.
$\rm (B)$  $q_3 = 0, \ q_2 = 1, \ q_1 = 1,\ q_0 = 0$ (grüne Markierung):
* Die beiden höchstwertigen Bit  (''Most Significant Bit'', MSB)  '''01''' verweisen hier auf den vierten Quadranten.
*Die beiden niederwertigen Bit  ('''10''')  verweisen auf den grünen Punkt im vierten Quadranten:   $a_{\rm I} = -3, \ a_{\rm Q} = -3$.}}

{{GraueBox|TEXT=
$\text{Beispiel 2:}$ 
[[File:P_ID1943__Bei_T_2_3_S6a_v1.png|right|frame|Signalraumkonstellationen $\rm 4\hspace{0.05cm}–\hspace{-0.02cm}QAM$ und $\rm 16\hspace{0.05cm}–\hspace{-0.02cm}QAM$]]
Eine weitere Möglichkeit zur Beschriftung der Punkte bietet der Dezimalwert $D$.
*Der gelb markierte Punkt im  $\rm 4\hspace{0.05cm}–\hspace{-0.02cm}QAM$–Diagramm ist binär mit  '''10'''  bezeichnet   ⇒   dezimal  $D = 2$. Dieser Punkt markiert gleichzeitig den Quadranten der  $\rm 16\hspace{0.05cm}–\hspace{-0.02cm}QAM$.
*Die weitere Unterteilung ergibt sich aus der linken unteren Grafik. Dort steht beim gelben Punkt  $4D + 3$   ⇒   '''11'''  (dezimal). Deshalb steht der rechte obere Punkt (gelb markiert) im linken oberen Quadranten für dezimal  $11$   ⇒   binär '''1011'''.

*Für den grünen Punkt ergibt sich mit  $D = 1$  der Dezimalwert  $4D + 2 ⇒ 6$, was der binären Darstellung  '''0110'''  entspricht.
 
Nach diesem Schema lassen sich auch die Signalraumkonstellationen für  $\rm 64\hspace{0.05cm}–\hspace{-0.02cm}QAM$   ⇒   $(b = 6, \ M = 8)$  und  $\rm 256-QAM$  ⇒   $(b = 8, \ M = 16)$  entwickeln, worauf in der  [[Aufgabe_2.3:_QAM–Signalraumbelegung|Aufgabe 2.3]]  im Detail eingegangen wird.}}

[[File:P_ID1944__Bei_T_2_3_S6_v1.png|right|frame|Zur Fehlerwahrscheinlichkeit bei $\rm 16\hspace{0.05cm}–\hspace{-0.02cm}QAM$]]
{{GraueBox|TEXT=
$\text{Beispiel 3:}$ 
Wir betrachten noch für die beschriebene  $\rm 16\hspace{0.05cm}–\hspace{-0.02cm}QAM$  (linke Grafik, hier als ITU-Vorschlag bezeichnet) die sich ergebende Fehlerwahrscheinlichkeit bei AWGN–Rauschen:
*Es kann davon ausgegangen werden, dass ein Fehler zu einem horizontal oder vertikal benachbarten Symbol führt, wie für den linken oberen (grünen) Punkt angedeutet.
*Die Fehlerwahrscheinlichkeit $p$  hängt von der Euklidischen Distanz der beiden Punkte und der AWGN–Rauschleistungsdichte  $N_0$  ab.
*Eine Verfälschung zum weiter entfernten blauen Punkt anstatt zu einem der beiden benachbarten gelben Punkte ist bei Gaußschem Rauschen eher unwahrscheinlich.
 
Alle Eckpunkte (grün hinterlegt) können nur in zwei Richtungen verfälscht werden. Dagegen haben die inneren QAM–Punkte (blau hinterlegt) vier direkte Nachbarn und die restlichen Symbole (gelb hinterlegt) drei. Für die (mittlere) Symbolfehlerwahrscheinlichkeit gilt dann:

:$$p_{\rm S} = {1}/{16} \cdot (4 \cdot 2 p + 8 \cdot 3 p + 4 \cdot 4 p) = 3p.$$

Zur Berechnung der Bitfehlerwahrscheinlichkeit  $p_{\rm B}$  muss nun berücksichtigt werden, dass bei der linken Konstellation ein Symbolfehler
*nur zu einem Bitfehler  (Beispiel: '''0100'''   ⇒   '''0110''', innerhalb eines Quadranten) oder
*zu zwei Bitfehlern (Beispiel: '''1111'''   ⇒   '''0101''', zwischen benachbarten Quadranten)

führt. Die Berechnung von  $p_{\rm B} $  ist hier mit einem gewissen Aufwand verbunden.

Dagegen unterscheidet sich bei einer Gray–Codierung (rechtes Diagramm) jedes Symbol von seinen Nachbarn um genau ein Bit, und jeder Symbolfehler hat somit genau nur einen Bitfehler zur Folge. Da jedes einzelne Symbol vier Bit beinhaltet, gilt in diesem Fall für die (mittlere) Bitfehlerwahrscheinlichkeit:

:$$p_{\rm B} = p_{\rm S}/4 = 3/4 \cdot p. $$}}

==Carrierless Amplitude Phase Modulation (CAP)==
 
''Carrierless Amplitude Phase Modulation''  ('''CAP''') ist eine bandbreiteneffiziente Variante der QAM, die sich mit digitalen Signalprozessoren sehr einfach realisieren lässt. Der Unterschied zur QAM liegt einzig darin, dass auf eine Modulation mit einem Trägersignal verzichtet werden kann.

[[File:P_ID1945__Bei_T_2_3_S7a_v1.png|center|frame|Modell der ''Carrierless Amplitude Phase Modulation'']]

*Anstelle der Multiplikation mit Cosinus und Minus–Sinus wird hier eine digitale Filterung vorgenommen. $g_{\rm I}(t)$  und  $g_{\rm Q}(t)$  sind die um  $π/2$  phasenverschobenen Impulsantworten zweier transversaler Bandpassfilter mit gleicher Amplitudencharakteristik.
*Beide sind zueinander orthogonal, das heißt, dass das Integral des Produkts  $g_{\rm I}(t) · g_{\rm Q}(t)$  über eine Symboldauer den Wert Null ergibt.
*Die so erzeugten Signale  $s_{\rm I}(t)$  und  $s_{\rm Q}(t)$  werden zusammengeführt, durch einen D/A–Wandler in ein zeitkontinuierliches Signal gewandelt und die bei der D/A–Wandlung erzeugten unerwünschten hochfrequenten Anteile vor dem Aussenden durch ein Tiefpassfilter (TP) eliminiert.
*Beim Empfänger wird das Signal  $r(t)$  zunächst mittels A/D–Wandler in ein zeitdiskretes Signal gewandelt und anschließend werden über zwei ''Finite–Impulse–Response''–Filter (FIR–Filter) und nachgelagerte Entscheider die Inphase– und Quadratur–Symbole  $a_{\rm I}$  und  $a_{\rm Q}$  extrahiert.

[[File:P_ID1946__Bei_T_2_3_S7b_v1.png|right|frame|Referenzmodell für CAP–ADSL]]

CAP war der de–facto–Standard bei den anfänglichen ADSL–Spezifikationen bis 1996.
*Die Frequenzen bis  $\text{4 kHz}$  wurden für POTS reserviert.
*Der Aufwärtskanal belegte den Frequenzbereich von  $\text{15 - 160 kHz}$,
* und der Abwärtskanal die Frequenzen von  $\text{240 kHz}$  bis  $\text{1.5 MHz}$.
*Die Grafik zeigt das Referenzmodell.

Ein Problem bei CAP ist, dass ein „schlechter Kanal” dramatische Folgen auf die Übertragungsqualität hat. Deshalb findet man heute (2010) CAP–ADSL nur noch bei einigen wenigen HDSL–Varianten.

==Grundlagen von DMT – Discrete Multitone Transmission==
 
''Discrete Multitone Transmission''  ('''DMT''') bezeichnet ein Mehrträgermodulationsverfahren, das nahezu identisch mit  [[Modulation_Methods/Allgemeine_Beschreibung_von_OFDM|''Orthogonal Frequency Division Multiplexing'']]  ('''OFDM''') ist. Bei leitungsgebundener Übertragung spricht man meist von „DMT”, bei drahtloser Übertragung von „OFDM”.

In beiden Fällen unterteilt man die gesamte Bandbreite in viele schmalbandige äquidistante Subkanäle. Die jeweiligen Subträgersignale  $s_k(t)$  werden individuell mit komplexen Datensymbolen  $D_k$  beaufschlagt und die Summe der modulierten Subträgersignale wird als Sendesignal  $s(t)$  übertragen.

Die Grafik verdeutlicht das Prinzip von OFDM und DMT im Frequenzbereich, wobei teilweise die für ADSL/DMT spezifizierten Werte verwendet sind:

[[File:P_ID1947__Bei_T_2_3_S8a_v2.png|right|frame|Spektren bei OFDM und DMT]]
*$255$  Subträger mit den Trägerfrequenzen  $k · f_0$  $(k = 1$, ... , $255)$.
*Grundfrequenz  $f_0 = 4.3125 \ \rm kHz$, da $4000$  Datenrahmen pro Sekunde übertragen werden.
*Nach $68$ Datenrahmen wird jeweils ein Synchronisationsrahmen eingefügt.
*Aufgrund des zyklischen Präfix (siehe Kapitel  [[Examples_of_Communication_Systems/Verfahren_zur_Senkung_der_Bitfehlerrate_bei_DSL#Einf.C3.BCgen_von_Guard.E2.80.93Intervall_und_zyklischem_Pr.C3.A4fix|Einfügen von Guard–Intervall und zyklischem Präfix]])  muss die Symboldauer  $T = 1/f_0$  noch um den Faktor  $16/17$  verkürzt werden.
 
Ein wesentlicher Unterschied zwischen OFDM und DMT besteht darin, dass
*bei OFDM das dargestellte Spektrum  $S(f)$  in Wirklichkeit ein äquivalentes Tiefpass-Spektrum  $S_{\rm TP}(f)$  beschreibt und noch die Verschiebung um eine Trägerfrequenz  $f_{\rm T}$  zu berücksichtigen ist:

:$$S_{\rm TP}(f ) = \sum_{k = 1}^{255} D_k \cdot \delta (f - k \cdot f_0)\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
S(f) = \frac{1}{2} \big [ S_{\rm TP}(f - f_{\rm T}) + S^*_{\rm TP}(-(f + f_{\rm T}))\big ]
\hspace{0.05cm},$$

*bei DMT dagegen noch die Anteile bei negativen Frequenzen berücksichtigt werden müssen, die mit den konjugiert–komplexen Spektralkoeffizienten zu gewichten sind:

:$$S(f ) = \sum_{k = 1}^{255} \big [ D_k \cdot \delta (f - k \cdot f_0) + D^*_k \cdot \delta (f + k \cdot f_0) \big ]
\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Bitte beachten Sie:}$ 
*Nach diesen Gleichungen besteht das komplexe OFDM–Signal  $s_{\rm OFDM}(t)$  aus  $K = 255$  komplexen Exponentialschwingungen.
*Das DMT–Signal  $s_{\rm DMT}(t)$  setzt sich aus ebenso vielen Cosinusschwingungen mit Frequenzen  $k · f_0$  zusammen (volle Belegung voausgesetzt).
*Trotz komplexer Koeffizienten  $D_k$, die sich bei QAM–Belegung der Träger ergeben, ist das DMT–Signal wegen der konjugiert–komplexen Ergänzungen bei negativen Frequenzen stets reell.}}

Sowohl bei OFDM als auch bei der DMT ist allerdings das Sendesignal  $s(t)$  zeitlich genau auf die Symboldauer  $T = 1/f_0 ≈ 232 \ {\rm µs}$  begrenzt, was der Multiplikation mit einem Rechteck der Dauer $T$  bedeutet. Im Spektralbereich entspricht dies der Faltung mit einer Spaltfunktion  $\text{si}(πfT)$:
*Aus jeder Diracfunktion bei  $k · f_0$  wird somit bei Berücksichtigung der zeitlichen Begrenzung eine si–Funktion an gleicher Stelle, wie im unteren Diagramm dargestellt.
*Benachbarte Subträgerspektren überlappen sich zwar auf der Frequenzachse, aber exakt bei  $k · f_0$  sind wieder die Koeffizienten  $D_k$  zu erkennen, da alle anderen Spektren hier Nullstellen aufweisen.
*Für die untere Grafik ist ein symmetrisches Rechteck angenommen. Ein Rechteck zwischen  $0$  und  $T$  hätte noch einen Phasenterm zur Folge. Es würde sich aber bezüglich  $|S(f)|$  nichts ändern.

{{GraueBox|TEXT=
$\text{Beispiel 4:}$ 
Geht man von den für den ADSL–Downstream günstigen Voraussetzungen aus, nämlich dass
*pro Sekunde $4000$ Rahmen übertragen werden,
*stets alle Subträger aktiv sind  $(K = 255)$,
*jeder Träger mit einer 1024–QAM  $(b = 10$, laut ITU  $8 ≤ b ≤ 15 )$  belegt ist, und
*ideale Bedingungen herrschen, so dass die in der Grafik erkennbare Orthogonalität erhalten bleibt,

so ergibt sich für die maximale Daten(bit)rate  $R_{\rm B,\ max} = 4000 · K · b ≈ 10 \ \rm Mbit/s$.

Spezifiziert ist der ADSL–Downstream allerdings nur mit  $2 \ \rm Mbit/s$  wegen
*der Aussparung der $64$ untersten Träger wegen ISDN und Upstream,
*der QAM–Belegung der stark gedämpften Träger mit weniger als $10$  Bit, und
*der Berücksichtigung des zyklischen Präfix sowie einige betriebsbedingte Gründe.}}

==DMT–Realisierung mit IDFT/DFT==
 
[[File:P_ID1949__Bei_T_2_3_S9a_v3.png|right|frame|MT–Gesamtsystem]]
Die obere Grafik zeigt das DMT–Gesamtsystem, wobei wir uns zunächst auf die beiden roten Blöcke konzentrieren. Die blauen Blöcke werden im [[Examples_of_Communication_Systems/Verfahren_zur_Senkung_der_Bitfehlerrate_bei_DSL|nächsten Kapitel]] behandelt.

[[File:P_ID1951__Bei_T_2_3_S9b_v3.png|left|frame|DMT–Sender und –Empfänger]]
 
Vereinfacht lassen sich Sender und Empfänger wie in der linken Grafik darstellen:

*Zur Durchführung der DMT–Modulation wird beim Sender ein Block an Eingangsbits in einem Datenpuffer angesammelt, der als ein Rahmen übertragen werden soll.
*Der QAM–Coder liefert pro Rahmen die komplexwertigen Datensymbole  $D_1$, ... , $D_{255}$, die mit  $D_0 = D_{256} = 0$  sowie  $D_k = D^\star_{512-k} \ (k = 257,$ ... , $511)$  zum Vektor  $\mathbf{D}$  der Länge $512$ erweitert wird.
*Als Konsequenz  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)#Finite_Signaldarstellung|finiter Signale]]  sind  $D_{257}$, ... , $D_{511}$  identisch mit  $D_{–255}$, ... , $D_{–1}$.
*Die Spektralabtastwerte  $\mathbf{D}$  werden mittels der  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)#Inverse_Diskrete_Fouriertransformation|Inversen Diskreten Fouriertransformation]]  (IDFT) in den Vektor  $\mathbf{s}$  der Zeitsignalabtastwerte umgerechnet, ebenfalls mit Länge $512$. Wegen der konjugiert–komplexen Belegung im Spektralbereich ist  $\text{Im}[\mathbf{s}] = 0$.

*Nach Parallel/Seriell– und Digital/Analog–Wandlung und Tiefpassfilterung von  $\text{Re}[\mathbf{s}]$  ergibt sich das physikalische und damit reelle sowie zeitkontinuierliche Sendesignal  $s(t)$. Für dieses gilt im Bereich  $0 ≤ t ≤ T$  (Faktor $2$, da jeweils zwei Koeffizienten zu Cosinus/Sinus beitragen):

:$$s(t) = \sum_{k = 1}^{255} \big [ 2 \cdot{\rm Re}\{D_k\} \cdot \cos(2\pi \cdot k f_0 \cdot t ) - 2 \cdot{\rm Im}\{D_k\} \cdot \sin(2\pi \cdot k f_0 \cdot t )\big ] \hspace{0.05cm}. $$

*Das Empfangssignal bei Übertragung über den AWGN–Kanal ist  $r(t) = s(t) + n(t)$. Nach A/D– und S/P–Wandlung kann  $r(t)$  durch den (reellen) Vektor  $\mathbf{r}$  ausgedrückt werden. Die  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)#Von_der_kontinuierlichen_zur_diskreten_Fouriertransformation|Diskrete Fouriertransformation]]  (DFT) liefert dann Schätzwerte für die gesendeten Spektralkoeffizienten.

[[File:P_ID1952__Bei_T_2_3_S10_v1.png|right|frame|Belegung des DMT–Frequenzbandes mit QAM-Koeffizienten]]
{{GraueBox|TEXT=
$\text{Beispiel 5:}$ 
Betrachten wir als Beispiel den ADSL/DMT–Downstream.
*In der linken oberen Grafik erkennt man die Beträge  $\vert D_k\vert $  der belegten Subkanäle $64$, ... , $255$. Die Träger $0$, ... , $63$ für den reservierten Frequenzbereich von ISDN und Upstream sind auf Null gesetzt.
*Rechts daneben sind die Spektralkoeffizienten  $D_{64}$, ... , $D_{255}$  in der komplexen Zahlenebene dargestellt, wobei der Signalraum sehr groß gewählt ist.
 
[[File:P_ID1953__Bei_T_2_3_S10b_v1.png|left|frame|Sendesignal bei obiger DMT–Belegung]]
 
Die zweite (linke) Grafik zeigt das Sendesignal  $s(t)$  für die Rahmendauer  $T = {1}/{f_0} ≈ 232 \ \rm µs$, das sich durch Tiefpass–Filterung der IDFT–Werte  $s_0$, ... , $s_{511}$  ergibt. Dieses Nutzsignal sieht nahezu aus wie Rauschen. Man erkennt:

*Das Hauptproblem der DMT ist der ungünstige Crestfaktor   ⇒   das Verhältnis von Maximalwert  $s_{\rm max}$  und Effektivwert  $s_{\rm eff}$  (Wurzel aus der mittleren Leistung).
*Der im beispielhaften Signalverlauf erkennbare große Dynamikbereich stellt hohe Anforderungen an die Linearität der Verstärker.
*Bei Begrenzung des Aussteuerbereichs werden die Spitzen von  $s(t)$  abgeschnitten.
* Dies wirkt wie eine Impulsstörung und eine zusätzliche Rauschbelastung für das System darstellt.}}

{{BlaueBox|TEXT=
$\text{Zusammenfassend lässt sich sagen:}$ 
*''Discrete Multitone Transmission''  (DMT) ist im Prinzip die parallele Realisierung vieler schmalbandiger QAM–Modems mit unterschiedlichen Trägern und verhältnismäßig geringen Datenübertragungsraten. Die geringe Bandbreite pro Subträger ermöglicht eine lange Symboldauer, vermindert somit den Einfluss von Intersymbolinterferenzen und verringert den Entwicklungsaufwand für die Entzerrung.
*Ein wesentlicher Grund für den Erfolg von DMT ist die technisch einfache Realisierung. IDFT und DFT werden mit digitalen Signalprozessoren in Echtzeit gebildet. Die Vektoren besitzen die Länge $512$ (Zweierpotenz). Deshalb kann der besonders schnelle FFT–Algorithmus (''Fast Fourier Transformation'') angewendet werden.}}

==Aufgaben zum Kapitel ==

[[2.3_QAM–Signalraumbelegung|Aufgabe 2.3: QAM–Signalraumbelegung]]

[[2.3Z_xDSL–Frequenzband|Aufgabe 2.3Z: xDSL–Frequenzband]]

[[2.4_DSL/DMT_mit_IDFT/DFT|Aufgabe 2.4: DSL/DMT_mit_IDFT/DFT]]

[[2.4Z_Wiederholung_zur_IDFT|Aufgabe 2.4Z: Wiederholung zur IDFT]]

{{Display}}

Examples of Communication Systems/XDSL Systems

2020-10-13T15:37:37Z

Rosa: Rosa moved page Examples of Communication Systems/XDSL Systems to Examples of Communication Systems/xDSL Systems

#REDIRECT [[Examples of Communication Systems/xDSL Systems]]