O conceito de entropia permeia diversas áreas do conhecimento e foi introduzido na Teoria da Informação por Claude Shannon, que desenvolveu uma forma de calcular a entropia \(E\) de um sistema, a saber
\[E = -\sum_{i} P_{i}(x) \log_{2} P_{i}(x)\]
em que \(P_{i}(x)\) é a probabilidade do i-ésimo resultado para a variável \(x\).
Por exemplo, considere uma sequência com duas letras A coloridas, a primeira azul e a segunda vermelha (AA). Se essas duas letras fossem colocadas numa urna, a probabilidade de se retirar, sem observar, a letra azul, como na sequência original, é \(\frac{1}{2}\). Devolve-se a letra à urna e sorteia-se novamente. A probabilidade de sair vermelha é novamente \(\frac{1}{2}\), e nesse caso tem-se:
\[E = -\sum_{i} P_{i}(x) \log_{2} P_{i}(x) = -\left({\color[RGB]{51,169,224}{\frac{1}{2}\log_{2}\frac{1}{2}}} + {\color[RGB]{225,44,39}{\boldsymbol{\frac{1}{2}\mathbf{log}_{\mathbf{2}}\frac{1}{2}}}}\right) = 1\]
Para uma sequência com 4 letras A, as duas primeiras azuis e as duas últimas vermelhas (AAAA), colocando-as numa urna e sorteando uma, a probabilidade de sair azul é \(\frac{1}{2}\). Devolve-se a letra e sorteia-se novamente. A probabilidade da segunda letra sorteada ser azul, como na sequência original, é novamente \(\frac{1}{2}\). Procedendo dessa forma para as duas letras vermelhas, tem-se:
\[E = -\sum_{i} P_{i}(x) \log_{2} P_{i}(x)\]
\[= -\left({\color[RGB]{51,169,224}{\frac{1}{2}\log_{2}\frac{1}{2}}} + {\color[RGB]{51,169,224}{\frac{1}{2}\log_{2}\frac{1}{2}}} + {\color[RGB]{225,44,39}{\boldsymbol{\frac{1}{2}\mathbf{log}_{\mathbf{2}}\frac{1}{2}}}} + {\color[RGB]{225,44,39}{\boldsymbol{\frac{1}{2}\mathbf{log}_{\mathbf{2}}\frac{1}{2}}}}\right) = 2\]
Com base nessas informações, qual o valor da entropia \(E\), no caso de uma sequência com 4 letras A, sendo as 3 primeiras azuis e a última vermelha (AAAA)?
\(5 - \frac{9}{4}\log_{2} 3\)
\(\frac{1}{2} - \frac{5}{2}\log_{2} 3\)
\(\frac{3}{2}\)
\(\frac{9}{4}\log_{2} 3\)
\(3\)
Resolução
Há 4 letras na urna: 3 azuis e 1 vermelha. Portanto, a probabilidade de retirar uma letra azul é 3/4, e a de retirar uma vermelha é 1/4. Como a letra é devolvida à urna após cada sorteio, essas probabilidades não mudam.
Seguindo o procedimento dos exemplos, colocamos um termo na soma para cada letra da sequência. São três termos para as letras azuis e um para a vermelha. Assim, a entropia E da sequência é:
E = −[3 × (3/4) × log₂(3/4) + (1/4) × log₂(1/4)].
Para calcular, usamos a propriedade do logaritmo de um quociente: log₂(3/4) = log₂ 3 − log₂ 4 = log₂ 3 − 2. Além disso, pela definição de logaritmo como expoente, log₂(1/4) = −2, pois 2⁻² = 1/4.
Substituindo esses resultados e fazendo as multiplicações:
E = −[(9/4) × (log₂ 3 − 2) + (1/4) × (−2)] = −[(9/4) × log₂ 3 − 9/2 − 1/2].
Como 9/2 + 1/2 = 5, temos E = −[(9/4) × log₂ 3 − 5]. O sinal de menos fora dos colchetes troca os sinais dos termos, resultando em E = 5 − (9/4) × log₂ 3, que é a resposta informada.