O que é Entropia em Estatística?

 Introdução

A entropia é um conceito em estatística que representa uma medida de incerteza, impureza ou desordem. É frequentemente usada em áreas como aprendizado de máquina e teoria da informação para quantificar a “surpresa” ou a “informação” contida em um conjunto de dados.


A Fórmula da Entropia em Estatística

A fórmula matemática para a entropia, $H$, em estatística é dada por: $$H(X)=-\sum_{i=1}^{n}P(x_i)\log_bP(x_i)$$

onde:

  • $H(X)$ é a entropia do conjunto de dados $X$;
  • $P(x_i)$ é a probabilidade do evento $x_i$ ocorrer;
  • $n$ é o número de eventos possíveis;
  • $b$ é a base do logaritmo, frequentemente igual a $2$, transformando a unidade de medida em bits.
Essencialmente, a entropia é a média ponderada das informações associadas a cada valor possível da variável aleatória.

Interpretação Intuitiva:

A entropia também está intimamente relacionada ao conceito de informação. Quanto maior a entropia, mais informação é necessária para descrever a variável aleatória. Quando a entropia é máxima, a informação é mínima, e vice-versa.

Aplicações Práticas

  1. Classificação de Dados: Em aprendizado de máquina, a entropia é frequentemente usada para medir a impureza em conjuntos de dados. Árvores de decisão, por exemplo, utilizam a entropia para decidir como dividir os dados em diferentes ramos.
  2. Teoria da Informação: Na teoria da informação, a entropia é usada para quantificar a quantidade média de surpresa associada a um evento. Eventos mais prováveis têm menor entropia, pois são menos surpreendentes.
  3. Codificação de Dados: A entropia é utilizada em técnicas de compactação de dados. Comprimir dados significa representar a informação de forma mais eficiente, e a entropia ajuda a identificar padrões e redundâncias nos dados.

Exemplo de Entropia em Estatística

Para entender a entropia em estatística, vamos considerar um exemplo simples: jogar uma moeda justa.

Se você jogar uma moeda justa ($1/2$ de probabilidade de cara, $1/2$ de probabilidade de coroa), a entropia do resultado é máxima, pois não há maneira de prever o resultado com certeza. Usando a fórmula da entropia, temos $$H(X) = -\left[(1/2)\times \log_2 (1/2) +(1/2)\times \log_2(1/2)\right]$$

Isso significa que, em média, cada lançamento de moeda nos fornece $1\ bit$ de informação.

Espero que este artigo tenha ajudado a entender o conceito de entropia em estatística. Lembre-se, a entropia é tudo sobre a incerteza em um conjunto de dados!

Referência: Teoria da informação e da codificação

Aprenda mais: Diagrama de Venn


Comentários

Postar um comentário

Postagens mais visitadas deste blog

Box-plot Definição e Aplicação

Imagem
 Introdução A estatística tem diversas ferramentas gráficas para visualização rápida do comportamento do conjunto de dados. Nesse post vamos falar sobre o box-plot , também conhecido como caixa de bigode, pela semelhança que alguns softwares desenhavam esse gráfico. Estatísticas de ordem O primeiro passo para entender o box-plot é entender as estatísticas de ordem. Por óbvio, obtemos essas métricas ordenando as observações de interesse. Esquema de 5 números O esquema de cinco números é obtido reunindo os valores mínimo, máximo, primeiro, segundo e terceiros quartis do conjunto de dados. $$x_{min}, Q_1, Q_2,Q_3,x_{max}$$ Partindo do esquema de 5 números obtemos algumas métricas simples de calcular e que já nos trazem algumas informações acerca do conjunto de dados. Amplitude total ($R$ do inglês  range ): é a diferença entre os valores máximo e mínimo dos dados. $$R=x_{max}-x_{min}$$ Intervalo interquartil ou amplitude interquartil ( interquartile range ): $$\mathrm{IQR} =Q_3-...
Read more »

Assimetria

Imagem
Introdução Veja uma breve explicação, no sentido estatístico, sobre o termo "assimetria" usado na disciplina. Veja ainda as fórmulas, aplicações e usos desse conceito. Em nossa primeira abordagem sobre assimetria vamos considerar que temos um conjunto de dados numérico em que podemos obter média, moda, mediana e desvio padrão. Conceitos de assimetria Os conceitos de assimetria mais comuns abordados em um conjunto de dados numéricos são:  Assimetria  - medida de forma usada nas curvas de frequência, funções de densidade ou função de probabilidade. Assimetria de Pearson - medida de assimetria dada pelo primeiro ou segundo coeficientes de assimetria de Pearson. Primeiro coeficiente de assimetria de Pearson:  $$\mathrm{AP}_1=\frac{\overline{x}-\mathrm{mo}}{s} $$ Segundo coeficiente de Assimetria de Pearson: $$\mathrm{AP}_2=\frac{3(\overline{x}-\mathrm{md})}{s} $$ $\overline{x}$ é a fórmula da média, $\mathrm{mo}$ é a moda e $\mathrm{md}$ é a mediana de um conjunto de dados. A...
Read more »

Desvio Padrão: O que é e como calcular

Imagem
O desvio padrão é uma medida de dispersão que indica o quanto os valores de um conjunto de dados estão espalhados em torno da média. Ele é uma medida importante na estatística, pois pode ser usado para comparar conjuntos de dados diferentes, avaliar a confiabilidade de uma estimativa e identificar outliers . Nossa abordagem aqui está inserida no âmbito da estatística descritiva . Para isso consideramos um conjunto de dados $x_1, x_2,\ldots, x_n$, correspondente à uma amostra de tamanho $n$. Definição O desvio padrão é definido como a raiz quadrada da variância. A variância é uma medida de dispersão quadrática que indica o quanto os dados estão dispersos em torno da média. Ela é calculada como a soma dos quadrados da diferença entre cada valor e a média, dividida pelo número de dados. Formulação A fórmula do desvio padrão é a seguinte: $$s=\sqrt{\frac{\sum_{i=1}^{n}(x_i-\overline{x})}{n}}$$ onde: $s$ é o desvio padrão $x_i$ é cada valor do conjunto de dados $\overline{x}$ é a média do c...
Read more »