Inicio > Uncategorized > resumen de 1 y 2 semana de clases

resumen de 1 y 2 semana de clases

Teoría de la información

 

Teoría de la información es una rama de la teoría matemática de la probabilidad y la estadística que estudia la información y todo lo relacionado con ella: canalescompresión de datoscriptografíay temas relacionados.

Fue iniciada por Claude E. Shannon a través de un artículo publicado en el Bell System Technical Journal en 1948, titulado Una teoría matemática de la comunicación (texto completo en inglés).

¿Qué es la Teoria de la información y cuáles son sus orígenes?

La teoría de la información es un proceso que se centra en la tarea de cuantificar la información. La cuantificación de la información se logra mediante la identificación de la viabilidad de métodos de compresión y comunicación de datos sin causar la degradación y en la integridad de los datos. Teoría de la información puede ser utilizada en una serie de campos diferentes, como la computación cuántica, análisis de datos y criptografía.

El origen de la teoría moderna de información se suele atribuir a Claude E. Shannon. Su trabajo Teoría Matemática de la Comunicación , publicado por primera vez en 1948, sienta las bases para la cuantificación y la compresión de datos en unidades viables que pueden almacenarse para su fácil recuperación posterior. Su enfoque básico proporcionado las herramientas necesarias para mejorar la eficiencia de los sistemas informáticos a principios de mainframe, y traducido con facilidad en la llegada de las computadoras de escritorio en la década de los años 1970. Como una rama de la ingeniería eléctrica y matemáticas aplicadas, teoría de la información trata de descubrir los métodos más eficientes de transmitir los datos, dentro de los límites inherentes a los datos adecuados. La idea es garantizar que el transporte masivo de datos no es en modo alguno una merma de la calidad, incluso si los datos se comprimen de alguna manera. Idealmente, los datos se pueden restaurar a su forma original al llegar a su destino. En algunos casos, sin embargo, el objetivo es permitir que los datos de una forma que se convierte para la transmisión de masas, recibida en el punto de terminación, y convertirse fácilmente en un formato distinto del original, sin perder ninguna de la información transmitida. Una de las aplicaciones de la teoría de la información que mucha gente se está familiarizado con el uso de archivos ZIP para comprimir los documentos para su transmisión a través de correo electrónico o como parte de los procedimientos de almacenamiento de datos. La compresión de los datos hace posible completar la transmisión en menos tiempo. En el extremo receptor, el software se utiliza para la liberación o descomprima el archivo y restauración de los documentos contenidos en el archivo ZIP a su formato original. La teoría de la información también entra en el uso con otros tipos de archivos también. Por ejemplo, los archivos de audio y video que se reproducen en un reproductor de MP3 se comprimen para una fácil descarga y almacenamiento en el dispositivo. Cuando se accede a los archivos de ampliar y están inmediatamente disponibles para su uso.

Muchos otros dispositivos y los adelantos tecnológicos modernos que la gente usa a diario son posibles gracias a la aplicación de la teoría de la información. El acceso y la función de la Internet no sería posible sin la teoría de la información. De igual manera, la capacidad de almacenamiento de un disco compacto está directamente relacionada con el uso de esta teoría.

Modelo de comunicación

El modelo comunicacional desarrollado por Shannon y Weaver se basa en un sistema de comunicación general que puede ser representado de la siguiente manera:

FUENTE DE INFORMACION: selecciona el mensaje deseado de un conjunto de mensajes posibles.

TRANSMISOR: transforma o codifica esta información en una forma apropiada al canal.

SEÑAL: mensaje codificado por el transmisor.

CANAL: medio a través del cual las señales son transmitidas al punto de recepción.

FUENTE DE RUIDO: conjunto de distorsiones o adiciones no deseadas por la fuente de información que afectan a la señal. Pueden consistir en distorsiones del sonido (radio, teléfono), distorsiones de la imagen (T.V.), errores de transmisión (telégrafo), etc.

RECEPTOR: decodifica o vuelve a transformar la señal transmitida en el mensaje original o en una aproximación de este haciéndolo llegar a su destino.

Este sistema de comunicación es lo suficientemente amplio como para Incluir los diferentes contextos en que se da la comunicación (conversación, T.V., danza, etc.). Tomemos como ejemplo lo que ocurre en el caso de la radio. La fuente de información corresponde a la persona que habla por el micrófono. El mensaje son las palabras y sonidos que esta persona emite. El micrófono y el resto del equipo electrónico constituyen el transmisor que transforma este mensaje en ondas electromagnéticas, las cuales corresponden a la señal. El espacio que existe entre las antenas transmisoras y receptoras es el canal, mientras que lo que altera la señal original constituye la fuente de ruido. El aparato de radio de cada hogar es el receptor y el sonido que éste emite corresponde al mensaje recobrado. Las personas que escuchan este mensaje radial son los destinatarios.

También podemos ejemplificar esto mediante este artículo que usted está leyendo en este momento. En este caso, nuestros cerebros son la fuente de información y nuestros pensamientos, el mensaje. La máquina de escribir constituye el transmisor que transforma nuestros pensamientos en lenguaje escrito, el cual corresponde a la señal. El papel es el canal y cualquier error de tipeo o puntuación, manchas, espacios en blanco, etc., constituyen la fuente de ruido. Por último, usted que está leyendo este ejemplo es a la vez el receptor y destinatario, que a través de la lectura recobra el mensaje por nosotros enviado.

Es importante considerar que el problema del significado del mensaje no es relevante en este contexto. El interés principal de la Teoría de la Información lo constituye todo aquello relacionado con la capacidad y fidelidad para transmitir información de los diferentes sistemas de comunicación. En el ejemplo anterior, el mensaje podría haber consistido en una secuencia de letras carentes de todo significado e igualmente el problema de cuánta información es transmitida estaría presente. En un sentido amplio, la Teoría de la Información trata acerca de la cantidad de información que es transmitida por la fuente al receptor al enviar un determinado mensaje, sin considerar el significado o propósito de dicho mensaje. No interesa tanto la pregunta: “¿Qué tipo de información?” sino más bien, “¿Cuánta información?” es la que transmite la fuente.

Información

Antes de analizar lo que se refiere a la capacidad y fidelidad de un canal determinado para transmitir información, es necesario que precisemos los alcances de este último concepto. El concepto de información es definido en términos estrictamente estadísticos, bajo el supuesto que puede ser tratado de manera semejante a como son tratadas las cantidades físicas como la masa y la energía. La palabra “información” no está relacionada con lo que decimos, sino más bien, con lo que podríamos decir. El concepto de información se relaciona con la libertad de elección que tenemos para seleccionar un mensaje determinado de un conjunto de posibles mensajes. Si nos encontramos en una situación en la que tenemos que elegir entre dos únicos mensajes posibles, se dice, de un modo arbitrario, que la información correspondiente a esta situación es la unidad. La Teoría de la Información, entonces, conceptualiza el término información como el grado de libertad de una fuente para elegir un mensaje de un conjunto de posibles mensajes.

El concepto de información supone la existencia de duda o incertidumbre. La incertidumbre implica que existen diferentes alternativas que deberán ser elegidas, seleccionadas o discriminadas. Las alternativas se refieren a cualquier conjunto de signos construidos para comunicarse, sean estos letras, palabras, números, ondas, etc. En este contexto, las señales contienen información en virtud de su potencial para hacer elecciones. Estas señales operan sobre las alternativas que conforman la incertidumbre del receptor y proporcionan el poder para seleccionar o discriminar entre algunas de estas alternativas.

Se asume que en los dos extremos del canal de comunicación -fuente y receptor- se maneja el mismo código o conjunto de signos. La función de la fuente de información será seleccionar sucesivamente aquellas señales que constituyen el mensaje y luego transmitirlas al receptor mediante un determinado canal.

Existen diversos tipos de situaciones de elección. Las más sencillas son aquellas en que la fuente escoge entre un número de mensajes concretos. Por ejemplo, elegir una entre varias postales para enviarle a un amigo. Otras situaciones más complejas son aquellas en que la fuente realiza una serie de elecciones sucesivas de un conjunto de símbolos elementales tales como letras o palabras. En este caso, el mensaje estará constituido por la sucesión de símbolos elegidos. El ejemplo más típico aquí es el del lenguaje.

Al medir cuánta información proporciona la fuente al receptor al enviar un mensaje, se parte del supuesto que cada elección está asociada a cierta probabilidad, siendo algunos mensajes más probables que otros. Uno de los objetivos de esta teoría es determinar la cantidad de información que proporciona un mensaje, la cual puede ser calculada a partir de su probabilidad de ser enviada.

El tipo de elección más simple es el que existe entre dos posibilidades, en que cada una tiene una probabilidad de 1/2 (0,5). Por ejemplo, al tirar una moneda al aire ambas posibilidades -cara y sello- tienen la misma probabilidad de salir. El caso del lenguaje e idioma es diferente. En éstos la elección de los símbolos que formaran el mensaje dependerá de las elecciones anteriores. Por ejemplo, si en el idioma español el último símbolo elegido es “un”, la probabilidad que la siguiente palabra sea un verbo es bastante menor que la probabilidad que sea un sustantivo o un adjetivo. Asimismo, la probabilidad que a continuación de las siguientes tres palabras “el esquema siguiente” aparezca el verbo “representa” es bastante mayor que la probabilidad que aparezca “pera”. Incluso se ha comprobado que, en el caso del lenguaje, es posible seleccionar aleatoriamente letras que luego son ordenadas según sus probabilidades de ocurrencia y éstas tienden a originar palabras dotadas de sentido.

Principios de la medición de información

De acuerdo a estas consideraciones probabilísticas es posible establecer un primer principio de la medición de información. Este establece que mientras más probable sea un mensaje menos información proporcionará. Esto puede expresarse de la siguiente manera:

I(xi) > I(xk) si y sólo si p(xi) < p(xk)

donde

I(xi) : cantidad de información proporcionada por xi p(xi) : probabilidad de xi

De acuerdo a este principio, es la probabilidad que tiene un mensaje de ser enviado y no su contenido, lo que determina su valor informativo. El contenido sólo es importante en la medida que afecta la probabilidad. La cantidad de información que proporciona un mensaje varía de un contexto a otro, porque la probabilidad de enviar un mensaje varía de un contexto a otro.

Un segundo principio que guarda relación con las elecciones sucesivas establece que si son seleccionados los mensajes X e Y, la cantidad de información proporcionada por ambos mensajes será igual a la cantidad de información proporcionada por X más la cantidad de información proporcionada por Y, dado que X ya ha sido seleccionada. Esto puede ser expresado así:

I(xi e yj) = f p(xi) + f p(yj/xi)

donde

I(xi e yj) : cantidad de información proporcionada por los mensajes xi e yj
f : función
p(xi) : probabilidad de xi
p(yj/xi) : probabilidad de yj dado que xi ha sido seleccionado.

Unidad de información

Una vez que hemos seleccionado el mensaje expresado en un lenguaje determinado es posible transcribirlo a un código de tipo binario. Este consta de sólo dos tipos de señales que indican Si o No, y que generalmente se codifican como 1 o 0. La cantidad de información proporcionada por cada elección entre dos alternativas posibles constituye la unidad básica de información, y se denomina dígito binario, o abreviadamente bit.

La elección existente al tener un bit de información puede ser esquematizada de la siguiente manera:

En la elección (b) tanto la línea superior como la inferior, es decir ambas posibilidades, pueden ser elegidas con la misma probabilidad de r/2.

Si existen N posibilidades, todas igualmente probables, la cantidad de información será igual a Log2N. Es, entonces, el Log2N la función matemática que nos indicará la cantidad de bits de información de una situación determinada.

Capacidad del canal

Ahora que ya hemos precisado el concepto -de información y los conceptos relacionados con él (incertidumbre, bit, redundancia) podemos volver a plantearnos el problema inicial de definir la capacidad de un canal determinado para transmitir información. Dado un canal con una capacidad de C unidades por segundo que recibe señales de una fuente de información de H unidades por segundo, la pregunta es ¿cuánto es el máximo número de bits por segundo que puede ser transmitido a través de este canal? Por ejemplo, un teletipo consta de 32 símbolos posibles que supondremos son empleados con igual frecuencia. Cada símbolo representa entonces 5 bits (Log232) de información. De esta forma, si en ausencia total de ruido podemos enviar N símbolos por segundo a través de este canal, entonces podremos enviar 5N bits de información por segundo a través de dicho canal.

Son estas dos cantidades, la tasa de transmisión H por la fuente de información y la capacidad C del canal, las que determinan la efectividad del sistema para transmitir información. Si H > C será ciertamente imposible transmitir toda la información de la fuente, no habrá suficiente espacio disponible. Si H  C será posible transmitir la información con eficiencia. La información, entonces, puede ser transmitida por el canal solamente si H no es mayor que C.

El teorema fundamental para un canal sin ruido que transmite símbolos discretos afirma que si se emplea un procedimiento adecuado de codificación para el transmisor es posible conseguir que el ritmo medio de transmisión de símbolos por el canal sea muy próximo a C/H. Por muy perfecto que sea el procedimiento de codificación, dicho ritmo nunca podrá ser mayor de C/H.

Sin embargo, el problema de calcular la capacidad del canal se complica por la presencia de ruido. La presencia de ruido durante la transmisión provocará que el mensaje recibido contenga ciertos errores que contribuirán a aumentar la incertidumbre. Recordemos que la información es una medida del grado de libertad de elección que poseemos al momento de seleccionar un mensaje. Cuanto mayor sea la libertad de elección, mayor será la falta de seguridad en el hecho de que el mensaje enviado sea uno determinado. La incertidumbre será mayor y mayor la cantidad de información posible. De esta forma, si el ruido aumenta la incertidumbre, aumentará la información. Esto parecería indicar que el ruido es beneficioso, puesto que cuando hay ruido, la señal recibida es seleccionada a partir de un mayor conjunto de señales que las deseadas por el emisor. Sin embargo, la incertidumbre originada por la libertad de elección del emisor es una incertidumbre deseable; la incertidumbre debida a errores por la influencia del ruido es una incertidumbre no deseable.

Para extraer la información útil de la señal recibida es necesario suprimir la ambigüedad introducida por el ruido. Para ello se recurre a un factor de corrección matemático que no entraremos a analizar. El teorema para la capacidad de un canal con ruido se define como el ritmo máximo a que la información útil (incertidumbre total menos la incertidumbre debida al ruido) puede ser transmitida a través del canal.

Informacion mutua

La información mutua se describe como  Ia= f(Pa) donde f(Pa) edebe ser determinada .

Si la probabilidad  y  cual seria la información mutua

supongamos que una fuente produce los símbolos  A,B,C.D con probabilidad 1/2, 1/4., 1/8, 1/8 respectivamente calcular la información.

a)

b)

c)

d)

Entropia :  medición de la información promedio que se mide en una fuente

M= longitud del alfabeto

i :  simbolos de la fuente

N: muchos simbolos

P=Pe

q=1-p

Una fuente nula de ancho de banda de 4khz se muestra en la tasa de nysquist rate   fs>2fmax cuyo alfabeto es igual  A{-2, -1, 0, 1, 2} con sus respectivas probabilidades {1/2, 1/4, 1/8, 1/16, 1/16} determine la velocidad de la fuente por bit/ seg.

Velocidad de señalización

Numero promedio de simbolos por unidad de tiempo y la unidad es el baudio

RADIOFRECUENCIAS

Nombre Abreviatura inglesa Banda ITU Frecuencias Longitud de onda
Inferior a 3 Hz > 100.000 km
Extra baja frecuencia ELF 1 3-30 Hz 100.000 km – 10.000 km
Super baja frecuencia SLF 2 30-300 Hz 10.000 km – 1000 km
Ultra baja frecuencia ULF 3 300–3000 Hz 1000 km – 100 km
Muy baja frecuencia VLF 4 3–30 kHz 100 km – 10 km
Baja frecuencia LF 5 30–300 kHz 10 km – 1 km
Media frecuencia MF 6 300–3000 kHz 1 km – 100 m
Alta frecuencia HF 7 3–30 MHz 100 m – 10 m
Muy alta frecuencia VHF 8 30–300 MHz 10 m – 1 m
Ultra alta frecuencia UHF 9 300–3000 MHz 1 m – 100 mm
Super alta frecuencia SHF 10 3-30 GHz 100 mm – 10 mm
Extra alta frecuencia EHF 11 30-300 GHz 10 mm – 1 mm
Por encima de los 300 GHz < 1 mm 

 

  • Frecuencias extremadamente bajas: Llamadas ELF (Extremely Low Frequencies), son aquellas que se encuentran en el intervalo de 3 a 30 Hz. Este rango es equivalente a aquellas frecuencias del sonido en la parte más baja (grave) del intervalo de percepción del oído humano. Cabe destacar aquí que el oído humano percibe ondas sonoras, no electromagnéticas, sin embargo se establece la analogía para poder hacer una mejor comparación.
  • Frecuencias super bajasSLF (Super Low Frequencies), son aquellas que se encuentran en el intervalo de 30 a 300 Hz. En este rango se incluyen las ondas electromagnéticas de frecuencia equivalente a los sonidos graves que percibe el oído humano típico.
  • Frecuencias ultra bajasULF (Ultra Low Frequencies), son aquellas en el intervalo de 300 a 3000 Hz. Este es el intervalo equivalente a la frecuencia sonora normal para la mayor parte de la voz humana.
  • Frecuencias muy bajasVLFVery Low Frequencies. Se pueden incluir aquí las frecuencias de 3 a 30 kHz. El intervalo de VLF es usado típicamente en comunicaciones gubernamentales y militares.
  • Frecuencias bajasLF, (Low Frequencies), son aquellas en el intervalo de 30 a 300 kHz. Los principales servicios de comunicaciones que trabajan en este rango están la navegación aeronáutica y marina.
  • Frecuencias medias: MF, Medium Frequencies, están en el intervalo de 300 a 3000 kHz. Las ondas más importantes en este rango son las de radiodifusión de AM (530 a 1605 kHz).
  • Frecuencias altasHFHigh Frequencies, son aquellas contenidas en el rango de 3 a 30 MHz. A estas se les conoce también como “onda corta”. Es en este intervalo que se tiene una amplia gama de tipos de radiocomunicaciones como radiodifusión, comunicaciones gubernamentales y militares. Las comunicaciones en banda de radioaficionados y banda civil también ocurren en esta parte del espectro.
  • Frecuencias muy altasVHFVery High Frequencies, van de 30 a 300 MHz. Es un rango popular usado para muchos servicios, como la radio móvil, comunicaciones marinas y aeronáuticas, transmisión de radio en FM (88 a 108 MHz) y los canales de televisión del 2 al 12 [según norma CCIR (Estándar B+G Europa)]. También hay varias bandas de radioaficionados en este rango.
  • Frecuencias ultra altasUHFUltra High Frequencies, abarcan de 300 a 3000 MHz, incluye los canales de televisión de UHF, es decir, del 21 al 69 [según norma CCIR (Estándar B+G Europa)] y se usan también en servicios móviles de comunicación en tierra, en servicios de telefonía celular y en comunicaciones militares.
  • Frecuencias super altasSHFSuper High Frequencies, son aquellas entre 3 y 30 GHz y son ampliamente utilizadas para comunicaciones vía satélite y radioenlaces terrestres. Además, pretenden utilizarse en comunicaciones de alta tasa de transmisión de datos a muy corto alcance mediante UWB. También son utilizadas con fines militares, por ejemplo en radares basados en UWB.
  • Frecuencias extremadamente altasEHFExtrematedly High Frequencies, se extienden de 30 a 300 GHz. Los equipos usados para transmitir y recibir estas señales son más complejos y costosos, por lo que no están muy difundidos aún.

Decibelio

 

Decibelio es la unidad relativa empleada en acústicatelecomunicaciones para expresar la relación entre dos magnitudes, acústicas o eléctricas, o entre la magnitud que se estudia y una magnitud de referencia.

El decibelio, cuyo símbolo es dB, es una unidad logarítmica. Es un submúltiplo del belio, de símbolo B, que es el logaritmo de la relación entre la magnitud de interés y la de referencia, pero no se utiliza por ser demasiado grande en la práctica, y por eso se utiliza el decibelio, la décima parte de un belio. El belio recibió este nombre en honor de Alexander Graham Bell.

Un belio equivale a 10 decibelios y representa un aumento de potencia de 10 veces sobre la magnitud de referencia. Cero belios es el valor de la magnitud de referencia. Así, dos belios representan un aumento de cien veces en la potencia, 3 belios equivalen a un aumento de mil veces y así sucesivamente.

Nivel de intensidad del sonido.1
180 dB Explosión del Volcan Krakatoa. Se cree que es el mayor sonido registrado en la historia.
140 dB Umbral del dolor
130 dB Avión despegando
120 dB Motor de avión en marcha
110 dB Concierto / acto cívico
100 dB Perforadora eléctrica
90 dB Tráfico / Pelea de dos personas
80 dB Tren
70 dB Aspiradora
50/60 dB Aglomeración de gente
40 dB Conversación
20 dB Biblioteca
10 dB Respiración tranquila
0 dB Umbral de audición


Aplicaciones en telecomunicación

El decibelio es quizá la unidad más utilizada en el campo de las Telecomunicaciones por la simplificación que su naturaleza logarítmica posibilita a la hora de efectuar cálculos con valores de potencia de la señal muy pequeños.
Como relación de potencias que es, la cifra en decibelios no indica nunca el valor absoluto de las dos potencias comparadas, sino la relación entre ellas. A diferencia de lo que ocurre en el sonido, donde siempre se refiere al mismo nivel de referencia, en telecomunicación, el nivel de referencia es cambiante.
Esto permite, por ejemplo, expresar en decibelios la ganancia de un amplificador o la pérdida de un atenuador sin necesidad de referirse a la potencia de entrada que, en cada momento, se les esté aplicando.

La pérdida o ganancia de un dispositivo, expresada en decibelios viene dada por la fórmula:
 {dB}= 10\times \log_{10} \frac{P_S}{P_E}
en donde PE es la potencia de la señal en la entrada del dispositivo, y PS la potencia a la salida del mismo.
Si hay ganancia de señal (amplificación) la cifra en decibelios será positiva, mientras que si hay pérdida (atenuación) será negativa.

Para sumar ruidos, o señales en general, es muy importante considerar que no es correcto sumar directamente valores de las fuentes de ruido expresados en decibelios. Así, dos fuentes de ruido de 21 dB no dan 42 dB sino 24 dB.

En este caso se emplea la fórmula:
 dB totales = 10\cdot \log_{10}(10^{\frac{X_1}{10}}+10^{\frac{X_2}{10}}+ ... ) ,
donde Xn son los valores de ruido o señal, expresados en decibelios, a sumar. Esta fórmula también puede expresarse con la siguiente notación:
 dB totales = 10 \cdot \log_{10} \left( antilog\left( \frac{X_1}{10} \right )+ antilog \left( \frac{X_2}{10} \right )+ ... \right).

fuentes

http://docs.google.com/viewer?a=v&q=cache:CmaZeIQk5lsJ:www.sanalejandro.cult.cu/doc/teoriainformacion.doc+teoria+de+la+informacion&hl=es&gl=co&pid=bl&srcid=ADGEESh5ZmhWB-DrDHwRurat3yV61jPN9nfNQn2AGcps2H66NVBSGrNHTVbJYqDVwnFvts_KcX-BRdkZLqtjMmmKw3qeCMQLvKobu0VJ-GvySsSeEtfwU54ce8EhoQRoGB5uzPNAXF1C&sig=AHIEtbS6enduV673DqCbEC7VYDiEiiZoHQ

http://es.wikipedia.org/wiki/Teor%C3%ADa_de_la_informaci%C3%B3n

http://es.wikipedia.org/wiki/Espectro_electromagn%C3%A9tico

http://es.wikipedia.org/wiki/Db

Categorías:Uncategorized
  1. Aún no hay comentarios.
  1. No trackbacks yet.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: