La paradoja de la información y la teoría de Shannon
El robo de un banco en 1907, un ladrón que huye a Londres y un problema gordo para atraparlo. Estos son los ingredientes para introducir animadamente la teoría de la información de Shannon y su fórmula de la entropía.
* * * *
Pequeño índice:
00:00 - Introducción
01:40 - La información se mide en bits
06:03 - La fórmula de la sorpresa
11:35 - ¿Y qué hacemos con esto?
13:35 - En el ADN
* * * *
Instagram: / lemnismath
Twitter: / lemnismath
* * * *
Como has continuado la lectura hasta aquí, te cuento un poco más. Hay muchos artículos en blogs de Internet que afirman que el Quién es Quién se puede ganar con solo seis preguntas. Y le dedican largas parrafadas a demostrarlo. Si haces las cuentas con la fórmula de la información, verás que solo necesitas cinco preguntas para ganar (con un poco de suerte, solo cuatro).
- Lemnismath
-------------- Bibliografía y referencias ---------------
[1] New York Times, 1907.
en.wikisource.org/wiki/The_Ne...
[2] Me refiero a A Mathematical Theory of Communication, C. E. Shannon (1948).
ieeexplore.ieee.org/document/...
He cambiado el título por cuestiones estéticas.
---------------------------------------
[3] Definición de bit.
en.wikipedia.org/wiki/Bit
Deberíamos añadir que el bit es la respuesta ante una pregunta de sí/no solo cuando ambas opciones son equiprobables. Lo malo es que aún no hemos introducido la probabilidad en la teoría.
[4] Plutón no es planeta (según la IAU, ejem, ejem):
www.iau.org/news/pressrelease...
[5] El logaritmo te dice el número de preguntas si la cantidad de opciones es una potencia de dos. En el resto de casos devuelve un valor con decimales. Es una generalización derivada de la potenciación en el caso continuo (pero si has entendido esta frase, entonces no creo que te resulte raro pensar en preguntas irracionales).
[6] Sobre la cantidad de caracteres de un tuit,
/ counting-characters
[7] No hago diferencias entre preguntas y respuestas, y quizá debería. Entiéndase que lo que da información es la respuesta, pero esta proviene de una pregunta contestada.
[8] Telegraphing Pictures, T. Thorne Baker (1909).
www.jstor.org/stable/41338909
[9] Shannon no "detecta" esta paradoja directamente en su trabajo original: deduce una fórmula que la evita, sin más circunloquios.
------------------------------------------
[10] No es la fórmula de Shannon. Se deduce de su teoría, pero él no la menciona en su trabajo original. Es una intepretación posterior, y un recurso pedagógico.
[11] Las tres preguntas del ejemplo inicial.
[12] En este vídeo, la interpretación de la probabilidad es de tipo frecuencial.
[13] Esta debería ser la definición de bit, ahora que hemos introducido la interpretación probabilística.
[14] The security of customer-chosen banking PINs.
www.ifca.ai/pub/fc12/73970024...
[15] Sobre la frecuencia de las letras del español:
www.worldcat.org/es/title/795065
www.sttmedia.com/characterfre...
[16] Se considera que 0×log(1/0) es cero. La sorpresa de encontrar algo con probabilidad 0 es infinita, PERO nunca te encontrarás algo así. Y, si lo encuentras, que Dios te pille confesado.
---------------------------------------------
[17] Este es un caso especial, donde p=1 y la información puede considerarse nula.
[18] Este "mínima" es peligroso: podrías adivinar el mensaje por casualidad con una sola pregunta. Si el código se crea en función de un mensaje particular, la fórmula de Shannon te da la cantidad mínima de preguntas con una seguridad del 100% (es decir, sin recurrir a la suerte o al azar). Si quieres usar un código genérico (por ej., el códgo morse) para una familia de mensajes (telegramas en español), el "mínima" pierde sentido y la interpretación debe ser estadística, atendiendo a los teoremas de Shannon.
[19] Se consigue la igualdad si y solo si todas las probabilidades son iguales, p=1/n.
[20] Un análisis interesante sobre la información de cada letra en español (lo que se conoce como entropía del español).
On the Entropy of Written Spanish, F. G. Guerrero (2012).
www.scielo.org.co/pdf/rce/v35n...
[21] Tomado de Wheel Of Fortune (1997). Es obvio, pero Internet nunca deja de sorprenderme, así que lo aclaro: he adulterado las imágenes. NO es el panel original.
[22] Lecture 6: Entropy.
scholar.harvard.edu/files/sch...
[23] Un resumen general y recomendable es el de Establishing the Triplet Nature of the Genetic Code, C. Yanofsky (2007)
doi.org/10.1016/j.cell.2007.0...
Pues eso: estoy estudiando las implicaciones de aplicar la teoría de la información al ADN, en colaboración con la gente de Adntro. Se sabe que la fórmula de la entropía es mejor que otros tests estadísticos para detectar algunas enfermedades genéticas concretas, y en eso estamos metidos. Si llegamos a algún resultado interesante, os lo comentaré. 😘 Y ya puestos, tú te llevas un descuento en test de adn con el código INFORMACIÓN en adntro.com/es/
Me dejaste en la luna o creo que más lejos...bueno soy músico y me gustaría saber si se podría aplicar de alguna manera 🤔 en mi campo y si ya se hizo pues entonces estoy en la edad de piedra de todos modos excelente 👌 video Felicitaciones y gracias 🙂 saludos Desde Perú
La teoria de la información de Shannon tambien se utilizaba calcular la biodiversidad de un determinado ecosistema aunque ahora se utilida una serie matematica que tiene una parte que se corresponde con la exponencial de shannon. No se exactamente por qué porque no nos lo explicaron del todo pero es interesante tambien. Si quieres buscarlo para confirmarlo es sobre la biodiversidad alfa y la serie matematica que digo es Los números de Hill
10% de descuento
¿Porqué hablas a un titmo de 6/8? Le metes una batera y se queda clavao.
Yo soy ingeniero bioquímico por si quieres ayuda con algo.
Han pasado 84 años, soy un hombre felizmente casado, tengo 4 hijos y 6 nietos...Pero algo sucedió, cuando no sabía que podía ser más feliz, Lemnismath sube un video, y llego al estado de plenitud...
Yo le veo mientras levanto pesas 😂🤝 ejercitando la mente y el cuerpo a la vez, dos por uno 😎
@@manuelcasper0079 no entiendo la relación
@@Leonidas147 Ese es el chiste, que es totalmente fuera de lugar 😂
@@manuelcasper0079 a
Claro que sí campeón
Tu canal es como Rockstar, pasan como 5 años entre cada entrega pero cuando por fin sale es una obra de arte 😎🍷
Debe ser porqué es un trabajo serio, además si te fijas en la descripción están las referencias de su investigación.
Bien
valve*
Modo Whymaps o Migala
😊N
¡Rayos! Pasamos de contar una historia de crimen a fórmulas matemáticas y compresión de archivos. ¡Que buen vídeo! Vale la pena esperar tanto para ver otro video
Y lo mejor es que la gente no entiende nada, aunque digan que sí.
grande ruben gisbert robando un banco
Hay que agregar que Claude Shannon tambien fue el que demostró que la logica booleana se podia implementar con relés en su tesis de grado y que finalmente llevó a la electrónica digital y que tengamos microprocesadores. También trabajó en Inteligencia Artificial y hay un video donde Theseus su ratón eletromecánico aprende a salir de un laberinto. También le interesaba el cubo rubik y los malabares, hasta hizo robots para resolver el cubo Rubik, otro que hacia malabares y una Useless Machine.
Shannon fue todo un Rockstar. Gracias a el y algoritmo de Huffman pudimos tener la música en mp3. Irónicamente, Shannon padeció de alzheimer :'( es decir, perdió la información de sus habilidades
Joder k flipada
Absolutamente magistral. Esta es una de las ideas más hermosas de toda la ciencia. No sé como carajo has comprimido toda esa información en un cuarto de hora (chiste malo). Enhorabuena
Profesores de universidades: muchos datos poca información Este man: pocos datos mucha información
@@awebioweko9280este comentario hace justicia a este vídeo 👏👏👏
Pregunta: ¿El logo representa la cantidad de tiempo entre cada vídeo? Fuera bromas, el vídeo merece la pena, creo, aún no lo he visto, no tengo suficiente información. ¿Habrá alguna teoría que me ayude con este dilema?
no, no la hay
@@danielsierra52 xd Ni la teoría de información?
El gato de shrodinger (o como se escriba) el vídeo puede ser bueno y malo al mismo tiempo hasta que lo ves
Que interesante, enviar un mensaje que queremos que sea no solo recibido por alguien si no que también debe entenderlo igual que quien lo envió (nosotros) requiere al menos que se envié en el un lenguaje que los dos compartamos, es decir enviar una carta a alguien en un idioma que no puede leer es una perdida de tiempo y esfuerzo, trasladándolo a la pregunta del amigo Elies, es que quien te envié el mensaje sobre el vídeo debe "hablar" tu mismo idioma en cuanto a gustos en temas de vídeos y existe un método que toma en cuenta tus antecedentes en temas vistos y el tiempo que duras en ellos y otros datos mas y los combina de forma que se crea un porcentaje por contenido existente que representa (en teoría) que el vídeo te interesara o no y este es el algoritmo que utiliza KZhead para recomendarte contenido y que probablemente te trajo a este vídeo al igual que a mi.
@@josegonzalez-qw1cx amigo solo te pedi la hora
El éxito depende de la acción o paso que des para lograrlo. Muéstrame un hombre que no tenga inversiones y te diré cuán pronto se arruinará. La inversión es construir un paraíso seguro para el futuro
No me acordaba que estaba suscrito a esta maravilla de canal, ver este vídeo sí que ha sido una sorpresa. Enhorabuena porque la calidad de los vídeos es tremenda a todos los niveles. Muchas gracias por el contenido!
No dejés de seguir dando tanta belleza al universo. En KZhead no hay creatividad que se le compare a tu síntesis y metaforización de contenidos. Gracias y hasta la próxima entrega.
Han pasado 84 años. Sigo esperando varios vídeos, jajajaja 🤣🤣
Bienvenido al club
Tranqui abu yo morí esperando a los increíbles dos
Qué dios, los dioses o todas las energías que hacen posible la existencia de este universo te concedan 3 mil años más para seguir viendo este canal💓☺️👍🏻❗ saludos desde Tarija, el sur de Bolivia, frontera con argentina
Calidad > cantidad ;)
jajaja
Justo esta mañana revisaba mi cuenta de ADNTRO que había una nueva sección y veo que era sobre entropía y que Lemnismath preparaba video... Ha sido uno de los Spoiler más deliciosos que he podido encontrarme. ¡Gracias por el video!
Me encantan tus videos! Cuando vi el nombre de Shannon me llamó la atención, porque mi profesor de Teoría de las Comunicaciones (yo estudio ingeniería) lo mencionó varias veces en relación a los aportes que hizo en lo que se trata de compactado y envío de un mensaje. Y ahora puedo entender aún mejor el porque mi profesor le rinde tanto homenaje!
No conocía este canal y he quedado maravillado con lo bien referenciado que está el vídeo y su fé de erratas (o aclaraciones mejor dicho), en la descripción.
Wow, que hermoso video, me encanta toda la información valiosa que contiene. Y acabo de desbloquear el recuerdo de que seguía este canal y siempre veían los videos en el desayuno antes de ir a la universidad
VOLVIOOOOOO, hora del maratón periódico de videos de Lemismath
Wooow soy de filosofía y mi formación en Lógica me ha llevado a leer a Shannon pero no lo había entendido hasta ahora que estoy viendo tu video. Me has ayudado bastante con esta explicación, es como si hubieras quitado un candado y ahora mucho de lo que discutíamos en clase sobre este tema me tiene sentido. Gracias por esto ❤
Cómprate el libro Entropía Develada de Arieh Ben-Naim, te lo recomiendo
Yo he estudiado mucho el articulo original de shannon... El tipo facilmente puede ser el genio que mas impacto ha causado en nuestra civilizacion aun mas que Einstein Newton, Davinci, Darwin y muchos otros mas... Paradojicamente es menos famoso que todos.
@@roncho Helmut, no hace falta la comparación, Claude Shannon tiene el reconocimiento que merece, pero de ahí a compararlo con Einstein, Newton y Darwin es demasiado, en cuanto a Leonardo ... está bien que haya sido un genio renacentista pero tampoco entra en la comparación. Son opiniones, hay físicos y matemáticos de la talla de Feynman, Bohr, Schrödinger, Heisenberg, Hamilton, Laplace, Gauss, Riemann, Euler, Fourier, Lagrange, Euclides, Bayes, Ricci, Levi-Civita, Taylor, Leibniz, Von Neumann, Boole y otros, todos ellos más influyentes que Shannon. Hay que reconocer que Shannon solo pretendía estudiar la transmisión de mensajes a través de una línea eléctrica y su eficiencia en la recepción, sin saberlo abrió un mundo de interpretación a lo que conocemos como entropía que nos reúne aquí, indudablemente fue un genio, pero no hay que exagerar tanto
@@DanielMartinez-ss5co no estoy diciendo que es mas inteligente... Solamente que su impacto es mayor ya que es la base del internet y de ahi en adelante todo lo que utilice bits.
@@DanielMartinez-ss5co puedes hacer resumen del vídeo 😅, creo que lo veré luego
Madre mía, cada uno de los vídeos de este canal es un tesoro. Mira que lo sé, pero cada vídeo nuevo que veo vuelvo a flipar. Qué bueno eres, Jaime!!
Wow de lo que me vengo entrando en tu caja de descripción, es magnífico como desglosas cada punto e idea que pudieron quedar ambiguas, gracias 🤞🏻💕
Me maravilla cómo has conseguido transmitirme esa información a mi cerebro de forma tan efectiva. Un vídeo absolutamente genial.
Tus videos son increíbles we, esto no lo conocía pero seguramente me sirva para la carrera, se te agradece el esfuerzo!
Hermoso vídeo Lemnismath. Soy técnico electrónico y estudiante de primer año de ciencias de la computación, creí saber bastante sobre la información y el envío de datos pero venís vos y me enseñaste un montón!
Nunca decepcionan tus videos, es una explicación muy ilustrativa...
Como siempre, una auténtica maravilla de video! También me alucina la precisión de referencias y correcciones en la descripción :)
No conocía el canal, pero si todos tus vídeos son de esta calidad pues debería tener más seguidores.
Muchas gracias por tus videos. Siempre es una maravilla cuando llega esta notificación.
Me encanta este canal explica cosas complicadas de entender de una forma clara y entendible
estos videos son realmente una joya, nunca habia escuchado algo sobre este tema y sin embargo me mantuvo atento todo el video
Que buen vídeo, he disfrutado mucho Es interesante como está información puede ser aburrida cuando te fuerzan a oírla por un profesor, pero es tremendamente entretenida de aprender cuando eliges verla a voluntad y de un vídeo tan bien explicado y buena calidad :)
Siempre diré que cada video de este canal vale la espera. Puras joyitas.
Lo explicáis perfectamente y con toda claridad. ¡¡Muchas gracias!!
Es increíble como he odiado las matemáticas durante toda mi etapa educativa y profesional, como me ha dado siempre exactamente igual qué cosa calculaba qué, qué fórmulas servían para hacer X o Z, y a cada oportunidad que tengo, le paso los cálculos a otra persona para que se encargue ella,,,, y sin embargo, me he quedado enganchadísima a este vídeo desde el primer momento hasta el último. Nunca he prestado tanta atención a un concepto matemático. No sabía de este canal pero me ha encantado, ha sido hipnótico. Eso sí, las matemáticas y yo, por mucho que adore tu explicación, no vamos a ser amigas.
Duuuudeee acabo de aprender todo esto de una manera teorica, a base de demostración y demostración, del Thomas, por que era ayudante en un curso de maestria) pero lo explicaste de una manera increible, lastima no haber visto este vídeo antes para usarlo en clase. Increible
Es una obra maestra de video! Al principal estaba esperando escuchar acerca de cómo bits se hacen rgb y como también pasan a ser audio (estudio cgi y se algo) Pero algo que me aclaro este video es darme una idea más vaga y abstracta de la compresión. Muy poco entendía la matemática de esto. Pero ahora me das una idea muy clara de donde empezar a estudiar esto. Sos un grande! Y también al equipo de animación que te ayuda! Felicitaciones ! Fan de su trabajo!
Esperábamos con ansias el manjar de este maravilloso canal.
Lemnismath te extrañé 🥺❤️❤️❤️
Ahora entiendo porque mi profesor de informatica me puso a hacer una busqueda binaria, y porque mi profe de estadistica me presionaba tanto, no sabia que era algo tan importante, Gracias por explicarme algo que ellos no
Gracias por subir vídeo, todos apreciamos mucho tu esfuerzo
¡Todos los vídeos de este canal son una maravilla! Me encantaría que tuviera más apoyo.
Hace poco terminé de ver una serie que se llama Silicon Valley y se trata de una empresa de compresión de datos. Y es fascinante el tema de cómo comprimir datos. Si no se encuentra una forma de reducir datos, en una década puede que tengamos un serio problema con servidores físicos, ya que la cantidad de información que se guardan en la nube es gigantesca, y cada vez construyen más granjas de servidores y al final no habrá lugar en la tierra para tantos servidores. Algunas aplicaciones usan el mismo almacenamiento de nuestros celulares para guardar información que no es nuestra, pero no creo que esa sea la solución al almacenamiento de datos.
Dónde puedo ver la serie?
@@montserratpantoja8620 creo que en HBO Max
Que programa usa para las animaciones?
Maravilloso! Da gusto aprender así 😊
Este es mi canal favorito de matemáticas ❤️ justo ahora estoy estudiando sobre teoría de códigos y vi que algo se hablaba de teoría de Shannon pero no había logrado entenderlo, ahora soy capaz de ver como se relacionan por favor sigue haciendo videos me parecen muy interesantes y me motivan no me importa si te demoras xd
El hombre del dibujo de la imagen del video tiene toda la cara del Ruben Gisbert 🤣
Maravilloso video. Cada vez me gusta más este canal. Para tu investigación, desarrollo del canal y hobbie te recomiendo el libro "La infromación: historia y realidad" de autor James Gleick; con la habilidad que tienes para explicar estos temas será un gran material
Por la excelente calidad de este video te ganaste un like y un nuevo suscriptor. Y soy muy exigente con los canales que sigo
con este video terminé de entender mi clase de programación, gracias! cada día se aprende algo nuevo
Me gusta que haya calidad por sobre cantidad. Prefiero un vídeo excelente cada 6 meses a uno mas o menos cada 2 semanas la verdad.
El ladrón es Rubén Gisbert xd
Excelente, muy relevante!!!, pensé en adn antes que lo dijeras. Creo que se puede guardar información y codificarla a un óptimo espacio. Es algo precioso y alucinante.
Jajajajaja cuando me olvido del canal vuelve con toda la fuerza posible!!
Estudio informática, y jamás me explicaron este tema de una manera tan sencilla.
Joder, al final Rubén Gisbert sí que estaba metido en vidas turbias
Excelente... La espera valió la pena, como siempre!
Espectacular !!! Una vez más. Muchas gracias por tus vídeos.
Qué hace un dibujo de Rubén Gisbert en la miniatura del video??
Pobre Rubén Gisbert
Qué videazo!!! Excelente!! Cada vez mejor. Lástima que saques video cada tanto. Pero de verdad que estos videos me hacen la vida
Es la mejor exposición que he visto de la entropía de Shannon. Gracias por este vídeo.
Bueno gente, nos vemos en 3 años cuando salga el siguiente video
Mi bisabuelo me habló de un gran canal de matemáticas. Encontré algunos registros en su diario, pero siempre pensé que era un mito. Hasta el día de hoy, no puedo creer que lemnismath sea real, y encima sea tan bueno como decían las historias. 🤯😳
Hiciste la mejor publicidad que he visto en mi vida aaaa.... espectacular..... gracias por enseñarme tanto
ESTE ES EL MEJOR VIDEO QUE HE VISTO EN TODO EL AÑO!!!
¿Y ahora quién me devuelve lo que pagué de la misa a tu nombre? 😒
Tus videos son súper interesantes, entretenidos, bien explicados, increíbles y verdaderamente siempre me vuelas la cabeza, espero puedas subir videos con más regularidad pero veo que te gusta: Calidad > Cantidad; y si ese el precio para seguir viendo videos tan buenos es esperar medio año…. Estoy dispuesto jajajajaja.
que gran emoción cada que subes un vídeo.
Acabo de encontrar este canal por casualidad, soy estudiante de Comunicaciones y esto es cierto, es realmente interesante, gracias por la info ❤️
soy estudiante de ingeniería de telecomunicaciones, la teoría de la información y la entropía es algo que usamos a diario y que se ve en muchas asignaturas, aun así nunca nadie lo explico tan sencillo! gran video
genial como siempre. Hasta el año que viene!!
Baffff soy estudioso de este tema y debo decir que tu forma de explicar es simplemente impecable!!! Tienes que sacar videos mas seguido estas nivel de otros grandes youtubers divulgadores de ciencia. Yo trabaje en algun ocasión con Fabio Guerrero quien es el autor de tu referencia [20]
Recién conozco éste canal y... Wow, BUENÍSIMO.
Buen video Lemnismath , nos vemos el año que viene !!!
Orgulloso de ver todos los videos de lemnismath, por más tiempo que tarde, siempre lo voy a ver
Siempre vale la pena la espera
El mejor resumen de la teoría de la información que he visto!
muy feliz por tu retorno
Ver un video nuevo tuyo es toda una emoción 🎉
Eres lo mejor de KZhead, te necesitamos!!
¡Excelente video! Siempre he admirado mucho el trabajo de Claude Shannon y este video lo explica de manera genial. Me servirá mucho para mis clases. ¡Gracias!
Cada vídeo es una obra de arte... Por eso se hacen esperar
a mi me resulta super evidente porque estoy ya terminando telecomunicaciones pero te juro que nunca me lo habian explicado de una manera tan concisa y facil de entender, muy buen video
Ya con casi 105 hay nuevo video.P.D amo estos videos seguid trabajando.
Brillante forma de explicarlo! Gran vídeo, como siempre. Gracias!
Amo este canal!
El mejor canal de matemáticas de youtube. Gracias por estas obras de arte!
Tus videos son geniales, el tema, el guión, la animación. Me encantan.
¡Qué manera tan genial de explicar este tema! ¡Me encanta!
Muy interesante! También tiene implicaciones importantes en el ámbito de la ecología, para calcular la biodiversidad existente en diferentes ecosistemas (índice de biodiversidad de Shannon).
Diooooos no dejes de subir videos.
Amo tus vídeos! Te extrañamos
Probablemente los mejores videos divulgativos de todo youtube hispanohablante
Estoy acabando mi tdr sobre la compresión de imágenes y este video me habría venido genial para iniciarme en el tema. Gran aportación al tema. Muchas gracias
la mejor y mas larga publicidad que vi
Se te extrañaba. Por cierto, qué joya de vídeo eh.
Me encanta cómo eres el ejemplo perfecto de que calidad > cantidad.
Me acabo de suscribir, donde estaba este genio?, maldito algoritmo, ahora a disfrutar de sus video, Felicidades por tu increíble trabajo, maravillosa capacidad de comunicación.
Eres, por mucho, el mejor canal divulgativo de matemáticas
Súper interesante y súper claro!! Enhorabuena. Hay parámetros estadísticos como la distancia de correlación DCOR que se basan en estas teorías y tienen aplicación increíbles sobre la privacidad de datos en modelos de inteligencia artificial como Split Learning y Federated Learning.
Brutal 🤦🏻♂️ Impresionante explicación!