| dbo:abstract
|
- L'entropia de Shannon, (formulada per Claude Shannon) és una funció matemàtica que intuïtivament es correspon amb la quantitat d'informació continguda o lliurada per una font d'informació. Aquesta font pot ser un text escrit en un idioma determinat, un senyal elèctric, un fitxer d'ordinador o qualsevol (col·lecció de bytes). Des del punt de vista d'un receptor, com més informació diferent emet la font, més gran és l'entropia (o incertesa sobre el que emet la font), i viceversa. Com més informació rep el receptor sobre el missatge transmès, més disminueix l'entropia (incertesa) respecte aquest missatge, per raó d'aquest augment d'informació. La definició d'entropia de Shannon és tal que com més redundant sigui la font, menys informació conté. En absència de restriccions particulars, l'entropia és màxima per a una font en la que tots els símbols són igualment probables (equiprobables). Donada una variable aleatòria discreta , que pren valors en l'alfabet i segueix una certa distribució : on denota la suma al llarg dels possibles valors de la variable aleatòria. La tria de base per , el logaritme, varia en funció de l'apliació. Usant la base 2, s'obté l'entropia en bits (o en "shannons"), mentre que la base e dóna les "unitats naturals" nat, i la base 10 dóna unitats de "dits", "bans", o "hartleys". Una definició equivalent de l'entropia és l'esperança de la auto-informació d'una variable. (ca)
- Informační nebo též shannonovská entropie je střední hodnota množství informace připadající na jeden symbol generovaný stochastickým zdrojem dat. Míra informační entropie přiřazená ke každé možné datové hodnotě je záporným logaritmem pravděpodobnostní funkce dané hodnoty: kde je střední hodnota definovaná pravděpodobností . Když datový zdroj vyprodukuje hodnotu (symbol), která má nízkou pravděpodobnost (tj. nastane událost s nízkou pravděpodobností), nese tato událost více „informace“ (způsobí větší „překvapení“), než vyprodukování hodnoty, která má pravděpodobnost vysokou. Pokud množství informace, které nese každá událost, považujeme za náhodnou veličinu, informační entropie je střední hodnota této náhodné události. Entropie obecně vyjadřuje neuspořádanost nebo nejistotu, a definice entropie používaná v teorii informace je přímou analogií entropie používané ve statistické termodynamice. Koncept informační entropie představil Claude Shannon v roce 1948 ve svém článku „". Základní model systému datové komunikace obsahuje tři prvky: zdroj dat, a přijímač a – jak vyjádřil Shannon – „základním problémem komunikace“ je, aby přijímač byl schopen ze signálu, který přijímá z přenosového kanálu, identifikovat, jaká data byla vygenerovaná zdrojem. Entropie vyjadřuje absolutní dolní mez průměrné délky bezztrátového kódování dat vytvářených zdrojem. Pokud je entropie zdroje menší než , je možné data generovaná zdrojem spolehlivě přenést k přijímači (alespoň teoreticky, případně se zanedbáním určitých praktických kritérií jako například času potřebného pro přenos dat a složitosti systému k tomuto účelu). Informační entropie se nejčastěji měří v bitech (kterým se v této souvislosti také říká „shannons“), někdy v „přirozených jednotkách“ nebo v desítkových číslicích (nazývaný „dits“, „bans“ nebo „“). Jednotka měření závisí na základu logaritmu použitého pro výpočet entropie. Logaritmus rozdělení pravděpodobnosti je vhodný jako míra entropie, protože pro nezávislé zdroje je aditivní. Například entropie vrhu poctivou mincí je 1 bit a entropie m vrhů je m bitů. V přímočaré reprezentaci je potřeba log2(n) bitů pro reprezentaci proměnné, která může nabývat jedné z n hodnot, jestliže n je mocninou dvojky, tj. n = 2k. Pokud jsou všechny hodnoty stejně pravděpodobné, entropie (v bitech) bude log2(n)= k. Pokud se jedna z hodnot bude objevovat častěji než ostatní, pozorování této hodnoty je méně informativní, než kdyby došlo k méně obvyklému výsledku. Naopak pozorování vzácnější události poskytuje více informace. Protože pozorování méně pravděpodobných událostí se objevují méně často, způsobují, že entropie (braná jako průměrná informace) pocházející z nerovnoměrně distribuovaných dat je vždy menší nebo rovna log2(n). Entropie je nulová, pokud je jisté, že nastane jedna určitá událost. Entropie je veličina, která kvantifikuje tato kritéria pro známé rozdělení pravděpodobnosti zdrojových dat. Entropie nezávisí na obsahu pozorovaných událostí (významu zprávy), ale bere v úvahu pouze pravděpodobnosti jejich výskytu. To znamená, že entropie závisí pouze na podkladovém rozdělení pravděpodobnosti, nikoli na významu událostí samých. (cs)
- اعتلاج المعلومات (بالإنجليزية: information entropy) أو إنتروبي أو أنتروبيا، هي كمية أساسية في نظرية المعلومات مرتبطة بأي متغير عشوائي، والتي يمكن تفسيرها على أنها متوسط مستوى «المعلومات» أو «المفاجأة» أو «عدم اليقين» المتأصل في النتائج المحتملة للمتغير. تم تقديم مفهوم انتروبيا المعلومات من قبل كلود شانون في ورقته عام 1948 «نظرية رياضية في الاتصال». الإنتروبي هي القيمة المتوقعة للمعلومات الذاتية، وهي كمية ذات صلة قدمها شانون أيضًا. يقيس المعلومات الذاتية مستوى المعلومات أو المفاجأة المرتبطة بالنتيجة الواحدة المعينة أو حدث متغير عشوائي، في حين أن تقيس انتروبيا كم هو«مفيد» أو «مدهش» المتغير العشوائي كله، الذي بلغت متوسط كل نتائجه المحتملة. تم إنشاء الإنتروبي في الأصل من قبل شانون كجزء من نظريته في الاتصال، حيث يتكون نظام اتصالات البيانات من ثلاثة عناصر: مصدر البيانات، وقناة اتصال، وجهاز استقبال. في نظرية شانون، إن «مشكلة الاتصال الأساسية» - كما عبر عنها شانون - هي أن يكون المتلقي قادرًا على تحديد البيانات التي تم إنشاؤها بواسطة المصدر، بناءً على الإشارة التي يتلقاها عبر القناة. نظر شانون في طرق مختلفة لتعمية الرسائل وضغطها ونقلها من مصدر بيانات، وأثبت في نظريته الشهيرة لترميز المصدر أن الإنتروبيا تمثل حدًا رياضيًا مطلقًا حول كيفية ضغط البيانات من المصدر دون ضياع على قناة خالية من التشويش تمامًا. عزز شانون هذه النتيجة بشكل كبير للقنوات الصاخبة في نظرية الترميز ذات القناة الصاخبة. يمكن تفسير الإنتروبيا أيضًا على أنها متوسط معدل إنتاج المعلومات من خلال مصدر احصائي للبيانات. عندما ينتج مصدر البيانات قيمة احتمالية منخفضة (على سبيل المثال، عند وقوع حدث احتمالية منخفضة)، يحمل الحدث «معلومات» أكثر مما ينتج عندما ينتج مصدر البيانات قيمة احتمالية عالية. يتم تمثيل مفهوم «المعلومات» رسميًا من خلال كمية المعلومات الذاتية لشانون، ويتم أيضًا تفسيرها أحيانًا على أنها «مفاجأة». ثم تصبح كمية المعلومات التي ينقلها كل حدث فردي متغيرًا عشوائيًا قيمته المتوقعة هي إنتروبيا المعلومات. ليكن المتغير العشوائي ، مع النتائج المحتملة ، لكل منها احتمال انتروبي من على النحو التالي: حيث هي المعلومات الذاتية المرتبطة بنتيجة معينة؛ هي المعلومات الذاتية للمتغير العشوائي بشكل عام، يعامل كمتغير عشوائي مشتق جديد؛ و هي القيمة المتوقعة لهذا المتغير العشوائي الجديد، وهي تساوي مجموع المعلومات الذاتية لكل نتيجة، ومرجحة باحتمال حدوث كل نتيجة ؛ و ، أساس اللوغاريتم، هو معلمة جديدة يمكن تعيينها بطرق مختلفة لتحديد اختيار الوحدات لإنتروبيا المعلومات. يتم قياس انتروبي المعلومات عادة بوحدة البت (وتسمى بدلا من ذلك «شانون»)، الموافق أساس 2 في المعادلة المذكورة أعلاه. كما يتم قياسه أحيانًا «بوحدات طبيعية» (ناتس nats)، تقابل الأساس e أو الأرقام العشرية (تسمى "dits" أو "bans" أو " hartleys ")، المقابلة للأساس 10. تعريف شانون فريد بشكل أساسي من حيث أنه هو الوحيد الذي له خصائص معينة: يتم تحديده بالكامل من خلال التوزيع الاحتمالي لمصدر البيانات، وهو اضافي للمصادر المستقلة، يتم تعظيمه في التوزيع الموحد، يتم تصغيره (وتساوي الصفر) عندما يكون هناك احتمال بنسبة 100٪ لحدوث حدث واحد فقط، ويطيع نسخة معينة مشتقة من قاعدة سلسلة الاحتمالات. يتم شرح الاشتقاقات البديهية للانتروبيا في الصفحة أدناه. يتشابه تعريف الإنتروبيا المستخدم في نظرية المعلومات بشكل مباشر مع التعريف المستخدم في الديناميكا الحرارية الإحصائية، وهي علاقة تم تفصيلها في الصفحة إنتروبي في الديناميكا الحرارية ونظرية المعلومات. (ar)
- Η εντροπία στη θεωρία πληροφορίας είναι ένα «μέτρο αβεβαιότητας» που διακατέχει ένα σύστημα. Ο όρος εντροπία χρησιμοποιήθηκε αρχικά στη θερμοδυναμική (βλ. εντροπία).Στη θεωρία πληροφορίας εισήχθη από τον Κλωντ Σάνον το 1948 και γι' αυτό ονομάζεται και εντροπία του Σάννον. Η χρήση του ίδιου όρου με τη θερμοδυναμική εντροπία, παρότι μπορεί να προκαλέσει σύγχυση, υιοθετήθηκε από τον Σάνον μετά και από παρότρυνση ενός άλλου σπουδαίου μαθηματικού, του Τζον φον Νόιμαν, ο οποίος φέρεται ότι είχε πει στον Σάνον: «Πρέπει να το ονομάσεις εντροπία για δύο λόγους: Πρώτον, η συνάρτηση αυτή χρησιμοποιείται ήδη στη θερμοδυναμική με το ίδιο όνομα. Δεύτερο, και σημαντικότερο, ο περισσότερος κόσμος δεν γνωρίζει τι πραγματικά είναι η εντροπία, και αν χρησιμοποιείς τον όρο εντροπία σε ένα αντεπιχείρημα θα κερδίζεις πάντα». Η εντροπία της θερμοδυναμικής μπορεί να αντιστοιχιστεί με την εντροπία στη θεωρία πληροφορίας. (el)
- Entropie (nach dem Kunstwort ἐντροπία) ist in der Informationstheorie ein Maß, welches für eine Nachrichtenquelle den mittleren Informationsgehalt ausgegebener Nachrichten angibt. Der Begriff ist eng verwandt mit der Entropie in der Thermodynamik und statistischen Mechanik. Das informationstheoretische Verständnis des Begriffes Entropie geht auf Claude E. Shannon zurück und existiert seit etwa 1948. In diesem Jahr veröffentlichte Shannon seine fundamentale Arbeit A Mathematical Theory of Communication und prägte damit die moderne Informationstheorie. Die Entropie wird üblicherweise mit einem großen Eta bezeichnet. (de)
- In information theory, the entropy of a random variable is the average level of "information", "surprise", or "uncertainty" inherent to the variable's possible outcomes. Given a discrete random variable , which takes values in the alphabet and is distributed according to : where denotes the sum over the variable's possible values. The choice of base for , the logarithm, varies for different applications. Base 2 gives the unit of bits (or "shannons"), while base e gives "natural units" nat, and base 10 gives units of "dits", "bans", or "hartleys". An equivalent definition of entropy is the expected value of the self-information of a variable. The concept of information entropy was introduced by Claude Shannon in his 1948 paper "A Mathematical Theory of Communication", and is also referred to as Shannon entropy. Shannon's theory defines a data communication system composed of three elements: a source of data, a communication channel, and a receiver. The "fundamental problem of communication" – as expressed by Shannon – is for the receiver to be able to identify what data was generated by the source, based on the signal it receives through the channel. Shannon considered various ways to encode, compress, and transmit messages from a data source, and proved in his famous source coding theorem that the entropy represents an absolute mathematical limit on how well data from the source can be losslessly compressed onto a perfectly noiseless channel. Shannon strengthened this result considerably for noisy channels in his noisy-channel coding theorem. Entropy in information theory is directly analogous to the entropy in statistical thermodynamics. The analogy results when the values of the random variable designate energies of microstates, so Gibbs formula for the entropy is formally identical to Shannon's formula. Entropy has relevance to other areas of mathematics such as combinatorics and machine learning. The definition can be derived from a set of axioms establishing that entropy should be a measure of how "surprising" the average outcome of a variable is. For a continuous random variable, differential entropy is analogous to entropy. (en)
- alorrean entropiak, informazio-entropia eta Shannonen entropia (Claude E. Shannon-en omenez) izenez ere ezagutua, informazio iturri baten ziurgabetasuna neurtzen du. Entropia kontzeptua termodinamikan, mekanika estatistikoan eta erabiltzen da. Kasu guztietan entropia «desordenaren neurri» edo «konbinazio jakin batzuen berezitasun» moduan ulertzen da. Ziurgabetasunaren neurri bat dela edo edozein prozesutan ziurgabetasun hori mugatzeko, murrizteko edo ezabatzeko behar den informazioa dela uler daiteke. Kontua da, informazioaren eta entropiaren kontzeptuek oso harreman estua dutela, nahiz eta hortaz konturatzeko mekanika estatistikoaren eta informazio-teoriaren arloetan lan handia egin behar izan zen. (eu)
- En el ámbito de la teoría de la información la entropía, también llamada entropía de la información y entropía de Shannon (en honor a Claude E. Shannon), mide la incertidumbre de una fuente de información. La entropía también se puede considerar como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información; por ejemplo, si se considera como sistema de símbolos a las palabras en un texto, palabras frecuentes como «que», «el», «a» aportan poca información, mientras que palabras menos frecuentes como «corren», «niño», «perro» aportan más información. Si de un texto dado borramos un «que», seguramente no afectará a la comprensión y se sobreentenderá, no siendo así si borramos la palabra «niño» del mismo texto original. Cuando todos los símbolos son igualmente probables (distribución de probabilidad plana), todos aportan información relevante y la entropía es máxima. El concepto de entropía es usado en termodinámica, mecánica estadística, teoría de la información y seguridad entrópica. En todos los casos la entropía se concibe como una «medida del desorden» o la «peculiaridad de ciertas combinaciones». La entropía puede ser considerada como una medida de la incertidumbre y de la información necesaria para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre. Resulta que el concepto de información y el de entropía están básicamente relacionados entre sí, aunque se necesitaron años de desarrollo de la mecánica estadística y de la teoría de la información antes de que esto fuera percibido. (es)
- L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (collection d'octets). Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande. Ainsi, si une source envoie toujours le même symbole, par exemple la lettre 'a', alors son entropie est nulle, c'est-à-dire minimale. En effet, un récepteur qui connaît seulement les statistiques de transmission de la source est assuré que le prochain symbole sera un 'a'. Par contre, si la source envoie un 'a' la moitié du temps et un 'b' l'autre moitié, le récepteur est incertain de la prochaine lettre à recevoir. L'entropie de la source dans ce cas est donc non nulle (positive) et représente quantitativement l'incertitude qui règne sur l'information émanant de la source. L'entropie indique alors la quantité d'information nécessaire pour que le récepteur puisse déterminer sans ambiguïté ce que la source a transmis. Plus le récepteur reçoit d'information sur le message transmis, plus l'entropie (incertitude) vis-à-vis de ce message croît. En particulier, plus la source est redondante, moins elle contient d'information. En l'absence de contraintes particulières, l'entropie est maximale pour une source dont tous les symboles sont équiprobables. (fr)
- Nella teoria dell'informazione l'entropia di una sorgente di messaggi è l'informazione media contenuta in ogni messaggio emesso. L'informazione contenuta in un messaggio è tanto più grande quanto meno probabile era. Un messaggio scontato, che ha un'alta probabilità di essere emesso dalla sorgente contiene poca informazione, mentre un messaggio inaspettato, poco probabile contiene una grande quantità di informazione. L'entropia di una sorgente risponde a domande come: qual è il numero minimo di bit che servono per memorizzare in media un messaggio della sorgente? Quanto sono prevedibili i messaggi emessi dalla sorgente? Si è dimostrato che una sequenza di messaggi emessi da una sorgente può essere compressa senza perdita d'informazione fino ad un numero minimo di bit per messaggio uguale all'entropia della sorgente. Una sequenza di lettere come aaaaaaaa possiede meno entropia di una parola come alfabeto la quale a sua volta possiede ancora meno entropia di una stringa completamente casuale come j3s0vek3. L'entropia può essere vista come la casualità contenuta in una stringa, ed è strettamente collegata al numero minimo di bit necessari per rappresentarla senza errori. (it)
- 정보 이론에서 시스템은 송신자, 채널, 수신자를 이용하여 모형화한다. 송신자는 채널을 통해 전달되는 메시지를 만들어낸다. 채널은 특정한 방식을 통해 메시지를 변경한다. 수신자는 어떤 메시지가 보내진 것인지 추론하고자 한다. 이 맥락에서 정보 엔트로피(또는 섀넌 엔트로피)는 각 메시지에 포함된 정보의 기댓값(평균)이다. '메시지'는 어떤 흐름의 정보에 대해서도 모형화할 수 있다. 기술적인 관점에서 보면 정보는 발생 가능한 사건이나 메시지의 확률분포의 음의 로그로 정의할 수 있다. 각 사건의 정보량은 그 기댓값, 또는 평균이 섀넌 엔트로피인 확률변수를 형성한다. 엔트로피의 단위는 정의에 사용된 로그의 밑이 무엇인지에 따라 섀넌(shannon), 내트(nat) 또는 하틀리(hartley)를 사용한다. 단, 섀넌의 경우 보통 비트(bit)로 표현한다. 확률분포의 로그는 엔트로피의 단위로 사용하기에 매우 유용한데 이는 독립적인 소스(source)들에 대해 그 값을 더할 수 있기 때문이다. 예를 들어 동전을 1개 던지면 엔트로피는 1 섀넌이고, m 개의 동전을 던질 때는 m 섀넌이다. n 이 2의 거듭제곱일 때, 일반적으로 n 개의 값 중 하나를 취하는 변수를 표현하기 위해서는 log2(n) 비트가 필요하다. 모든 값의 발생 확률이 동일하면, (섀넌으로 표현된) 엔트로피는 비트의 개수와 동일하게 된다. 비트의 개수와 섀넌이 동일한 경우는 모든 결과의 발생 확률이 동일한 경우로 한정된다. 만약 하나의 사건이 다른 사건보다 발생할 확률이 높다면 그 사건에 대한 관측이 제공할 수 있는 정보는 적다. 반대로 희귀한 사건을 관측하면 더 많은 정보를 얻을 수 있다. 확률이 낮은 사건에 대한 관측은 덜 발생할 것이므로 순 효과는 불균등하게 분포한 자료로부터 얻어진 log2(n) 보다 작은 엔트로피가 된다. 하나의 사건이 확실하게 일어나는 경우라면 엔트로피는 0 이 된다. 섀넌 엔트로피는 소스(source)의 확률분포가 알려져 있을 때 이 모든 고려사항을 수치화한다. 관측된 사건들의 의미(메시지의 의미)는 엔트로피를 정의할 때 중요하지 않다. 엔트로피는 특정한 사건이 일어날 확률만을 고려함으로써 사건의 배후에 존재하는 확률분포에 대한 정보를 캡슐화할뿐 사건 자체의 의미는 포함하지 않는다. 일반적으로 엔트로피는 무질서도 또는 불확실성을 가리킨다. 섀넌 엔트로피의 개념은 클로드 섀넌이 자신의 1948년 논문 "수학적 통신 이론"에서 도입하였다. 섀넌 엔트로피는 정보 소스(source)를 무손실 인코딩 또는 압축할 때 가능한 최상의 평균 길이의 절대적 한계치를 제공해준다. 레니 엔트로피는 섀넌 엔트로피를 일반화한 것이다. (ko)
- 情報量（じょうほうりょう）やエントロピー（英: entropy）は、情報理論の概念で、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと（たとえば「風の音」）が起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごと（たとえば「曲の演奏」）が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。 なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ（確率）だけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。たとえば「自分が宝くじに当たった」と「見知らぬAさんが宝くじに当たった」は、前者の方が有用な情報に見えるが、両者の情報量は全く同じである（宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるため）。 (ja)
- Entropia – średnia ilość informacji, przypadająca na pojedynczą wiadomość ze źródła informacji. Innymi słowy jest to średnia ważona ilości informacji niesionej przez pojedynczą wiadomość, gdzie wagami są prawdopodobieństwa nadania poszczególnych wiadomości. Wzór na entropię zmiennej losowej o zbiorze wartości : gdzie to prawdopodobieństwo zajścia zdarzenia a to podstawa logarytmu. W teorii informacji najczęściej stosuje się logarytm o podstawie 2, wówczas jednostką entropii jest bit. Dla jednostka ta nazywa się nat (nit), natomiast dla – dit lub hartley. W przypadku gdy dla pewnego wartość składnika jest przyjmowana jako 0, co jest zgodne z granicą: W latach 60. XX wieku węgierski matematyk Alfred Rényi uogólnił pojęcie entropii do zbioru funkcji za pomocą których można opisać ilościowo różnorodność, niepewność czy losowość systemu. Miara ta od jego nazwiska nazywana jest . Entropię można interpretować jako niepewność wystąpienia danego zdarzenia elementarnego w następnej chwili. Jeżeli jakieś zdarzenie w zbiorze zdarzeń występuje z prawdopodobieństwem równym 1, to entropia układu wynosi wówczas 0, gdyż z góry wiadomo, co się stanie – nie ma niepewności. Własności entropii:
* jest nieujemna;
* jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same (maksymalna niepewność);
* jest równa 0, gdy prawdopodobieństwa stanów systemu poza jednym wynoszą 0, a jednego stanu - 1 (maksymalna pewność);
* własność superpozycji – gdy dwa systemy są niezależne, to entropia sumy systemów równa się sumie entropii;
* jeśli ze źródła danych pobierane są k-literowe ciągi, wówczas entropia wynosi Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazało się jednak, że definicja ta jest przydatna w ramach samej teorii informacji. Pojęcie entropii jest bardzo przydatne np. w dziedzinie kompresji danych. Entropię zerowego rzędu można obliczyć znając histogram ciągu symboli. Jest to iloczyn entropii i liczby znaków w ciągu. Osiągi kodowania Huffmana są często zbliżone do tej granicy, jednak lepszą efektywnością charakteryzuje się kodowanie arytmetyczne. Przyjęcie modelu, w którym uwzględnia się kontekst znaku, pozwala zwykle na bardzo duże obniżenie entropii. (pl)
- Entropie is een maat voor de onzekerheid (of onwetendheid) bij het waarnemen van een reeks gebeurtenissen. Nieuwe informatie ontstaat als een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk zou gebeuren. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt. De verwachte (vaak gemiddelde genoemd) hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren (kans)experiment, is gedefinieerd als de verwachtingswaarde van de hoeveelheid zelfinformatie die deze gebeurtenis zal opleveren. Bij een entropie 0 is er geen onzekerheid: men heeft volledige kennis over wat er komen gaat en deze informatie bevat dus ook geen "nieuws". Bij een maximale onzekerheid (bv. bij een getoonde willekeurige symbolenreeks) is de entropie gelijk aan (met de lengte van de reeks): elke gebeurtenis is onverwacht en dus nieuw. Bedacht dient te worden dat entropie een subjectief emergent oordeel vooronderstelt over de betekenis van de reeks gebeurtenissen: iemand die geen betekenis kan hechten aan de reeks gebeurtenissen (bv. een analfabeet die een tekst van tekens ziet passeren) zal een entropie aan deze reeks toekennen. Ook kunnen twee waarnemers die verschillen in kennisniveau/onwetendheid, een verschillende entropie toekennen aan dezelfde reeks gebeurtenissen. (nl)
- Entropi är ett begrepp inom informationsteorin, definierat av Claude Shannon 1948, för en informationskälla som genererar symboler. Baserat på sannolikheten för varje symbol definieras entropin över hela sannolikhetsfördelningen som: Begreppet definierades utifrån behovet att beräkna kapaciteten hos kommunikationskanaler, och grundar sig på stokastiska sannolikheter. Definitionen är skapad som en analogi till den mikroskopiska definitionen av den termodynamiska storheten entropi. (sv)
- Entropia, quando relacionada à termodinâmica, é a medida do grau de irreversibilidade de um determinado sistema. Então, quanto menor a chance do sistema voltar ao seu estado original, maior será o grau de entropia. É considerada por Einstein como a primeira lei de todas a ciências. Para a área de Teoria da Informação, a entropia é definida como sendo uma forma de medir o grau médio de incerteza a respeito de fontes de informação, o que consequentemente permite a quantificação da informação presente que flui no sistema. Em termos simples, o conceito de entropia se associa à ideia de que, quanto mais incerto é o resultado de um experimento aleatório, maior é a informação que se obtém ao observar a sua ocorrência. (pt)
- Інформаці́йна ентропі́я (англ. information entropy) — це усереднена швидкість, із якою продукує інформацію стохастичне джерело даних. Мірою інформаційної ентропії, пов'язаною з кожним можливим значенням даних, є від'ємний логарифм функції маси ймовірності для цього значення: . Таким чином, коли джерело даних має менш імовірне значення (наприклад, коли стається низькоймовірна подія), то ця подія несе більше «інформації» («неочікуваності»), ніж коли джерело даних має більш імовірне значення. Визначена таким чином кількість інформації, що передається кожною подією, стає випадковою змінною, чиє математичне сподівання є інформаційною ентропією. Взагалі, ентропію позначають безлад або невизначеність, і визначення ентропії, що застосовують в теорії інформації, є прямим аналогом визначення, що застосовують у статистичній термодинаміці. Поняття інформаційної ентропії було введено Клодом Шенноном у його праці 1948 року «Математична теорія зв'язку». Базова модель системи передавання даних складається з трьох елементів: джерела даних, каналу зв'язку та приймача, і, за виразом Шеннона, «фундаментальною задачею зв'язку» є те, щоби отримувач був здатен встановлювати, які дані було породжено джерелом, на основі сигналу, що він отримує каналом.:379–423 та 623–656 Ентропія забезпечує абсолютну межу найкоротшої можливої усередненої довжини безвтратного стиснювального кодування даних, продукованих джерелом, і якщо ентропія джерела є меншою за пропускну спроможність каналу зв'язку, то дані, породжувані цим джерелом, можливо надійно передавати приймачеві (принаймні теоретично, можливо, нехтуючи деякими практичними міркуваннями, такими як складність системи, потрібної для передавання даних, або кількості часу, що це передавання цих даних може забирати). Інформаційну ентропію зазвичай вимірюють в бітах (що також називають «шеннонами», англ. bit, shannon), або іноді в «натуральних одиницях» (натах, англ. nat), або в десяткових цифрах (що називають «дитами», «банами» або «гартлі»). Одиниця вимірювання залежить від основи логарифма, що використовують для визначення ентропії. Логарифм розподілу ймовірності є корисним як міра ентропії тому, що для незалежних джерел він є адитивним. Наприклад, ентропія підкидання справедливої монети складає 1 біт, а ентропією m підкидань є m біт. У простому поданні, для представлення величини, що може набувати одного з n значень, потрібно log2(n) бітів, якщо n є степенем числа 2. Якщо ці значення є однаково ймовірними, то ентропія (в бітах) дорівнює цьому числу. Якщо ж трапляння одного з цих значень є ймовірнішим за інші, то спостереження трапляння цього значення є менш інформативним, ніж якби трапився не такий звичайний результат. І навпаки, рідкісніші події при їхньому спостереженні надають більше інформації. Оскільки спостереження менш імовірних подій трапляється рідше, в підсумку виходить, що ентропія (при розгляданні її як усередненої інформації), отримувана від нерівномірно розподілених даних, є завжди меншою або рівною до log2(n). Якщо вихід є незмінним, то ентропія дорівнює нулеві. Коли розподіл імовірності джерела даних є відомим, ентропія виражає ці міркування кількісно. Зміст спостережуваних подій (зміст повідомлень) у визначенні ентропії значення не має. Ентропія враховує лише ймовірність спостереження певної події, тому інформація, яку вона включає, є інформацією про розподіл ймовірності, що лежить в основі, а не про зміст самих подій. (uk)
- Информацио́нная энтропи́я — мера неопределённости некоторой системы (в статистической физике или теории информации), в частности, непредсказуемость появления какого-либо символа первичного алфавита. В последнем случае при отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения. Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотностью, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии -го порядка, см. ) встречаются очень редко, то неопределённость уменьшается еще сильнее. (ru)
- 在信息论中，熵（英語：entropy）是接收的每条消息中包含的信息的平均量，又被稱為信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息（熵）定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值（即期望）就是这个分布产生的信息量的平均值（即熵）。熵的单位通常为比特，但也用Sh、nat、Hart计量，取决于定义用到对数的底。 采用概率分布的对数作为信息的量度的原因是其可加性。例如，投掷一次硬币提供了1 Sh的信息，而掷m次就为m位。更一般地，你需要用log2(n)位来表示一个可以取n个值的变量。 在1948年，克劳德·艾尔伍德·香农將熱力學的熵，引入到信息论，因此它又被稱為香农熵(Shannon entropy)。 (zh)
|
| rdfs:comment
|
- alorrean entropiak, informazio-entropia eta Shannonen entropia (Claude E. Shannon-en omenez) izenez ere ezagutua, informazio iturri baten ziurgabetasuna neurtzen du. Entropia kontzeptua termodinamikan, mekanika estatistikoan eta erabiltzen da. Kasu guztietan entropia «desordenaren neurri» edo «konbinazio jakin batzuen berezitasun» moduan ulertzen da. Ziurgabetasunaren neurri bat dela edo edozein prozesutan ziurgabetasun hori mugatzeko, murrizteko edo ezabatzeko behar den informazioa dela uler daiteke. Kontua da, informazioaren eta entropiaren kontzeptuek oso harreman estua dutela, nahiz eta hortaz konturatzeko mekanika estatistikoaren eta informazio-teoriaren arloetan lan handia egin behar izan zen. (eu)
- 情報量（じょうほうりょう）やエントロピー（英: entropy）は、情報理論の概念で、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと（たとえば「風の音」）が起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごと（たとえば「曲の演奏」）が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。 なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ（確率）だけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。たとえば「自分が宝くじに当たった」と「見知らぬAさんが宝くじに当たった」は、前者の方が有用な情報に見えるが、両者の情報量は全く同じである（宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるため）。 (ja)
- Entropi är ett begrepp inom informationsteorin, definierat av Claude Shannon 1948, för en informationskälla som genererar symboler. Baserat på sannolikheten för varje symbol definieras entropin över hela sannolikhetsfördelningen som: Begreppet definierades utifrån behovet att beräkna kapaciteten hos kommunikationskanaler, och grundar sig på stokastiska sannolikheter. Definitionen är skapad som en analogi till den mikroskopiska definitionen av den termodynamiska storheten entropi. (sv)
- 在信息论中，熵（英語：entropy）是接收的每条消息中包含的信息的平均量，又被稱為信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息（熵）定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值（即期望）就是这个分布产生的信息量的平均值（即熵）。熵的单位通常为比特，但也用Sh、nat、Hart计量，取决于定义用到对数的底。 采用概率分布的对数作为信息的量度的原因是其可加性。例如，投掷一次硬币提供了1 Sh的信息，而掷m次就为m位。更一般地，你需要用log2(n)位来表示一个可以取n个值的变量。 在1948年，克劳德·艾尔伍德·香农將熱力學的熵，引入到信息论，因此它又被稱為香农熵(Shannon entropy)。 (zh)
- اعتلاج المعلومات (بالإنجليزية: information entropy) أو إنتروبي أو أنتروبيا، هي كمية أساسية في نظرية المعلومات مرتبطة بأي متغير عشوائي، والتي يمكن تفسيرها على أنها متوسط مستوى «المعلومات» أو «المفاجأة» أو «عدم اليقين» المتأصل في النتائج المحتملة للمتغير. تم تقديم مفهوم انتروبيا المعلومات من قبل كلود شانون في ورقته عام 1948 «نظرية رياضية في الاتصال». ليكن المتغير العشوائي ، مع النتائج المحتملة ، لكل منها احتمال انتروبي من على النحو التالي: (ar)
- L'entropia de Shannon, (formulada per Claude Shannon) és una funció matemàtica que intuïtivament es correspon amb la quantitat d'informació continguda o lliurada per una font d'informació. Aquesta font pot ser un text escrit en un idioma determinat, un senyal elèctric, un fitxer d'ordinador o qualsevol (col·lecció de bytes). Des del punt de vista d'un receptor, com més informació diferent emet la font, més gran és l'entropia (o incertesa sobre el que emet la font), i viceversa. Com més informació rep el receptor sobre el missatge transmès, més disminueix l'entropia (incertesa) respecte aquest missatge, per raó d'aquest augment d'informació. La definició d'entropia de Shannon és tal que com més redundant sigui la font, menys informació conté. En absència de restriccions particulars, l'entro (ca)
- Informační nebo též shannonovská entropie je střední hodnota množství informace připadající na jeden symbol generovaný stochastickým zdrojem dat. Míra informační entropie přiřazená ke každé možné datové hodnotě je záporným logaritmem pravděpodobnostní funkce dané hodnoty: kde je střední hodnota definovaná pravděpodobností . Entropie obecně vyjadřuje neuspořádanost nebo nejistotu, a definice entropie používaná v teorii informace je přímou analogií entropie používané ve statistické termodynamice. Koncept informační entropie představil Claude Shannon v roce 1948 ve svém článku „". (cs)
- Η εντροπία στη θεωρία πληροφορίας είναι ένα «μέτρο αβεβαιότητας» που διακατέχει ένα σύστημα. Ο όρος εντροπία χρησιμοποιήθηκε αρχικά στη θερμοδυναμική (βλ. εντροπία).Στη θεωρία πληροφορίας εισήχθη από τον Κλωντ Σάνον το 1948 και γι' αυτό ονομάζεται και εντροπία του Σάννον. Η χρήση του ίδιου όρου με τη θερμοδυναμική εντροπία, παρότι μπορεί να προκαλέσει σύγχυση, υιοθετήθηκε από τον Σάνον μετά και από παρότρυνση ενός άλλου σπουδαίου μαθηματικού, του Τζον φον Νόιμαν, ο οποίος φέρεται ότι είχε πει στον Σάνον: (el)
- Entropie (nach dem Kunstwort ἐντροπία) ist in der Informationstheorie ein Maß, welches für eine Nachrichtenquelle den mittleren Informationsgehalt ausgegebener Nachrichten angibt. Der Begriff ist eng verwandt mit der Entropie in der Thermodynamik und statistischen Mechanik. Das informationstheoretische Verständnis des Begriffes Entropie geht auf Claude E. Shannon zurück und existiert seit etwa 1948. In diesem Jahr veröffentlichte Shannon seine fundamentale Arbeit A Mathematical Theory of Communication und prägte damit die moderne Informationstheorie. (de)
- In information theory, the entropy of a random variable is the average level of "information", "surprise", or "uncertainty" inherent to the variable's possible outcomes. Given a discrete random variable , which takes values in the alphabet and is distributed according to : (en)
- En el ámbito de la teoría de la información la entropía, también llamada entropía de la información y entropía de Shannon (en honor a Claude E. Shannon), mide la incertidumbre de una fuente de información. (es)
- L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (collection d'octets). (fr)
- Nella teoria dell'informazione l'entropia di una sorgente di messaggi è l'informazione media contenuta in ogni messaggio emesso. L'informazione contenuta in un messaggio è tanto più grande quanto meno probabile era. Un messaggio scontato, che ha un'alta probabilità di essere emesso dalla sorgente contiene poca informazione, mentre un messaggio inaspettato, poco probabile contiene una grande quantità di informazione. L'entropia di una sorgente risponde a domande come: qual è il numero minimo di bit che servono per memorizzare in media un messaggio della sorgente? Quanto sono prevedibili i messaggi emessi dalla sorgente? (it)
- 정보 이론에서 시스템은 송신자, 채널, 수신자를 이용하여 모형화한다. 송신자는 채널을 통해 전달되는 메시지를 만들어낸다. 채널은 특정한 방식을 통해 메시지를 변경한다. 수신자는 어떤 메시지가 보내진 것인지 추론하고자 한다. 이 맥락에서 정보 엔트로피(또는 섀넌 엔트로피)는 각 메시지에 포함된 정보의 기댓값(평균)이다. '메시지'는 어떤 흐름의 정보에 대해서도 모형화할 수 있다. 기술적인 관점에서 보면 정보는 발생 가능한 사건이나 메시지의 확률분포의 음의 로그로 정의할 수 있다. 각 사건의 정보량은 그 기댓값, 또는 평균이 섀넌 엔트로피인 확률변수를 형성한다. 엔트로피의 단위는 정의에 사용된 로그의 밑이 무엇인지에 따라 섀넌(shannon), 내트(nat) 또는 하틀리(hartley)를 사용한다. 단, 섀넌의 경우 보통 비트(bit)로 표현한다. (ko)
- Entropie is een maat voor de onzekerheid (of onwetendheid) bij het waarnemen van een reeks gebeurtenissen. Nieuwe informatie ontstaat als een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk zou gebeuren. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt. De verwachte (vaak gemiddelde genoemd) hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren (kans)experiment, is gedefinieerd als de verwachtingswaarde van de hoeveelheid zelfinformatie die deze gebeurtenis zal opleveren. (nl)
- Entropia – średnia ilość informacji, przypadająca na pojedynczą wiadomość ze źródła informacji. Innymi słowy jest to średnia ważona ilości informacji niesionej przez pojedynczą wiadomość, gdzie wagami są prawdopodobieństwa nadania poszczególnych wiadomości. Wzór na entropię zmiennej losowej o zbiorze wartości : W latach 60. XX wieku węgierski matematyk Alfred Rényi uogólnił pojęcie entropii do zbioru funkcji za pomocą których można opisać ilościowo różnorodność, niepewność czy losowość systemu. Miara ta od jego nazwiska nazywana jest . Własności entropii: (pl)
- Entropia, quando relacionada à termodinâmica, é a medida do grau de irreversibilidade de um determinado sistema. Então, quanto menor a chance do sistema voltar ao seu estado original, maior será o grau de entropia. É considerada por Einstein como a primeira lei de todas a ciências. (pt)
- Информацио́нная энтропи́я — мера неопределённости некоторой системы (в статистической физике или теории информации), в частности, непредсказуемость появления какого-либо символа первичного алфавита. В последнем случае при отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения. (ru)
- Інформаці́йна ентропі́я (англ. information entropy) — це усереднена швидкість, із якою продукує інформацію стохастичне джерело даних. Мірою інформаційної ентропії, пов'язаною з кожним можливим значенням даних, є від'ємний логарифм функції маси ймовірності для цього значення: . Таким чином, коли джерело даних має менш імовірне значення (наприклад, коли стається низькоймовірна подія), то ця подія несе більше «інформації» («неочікуваності»), ніж коли джерело даних має більш імовірне значення. Визначена таким чином кількість інформації, що передається кожною подією, стає випадковою змінною, чиє математичне сподівання є інформаційною ентропією. Взагалі, ентропію позначають безлад або невизначеність, і визначення ентропії, що застосовують в теорії інформації, є прямим аналогом визначення, що (uk)
|
