единица энтропии и количества информации. Энтропией, равной одному биту, обладает источник двух сообщений, вероятность каждого из которых равна 1/2. Или иначе: один бит — это количество информации, получаемое в результате однократного выбора из двух равновероятных событий. Например, в ряду случайных чисел, записанных в двоичной системе счисления (используются только две цифры — 0 и 1), каждый разряд числа с равной вероятностью может принимать значение 0 или 1, и, следовательно, количество информации, приходящееся на один двоичный разряд (двоичную цифру), оказывается равным одному биту.