Линейный код

В области математики и теории информации линейный код — это важный тип блокового кода, использующийся в схемах определения и коррекции ошибок. Линейные коды, по сравнению с другими кодами, позволяют реализовывать более эффективные алгоритмы кодирования и декодирования информации.

Основы

В процессе хранения данных и передачи информации по сетям связи неизбежно возникают ошибки. Контроль целостности данных и исправление ошибок - важные задачи на многих уровнях работы с информацией (в частности, физическом, канальном, транспортном уровнях модели OSI).

В системах связи возможны несколько стратегий борьбы с ошибками:

• обнаружение ошибок в блоках данных и автоматический запрос повторной передачи поврежденных блоков - этот подход применяется в основном на канальном и транспортном уровнях;
• обнаружение ошибок в блоках данных и отбрасывание поврежденных блоков - такой подход иногда применяется в системах потокового мультимедиа, где важна задержка передачи и нет времени на повторную передачу;
• исправление ошибок (forward error correction) применяется на физическом уровне.

Коды обнаружения и исправления ошибок

Корректирующие коды — коды, служащие для обнаружения или исправления ошибок, возникающих при передаче информации под влиянием помех, а также при её хранении.

Для этого при записи (передаче) в полезные данные добавляют специальным образом структурированную избыточную информацию, а при чтении (приеме) её используют для того, чтобы обнаружить или исправить ошибки. Естественно, что число ошибок, которое можно исправить, ограничено и зависит от конкретного применяемого кода.

С кодами, исправляющими ошибки, тесно связаны коды обнаружения ошибок. В отличие от первых, последние могут только установить факт наличия ошибки в переданных данных, но не исправить её.

В действительности, используемые коды обнаружения ошибок принадлежат к тем же классам кодов, что и коды, исправляющие ошибки. Фактически, любой код, исправляющий ошибки, может быть также использован для обнаружения ошибок (при этом он будет способен обнаружить большее число ошибок, чем был способен исправить).

По способу работы с данными коды, исправляющие ошибки делятся на блоковые, делящие информацию на фрагменты постоянной длины и обрабатывающие каждый из них в отдельности, и сверточные, работающие с данными как с непрерывным потоком.

Блоковые коды

Пусть кодируемая информация делится на фрагменты длиной $k$ бит, которые преобразуются в кодовые слова длиной $n$ бит. Тогда соответствующий блоковый код обычно обозначают $(n,k)$. При этом число $R = \frac{k}{n}$ называется скоростью кода.

Если исходные $k$ бит код оставляет неизменными, и добавляет $n-k$ проверочных, такой код называется систематическим, иначе несистематическим.

Задать блоковый код можно по-разному, в том числе таблицей, где каждой совокупности из $k$ информационных бит сопоставляется $n$ бит кодового слова. Однако, хороший код должен удовлетворять, как минимум, следующим критериям:

• способность исправлять как можно большее число ошибок,
• как можно меньшая избыточность,
• простота кодирования и декодирования.

Нетрудно видеть, что приведенные требования противоречат друг другу. Именно поэтому существует большое количество кодов, каждый из которых пригоден для своего круга задач.

Практически все используемые коды являются линейными. Это связано с тем, что нелинейные коды значительно сложнее исследовать, и для них трудно обеспечить приемлемую легкость кодирования и декодирования.

Линейные пространства

Порождающая матрица

Пусть векторы $\overrightarrow{x_1} = (x_{11},..,x_{1n}), \overrightarrow{x_2} = (x_{21},..,x_{2n}),.., \overrightarrow{x_k} = (x_{k1},..,x_{kn})$ являются базисом линейного пространства $C$. По определению базиса, любой вектор $\overrightarrow{v} \in C$ можно представить в виде линейной комбинации базисных векторов: $\overrightarrow{v} = {c_1}\overrightarrow{x_1} + {c_2}\overrightarrow{x_2} + ... + {c_k}\overrightarrow{x_k}$, либо в матричной форме, как:

$\overrightarrow{v} = ({c_1},{c_2},..,{c_k}) \begin{bmatrix}x_{11} & x_{12} & .. & x_{1n}\\x_{21} & x_{22} & .. & x_{2n}\\.. & .. & .. & ..\\x_{k1} & x_{k2} & .. & x_{kn}\\\end{bmatrix}= \overrightarrow{c}G$,

где $G = \begin{bmatrix}x_{11} & x_{12} & .. & x_{1n}\\x_{21} & x_{22} & .. & x_{2n}\\.. & .. & .. & ..\\x_{k1} & x_{k2} & .. & x_{kn}\\\end{bmatrix}$ называется порождающей матрицей линейного пространства.

Это соотношение устанавливает связь между векторам коэффициентов $\overrightarrow{c} = ({c_1},{c_2},..,{c_k})$ и векторами $\overrightarrow{v} \in C$. Перечисляя все векторы коэффициентов $\overrightarrow{c} = ({c_1},{c_2},..,{c_k})$ можно получить все векторы $\overrightarrow{v} \in C$. Иными словами, матрица $G$ порождает линейное пространство.

Проверочная матрица

Лругим способом задания линейных пространств является описание через проверочную матрицу.

Пусть $\mathbb{C}$ - линейное k-мерное пространство над полем $\mathbb{F}_q$ и $\mathbb{W}$ - ортогональное дополнение $\mathbb{C}$. Тогда по одной из теорем, размерность $\mathbb{W}$ равна $r = n - k$. Поэтому в $\mathbb{W}$ существует r базисны векторов. Пусть $\overrightarrow{h}_1 = ({{h_1}_1},...,{{h_1}_n}), \overrightarrow{h}_2 = ({{h_2}_1},...,{{h_2}_n}),..., \overrightarrow{h}_r = ({{h_r}_1},...,{{h_r}_n})$ базис в $\mathbb{W}$.

Тогда любой вектор $\overrightarrow{v} \in C$ удовлетворяет следующей системе линейных уравнений:

$\begin{cases} h_{11} x_1 + h_{12} x_2 + ... + h_{1n} x_n = 0 \\h_{21} x_1 + h_{22} x_2 + ... + h_{2n} x_n = 0 \\... \\h_{r1} x_1 + h_{r2} x_2 + ... + h_{rn} x_n = 0\end{cases}$

Или в матричной форме: $\overrightarrow{v} H^T = 0$,

где $H = \begin{bmatrix}\overrightarrow{h}_1\\\overrightarrow{h}_2\\... \\\overrightarrow{h}_r\\ \end{bmatrix}=\begin{bmatrix}h_{11} & h_{12} & .. & h_{1n}\\h_{21} & h_{22} & .. & h_{2n}\\.. & .. & .. & ..\\h_{k1} & h_{k2} & .. & h_{kn}\\\end{bmatrix}$ - проверочная матрица.

Приведенную систему линейных уравнений следует рассматривать, как систему проверок для всех векторов линейного пространства, поэтому матрица $\mathbb{H}$ называется проверочной матрицей.

Формальное определение

Линейный код длины n и ранга k является линейным подпространством C рамерности k векторного пространства $\mathbb{F}_q^n$, где $\mathbb{F}_q$ - конечномерное поле из q элементов. Такой код с парметром q называется q - арным кодом (напр. если q = 5 — то это 5-арный код). Если q = 2 или q = 3, то код представляет собой двоичный код, или тернарный соответсвенно.

Линейный (блоковый) код — такой код, что множество его кодовых слов образует $k$-мерное линейное подпространство (назовем его $C$) в $n$-мерном линейном пространстве, изоморфное пространству $k$-битных векторов.

Это значит, что операция кодирования соответствует умножению исходного $k$-битного вектора на невырожденную матрицу $G$, называемую порождающей матрицей.

Пусть $C^{\perp}$ — ортогональное подпространство по отношению к $C$, а $H$ — матрица, задающая базис этого подпространства. Тогда для любого вектора $\overrightarrow{v} \in C$ справедливо: $$\overrightarrow{v} H^T = \overrightarrow{0}.$$

Свойства и важные теоремы

Минимальное расстояние и корректирующая способность

Расстоянием Хемминга (метрикой Хемминга) между двумя кодовыми словами $\overrightarrow{v_1}$ и $\overrightarrow{v_2}$ называется количество отличных бит на соответствующих позициях, то есть число «единиц» в векторе $\overrightarrow{v_1} \oplus \overrightarrow{v_2}$.

Минимальное расстояние $d$ линейного кода является минимальным из всех расстояний Хемминга всех пар кодовых слов.

Вес вектора - расстояние Хеминга между этим вектором и нулевым вектором, иными словами - число ненулевых компонент вектора.

Теорема 1:

Минимальное расстояние $d$ линейного кода равно минимальному из весов Хемминга ненулевых кодовых слов:

$d = min_{\overrightarrow{c} \in C, \overrightarrow{c} \not = 0}( w( \overrightarrow{c}) )$

Доказательство:

Расстояние между двумя векторами $d(\overrightarrow{x}, \overrightarrow{y})$ удовлетворяет равенству $d(\overrightarrow{x}, \overrightarrow{y}) = w(\overrightarrow{x} - \overrightarrow{y})$, где $w( \overrightarrow{t})$ - вес Хемминга вектора $\overrightarrow{t}$. Из того, что разность любых двух кодовых слов линейного кода также является кодовым словом линейного кода, вытекает утверждение теоремы: $d = min_{\overrightarrow{c} \in C, \overrightarrow{c} \not = 0}( w( \overrightarrow{c}) )$

Минимальное расстояние Хемминга $d$ является важной характеристикой линейного блокового кода. Она определяет другую, не менее важную характеристику — корректирующую способность: $$t = \mathcal{b}\frac{d - 1}{2}\mathcal{c},$$ здесь угловые скобки обозначают округление «вниз».

Корректирующая способность определяет, сколько ошибок код может гарантированно исправить.

Поясним на примере. Предположим, что есть два кодовых слова A и B, расстояние Хемминга между ними равно 3. Если было передано слово A, и канал внес ошибку в одном бите, она может быть исправлена, так как даже в этом случае принятое слово ближе к кодовому слову A, чем B. Но если каналом были внесены ошибки в двух битах, декодер может посчитать, что было передано слово B.

Теорема 2 (без доказательства):

Если любые $l$ столбцов проверочной матрицы H линейного (n,k)-кода линейно независимы, то минимальное расстояние кода равно по меньшей мере d. Если при этом найдутся d линейно зависимых столбцов, то минимальное расстояние кода равно d в точности.

Теорема 3 (без доказательства):

Если минимальное расстояние линейного (n,k)-кода равно d, то любые $l$ столбцов проверочной матрицы H линейно независимы и найдутся d линейно зависимых столбцов.

Коды Хемминга

Коды Хемминга — простейшие линейные коды с минимальным расстоянием 3, то есть способные исправить одну ошибку. Код Хемминга может быть представлен в таком виде, что синдром $$\overrightarrow{s}=\overrightarrow{r} H^T,$$ где $\overrightarrow{r}$ — принятый вектор,

будет равен номеру позиции, в которой произошла ошибка. Это свойство позволяет сделать декодирование очень простым.

Общий метод кодирования линейных кодов

Линейный код длины n с k информационными символами является k-мерным линейным подпространством, поэтому каждое кодовое слово является линейной комбинации базисных векторов $\overrightarrow{g_1} = (g_{11},..,g_{1n}), \overrightarrow{g_2} = (g_{21},..,g_{2n}),.., \overrightarrow{g_k} = (g_{k1},..,g_{kn})$ подпространства:

$\overrightarrow{c} = {m_1}\overrightarrow{g_1} + {m_2}\overrightarrow{g_2} + ... + {m_k}\overrightarrow{g_k}$.

Либо с помощью порождающей матрицы:

$\overrightarrow{c} = \overrightarrow{m} G =({m_1},{m_2},..,{m_k}) \begin{bmatrix}g_{11} & g_{12} & .. & g_{1n}\\g_{21} & g_{22} & .. & g_{2n}\\.. & .. & .. & ..\\g_{k1} & g_{k2} & .. & g_{kn}\\\end{bmatrix}$, где $\overrightarrow{m} = ({m_1},..,{m_k}), {m_1},..,{m_k} \in \mathbb{Q}$

Это соотношение есть правило кодирование, по которому информационное слово $\overrightarrow{m} = ({m_1},..,{m_k})$ отображается в кодовое $\overrightarrow{c} = ({c_1},..,{c_n})$

Общий метод декодирования линейных кодов

Любой код (в том числе нелинейный) можно декодировать с помощью обычной таблицы, где каждому значению принятого слова $\overrightarrow{r_i}$ соответствует наиболее вероятное переданное слово $\overrightarrow{u_i}$. Однако, данный метод требует применения огромных таблиц уже для кодовых слов сравнительно небольшой длины.

Для линейных кодов этот метод можно существенно упростить. При этом для каждого принятого вектора $\overrightarrow{r_i}$ вычисляется синдром $\overrightarrow{s_i}=\overrightarrow{r_i} H^T$. Поскольку $\overrightarrow{r_i} = \overrightarrow{v_i} + \overrightarrow{e_i}$, где $\overrightarrow{v_i}$ — кодовое слово, а $\overrightarrow{e_i}$ — вектор ошибки, то $\overrightarrow{s_i}=\overrightarrow{e_i} H^T$. Затем с помощью таблицы по синдрому определяется вектор ошибки, с помощью которого определяется переданное кодовое слово. При этом таблица получается гораздо меньше, чем при использовании предыдущего метода.

Линейные циклические коды

Несмотря на то, что декодирование линейных кодов уже значительно проще декодирования большинства нелинейных, для большинства кодов этот процесс все ещё достаточно сложен. Циклические коды, кроме более простого декодирования, обладают и другими важными свойствами.

Циклическим кодом является линейный код, обладающий следующим свойством: если $\overrightarrow{v}$ является кодовым словом, то его циклическая перестановка также является кодовым словом.

Слова циклического кода удобно представлять в виде многочленов. Например, кодовое слово $\overrightarrow{v} = (v_0, v_1, ..., v_{n-1})$ представляется в виде полинома $v(x) = v_0 + v_1 x + ... + v_{n-1} x^{n-1}$. При этом циклический сдвиг кодового слова эквивалентен умножению многочлена на $x$ по модулю $x^n-1$.

В дальнейшем, если не указано иное, мы будем считать, что циклический код является двоичным, то есть $v_0, v_1$… могут принимать значения 0 или 1.

Порождающий полином

Можно показать, что все кодовые слова конкретного циклического кода кратны определенному порождающему полиному $g(x)$. Порождающий полином является делителем $x^n-1$.

С помощью порождающего полинома осуществляется кодирование циклическим кодом. В частности:

• несистематическое кодирование осуществляется путем умножения кодируемого вектора на $g(x)$: $v(x) = u(x) g(x)$;

• систематическое кодирование осуществляется путем «дописывания» к кодируемому слову остатка от деления $x^{n-k} u(x)$ на $g(x)$, то есть $v(x) = x^{n-k} u(x) + [x^{n-k} u(x) mod g(x)]$.

Коды CRC

Коды CRC (cyclic redundancy check — циклическая избыточная проверка) являются систематическими кодами, предназначенными не для исправления ошибок, а для их обнаружения. Они используют способ систематического кодирования, изложенный выше: «контрольная сумма» вычисляется путем деления $x^{n-k} u(x)$ на $g(x)$. Ввиду того, что исправление ошибок не требуется, проверка правильности передачи может производиться точно так же.

Таким образом, вид полинома g(x) задает конкретный код CRC. Примеры наиболее популярных полиномов:

название кода	степень	полином
CRC-12	12	$x^{12}+x^{11}+x^{3}+x^{2}+x+1$
CRC-16	16	$x^{16}+x^{15}+x^{2}+1$
CRC-CCITT	16	$x^{16}+x^{15}+x^{5}+1$
CRC-32	32	$x^{32}+x^{26}+x^{23}+x^{22}+x^{16}+x^{12}+x^{11}+x^{10}+x^{8}+x^{7}+x^{5}+x^{4}+x^{2}+x+1$

Коды БЧХ

Коды Боуза-Чоудхури-Хоквингема (БЧХ) являются подклассом двоичных циклических кодов. Их отличительное свойство — возможность построения кода БЧХ с минимальным расстоянием не меньше заданного. Это важно, потому что, вообще говоря, определение минимального расстояния кода есть очень сложная задача.

Математически построение кодов БЧХ и их декодирование используют разложение порождающего полинома $g(x)$ на множители в поле Галуа.

Коды Рида-Соломона

Коды Рида-Соломона (РС-коды) фактически являются недвоичными кодами БЧХ, то есть элементы кодового вектора являются не битами, а группами битов. Очень распространены коды Рида-Соломона, работающие с байтами (октетами).

Преимущества и недостатки линейных кодов

Хотя линейные коды, как правило, хорошо справляются с редкими, но большими пачками ошибок, их эффективность при частых, но небольших ошибках (например, в канале с АБГШ), менее высока. Благодаря линейности для запоминания или перечисления всех кодовых слов достаточно хранить в памяти кодера или декодера существенно меньшую их часть, а именно только те слова, которые образуют базис соответствующего линейного пространства. Это существенно упрощает реализацию устройств кодирования и декодирования и делает линейные коды весьма привлекательными с точки зрения практических приложений.

Оценка эффективности

Эффективность кодов определяется количеством ошибок, которые тот может исправить, количеством избыточной информации, добавление которой требуется, а также сложностью реализации кодирования и декодирования (как аппаратной, так и в виде программы для ЭВМ).

Граница Хемминга и совершенные коды

Пусть имеется двоичный блоковый $(n,k)$ код с корректирующей способностью $t$. Тогда справедливо неравенство (называемое границей Хемминга): $$\sum_{i=0}^t {n\choose i} \le 2^{n-k}.$$

Коды, удовлетворяющие этой границе с равенством, называются совершенными. К совершенным кодам относятся, например, коды Хемминга. Часто применяемые на практике коды с большой корректирующей способностью (такие, как коды Рида-Соломона) не являются совершенными.

Энергетический выигрыш

При передаче информации по каналу связи вероятность ошибки зависит от отношения сигнал/шум на входе демодулятора, таким образом при постоянном уровне шума решающее значение имеет мощность передатчика. В системах спутниковой и мобильной, а также других типов связи остро стоит вопрос экономии энергии. Кроме того, в определенных системах связи (например, телефонной) неограниченно повышать мощность сигнала не дают технические ограничения.

Поскольку помехоустойчивое кодирование позволяет исправлять ошибки, при его применении мощность передатчика можно снизить, оставляя скорость передачи информации неизменной. Энергетический выигрыш определяется как разница отношений с/ш при наличии и отсутствии кодирования.

Применение

Линейные коды применяются:

• в системах цифровой связи, в том числе: спутниковой, радиорелейной, сотовой, передаче данных по телефонным каналам.
• в системах хранения информации, в том числе магнитных и оптических.

Линейные коды применяются в сетевых протоколах различных уровней.

См. также

Циклический код