Теорія складності обчислень

Обчислювальну складність алгоритму звичайно виражають через символ «О велике», що вказує порядок величини обчислювальної складності. Це просто член розкладання функції складності, що найшвидше зростає за умови зростання n; всі члени нижчого порядку ігноруються. Наприклад, якщо часова складність порядку n², то вона виражається як O(n²).

Часова складність, виміряна подібним чином, не залежить від реалізації.

Не потрібно знати ні точного часу виконання окремих інструкцій, ні числа бітів, які являють різні змінні, ні навіть швидкості процесора. Один комп'ютер може бути на 50 % швидший від іншого, а в третього ширина шини даних може бути вдвічі більше, проте складність алгоритму, що оцінена порядком величини, не зміниться. І це не є хитрим трюком. Під час оцінки доволі складних алгоритмів усім іншим можна знехтувати (з точністю до постійного множника).

Оцінка обчислювальної складності наочно демонструє, як об'єм вхідних даних впливає на вимоги до часу та об'єму пам'яті.

Наприклад, якщо T=O(n), подвоєння вхідних даних подвоїть і час виконання алгоритму. Якщо T=O(2ⁿ), додання лише одного біту до вхідних даних подвоїть час виконання алгоритму.

Головною ціллю теорії складності є забезпечення механізмів класифікації обчислювальних задач згідно з ресурсами, необхідних для їх розв'язання. Класифікація не має залежати від конкретної обчислювальної моделі, а скоріше оцінювати внутрішню складність задачі.

Ресурси, що оцінюються, як уже було зазначено раніше, можуть бути такими: час, простір пам'яті, випадкові біти, кількість процесорів, тощо, але зазвичай головним фактором є час, а іноді й простір.

Теорія розглядає мінімальний час і об'єм пам'яті для розв'язання найскладнішого варіанта задачі на теоретичному комп'ютері, відомому як машина Тюрінга. Машина Тюрінга є кінцевим автоматом з безкінечною магнітною стрічкою пам'яті для читання/запису. Це означає, що машина Тюрінга — реалістична обчислювальна модель.

Задачі, які можна розв'язати за допомогою алгоритмів з поліноміальним часом, називають такими, що можуть бути розв'язані, оскільки за умов нормальних вхідних даних вони можуть бути розв'язані за прийнятний час (точне визначення «прийнятності» залежить від конкретних умов).

Задачі, які можуть бути вирішені тільки за допомогою суперполіноміальних алгоритмів з поліноміальним часом, є обчислювально складними навіть за відносно малими значеннями n.

Алан Тюрінг довів, що деякі задачі неможливо розв'язати. Навіть без урахування часової складності алгоритму, створити алгоритм для їх розв'язання неможливо.

Клас складності — це множина задач розпізнавання, для вирішення яких існують алгоритми, схожі за обчислювальною складністю. Задачі можна розбити на класи згідно зі складністю їх розв'язання. Всі класи складності знаходяться в ієрархічному відношенні: одні містять у собі інші. Однак про більшість включень невідомо, чи є вони суворими. Клас P, що є найнижчим, містить усі задачі, які можна розв'язати за поліноміальний час. До класу NP входять усі задачі, які можна розв'язати за поліноміальний час тільки на недетермінованій машині Тюрінга (це варіант звичайної машини Тюрінга, що може робити припущення). Така машина робить припущення щодо розв'язку задачі — чи «вдало вгадуючи», чи перебираючи усі припущення паралельно — та перевіряє своє припущення за поліноміальний час.

Задачі які можна розв'язати теоретично (маючи величезний але скінченний час), але які на практиці займають занадто багато часу аби їх розв'язок міг бути корисним, називаються непіддатливими (англ. intractable).[2]

При порівнянні різних алгоритмів важливо знати, як їх складність залежить від обсягу вхідних даних. Припустимо, при сортуванні одним методом обробка тисячі чисел займає 1 с., А обробка мільйона чисел — 10 с., При використанні іншого алгоритму може знадобитися 2 с. і 5 с. відповідно. У таких умовах не можна однозначно сказати, який алгоритм краще.
У загальному випадку складність алгоритму можна оцінити по порядку величини. Алгоритм має складність ${\displaystyle O(f(n))}$, якщо при збільшенні розмірності вхідних даних ${\displaystyle N}$, час виконання алгоритму зростає з тією ж швидкістю, що і функція ${\displaystyle f(N)}$. Розглянемо код, який для матриці ${\displaystyle A[NxN]}$ знаходить максимальний елемент у кожному рядку.

Приклад:

 for i:=1 to N do
  begin
   max:=A[i,1];
   for j:=1 to N do
    begin
     if A[i,j]>max then
     max:=A[i,j]
    end;
   writeln(max);
 end;

У цьому алгоритмі змінна ${\displaystyle i}$ змінюється від ${\displaystyle 1}$ до ${\displaystyle N}$. При кожній зміні ${\displaystyle i}$, змінна ${\displaystyle j}$ теж змінюється від ${\displaystyle 1}$ до ${\displaystyle N}$. Під час кожної з ${\displaystyle N}$ ітерацій зовнішнього циклу, внутрішній цикл теж виконується ${\displaystyle N}$ раз. Загальна кількість ітерацій внутрішнього циклу дорівнює ${\displaystyle N*N}$. Це визначає складність алгоритму ${\displaystyle O(N}$^{${\displaystyle 2}$}${\displaystyle )}$. Оцінюючи порядок складності алгоритму, необхідно використовувати тільки ту частину, яка зростає найшвидше. Припустимо, що робочий цикл описується виразом ${\displaystyle N}$^{${\displaystyle 3}$}${\displaystyle +N}$. У такому разі його складність буде дорівнювати ${\displaystyle O(N}$^{${\displaystyle 3}$}${\displaystyle )}$. Розгляд швидко зростаючої частини функції дозволяє оцінити поведінку алгоритму при збільшенні ${\displaystyle N}$. Наприклад, при ${\displaystyle N=100}$, то різниця між ${\displaystyle N}$^{${\displaystyle 3}$}${\displaystyle +N=1000100}$ та ${\displaystyle N=1000000}$ дорівнює всього лише ${\displaystyle 100}$, що становить ${\displaystyle 0,01\%}$. При обчисленні ${\displaystyle O}$ можна не враховувати постійні множники у виразах. Алгоритм з робочим кроком ${\displaystyle 3*N}$^{${\displaystyle 3}$} розглядається, як ${\displaystyle O(N}$^{${\displaystyle 3}$}${\displaystyle )}$. Це робить залежність ставлення ${\displaystyle O(N)}$ від зміни розміру задачі більш очевидною.

Найбільш складними частинами програми зазвичай є виконання циклів і виклик процедур. У попередньому прикладі весь алгоритм виконаний за допомогою двох циклів. Якщо одна процедура викликає іншу, то необхідно більш ретельно оцінити складність останньої. Якщо в ній виконується певне число інструкцій (наприклад, виведення на друк), то на оцінку складності це практично не впливає. Якщо ж викликана процедура виконується ${\displaystyle O(N)}$ кроків, то функція може значно ускладнити алгоритм. Якщо ж процедура викликається всередині циклу, то вплив може бути набагато більшим. До прикладу розглянемо дві процедури: Slow зі складністю ${\displaystyle O(N}$^{${\displaystyle 3}$}${\displaystyle )}$ і Fast зі складністю ${\displaystyle O(N}$^{${\displaystyle 2}$}${\displaystyle )}$.

Приклад:

 procedure Slow;
 var
 i,j,k: integer;
 begin
  for i:=1 to N do
   for j:=1 to N do
    for k:=1 to N do
    {будь-яка дія}
    end;
 procedure Fast;
 var
 i,j: integer;
 begin
  for i:=1 to N do
   for j:=1 to N do
   Slow;
 end;
 procedure Both;
 begin
  Fast;
 end;

Якщо у внутрішніх циклах процедури Fast відбувається виклик процедури Slow, то складності процедур перемножуються. У даному випадку складність алгоритму становить ${\displaystyle O(N}$^{${\displaystyle 2}$}${\displaystyle )*O(N}$^{${\displaystyle 3}$}${\displaystyle )=O(N}$^{${\displaystyle 5}$}${\displaystyle )}$. Якщо ж основна програма викликає процедури по черзі, то їх складності додаються: ${\displaystyle O(N}$^{${\displaystyle 2}$}${\displaystyle )+O(N}$^{${\displaystyle 3}$}${\displaystyle )=O(N}$^{${\displaystyle 3}$}${\displaystyle )}$. Наступний фрагмент має саме таку складність:

Приклад:

 procedure Slow;
 var
 i,j,k: integer;
 begin
  for i:=1 to N do
   for j:=1 to N do
    for k:=1 to N do
    {будь-яка дія}
 end;
 procedure Fast;
 var
 i,j: integer;
 begin
  for i:=1 to N do
   for j:=1 to N do
   {будь-яка дія}
 end;
 procedure Both;
 begin
  Fast;
  Slow;
 end;

Прикладом раннього аналізу складності алгоритмів є проведений аналіз алгоритму Евкліда, який зробив Габрієль Ламе 1844 року.

До початку досліджень, що були явно присвячені вивченню складності алгоритмів, багато дослідників заклали цьому теоретичний фундамент. Найвпливовішим серед них був Алан Тюрінг, що ввів поняття машин Тюрінга 1936 року, що виявилися дуже вдалими й гнучкими спрощеними моделями комп'ютера.

• Список алгоритмів
• Обчислювальна складність
• Багатозначна зводимість
• PCP-теорема

1. Gasarch W.I. «The P=?NP poll.» / William I. Gasarch SIGACT News. Volume 33. [Електронний ресурс] — 2002 — С. — Режим доступу: http://www.cs.umd.edu/~gasarch/papers/poll.pdf - ст. 34-47
2. Hopcroft, John E.; Motwani, Rajeev; Ullman, Jeffrey D. (2001). Introduction to Automata Theory, Languages, and Computation (вид. 2). Addison-Wesley.

• Christos H. Papadimitriou: Computational Complexity. Addison-Wesley, Reading/Mass. 1995, ISBN 0-201-53082-1.
• Lance Fortnow, Steve Homer: A Short History of Computational Complexity. Online-Manuskript (PDF, 225 kB)
• Jan van Leeuwen (Hrsg.): Handbook of Theoretical Computer Science, Volume A: Algorithms and Complexity. The MIT Press/Elsevier, Amsterdam 1994, ISBN 0-262-72020-5.
• Juris Hartmanis, Richard Edwin Stearns: On the computational complexity of algorithms. In: Trans. American Mathematical Society. 117/1965, S. 285—306, ISSN 0002-9947. (англ.)
• Ding-Zhu Du, Ker-I Ko: Theory of Computational Complexity. John Wiley & Sons, New York 2000, ISBN 0-471-34506-7.
• Michael R. Garey, David S. Johnson: Computers and Intractability: A guide to the theory of NP-completeness. Freeman, New York 2003, ISBN 0-7167-1045-5.
• Michael Sipser: Introduction to the Theory of Computation. 2. Auflage. Thomson, Boston 2006, ISBN 0-534-95097-3. (International Edition)
• Кузюрін М. М., Фомін С. А. Ефективні алгоритми та складність обчислень. 2008
• Немирівський А. С., Юдін Д. Б. Складність і ефективність методів оптимізації. М.: Наука, 1979

• Complexity Zoo — «Зоопарк» класів складності.