Добуток Хатрі-Рао

Добуток Хатрі-Рао (англ. Khatri-Rao product) — матрична операція перемноження матриць, що визначається виразом[1][2]:

в якому ij-й блок являє собою добуток Кронекера mipi × njqj відповідних блоків A і B за умови, що кількість рядків і стовпців обох матриць однакова. Розмірність добутку i mipi) × (Σj njqj).

Наприклад, якщо матриці A і B мають блокову розмірність 2 × 2

отримаємо:

Стовпцевий добуток Хатрі-Рао

Стовпцевий добуток Кронекера двох матриць також прийнято називати добутком Хатрі-Рао. Цей добуток передбачає, що блоки матриць є їх стовпцями. В такому випадку m1 = m, p1 = p, n = q і для кожного j: nj = pj = 1. Результатом добутку є mp × n- матрица, кожен стовпець якої отримується як добуток Кронекера відповідних стовпців матриць A і B. Спираючись на розбитття матриць з попереднього прикладу на стовпці, отримаємо:

і далі:

Застосування

Стовпцева версія добутку Хатрі-Рао застосовується в лінійній алгебрі для аналітичної обробки даних[3] і оптимізації рішень проблеми обернення діагональних матриць.[4][5]

В 1996 р. стовпцевий добуток Хатрі-Рао був запропонований для формалізації задачі оцінювання напрямку приходу та часу затримки сигналів в цифровій антенній решітці[6], а також для опису відгуку 4-координатного радара[7].

Торцевий добуток

Торцевий добуток матриць

Альтернативна концепція добутку матриць, яка на відміну від стовпцевої версії добутку Хатрі-Рао використовує розбиття матриць на рядки, була запропонована Слюсарем В. І.[8] в 1996 р. і названа ним торцевий добуток (англ. face-splitting product)[7][9][10][11] або транспонований добуток Хатрі-Рао (англ. transposed Khatri-Rao product)[12].

Цей тип матричного добутку спирається на перемноження елементів рядків двох і більше матриць з однаковою кількістю рядків за правилом добутку Кронекера. Використовуючи розбиття матриць з попередніх прикладів на рядки:

можна записати[7][9][10]:

Основні властивості

  1. Транспонування (Слюсар В.І., 1996[7][9][13]):
  2. Комутативність і асоціативність[7][9][13]:

    де A, B і C — матриці, а k — скаляр,

    ,[13]

    де  — вектор з тією ж кількістю елементів, що і кількість рядків матриці ,
  3. Властивість змішаного добутку (1997[13]):
    ,
    ,
    [12],
    [14],
    де означає добуток Адамара,
  4. [13],
  5. [7],
  6. [14],
  7. [10][15],
    ,
  8. [13],
    , де і є векторами узгодженої розмірності,
  9. [16], ,
  10. [17], де і є векторами узгодженої розмірності,
    ,
  11. ,
    де є символом векторної згортки, і  — матриця дискретного перетворення Фур'є (тотожність є розвитком властивості відлікового скетча[18]),
  12. [19], де   матриця,   матриця, ,  — вектори з та одиниць відповідно,
    [20], де є матрицею,  добуток Адамара і  — вектор з одиниць.
    , де  — символ проникаючого торцевого добутку матриць.
    Аналогічно, , де   матриця,   матриця.
  13. [13],
    [20], ,
    де  — вектор, утворений із діагональних елементів матриці ,  — операція формування вектора з матриці шляхом розташування один під одним її стовпців.
  14. Властивість поглинання добутку Кронекера:
    [10][15],
    ,
    ,
    де і є векторами узгодженої розмірності,

Наприклад[17],

та інші. Крім того, Слюсарем В. І. були запропоновані блокові версії транспонованого добутку та досліджені їх властивості[7].

Блоковий торцевий добуток

Застосування блокового транспонованого торцевого добутку для опису відгуку багатогранної цифрової антенної решітки[15]

Для блокових матриць з однаковою кількістю рядків у відповідних блоках

згідно з визначенням[7][10], блоковий торцевий добуток запишеться у вигляді:

.

Аналогічно для блокового транспонованого торцевого добутку (або блокового стовпцевого добутку Хатрі-Рао) двох матриць з однаковою кількістю стовпців у відповідних блоках справедливо[7]:

.

Основні властивості

  1. Транспонування:
    [15]

Застосування

Родина торцевих добутків матриць стала основою започаткованої Слюсарем В. І. тензорно-матричної теорії цифрових антенних решіток для радіотехнічних систем[12], яка надалі отримала розвиток як частина теорії цифрової обробки сигналів.

Торцевий добуток набув широкого поширення в системах машинного навчання, статистичній обробці великих даних[17]. Він дозволяє скоротити обсяги обчислень при реалізації методу зменшення розмірності даних, що одержав назву тензорний скетч[17] а також швидкого перетворення Джонсона — Лінденштрауса[17]. При цьому здійснюється перехід від матриці великої розмірності до добутку Адамара, що оперує матрицями меншого розміру. Похибки апроксимації данних великої розмірності на основі торцевого добутку матриць задовольняють лемі Джонсона — Лінденштрауса[17][21]. У тому ж контексті ідея торцевого добутку може бути використана для вирішення завдання диференційної приватності (англ. differential privacy)[16]. Крім того, аналогічні обчислення були застосовані для формування тензорів співпадань в задачах обробки природної мови і побудови гіперграфів подібності зображень[22].

Торцевий добуток використаний у 2003 р. для P-сплайн апроксимації[19], у 2006 р. — для побудови узагальнених лінійних моделей масивів даних (GLAM) при їх статистичній обробці[20], а також для ефективної реалізації ядрових методів машинного навчання та дослідження взаємодії генотипів з оточуючим середовищем[23].

Див. також

Примітки

  1. Khatri C. G., C. R. Rao (1968). Solutions to some functional equations and their applications to characterization of probability distributions. Sankhya 30: 167–180. Архів оригіналу за 23 жовтня 2010. Процитовано 21 серпня 2008.
  2. Zhang X; Yang Z; Cao C. (2002). Inequalities involving Khatri–Rao products of positive semi-definite matrices. Applied Mathematics E-notes 2: 117–124.
  3. See e.g. H.D. Macedo and J.N. Oliveira. A linear algebra approach to OLAP. Formal Aspects of Computing, 27(2):283–307, 2015.
  4. Lev-Ari, Hanoch (1 січня 2005). Efficient Solution of Linear Matrix Equations with Application to Multistatic Antenna Array Processing. Communications in Information & Systems (EN) 05 (1): 123–130. ISSN 1526-7555. doi:10.4310/CIS.2005.v5.n1.a5.
  5. Masiero, B.; Nascimento, V. H. (1 травня 2017). Revisiting the Kronecker Array Transform. IEEE Signal Processing Letters 24 (5): 525–529. Bibcode:2017ISPL...24..525M. ISSN 1070-9908. doi:10.1109/LSP.2017.2674969.
  6. Vanderveen, M. C., Ng, B. C., Papadias, C. B., & Paulraj, A. (n.d.). Joint angle and delay estimation (JADE) for signals in multipath environments. Conference Record of The Thirtieth Asilomar Conference on Signals, Systems and Computers. — DOI:10.1109/acssc.1996.599145
  7. Slyusar, V. I. (27 грудня 1996). End products in matrices in radar applications.. Radioelectronics and Communications Systems.– 1998, Vol. 41; Number 3: 50–53.
  8. Anna Esteve, Eva Boj & Josep Fortiana (2009): Interaction Terms in Distance-Based Regression, Communications in Statistics — Theory and Methods, 38:19, P. 3501
  9. Slyusar, V. I. (20 травня 1997). Analytical model of the digital antenna array on a basis of face-splitting matrix products.. Proc. ICATT- 97, Kyiv: 108–109.
  10. Slyusar, V. I. (1999). A Family of Face Products of Matrices and its Properties. Cybernetics and Systems Analysis C/C of Kibernetika I Sistemnyi Analiz 35 (3): 379–384. doi:10.1007/BF02733426.
  11. Slyusar, V. I. (2003). Generalized face-products of matrices in models of digital antenna arrays with nonidentical channels. Radioelectronics and Communications Systems 46 (10): 9–17.
  12. Миночкин А.И., Рудаков В.И., Слюсар В.И. (2012). Основы военно-технических исследований. Теория и приложения. Том. 2. Синтез средств информационного обеспечения вооружения и военной техники//Под ред. А.П. Ковтуненко. - Киев: «Гранмна». – 2012. с. C. 7 – 98; 354 – 521.
  13. Slyusar, V. I. (15 вересня 1997). New operations of matrices product for applications of radars. Proc. Direct and Inverse Problems of Electromagnetic and Acoustic Wave Theory (DIPED-97), Lviv.: 73–74.
  14. C. Radhakrishna Rao. Estimation of Heteroscedastic Variances in Linear Models.//Journal of the American Statistical Association, Vol. 65, No. 329 (Mar., 1970), pp. 161—172
  15. Vadym Slyusar. New Matrix Operations for DSP (Lecture). April 1999. - DOI: 10.13140/RG.2.2.31620.76164/1
  16. Kasiviswanathan, Shiva Prasad, et al. «The price of privately releasing contingency tables and the spectra of random matrices with correlated rows.» Proceedings of the forty-second ACM symposium on Theory of computing. 2010.
  17. Thomas D. Ahle, Jakob Bæk Tejs Knudsen. Almost Optimal Tensor Sketch. Published 2019. Mathematics, Computer Science, ArXiv
  18. Ninh, Pham; Rasmus, Pagh (2013). Fast and scalable polynomial kernels via explicit feature maps SIGKDD international conference on Knowledge discovery and data mining. Association for Computing Machinery. doi:10.1145/2487575.2487591.
  19. Eilers, Paul H.C.; Marx, Brian D. (2003). Multivariate calibration with temperature interaction using two-dimensional penalized signal regression.. Chemometrics and Intelligent Laboratory Systems 66 (2): 159174. doi:10.1016/S0169-7439(03)00029-7.
  20. Currie, I. D.; Durban, M.; Eilers, P. H. C. (2006). Generalized linear array models with applications to multidimensional smoothing. Journal of the Royal Statistical Society 68 (2): 259280. doi:10.1111/j.1467-9868.2006.00543.x.
  21. Ahle, Thomas; Kapralov, Michael; Knudsen, Jakob; Pagh, Rasmus; Velingker, Ameya; Woodruff, David; Zandieh, Amir (2020). Oblivious Sketching of High-Degree Polynomial Kernels ACM-SIAM Symposium on Discrete Algorithms. Association for Computing Machinery. doi:10.1137/1.9781611975994.9.
  22. Bryan Bischof. Higher order co-occurrence tensors for hypergraphs via face-splitting. Published 15 February, 2020, Mathematics, Computer Science, ArXiv
  23. Johannes W. R. Martini, Jose Crossa, Fernando H. Toledo, Jaime Cuevas. On Hadamard and Kronecker products in covariance structures for genotype x environment interaction.//Plant Genome. 2020;13:e20033. Page 5.

Джерела

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.