Добуток Хатрі-Рао
Добуток Хатрі-Рао (англ. Khatri-Rao product) — матрична операція перемноження матриць, що визначається виразом[1][2]:
в якому ij-й блок являє собою добуток Кронекера mipi × njqj відповідних блоків A і B за умови, що кількість рядків і стовпців обох матриць однакова. Розмірність добутку — (Σi mipi) × (Σj njqj).
Наприклад, якщо матриці A і B мають блокову розмірність 2 × 2
отримаємо:
Стовпцевий добуток Хатрі-Рао
Стовпцевий добуток Кронекера двох матриць також прийнято називати добутком Хатрі-Рао. Цей добуток передбачає, що блоки матриць є їх стовпцями. В такому випадку m1 = m, p1 = p, n = q і для кожного j: nj = pj = 1. Результатом добутку є mp × n- матрица, кожен стовпець якої отримується як добуток Кронекера відповідних стовпців матриць A і B. Спираючись на розбитття матриць з попереднього прикладу на стовпці, отримаємо:
і далі:
Застосування
Стовпцева версія добутку Хатрі-Рао застосовується в лінійній алгебрі для аналітичної обробки даних[3] і оптимізації рішень проблеми обернення діагональних матриць.[4][5]
В 1996 р. стовпцевий добуток Хатрі-Рао був запропонований для формалізації задачі оцінювання напрямку приходу та часу затримки сигналів в цифровій антенній решітці[6], а також для опису відгуку 4-координатного радара[7].
Торцевий добуток
Альтернативна концепція добутку матриць, яка на відміну від стовпцевої версії добутку Хатрі-Рао використовує розбиття матриць на рядки, була запропонована Слюсарем В. І.[8] в 1996 р. і названа ним торцевий добуток (англ. face-splitting product)[7][9][10][11] або транспонований добуток Хатрі-Рао (англ. transposed Khatri-Rao product)[12].
Цей тип матричного добутку спирається на перемноження елементів рядків двох і більше матриць з однаковою кількістю рядків за правилом добутку Кронекера. Використовуючи розбиття матриць з попередніх прикладів на рядки:
Основні властивості
- Транспонування (Слюсар В.І., 1996[7][9][13]):
- Комутативність і асоціативність[7][9][13]:
де A, B і C — матриці, а k — скаляр,
,[13]
де — вектор з тією ж кількістю елементів, що і кількість рядків матриці , - Властивість змішаного добутку (1997[13]):
- ,
- ,
- [12],
- [14],
- [13],
- [7],
- [14],
- [10][15],
, - [13],
, де і є векторами узгодженої розмірності, - [16], ,
- [17],
де і є векторами узгодженої розмірності,
, - ,
де є символом векторної згортки, і — матриця дискретного перетворення Фур'є (тотожність є розвитком властивості відлікового скетча[18]), - [19], де — матриця, — матриця, , — вектори з та одиниць відповідно,
[20], де є матрицею, — добуток Адамара і — вектор з одиниць.
, де — символ проникаючого торцевого добутку матриць.
Аналогічно, , де — матриця, — матриця. - [13],
[20], ,
де — вектор, утворений із діагональних елементів матриці , — операція формування вектора з матриці шляхом розташування один під одним її стовпців. - Властивість поглинання добутку Кронекера:
[10][15],
,
,
де і є векторами узгодженої розмірності,
Наприклад[17],
та інші. Крім того, Слюсарем В. І. були запропоновані блокові версії транспонованого добутку та досліджені їх властивості[7].
Блоковий торцевий добуток
Для блокових матриць з однаковою кількістю рядків у відповідних блоках
згідно з визначенням[7][10], блоковий торцевий добуток запишеться у вигляді:
- .
Аналогічно для блокового транспонованого торцевого добутку (або блокового стовпцевого добутку Хатрі-Рао) двох матриць з однаковою кількістю стовпців у відповідних блоках справедливо[7]:
- .
Основні властивості
Застосування
Родина торцевих добутків матриць стала основою започаткованої Слюсарем В. І. тензорно-матричної теорії цифрових антенних решіток для радіотехнічних систем[12], яка надалі отримала розвиток як частина теорії цифрової обробки сигналів.
Торцевий добуток набув широкого поширення в системах машинного навчання, статистичній обробці великих даних[17]. Він дозволяє скоротити обсяги обчислень при реалізації методу зменшення розмірності даних, що одержав назву тензорний скетч[17] а також швидкого перетворення Джонсона — Лінденштрауса[17]. При цьому здійснюється перехід від матриці великої розмірності до добутку Адамара, що оперує матрицями меншого розміру. Похибки апроксимації данних великої розмірності на основі торцевого добутку матриць задовольняють лемі Джонсона — Лінденштрауса[17][21]. У тому ж контексті ідея торцевого добутку може бути використана для вирішення завдання диференційної приватності (англ. differential privacy)[16]. Крім того, аналогічні обчислення були застосовані для формування тензорів співпадань в задачах обробки природної мови і побудови гіперграфів подібності зображень[22].
Торцевий добуток використаний у 2003 р. для P-сплайн апроксимації[19], у 2006 р. — для побудови узагальнених лінійних моделей масивів даних (GLAM) при їх статистичній обробці[20], а також для ефективної реалізації ядрових методів машинного навчання та дослідження взаємодії генотипів з оточуючим середовищем[23].
Примітки
- Khatri C. G., C. R. Rao (1968). Solutions to some functional equations and their applications to characterization of probability distributions. Sankhya 30: 167–180. Архів оригіналу за 23 жовтня 2010. Процитовано 21 серпня 2008.
- Zhang X; Yang Z; Cao C. (2002). Inequalities involving Khatri–Rao products of positive semi-definite matrices. Applied Mathematics E-notes 2: 117–124.
- See e.g. H.D. Macedo and J.N. Oliveira. A linear algebra approach to OLAP. Formal Aspects of Computing, 27(2):283–307, 2015.
- Lev-Ari, Hanoch (1 січня 2005). Efficient Solution of Linear Matrix Equations with Application to Multistatic Antenna Array Processing. Communications in Information & Systems (EN) 05 (1): 123–130. ISSN 1526-7555. doi:10.4310/CIS.2005.v5.n1.a5.
- Masiero, B.; Nascimento, V. H. (1 травня 2017). Revisiting the Kronecker Array Transform. IEEE Signal Processing Letters 24 (5): 525–529. Bibcode:2017ISPL...24..525M. ISSN 1070-9908. doi:10.1109/LSP.2017.2674969.
- Vanderveen, M. C., Ng, B. C., Papadias, C. B., & Paulraj, A. (n.d.). Joint angle and delay estimation (JADE) for signals in multipath environments. Conference Record of The Thirtieth Asilomar Conference on Signals, Systems and Computers. — DOI:10.1109/acssc.1996.599145
- Slyusar, V. I. (27 грудня 1996). End products in matrices in radar applications.. Radioelectronics and Communications Systems.– 1998, Vol. 41; Number 3: 50–53.
- Anna Esteve, Eva Boj & Josep Fortiana (2009): Interaction Terms in Distance-Based Regression, Communications in Statistics — Theory and Methods, 38:19, P. 3501
- Slyusar, V. I. (20 травня 1997). Analytical model of the digital antenna array on a basis of face-splitting matrix products.. Proc. ICATT- 97, Kyiv: 108–109.
- Slyusar, V. I. (1999). A Family of Face Products of Matrices and its Properties. Cybernetics and Systems Analysis C/C of Kibernetika I Sistemnyi Analiz 35 (3): 379–384. doi:10.1007/BF02733426.
- Slyusar, V. I. (2003). Generalized face-products of matrices in models of digital antenna arrays with nonidentical channels. Radioelectronics and Communications Systems 46 (10): 9–17.
- Миночкин А.И., Рудаков В.И., Слюсар В.И. (2012). Основы военно-технических исследований. Теория и приложения. Том. 2. Синтез средств информационного обеспечения вооружения и военной техники//Под ред. А.П. Ковтуненко. - Киев: «Гранмна». – 2012. с. C. 7 – 98; 354 – 521.
- Slyusar, V. I. (15 вересня 1997). New operations of matrices product for applications of radars. Proc. Direct and Inverse Problems of Electromagnetic and Acoustic Wave Theory (DIPED-97), Lviv.: 73–74.
- C. Radhakrishna Rao. Estimation of Heteroscedastic Variances in Linear Models.//Journal of the American Statistical Association, Vol. 65, No. 329 (Mar., 1970), pp. 161—172
- Vadym Slyusar. New Matrix Operations for DSP (Lecture). April 1999. - DOI: 10.13140/RG.2.2.31620.76164/1
- Kasiviswanathan, Shiva Prasad, et al. «The price of privately releasing contingency tables and the spectra of random matrices with correlated rows.» Proceedings of the forty-second ACM symposium on Theory of computing. 2010.
- Thomas D. Ahle, Jakob Bæk Tejs Knudsen. Almost Optimal Tensor Sketch. Published 2019. Mathematics, Computer Science, ArXiv
- Ninh, Pham; Rasmus, Pagh (2013). Fast and scalable polynomial kernels via explicit feature maps SIGKDD international conference on Knowledge discovery and data mining. Association for Computing Machinery. doi:10.1145/2487575.2487591.
- Eilers, Paul H.C.; Marx, Brian D. (2003). Multivariate calibration with temperature interaction using two-dimensional penalized signal regression.. Chemometrics and Intelligent Laboratory Systems 66 (2): 159–174. doi:10.1016/S0169-7439(03)00029-7.
- Currie, I. D.; Durban, M.; Eilers, P. H. C. (2006). Generalized linear array models with applications to multidimensional smoothing. Journal of the Royal Statistical Society 68 (2): 259–280. doi:10.1111/j.1467-9868.2006.00543.x.
- Ahle, Thomas; Kapralov, Michael; Knudsen, Jakob; Pagh, Rasmus; Velingker, Ameya; Woodruff, David; Zandieh, Amir (2020). Oblivious Sketching of High-Degree Polynomial Kernels ACM-SIAM Symposium on Discrete Algorithms. Association for Computing Machinery. doi:10.1137/1.9781611975994.9.
- Bryan Bischof. Higher order co-occurrence tensors for hypergraphs via face-splitting. Published 15 February, 2020, Mathematics, Computer Science, ArXiv
- Johannes W. R. Martini, Jose Crossa, Fernando H. Toledo, Jaime Cuevas. On Hadamard and Kronecker products in covariance structures for genotype x environment interaction.//Plant Genome. 2020;13:e20033. Page 5.
Джерела
- Khatri C. G., C. R. Rao (1968). Solutions to some functional equations and their applications to characterization of probability distributions. Sankhya 30: 167–180. Архів оригіналу за 23 жовтня 2010. Процитовано 21 серпня 2008.
- Zhang X; Yang Z; Cao C. (2002). Inequalities involving Khatri–Rao products of positive semi-definite matrices. Applied Mathematics E-notes 2: 117–124.
- Matrix Algebra & Its Applications to Statistics & Econometrics./C. R. Rao with M. Bhaskara Rao. — World Scientific. — 1998. — P. 216.