Видимо, я все-таки должен высказаться :-))). Рискуя до смерти надоесть присутствующим, вынужден коротко повторить основные определения. Заранее извиняюсь за изложение на физическом уровне строгости.
1. Числовой набор размерности

это числовая функция от

целочисленных аргументов, причем первый аргумент пробегает от 1 до

, :,

-й аргумент пробегает от 1 до

. Обычно, эти аргументы записывают в виде индексов. Поэтому, обычно, элемент числового набора изображается как буква с индексами. Например,

. Матрица, это числовой набор с двумя индексами, т. е. матрица это частный случай числового набора.
2. Теперь на сцене появляется линейное пространство размерности

. Рассматриваем только числовые наборы, у которых

. Геометрический объект размерности

это отображение, которое каждому базису линейного пространства сопоставляет числовой набор размерности

. Т. е. у нас есть черный ящик, мы этому ящику скармливаем базисы, а он выдает числовые наборы. Грубо говоря, геометрический объект это много числовых наборов, по одному на каждый базис. Так у нас появляется зависимость от базиса. Возникает вопрос. Могу ли я по числовому набору в базисе

вычислить числовой набор в базисе

. Оказывается, что, вообще говоря, не могу (если только искусственно не сужать понятие геометрического объекта). Однако, для некоторых геометрических объектов известны законы преобразования компонент при переходе от базиса к базису. Причем, для разных геометрических объектов эти законы различны.
3. Тензором называют геометрический объект с конкретным законом преобразования (довольно простым). Обычно у тензора часть индексов записывают внизу, а часть вверху. Верхние и нижние индексы преобразуются по-разному. Например:
 = A_{i}(e) \alpha^{i}_{i^{\prime}}(e,e^{\prime}))
,
 = A^{j}(e) \alpha^{j^{\prime}}_{j}(e^{\prime},e))
,
 = A^{j}_{i}(e) \alpha^{i}_{i^{\prime}}(e,e^{\prime}) \alpha^{j^{\prime}}_{j}(e^{\prime},e))
. Пусть тензор имеет

нижних индексов и

верхних индексов. В этом случае говорят, что у нас тензор порядка
)
и ранга

.
Теперь зафиксируем некоторый (любимый) базис

. В этом базисе каждому тензору

сопоставляется числовой набор
)
. Нетрудно показать, что разным тензорам (одинакового порядка) сопоставляются разные числовые наборы. Также нетрудно показать, что для любого числового набора

можно указать такой тензор

, что
 = A_{0})
. Иными словами, можно установить взаимно однозначное соответствие между множеством числовых наборов размерности

и множеством тензоров порядка
)
. Поэтому, рассуждая очень грубо можно отождествить числовые наборы и тензоры. Соответственно, в рамках этого жаргона можно сказать, что матрица это частный случай тензора. Однако при использовании этого жаргона мы теряем самое главное в понятии тензора: тензор это числовой набор + зависимость от базиса + закон преобразования.
Насчет прямоугольных матриц и 'квадратных' тензоров. Тензор тоже можно сделать 'прямоугольным', достаточно потребовать, чтобы часть индексов жила в одном линейном пространстве, а часть в другом. Например, пусть

--- линейный, всюду определенный оператор, действующий из линейного пространства

, размерности

в линейное пространство

размерности

. Каждому базису в пространстве

и каждому базису в пространстве

можно сопоставить прямоугольную матрицу оператора

. Получившийся в результате геометрический объект будет тензором порядка
)
в пространстве

и тензором порядка
)
в пространстве

.
Гм... Это я с местным LaTeX'ом не разобрался, или формулы всегда так медленно возникают и так плохо получаются?