원래 행렬은 행과 열이 있는 2차원 구조의 값을 지칭한다(벡터의 차원은 벡터가 갖는 값의 개수이고, 여기서의 2차원 구조는 행과 열이 있는 표를 의미한다). 하지만 단순한 값의 모음으로 이해하기보다는 위의 예처럼 벡터들이 모인 것으로 이해할 수도 있다. 행렬은 일반적으로 알파벳 대문자로 표현하며, 행렬 안에 있는 값은 원소(element)라고 부른다. 이제 위의 예를 행렬로 다시 표현해보자. 개념적으로는 그림 2-8과 같다.

그리고 이를 수식으로 표현하면 다음과 같다.

행렬 M은 행 2개와 열 2개로 구성되고, 이는 행×열로 표현되어 2×2로 표기한다. 행렬 M에는 원소가 4개 있으며, 각 원소는 해당 원소가 몇 번째 행과 열에 해당하는지를 알려주는 첨자 2개를 통해 접근할 수 있다. 예를 들어 1행 2열에 해당하는 100은 M_{1, 2}라고 표현한다. 다음과 같이 넘파이를 이용해 행렬을 나타낼 수 있다.

>>> import numpy as np
>>> x = np.matrix([[1, 0, 0],[0, 1, 0],[0, 0, 1]])
>>> print(x)
[[1 0 0]
 [0 1 0]
 [0 0 1]]