Từ con tem trong tiếng Anh là stamp có nghĩa là đóng dấu, bắt đầu từ việc đóng dấu niêm thư. Người ta bôi sáp lên bì thư và trong khi sáp chưa khô đóng dấu lên đó để đánh dấu phân biệt người gửi.
Ý tưởng dùng con tem để chuyển thư thuộc về ông Rôlăng Hill, người Anh. Đó là vào khoảng những năm 30 của thế kỷ trước. Theo ông Rôlăng Hill nếu dùng con tem thay cho việc đóng cước phí bưu điện sẽ có nhiều thuận lợi hơn và số người gửi thư sẽ tăng lên, tức là tăng thêm thu nhập cho quốc gia. Ông cũng chính là người đưa ra nhiều cải cách về cước phí bưu điện. Trước đây cước phí bưu điện phụ thuộc vào số trang và khoảng cách giữa hai địa điểm. Khoảng cách càng xa thì cước phí cho mỗi trang thư càng cao. Theo sáng kiến của ông Rôlăng Hill từ lúc bấy giờ cước phí gửi một bức thư chỉ phụ thuộc vào trọng lượng của nó, còn yếu tố khoảng cách không cần để ý tới.
Quốc gia đầu tiên sử dụng con tem là Vương quốc Anh. Sau đó được áp dụng rộng rãi và nhanh chóng tại hầu hết các quốc gia, thành phố ở châu âu. Nước đầu tiên sử dụng con tem ở tây bán cầu không phải là Mỹ mà là Braxin vào năm 1843. Nước Mỹ chậm hơn một chút, đến năm 1847 nhà nước mới chính thức phát hành các con tem, mặc dù từ năm 1842 tại một số cơ sở bưu điện tư nhân của nước này đã có những con tem riêng của mình.