Các nhà khoa học đã ghi nhận xà phòng xuất hiện sớm nhất là vào khoảng năm 2800 trước Công Nguyên. Có một điều thú vị là xà phòng trong thời gian này được sử dụng ở khá nhiều các nền văn minh khác nhau chứ không phải là phát hiện của duy nhất một nền văn minh như các phát kiến thời cổ đại khác. Tuy vậy, lúc khởi đầu xà phòng lại không được dùng để tắm mà còn được dùng vào nhiều mục đích khác, ví dụ như để xử lý lông cừu trước khi nhuộm.
Một số nền văn minh cổ đã khá coi trọng việc làm sạch cơ thể (ví dụ như Hy Lạp và La Mã cổ đại). Ở đó người ta sử dụng dầu thực vật và cát mịn để làm dầu tắm nhưng cách này chỉ dùng cho các nhân vật có chức sắc cao. Tuy vậy cho tới tận cuối thế kỷ thứ XVII thì xà phòng mới được sản xuất nhiều hơn ở châu Âu. Xà phòng được sản xuất ở các nước Nam Âu như Pháp, Tây Ban Nha, Ý … từ dầu olive và được coi là hàng xa xỉ phẩm.
Cho tới giữa thế kỷ XIX, người Mỹ vẫn tự sản xuất ra xà phòng cho mình từ mỡ động vật. Tuy nhiên, chất lượng mỡ từng năm là khác nhau và công nghệ lúc đó cũng không đủ tốt để tạo ra những miếng xà phòng có chất lượng đồng đều nhau. Phải tới tận chiến tranh thế giới lần thứ I (tức là đầu thế kỷ XX), người ta bắt đầu biết cách sử dụng các hợp chất tẩy rửa (detergent) là chiết xuất của dầu mỏ để làm xà phòng. Ngày nay, rất nhiều các loại xà phòng khác nhau sử dụng các chiết xuất này hoặc là hỗn hợp của chiết xuất dầu mỏ + dầu thực vật/mỡ động vật và mùi thơm hoặc vitamin bổ trợ.