Нынешние твердый и мягкий знаки не передают никаких самостоятельных звуков. Однако изначально обе буквы соответствовали сверхкратким гласным.
У гласных ъ и ь различалась сильная и слабая позиция (в которых произношение звука, обозначенного одной и той же буквой, было разным). Сверхкраткость звука, наложенная на слабость позиции в слове, приводила к исчезновению звука, вплоть до пропуска самой буквы на письме. Например: числительное дъва.
В сильной позиции долгота буквы приближалась к долготе остальных гласных, и позже звуки [ъ] и [ь] переходили в [о] и [е]. Если они стояли перед [j], появлялись звуки [и] и [ы]. Например: хъітръіи.
С буквами ъ и ь связано понятие одноеровый. Оно обозначает, что на письме на месте обеих букв использовался только один знак, например ь в древних источниках на сербском языке (в современном сербском мягкий знак сливается с согласными, образуя единую букву њ или љ). Хотя буквы ъ и ь и обозначали гласные, в начале слова их не употребляли.
В современных языках с кириллической письменностью буква ъ обозначает гласный звук только в болгарском языке. При этом если заменить ее звуком [о] или [а], часто удается воспроизвести соответствующее русское слово. Например: България.