Угольный микрофон содержит угольный порошок, размещённый между двумя металлическими пластинами и заключённый в герметичную капсулу. Стенки капсулы или одна из металлических пластин соединяется с мембраной. При воздействии звуковой волны на мембрану та периодически изгибается и сжимает частицы угольного порошка. При изменении давления на угольный порошок изменяется площадь контакта между отдельными зёрнышками угля, в результате изменяется сопротивление между металлическими пластинами. Если пропускать между пластинами постоянный ток, напряжение между пластинами будет зависеть от давления на мембрану. От всех других типов микрофонов отличается тем, что является не преобразователем, а усилительным элементом, так как энергия полезного электрического сигнала создаётся внешним источником постоянного напряжения, а акустические колебания лишь управляют потоком этой энергии, изменяя сопротивление цепи.
В 1856 году француз Дю Монсель (Du Moncel) опубликовал результаты своих исследований, из которых следовало, что графитовые электроды обладают способностью отвечать значительным изменением электрического сопротивления при небольшом изменении площади соприкосновения проводников. Данное свойство стало основой для различных вариантов конструкций микрофонов.
Первый угольный микрофон построил американский изобретатель Эмиль Берлинер 4 марта 1877 года. Однако, развитие получил микрофон американского изобретателя Дэвида Юза (англ. David Hughes) в мае 1878 года. Микрофон Юза содержал угольный стержень с заострёнными концами, упиравшийся в две угольные же чашечки, и соединённый с подвижной мембраной. Площадь контакта угольного стержня с чашечками сильно менялась при колебаниях мембраны, соответственно менялось и сопротивление угольного микрофона, а с ним и ток в цепи. Микрофон Юза совершенствовался многими изобретателями. Весьма значительно усовершенствовал этот тип микрофонов Эдисон (в частности, он предложил использовать угольный порошок вместо угольного стержня, то есть изобрёл новый вид угольного микрофона с угольным порошком). Автор наиболее популярной конструкции угольного микрофона — Энтони Уайт (1890).
Угольный микрофон практически не требует дополнительного усиления сигнала (поскольку сам является неплохим параметрическим усилителем), сигнал с его выхода можно подавать непосредственно на высокоомный наушник или громкоговоритель. Из-за этого свойства угольные микрофоны использовались до недавнего времени в телефонных аппаратах, их использование освобождало телефонный аппарат от дорогостоящих и дефицитных в то время полупроводниковых деталей либо громоздких, хрупких и энергоёмких усилителей на радиолампах. Классический телефонный аппарат с дисковым номеронабирателем обычно содержал угольный микрофон (однако в аппаратах более поздних лет выпуска часто применяются динамические или электретные микрофоны, часто объединенные в единую конструкцию с усилителем, взаимозаменяемую с угольным микрофоном).