Кристаллы толсто-таблитчатые, столбчатые, шестоватые и зернистые агрегаты. Андалузиты обладают плеохроизмом — меняют свой цвет в зависимости от угла, под которым на них падают солнечные лучи (жёлто-зелёный — красновато-бурый — тёмно-красный). Люминесценция слабая, желтовато-зелёная. Андалузиты имеют серые, жёлтые, бурые, золотистые, оранжево-коричневые и розовые оттенки. Бывают красные и тёмно-зелёные камни. Бесцветный андалузит встречается редко. Прозрачные разновидности используются как драгоценные камни.
Разновидностью андалузита является хиастолит (греч. «хиастос» — скрещенный, «литос» — камень), иногда называемый также «крестовый камень», «крестовик». Хиастолитом называют непрозрачную разновидность кристаллов андалузита, в поперечном сечении которых после шлифовки отчётливо виден тёмный крест. Этот крест образуется за счёт избирательного поглощения растущими гранями кристалла углистых и глинистых частиц из вмещающих пород.
Месторождения андалузита были найдены не только в Испании, но и на территории Шри-Ланки, Бразилии, Канады (Квебек), США (штаты Мэн, Массачусетс, Калифорния), России (Сибирь).