Творческий путь Ма по-настоящему начался лишь после окончания Гарвардского университета в 1976. К концу 20 в. Ма выступил едва ли не со всеми знаменитыми оркестрами мира и записал с ними самые известные виолончельные концерты. Углубленно работал в сфере камерной музыки: вместе с пианистом Эмануэлем Эксом записал все виолончельные сонаты Бетховена. Ма играл в ансамблях со скрипачами Гидоном Кремером, Пинхасом Цукерманом и Исааком Стерном, а также с альтистом Кимом Кашкашяном и др. Особо отмечалась его исключительно темпераментное исполнение сольных виолончельных сюит Баха.

Для манеры Ма характерны теплый звук, искренность, изящество и всегда глубокое переживание исполняемого. Репертуар виолончелиста простирается от Баха до новейших произведений, и обычно музыканту не изменяет его исключительное чувство стиля. Среди менее удачных работ Ма можно назвать альбом, записанный им с джазовым вокалистом Бобом Мак-Ферреном, и альбом переложений для виолончели популярных скрипичных пьес Фрица Крейлера.