Будучи студентом Московского университета, Осип Абдулов участвовал в самодеятельности.

В 1918-1923 годах он работал в студии им. Шаляпина, в 1924-1928 годах играл на сценах московских театров, в театре им. В.Ф. Комиссаржевской. В 1929-1936 годах - актер театра-студии под руководством Ю. А. Завадского, в 1938-1942 годах - театра Революции, с 1943 года работал в театре им. Моссовета.

Среди лучших театральных ролей: Расплюев ("Отжитое время" по "Свадьбе Кречинского" и "Делу" А. В. Сухово-Кобылина, 1925), Крутицкий ("На всякого мудреца довольно простоты" А. Н. Островского, 1928), Кнуров ("Бесприданница" Островского, 1940), Сорин ("Чайка" А. П. Чехова, 1945), Шмага ("Без вины виноватые", 1948), Богомолов ("Шторм", 1952).

В искусстве Абдулова, обладавшего виртуозной актерской техникой, сочная комедийность сочеталась с тонким юмором, иронией; сатирическая острота внешнего рисунка - с глубоким раскрытием психологии персонажа. С 1924 года он работал на радио как режиссер (поставил свыше 200 радиоспектаклей) и актер.

Преподавал в Театре-студии Завадского и в ГИТИСе.

В кино он начал сниматься в 1933 году, проявив себя ярким острохарактерным и комедийным актером. В числе лучших работ Осипа Абдулова можно назвать Джона Сильвера в "Острове сокровищ" (1937), Тарантулова в "Человеке в футляре", грека Дымшу из "Свадьбы", Крашке в "Поединке". Снялся он также в фильмах "Светлый путь", "Свинарка и пастух", "Пятнадцатилетний капитан".

Осип Наумович был женат на Елизавете Моисеевне Метельской. Их сын - Всеволод Абдулов - известный актер, снимавшийся в фильмах: "Место встречи изменить нельзя", "Трест, который лопнул" и других.