Обычный мусор к этому прозванию не имеет никакого отношения. Далёкие от уголовных кругов зрители знаменитого фильма Станислава Говорухина «Место встречи изменить нельзя» могли подумать, что слово это советских времён. Манька Облигация так и заявляла капитану Жеглову: «Не бери на понт, мусор». «Что за вульгарные у тебя выражения, Маня?» – отвечал персонаж Владимира Высоцкого. Манька была девушка современная и выражалась в духе времени: в 1945 году словечко «мусор» было уже общеупотребительным.
Впервые в печати прозвище это прозвучало в 1927-м в предназначенном для служебного пользования «Словаре жаргона преступников. Блатная музыка», составленном сотрудником НКВД С.М. Потаповым: «Мусор – агент уголовного розыска». Есть версия о том, что слово могло появиться после оформления в 1910 году Московского уголовного сыска, которым руководил знаменитый сыщик Аркадий Францевич Кошко.
В том же словаре встречаем и слово «легавый» с пояснением «сыщик, доносчик, агент; кондуктор». Это прозвище прижилось раньше, чем «мусор», с 1890-х годов, когда сыскные работники в целях конспирации ходили с нашивками охотничьего общества с изображением легавой – очень популярной в то время породы охотничьих собак.