曹操生气归生气，还是决定以理服人，就说：“我帐下文武无数，皆是当世英雄，何谓无人？”
“那你倒是说说，你手下都有什么英雄？”祢衡直接和曹操较上了劲儿。
曹操骄傲地说道：“我手下荀彧、荀攸、郭嘉、程昱等人，皆是机深智远，那都是萧何、陈平之才；许褚、李典、乐进，勇不可当，比岑彭、马武还要厉害；吕虔、满宠为从事，于禁、徐晃为先锋；夏侯兄弟天下奇才，曹子孝世间福将。你怎么说无人呢？”
祢衡很轻蔑地一哼，“就他们？荀攸我看他只配看守坟墓，程昱守大门倒不错，郭嘉能念念诗词，张辽可以用来打鼓，许禇适合放牛，徐晃可用来杀狗等等。”这下子曹操帐下的人都想一刀剁了他，张辽刀都要拔出来了，曹操更是恨得牙根直痒痒，但因为祢衡的才气和名声，又不能杀他，否则会落下不能容才的坏名声。
曹操听说祢衡擅长击鼓，就任命他为鼓吏。有一次曹操大宴宾客，检阅鼓吏们的鼓曲。各鼓吏上场前都脱掉原来的衣服，换上鼓吏的专门服装。轮到祢衡上场，他也不换衣服，径直来到场上演奏《渔阳三挝》，容貌姿态与众不同，鼓曲声音节奏悲壮，听到的人无不感慨。曹操找茬儿问祢衡，为何不按规定着装？祢衡也不答话，当场就脱衣换装，把自己脱得赤条条的。在场的男士连忙扭头，怕辣眼睛，女士都慌忙用袖子挡住自己的脸。曹操大骂祢衡无礼。祢衡反驳说：“欺君罔上才是无礼，我露露父母给的这清白曼妙的身体就无礼了？”