劉遵祖少為殷中軍所知，稱之於庾公。庾公甚忻然，便取為佐。既見，坐之獨榻上與語。劉爾日殊不稱，庾小失望，遂名之為“羊公鶴”。昔羊叔子有鶴善舞，嘗向客稱之。客試使驅來，氃氋而不肯舞。故稱比之。

　　将适舍，求毋固。将上堂，声必扬。户外有二屦，言闻则入，言不闻则不入。将入户，视必下。入户奉扃，视瞻毋回；户开亦开，户阖亦阖；有后入者，阖而勿遂。毋践屦，毋踖席，抠衣趋隅。必慎唯诺。

　　桓玄下都，羊孚時為兗州別駕，從京來詣門，箋雲：“自頃世故睽離，心事淪蕰。明公啟晨光於積晦，澄百流以壹源。”桓見箋，馳喚前，雲：“子道，子道，來何遲？”即用為記室參軍。孟昶為劉牢之主簿，詣門謝，見雲：“羊侯，羊侯，百口賴卿！”