古时候有一对夫妻，丈夫是个生意人，妻子因丈夫经常外出不在家，于是和卖布的好上了。一次，那卖布的正和妻子幽会，被丈夫发现了。之后妻子用绿色的布料做了一顶帽子给丈夫，和卖布的约定，看见丈夫戴上绿帽子外出就可以来了。

此后丈夫戴上那顶绿帽子外出，他妻子就和卖布的私会，于是，绿帽子说法就传下来了。