Ibafa a Zselici-dombok közt megbúvó, szép fekvésű kis falu. Első okleveles említése 1425-ből való. A középkorban kis- és középnemesek voltak a falu birtokosai. Szigetvár eleste után „valószínűleg” teljesen elnéptelenedett a falu, mert írott források legközelebb csak a 18. század közepén említik.
Horvát jobbágyok az 1742–1752-ig terjedő időszakban települtek be, őket német telepesek követték. Az 1836-os adatok szerint a falu akkori, német, trák és magyar nemzetiségű lakossága 554 fő volt, többségükben római katolikusok. A falunak két urasági kastélya, katolikus temploma és parókiája is volt. A lakosság nagyobb része mesteremberekből állt. A falu többi lakosa állattenyésztéssel és iparral foglalkozott.
Az első templomot 1760-ban építtették, 1865-ben pedig a ma is állót. A falu a hírnevét ennek a templomnak, illetve plébánosának köszönheti, aki fapipájával tette Ibafa nevét közismertté. „Az ibafai papnak fapipája van” – szól a nóta, amely kedvet csinált az ibafai plébánosok körében a pipagyűjtéshez. Így jött létre a parókia pipagyűjteménye. Maga a fapipa nem ilyen régi eredetű. Az elsőt 1934-ben ajándékozták hívei Sarlós Ferenc plébánosnak, melyet Gerber Béla iparművész készített. A híressé vált pipatórium szomszédságában van az ibafai pipatörténeti kiállítás, mely a kultúrházban kapott helyet 1968-ban. Mai formáját az 1989-es újrarendezés során nyerte el. Az ibafai pipakiállítás két teremben mutatja be érdekességeit. Az első teremben a nevezetes ibafai fapipa másolata tárul elénk. A terem bal oldalán a ma is használatos pipák, valamint a huszadik század közepéig használt szivar és szipka látható, melyeket a hölgyek részére készítettek. A második teremben nyolc ország képviseli a pipa szebbnél szebb darabjait. A terem közepén a nagy vitrinben családi mozsár, tégelypipák másolatai, valamint dohányzási segédeszközök láthatóak. A falakat pipázó jelenetek színesítik, képzőművészeti alkotásokkal gazdagítva.
 
A kiállítás legérdekesebb három darabja a történelemben is közismert személyekhez kapcsolódik.
Egy 1849-es alföldi pipafejen az ún. Kossuth-címer látható; Deák Ferenc reformpolitikus portréja fedezhető fel egy 1865-ben készült pipán, 1919-ből származik Károlyi Mihály miniszterelnök pipája, mely a tulajdonát képezte egészen addig, amíg a családi hagyaték kalapács alá nem került.