Menurut cerita, pulau Kembang berasal dari kapal Inggris yang dihancurkan oleh orang Biaju pada tahun 1750-an atas perintah sultan Banjar. Puing-puing bekas kapal tersebut lambat laun ditumbuhi pepohonan dan berubah menjadi sebuah pulau yang kemudian didiami sekelompok kera. Orang-orang desa yang berada di sekitar pulau baru ini menganggap bahwa kera-kera tersebut merupakan penjelmaan orang halus yang memakai sarungan kera. Kelompok kera tersebut dipimpin oleh seekor kera yang sangat besar bernama si Anggur.