Κατά τη διάρκεια της εικονομαχίας ο Ιωσήφ ο Υμνογράφος εστάλη από τον φίλο και πνευματικό του πατέρα Γρηγόριο Δεκαπολίτη στη Ρώμη για να εκθέσει στον Πάπα τις απόψεις των μοναχών σχετικά με την εικονοκλαστική πολιτική της Κωνσταντινούπολης. Σύμφωνα, ωστόσο, με τους βιογράφους του Ιωσήφ, το πλοίο στο οποίο επέβαινε έπεσε σε ενέδρα αραβικού στόλου και ο ίδιος αιχμαλωτίστηκε. Οδηγήθηκε στην Κρήτη, όπου παρέμεινε για ένα μεγάλο χρονικό διάστημα στη φυλακή. Εκεί ενθάρρυνε την κλονισμένη πίστη των συγκρατουμένων του και ενίσχυσε τη λατρεία των εικόνων. Προσέφερε έτσι έργο σημαντικό σε μία εποχή όπου κυριαρχούσαν οι τάσεις έντονης αμφισβήτησης, οι οποίες δεν αποκλείεται να είχαν επηρεαστεί και από τον ανεικονικό πολιτισμό των Αράβων.