もちろん可能です。ホストは受け入れるかの判断をする機会が二回あります。一回目はリクエストをお知らせするメールが来た時、二回目はメッセージ上でゲストとメッセージのやりとりをしている時です。
ゲストとメッセージのやりとりを始めたことによって受け入れる義務が発生するわけではなく、メッセージのやりとりや条件の判断をした後に、やっぱり受け入れは難しそうだと判断していただいても問題はありません!ゲストも同じようにメッセージのやり取り後にキャンセルをすることができます。