Mavericksのレビュー時にも書きましたが、やはりSafariでスワイプできなくなる時があるようです。
レビュー時には落ち着いてたように、頻発する訳ではないのですが、暫く発生してないなぁと思ってると突然発生したりしますね。
起きるときの共通点が見つからないので困ったものです。
気のせいかもしれませんが、OS起動直後に発生することが多いような気はします。
明らかな不具合で、検索して同じ症状の方もいますし、マイナーアップデート待ちですね。
追記
根本的解決ではありませんが、暫定対処法を書きました。
Mavericks Safariのスワイプでフリーズの暫定対処法
