Autifyを試してみました(E2E自動テストツールの話)

QAチームの柿崎です。

先日、大事な休日を消費して、 うっかりミッションインポッシブルを全作品観てしまいました。 (一度観たことがあるにも関わらず)

何をやってるんだ俺は……そしてトムクルーズはかっこいい。

さて今回はE2E自動テストツール「Autify」の試用レポートです。

試用に至った背景

QAチームではCypressやSeleniumやPostman等を使って自動テストを行なっていますが、 環境構築やテストシナリオの作成やメンテナンスなど、 なんだかんだで結構体力を使うよね、という、割とありがちな悩みが発生しています。 そんな中、Autifyの存在を知り、早速試してみることにしました。

環境構築が不要

AutifyはWebサービスとして提供されているので当たり前ですが環境構築が不要です。 何もせずにクロスブラウザ環境を得ることができ、少しの設定でSlack連携が可能です。

AutifyのダッシュボードでOSとブラウザを組み合わせられる

Slack通知も標準装備

テストシナリオを作るのが楽

AutifyはAutify RecorderというChrome Extensionを使って、ブラウザ操作だけでシナリオを作成できます。 このExtensionのいいところは、Assertion周りもマウスでぽちぽち記録できることです。 DOMを意識することなくテストシナリオを作成できるのは非常に良いのではないでしょうか？

テストシナリオ作成開始

Autify Recorder起動中

ブラウザの操作だけで、こんな感じのテストシナリオができあがります

テストシナリオのメンテナンスが楽(になるような気がする)

Autifyのウリの一つである「AIによるテストシナリオの自動メンテナンス」も強力な機能になる可能性を感じさせてくれます。

今はまだ完全自動メンテナンスを実現できているわけではないのですが、 テスト結果にて「成功」「失敗」だけではなく「要確認(表示がちょっと変だよ)」のステータスを返すことができます。

こんな感じで確認を促がされることがあります

要確認の結果が出た場合には、実際にスクリーンショットを確認してテストシナリオを修正しても良いし 「問題無し」としてAutifyに学習させることも可能です。

これまでのツールと違いAutifyでは要確認のステータスによってテストシナリオが「小さく壊れてくれる」ので、 メンテナンスの手間が大分少なくなるような気がしています。

サポートがとても早い

Autifyのダッシュボードには近年流行りのライブチャットシステムが搭載されていて、気軽に問い合わせが可能です。

一度テストシナリオの保存に失敗したことがあり「まあ、そんなこともあるよね」と思ってスルーしていたら、 Autify代表の近澤さんからトークがきてめっちゃビビりました。問い合わせる前にサポートされたのは初めての経験で、とても好感を覚えました。

問い合わせ前にサポートを受ける(正直超びっくりした)

今後も継続して使ってみます

そんなわけで良いことばかり書きましたが、Autifyは提供開始から日が浅いサービスなので、まだまだ荒削りな部分はあります。 (テスト実行速度が遅かったり、簡単にテスト実行環境を切り替えられなかったり、時折レコーダーが動かなくなったり)

しかしながら既に実戦投入しても問題ないほどの便利さを備えていて、 今もかなりのスピード感で新機能や機能改善が進んでいるので、まずはお試しで使ってみても良いのではないでしょうか？

QAチームではこれからも継続して利用したいと考えています。 以上、Autifyの試用レポートでした。