🏠 TOPに戻る

🧪 Playwright Agents：AI搭載テスト自動化革命

2025年10月10日

← 日次スライド一覧 🏠 ホーム 🔗 Playwright公式

📋 概要：Playwright Agents とは？

▼
Playwright Agents（v1.56）は、AI（大規模言語モデル/LLM）を活用した3つのビルトイン・エージェントによって、Webアプリの探索からテストコードの生成・実行、失敗時の修復までを完全自動化する革新的な機能です。

🤖 3つのAIエージェント

🎯 Planner（プランナー）

役割：アプリケーションを自動探索し、ユーザー視点のシナリオに基づいた詳細なテスト計画をMarkdown形式で生成

  • 製品要件ドキュメント（PRD）を入力として活用可能
  • 機能リスト、ステップ、期待結果を構造化
  • 抜け漏れの少ないテストシナリオを自動提案

⚙️ Generator（ジェネレーター）

役割：Plannerが作成したMarkdown計画を読み取り、実行可能なPlaywrightテストコードを自動生成

  • ブラウザ上で実際に要素を確認しながらコード生成
  • セレクタ取得とAssertion検証を自動化
  • シナリオごとに個別テストファイルを出力

🩹 Healer（ヒーラー）

役割：テスト失敗時に原因を解析し、テストコードを自動修正する自己回復機能

  • アクセシビリティツリーやページ状態を解析
  • ロケータ更新、待機処理調整を自動実施
  • テストが通るまで修正を繰り返し

🔄 エージェント・ループ

3つのエージェントを連携させた自動ワークフロー：

  1. Plannerがアプリを探索しテスト計画を生成
  2. Generatorが計画からテストコードを自動生成
  3. Healerがテスト失敗を検出して自動修復
  4. 修正後のテストを再実行し、サイクルを継続

初期設定：npx playwright init-agents --loop=<環境>（vscode・claude・opencodeから選択）

🚀 従来のPlaywrightや既存ツールからの進化

▼

1️⃣ テスト生成方法の革新

項目 従来のCodegen 新Plannerエージェント
テスト範囲 手動操作した範囲のみ記録 LLMが自動探索し網羅的にシナリオを洗い出し
発想の依存 人間の考案に完全依存 要件や仕様書から自動推論
抜け漏れリスク 高い（人間の見落とし） 低い（AIが多様なフローを提案）
分析方法 静的な記録のみ ライブアプリ挙動に基づく動的分析

2️⃣ セルフヒーリング（自動修復）の完全自動化

🔧 従来（v1.52）：Fix with AI

  • VS Code上で✨ボタンクリック
  • GitHub Copilotが修正提案
  • 開発者のレビュー・承認が必要
  • 半自動的なアプローチ

✨ 新Healerエージェント

  • デバッグモードで自動実行
  • 失敗箇所を即座に検出・解析
  • 人手を介さず自動修復ループ
  • 完全自動化を実現
商用ツール（Testim、Mablなど）でのセルフヒーリング機能を、オープンソースのE2Eフレームワークに統合した点が画期的！

3️⃣ ブラウザ操作のAI統合（MCP採用）

MCP（Model Context Protocol）：Anthropic社が提唱するオープン標準プロトコル

  • LLMエージェントがPlaywrightのブラウザ制御APIに直接アクセス
  • 実ブラウザ上のページ内容を確認しながら操作実行
  • アクセシビリティツリーをリアルタイム取得し、高速・高信頼な要素認識
  • スクリーンショット解析不要で、「見た目」「意味」を理解した操作選択
  • 将来的に自然言語指示（「ログインしてプロフィール更新を確認」など）を可能に

4️⃣ 開発ワークフローへのシームレス統合

VS Codeとの連携強化：

  • チャットUIで「この機能のテストを書いて」と指示するだけ
  • Planner → Generator → Healerが順次自動実行
  • テストコードの生成・修正まで完全自動化
  • エンジニアはテストの意義やカバレッジの検討に注力できる

※現在はNode.js版Playwright Test + VS Codeで真価を発揮（Python/.NET未対応）

⚖️ Cypress・TestCafeなど競合製品との差分

▼

🤖 AIによるテスト生成・修復機能の比較

製品 AI機能 リリース状況 特徴
Playwright Agents Planner・Generator・Healer ✅ v1.56正式リリース（2025年10月） オープンソースで誰でも利用可能、完全自動化
Cypress cy.prompt 自然言語プロンプトでコード生成 🔶 早期アクセス段階（正式版は2025年夏～秋予定） クラウドサービス上で動作、キャッシュ機能あり
TestCafe なし ❌ AI機能未提供 従来の手動コーディング主体

🔐 アプローチの違い：オープン vs クローズド

🌐 Playwright Agents（オープン）

  • MCP + 選択したLLMを自由に組み合わせ
  • GPT-4、Claude、ローカルLLMなど選択自由
  • テストコードは手元に残り、手動メンテナンス可能
  • 透明性・可搬性に優れる
  • 社内MCPサーバー + ローカルモデルでオフライン運用可能

☁️ Cypress cy.prompt（クローズド）

  • Cypress社管理のクラウドAIサービス
  • 使用モデルやプロンプト最適化はブラックボックス
  • 生成テストを自動キャッシュし高速化
  • プロンプト自体をテストケースとして管理
  • Cypress Cloud必須（オフライン利用不可）

🌍 フレームワーク/環境の基本的な違い

項目 Playwright Cypress TestCafe
ブラウザ対応 Chromium・Firefox・WebKit（全対応） Chromium系中心（WebKitはExperimental） 主要ブラウザ対応
言語サポート Node/Python/Java/.NET JavaScript/TypeScriptのみ JavaScript/TypeScriptのみ
並列実行 マルチコンテキスト前提で優秀 制約あり（独自アーキテクチャ） 対応可能
AI機能環境 ローカル/クラウド選択自由 Cypress Cloud必須 なし

住み分けの傾向：

  • 自由度・透明性を重視 → Playwright Agents
  • 手軽さ・一体感を重視 → Cypress
  • 従来手法を継続 → TestCafe

💰 料金・ライセンス体系の比較

▼

🆓 Playwright Agents

OSS無料（Apache License 2.0）

本体・Agents機能：完全無料（Microsoft開発のオープンソース）

追加コスト：LLM利用料のみ

💵 LLM利用料の目安

LLM選択肢 料金体系 コスト例
GitHub Copilot 月額サブスクリプション 個人：約$10/月
GPT-4 API トークン従量課金 入力$0.03/1Kトークン
出力$0.06/1Kトークン
1テストケース生成：数十円以下
GPT-3.5 API トークン従量課金 GPT-4の1/10以下
Anthropic Claude API トークン従量課金 大容量入力対応（最大100Kトークン）
料金はGPT-4より高め
オープンソースLLM
（Code Llama等）		 セルフホスト モデル利用料無料
※GPUリソース・セットアップ負担あり

☁️ Cypress cy.prompt

試験期間中：追加料金なし

現状：Cypress Cloud契約が必要（試験リリース中は追加料金なし）

制約：プロンプト呼び出し回数に内密な上限あり

正式版：利用料プランへの組み込み予定

💳 Cypress Cloud料金（参考）

  • 有料プラン：並列実行、録画ダッシュボード等を含む月額課金
  • ユーザー数・テスト実行数に応じた従量課金
  • AI機能は将来的に上位プラン特典またはアドオン化の可能性

🔧 TestCafe

OSS版：無料

付随ツール（TestCafe Studio等）：過去に有償提供あり

2025年現在：AI関連サービスなし

実質コスト：手作業工数（人件費）がボトルネック

📊 コスト比較まとめ

製品 初期投資 運用コスト 備考
Playwright Agents なし LLM利用料のみ（選択自由） 最も柔軟で低コスト運用可能
Cypress cy.prompt なし（試験期間中） Cypress Cloud料金
（将来的にAI機能追加料金の可能性）		 統合管理の手軽さあり
TestCafe なし 人件費（手作業工数） AI機能なく工数負担大

✅ まとめ・選択ガイド

▼

🎯 Playwright Agentsの強み

💡 革新性

  • 「テストを書く」→「テストを考える」へワークフロー転換
  • オープンソースで先進的なAI統合
  • 完全自動化の実現

💰 コスト効率

  • 初期投資ゼロで導入可能
  • LLM選択自由で柔軟なコスト管理
  • 使い方次第で低コスト運用

🔐 透明性

  • 生成コードが手元に残る
  • オフライン運用可能
  • 企業ポリシーに柔軟対応

⚠️ 留意点

  • 発展途上：2025年10月リリースで、日本語UI対応など課題あり
  • 環境制約：現在はNode.js + VS Code環境で真価を発揮
  • 学習コスト：MCP、エージェント連携の理解が必要
  • 品質管理：生成テストの質を検証する体制が必要

🚀 推奨アプローチ

  1. 小規模検証から開始：1-2機能で効果とコストを見極め
  2. 段階的導入：成功事例を積み上げながら本格展開
  3. ハイブリッド運用：手動テストとAI生成テストを組み合わせ
  4. 継続的改善：生成テストの品質をレビュー・改善し続ける

🔮 今後の展望

自動テスト分野におけるAI活用は今後数年で標準機能化する見込み。PlaywrightやCypressを皮切りに、各社で同様の機能が急速に普及していくと予想されます。

✨ 選択のポイント：

  • Playwright Agents：自由度・透明性・コスト効率を重視する開発チーム
  • Cypress：統合管理・手軽さを重視し、クラウド利用が可能なチーム
  • TestCafe：従来手法を継続、AI機能の必要性が低いプロジェクト

自社の技術スタック・体制・費用対効果を総合的に比較検討し、最適なツールを選択してください。