AI導入は小さく試す：試験導入（PoC）の進め方と確認すること

AIの導入を検討するとき、よく聞かれるのが「本当に効果があるのか分からない」という声です。費用をかけて全社に導入したものの、思ったほど使われなかったという事態は避けたいところでしょう。

そこで取り入れたいのが、対象を絞って小さく試す試験導入です。試験導入はPoC（Proof of Conceptの略で、考え方や仕組みが実際に役立つかを確かめる取り組み）とも呼ばれます。

この記事では、AIの試験導入を進める流れを、始める前・試している間・終わった後の3つの段階に分けて紹介します。試験導入でつまずきやすい点も最後に取り上げるので、あわせて参考にしてください。

試験導入で確かめたいこと

試験導入の目的は、本格的に導入する前に「この業務でAIを使う価値があるか」を確かめることです。確かめる内容は、大きく分けて3つあります。

1つ目は、AIの出力が業務で使える品質かどうかです。下書きとして使えるのか、大きく直さないと使えないのかを見ます。2つ目は、作業時間や手間がどの程度変わるかという点です。3つ目は、現場で無理なく続けられるかどうかで、操作の分かりやすさや確認の手間も含まれます。

この3つのどれかが欠けると、本格導入の判断が難しくなります。品質は高くても確認に時間がかかりすぎる場合や、時間は減っても現場が使いにくいと感じる場合もあるからです。

始める前に決めること

試験導入を始める前に、対象の業務、利用者、期間、判断基準の4つを決めておきます。

対象の業務は、一つか二つに絞るのが目安です。くり返し発生し、進め方がある程度決まっている作業が向いています。どの業務を選ぶかは、AIに任せる業務の選び方を参考にしてください。

利用者は、対象の業務を日常的に行っている数名に絞るのが基本です。AIに前向きな人だけでなく、慎重な人にも加わってもらうと、本格導入したときに出てくる意見を早めに把握できます。

期間は、結果を判断できる長さで、かつ長すぎない範囲に設定しましょう。業務の頻度によって適した長さは変わります。毎日発生する作業なら短い期間でも結果が見えますが、月に一度の作業なら数か月を見込む必要があるかもしれません。

最も時間をかけて決めたいのが判断基準です。「作業時間が今より短くなる」「出力を少し直すだけで使える」「利用者が続けたいと答える」など、何が確認できれば次に進むかを言葉にしておきます。基準がないまま始めると、終わった後に「よかった気もするが、判断できない」という状態になりがちです。

試している間に記録すること

試験導入の期間中は、結果を後から振り返れるように記録を残します。記録したい項目を表にまとめました。

記録は、利用者の負担にならない形にすることが大切です。細かい記録を求めすぎると、記録そのものが負担になり、AIを使う回数が減ってしまうこともあります。簡単な記入用の表を用意して、作業のたびに数行書いてもらう程度が現実的でしょう。

期間の途中で、利用者に短い聞き取りをするのも効果的です。困っている点が早めに分かれば、指示文の見本を直したり、使い方を補足したりできます。

終わった後に判断すること

期間が終わったら、記録をまとめて、始める前に決めた判断基準と照らし合わせます。判断の結果は、主に4つに分かれるでしょう。

基準を満たしていれば、利用者や対象の業務を広げる段階に進みます。基準に届かなかったが改善の見込みがある場合は、指示文や使うツールを見直してもう一度試すという選択もあります。

基準を大きく下回った場合は、その業務へのAI導入をいったん見送るのも立派な判断です。試験導入は、うまくいかないことを早めに知るための取り組みでもあります。見送った理由を記録しておけば、ツールの性能が変わったときに改めて検討する材料になるでしょう。

もう一つ、既製のツールでは足りず、社内の資料とつなぐ仕組みや専用のアプリが必要だと分かる場合もあります。この場合は、開発の費用と期間を見積もったうえで、次の段階を検討する流れです。

効果の測り方については、AI導入の効果をどう測るかで詳しく説明しています。

試験導入でつまずきやすい点

試験導入でよく見られるつまずきは、判断基準を決めずに始めてしまうことです。前の章で触れたとおり、基準がないと結果を評価できません。

期間を長く取りすぎるのも注意したい点です。期間が長いと、途中で関心が薄れ、記録が残らなくなることがあります。区切りのよい短めの期間で試し、必要なら延長するほうが進めやすいでしょう。

試験導入の環境が、本格導入するときの環境と大きく違う場合も注意が必要です。たとえば、試験導入では個人のアカウントで使い、本格導入では会社として契約する場合、使える機能や管理の方法が変わることがあります。ツールの機能や料金は変わるため、導入時は公式情報を確認してください。

問い合わせ回答を試すときの評価セット

商品問い合わせへの回答案を作る試験導入を想定します。公開カタログを使う例で、実際の企業の導入結果ではありません。評価に使う質問は、うまく答えられそうなものだけを集めないようにします。

各質問について、担当者が期待する回答の要点を書いておきます。完成した文章の一字一句をそろえる必要はありません。「価格を作らない」「必要な条件を聞く」といった判定項目があれば、表現が違っても合否を判断できます。

最初に用意した例の一部は調整に使い、残りは最後の確認用に取っておくと、特定の質問だけに合わせた指示になっていないかを見られます。少数の例で確かめた結果は、全業務の精度として報告しません。対象と件数、含まれていない条件も記録します。

途中で指示文を変えたら、変更前後を分けて記録する

試行中に出力を直すこと自体は問題ありません。ただし、毎回違う指示で試し、その結果を一つにまとめると、どの条件で使えるようになったか分からなくなります。指示文に版番号を付け、変更日と変更理由を残します。

たとえば、初版では資料にない納期を補ってしまったため、次の版で「不明な納期は確認中と書く」を追加したとします。この場合、修正後の質問だけでなく、以前うまく答えた質問ももう一度確認します。新しい指示によって、回答できる内容まで答えなくなっていないかを確かめるためです。

利用者が独自に修正した箇所も、共有する記録に残します。「毎回最初の段落を削る」という使い方が続いていれば、出力を短くする指示で改善できるかもしれません。一方、毎回資料を調べ直しているなら、入力資料や業務の選び方を見直す必要があります。

終了日に決める内容を先に書いておく

試験導入の開始時に、終了日の報告書を一枚用意しておくと、記録漏れを防げます。対象業務、利用者、試した件数、作業時間、重大な誤り、運用上の困りごと、次の判断を書く欄を設けます。

続行する場合も、一度に全社へ広げる必要はありません。通常の問い合わせに限定して利用者を増やす、別部署で同じ評価を行う、といった次の範囲を決めます。品質に問題が残った場合は、修正する箇所と再確認する日を決め、延長の目的を具体的にします。

入力資料の利用許可が取れない、確認にかかる時間が継続的に増える、誤りを使用前に発見できないといった状態では、見送りも選択肢です。終了判断を曖昧にせず、何が変われば再検討するかまで残すと、同じ試行を繰り返す手間を減らせます。本格利用への移行は、AIを社内に広げる手順と合わせて検討してください。

まとめ

AIの試験導入は、対象の業務・利用者・期間を絞り、判断基準を決めてから始めます。期間中は作業時間や出力の品質、困った点を記録し、終わった後に基準と照らし合わせて次の段階を決めるという流れです。

小さく試すことで、費用と手間を抑えながら、AIが自社の業務に合うかどうかを確かめられます。うまくいかなかった場合も、その理由が分かること自体に意味があります。

e-Grantsは、愛知県一宮市のAIカンパニーです。名古屋・愛知の企業に向けて、業務の洗い出しから小さく試す試験導入、社内ルールと定着の支援までを行うAI導入コンサルティングを提供しています。試験導入の対象や進め方を相談したい場合は、30分の無料AI活用診断をご利用ください。