AIを活用したシステム開発で「説明責任」を果たすための設計方針

Web担当者がAIを活用した新しいシステムや機能の導入を社内に提案しても、「中身がわからない」「問題が起きたときに誰が責任を取るのか」という理由で、承認が進まないケースがあります。

この問題の根底にあるのは、AIが処理する内容や判断の根拠を外部に説明できる状態にできているかという点です。どれだけ機能的に優れたシステムであっても、入力に対して出力が生まれる仕組みを説明できなければ、組織として採用の判断ができません。

本記事では、AIを使ったWebシステム開発において説明責任を担保するために必要な設計と体制の考え方を整理します。

AIを活用したシステム開発では、「便利そう」「開発スピードが上がりそう」といった期待がある一方で、社内承認の段階では慎重な確認が求められます。特に大企業では、導入後の保守、障害時の対応、監査や顧客への説明まで含めて判断されます。

そのため、AIが生成したコードや処理内容について担当者が第三者に説明できない状態のままでは、承認プロセスを進めにくくなります。AIを使っていること自体が問題なのではなく、AIをどのように使い、どの範囲を人が確認しているのかを説明できないことが課題になります。

AI開発で「説明できる」とはどういう状態か

AIシステムにおける説明責任とは、どのような入力を与えると、なぜそのような出力が生まれるのかを、担当者が第三者に対して説明できる状態を指します。

これは、AIの処理を完全に透明化することとは異なります。AIモデルの内部動作は現時点では完全に説明しきれるものではありません。しかし、次のような点を明示できれば、組織として判断できる状態に近づけることができます。

• どのような指示、プロンプト、ハーネスをAIに与えているか
• AIの出力をどの工程で確認し、どのように修正しているか
• リスクをどの範囲で制御しているか

大企業の担当者が上位の意思決定者に提案する際も、この3点を説明できる状態であれば、AI開発の必要性や妥当性を伝えやすくなります。

AIによるコード生成を使う場合、自社の開発規約やルールを指示に組み込まず、AIに全処理を任せてしまうと、生成されたコードが自社の担当者には読み解きにくい状態になることがあります。

自社の開発標準、命名規則、構造ルールがない状態でコードを生成させると、AIは汎用的な構成でコードを出力します。この場合、後から担当者がコードを確認・修正しようとしても、どこに何が書かれているかを追うのに時間がかかります。

問題が発生したときにこのコードが何をしているかを外部に説明できない状態になると、システムの保守、改修、品質保証を担保できません。AIによる開発効率化を進めるほど、可読性と説明可能性を維持する設計が重要になります。

AIを使った開発で説明責任を維持するためには、ツールの性能だけでなく、開発の進め方そのものを設計する必要があります。特に重要なのは、次の3点です。

1. 自社の開発標準をAIへの指示に組み込む
   コードの命名規則、構造、コメントのルールなど、自社の開発規約をプロンプトに含めることで、AIが出力するコードを自社の担当者が読み解ける状態に保てます。
2. AIが処理する範囲を要素単位で分解する
   全処理を一度に生成させるのではなく、機能ごと、処理ステップごとに分解してAIに処理させ、各段階で担当者が確認できる構成にします。これにより、問題が発生した際に、どの処理に起因するかを特定しやすくなります。
3. 入力と出力の対応関係を記録する仕組みを設ける
   どのような指示を与えた結果、どのような出力が生まれたかを記録することで、後から検証・説明できる状態を維持できます。

AIを使ったシステム開発を外部に発注する場合、発注側のWeb担当者は、開発会社がAIを使っているかどうかだけでなく、どのようにAIを使っているかを確認する必要があります。

まず確認すべきなのは、開発会社が自社の開発標準をAIの指示設計に反映させているかという点です。汎用的な生成AIの出力をそのまま使う場合と、開発標準を組み込んだ設計で使う場合では、後から保守・修正する際の工数が大きく変わります。

次に、AIが関与した処理のどの部分を人間が確認しているかについて、工程の説明を求めることも重要です。検収の段階だけでなく、開発中の各工程でどの範囲を人間が確認しているかが明確になっていることが、品質担保の基本条件になります。

発注前には、少なくとも次の点を確認しておくとよいでしょう。

• 開発標準がAIへの指示設計に反映されているか
• AIが関与する処理範囲が明確になっているか
• 人間が確認する工程と責任範囲が定義されているか
• プロンプトや出力結果の記録が残る仕組みになっているか
• 問題が起きたときの対応手順を説明できるか

AIを使った開発において説明責任を担保するためには、ツールの性能だけでなく、指示設計、処理の分解、記録の仕組みが必要です。これらが整備されていることが、社内承認、顧客への説明、保守体制の前提条件になります。

発注側のWeb担当者としても、「どの処理をAIが担い、どの工程を人が確認しているか」を確認する視点を持つことが重要です。AIを活用するほど、人が説明できる状態を保つ設計が、開発の信頼性を左右します。

LYZONでは、AIを活用したWebシステム開発における説明責任設計や、発注時の確認事項の整理についてご支援が可能です。AI開発の社内承認、発注判断、保守体制に不安がある場合は、検討段階からぜひご相談ください。