『ChatGPT』と『BingAI』どっちがいいの?システム開発における文章生成AI”比較編”

『ChatGPT』と『BingAI』どっちがいいの?システム開発における文章生成AI”比較編”

  • Azure
  • Azure OpenAI Service
  • ChatGPT
  • Microsoft
  • OpenAI
  • 全業種

プロンプトエンジニアリング応用編(ChatGPT)に続き、今回は比較編として同じ無料版の『BingAI』を用いてシステム構築した内容を紹介します。

(前の記事:AI活用によるシステム開発『プロンプトエンジニアリング』応用編

取り組みの概要

本取り組みは『BingAIから生成されたコード』を用いて実際に開発を行うという内容です。

プロンプトエンジニアリングの循環イメージ画像

【前提条件】

  • アパレル系ECサイトのレイアウトをコーディングすることを目的とする
  • 使用する言語はHTML、CSS、JavaScript(jQuery)とする
  • ChatGPTで検証した時と同様に、日本語プロンプトを英語に翻訳してBingAIに投げる
  • BingAIの会話スタイルは「より厳密に」を設定する

プロンプト初回

プロンプトエンジニアリングの画像

プロンプト説明

  • 「Web developer」という役割を果たすために、アイデンティティの指示をする文を最初に入れます
  • 初回はサイトの「ロゴとメニュー」に関するプロンプトを実行します
  • 前回と同様英語に翻訳してから、サイトのロゴとメニューに関するプロンプトとイメージスライダー機能用のプロンプトを分けて実行します

生成結果

コードが問題なく生成されているように見受けられます。

生成されたコードの画像
  • HTML、CSSコード別、枠で囲んで作成している
  • classやid属性も適切に使うなど、プロンプトの中にある「基本ルール」も反映されている

構築結果

システムを構築した結果の画像

プロンプトの通り『タイトル』、『メニューバー』は実装されておりますが、『サブメニュー』が実装されておりません。

プロンプト2回目

『サブメニュー』が実装されないエラーの解消を求めてコードの修正を依頼します。

プロンプトエンジニアリングの画像(2回目)

ChatGPTは依頼するたびに常に全部コードを作り直していましたが、BingAIの場合は部分的に修正してくれます。

構築結果(2回目)

システムを構築した結果(2回目)

指示通り修正して実行しても『サブメニュー』は表示されませんでした…。

プロンプト3回目

再度エラーの解消のために回答を求めます。

生成結果(3回目)

プロンプトエンジニアリングの画像(3回目)

今度はコードではなくて設定周りの確認が返ってきましたので、全部問題ないことを回答します。

プロンプトエンジニアリングの画像(3回目)

すると別の確認依頼に紛れて修正コードが返ってきましたので反映してみます。

構築結果(3回目)

システムを構築した結果(3回目)

反映した結果、無事に『サブメニュー』を表示することができました。

プロンプト4回目

最後はイメージスライダーの作成を依頼します。
(プロンプトはChatGPTの検証時と同じです)

プロンプトエンジニアリングの画像(4回目)

生成結果(4回目)

生成されたコード(4回目)
  • イメージスライダーに必要なソースを各プログラム言語セクションごとに分けて作成している
  • インターネットからイメージを参照する依頼については、任意のサイトからイメージを参照して表示させると想定していたが、サンプルコードという観点でもありひな形で定義してくれた
  • 既存ソースコードは省略して親切な印象を受ける

構築結果(4回目)

システムを構築した結果(4回目)

イメージスライダーの形ではありませんがイメージが順番的に切り替わることは確認できました。

ただし手動で切り替えることができないのと、なぜか左にイメージが寄っています。

プロンプト5回目

上記の追加と修正の依頼をします。

プロンプトエンジニアリングの画像(5回目)

生成結果(5回目)

生成されたコード(5回目)

新しいコードが生成されましたので反映してみます。

構築結果(5回目)

システムを構築した結果(5日回目)

なぜがイメージが消えました…。

矢印ボタンの位置もおかしいです…。

その後について…

プロンプトエンジニアリングの画像(その後)

その後も画面表示の問題に対して修正依頼を試みたもの設定周りの確認の回答が主となり、BingAIによるソースコードの再生成はありませんでした…。

本取り組みの率直な感想

  • ChatGPTと同様に何度もコードを依頼してエラーを解消していく必要があるので万能ではない
  • ChatGPT(無料ver)では頻発した途中で回答が途切れる現象がなかったのは利点
  • チャットからの回答だけでなく、参照先URLを提示してくれるので信憑性が高い
  • 対話形式のサポートがあるのは使いやすい(ただしコード生成の邪魔をしている可能性あり)
  • 対応言語ごとの回答内容(出典も含む)が異なるため、英語にこだわる必要はないのは便利

コード生成における『ChatGPT』vs『BingAI』

結論:ChatGPTの方が向いていると思われる

ChatGPTとBingAIの性能比較

簡単な表ですが、感覚的にはこのような感じかと思います。

コード生成能力

→ChatGPTとBingAIのどちらもユーザーの意図に近い結果を出すことができます。

回答スピード

→ChatGPTがBingAIに比べて生成速度が早かったです。
おそらくBingAIの場合はネット検索での時間が発生するためと思われます。

使いやすさ

→ChatGPTの場合はブラウザやプロンプトにおける文字数・回答数制限がありません。
→BingAIの場合はEdgeブラウザのみ利用可かつプロンプトの文字数・回答数制限があります。(2023年6月時点)

BingAIおもしろ新発見

ChatGPTではなかった面白い回答がありましたので2つほどご紹介します。

①コード生成前に確認メッセージを挟む

BingAIの回答1

プロンプトに対して確認を挟むような回答が返ってきました。

この回答に「HTMLとCSSコードの例を提供してくれ」と返答すると、プログラムコードを作成し始めました。

②強引に話題を変える

BingAIの回答2

NodeJSを用いたチャット機能に関する実装をAIチャットボットにお願いしたら実装方法について説明してくれましたので、その説明文を基にコードを書いてとリクエストしました。

最初はコードを書き出していたようですが途中まで書いた内容を全部消して、何事もなかったように「話題を変えましょう」(上のイメージ)という答えが返ってきました。

コード生成中に何かしらのエラーが発生した可能性があるのかもしれません…。

まとめ

今回は前回のChatGPTに引き続きBingAIでコード生成してシステム構築を試してみました。

上記にもある通り、コード生成においては「ChatGPT」に軍配があがりますが、何か調べ物をしたい必要な情報を纏めてほしいというニーズには「BingAI」の方が使い勝手が良さそうです。

それと会話という意味では「BingAI」の方が自然体です。

いずれにせよ今回も無料版での試みになるので、本格的な事業での活用を検討する際は「Azure OpenAI Service」のような有料版を利用することになりますが、その場合はまた結果が変わってくるかと思います。

次回は”Chat”ではないGPTモデルについてご紹介します。
GPTは「Chat」だけじゃない?意外と知られていない生成AI『BioGPT』とは

今回のコラムに関連のある資料

[ChatGPT] vs [Bing AI] vs [Google Bard] システム開発における生成AI比較

[ChatGPT] vs [Bing AI] vs [Google Bard] システム開発における生成AI比較

システム開発において生成AIの代表格である「ChatGPT」「Bing AI」「Google Bard」の性能を比較検証した資料です。 各生成AIから出力されたソースコードで簡易ECサイトを構築する取り組みを解説しています。

CONTACT お問い合わせ

クラウドとAIのことなら船井総研デジタルまで
まずはお気軽にご相談ください