omusubi techblog

This website is my technical memo (Mobile/Wireless)

ChatGPTに3GPP仕様を解説してもらった

はじめに

この記事は、ChatGPT(GPT-4)に3GPPのTS/TR、寄書、会合の議事録などを要約・解説してもらえないか、お試しした結果を記しています。

結論、2023/10時点では下記印象です。

  • TS/TRは分量が多すぎて一括ですべて要約するのは厳しい。
    セクション毎ならひと手間かければ、抽象的な要約程度には使えるかも
  • 寄書や議事録のサマリも、プロンプトを工夫すれば有用かも
    (文章量が多すぎるとざっくり省かれてしまうので、細かに分けるなど)
  • Advanced data analysis つよい

以下では、NTN (Non-Terrestrial Network)を例に、お試しした結果を述べていきます。
[2023/11/06 寄書要約お試しを追記しました]
[2023/11/07追記]

データ量が多いとまだまだかなと言っていたら、さっそくアップデートがきました

今日発表された「ChatGPTのアップデート内容」まとめ | ギズモード・ジャパン

まだ開発者向けプレビューのみのようですが、非常に期待です。

 

 

WebBrowsing

Bing等にも搭載されている、Webページをクロールしてそれっぽい回答をしてくれる機能です。

あなたは3GPP仕様の専門家です。 3GPP TS38.300における、NTN(非地上系ネットワーク)のRel-17での追加・変更事項をすべて列挙してください。

WebBrowsingできいてみた

TS38.300の指定はあっても無くても結果としては変わらず、TSを細かく見た感じは見受けられませんでした。引用元としては、NTNで検索して上位に出てくる下記のサイトが

用いられていました。引用元があることで、そこまでおかしな記述は無いのですが、
知りたかったNTNの詳細仕様はここからは読み取れなさそうです。あるキーワードのサマリを調べるのには向いているかもしれません。

3GPP公式サイト : NTN & Satellite in Rel-17 & 18

3GPP NTN(非地上ネットワーク) 仕様解説

WebPilot

こちらは指定したWebサイトを読み込んで分析してくれるプラグインです。

例えば、TS38.300だと下記Webサイトにテキストで置かれているので、これを読みこんで、同じような指示を実行してみました。

inside TS 38.300: Non-Terrestrial Networks

 

WebPilotで聞いてみた

WebBrowsingよりかは遥かに粒度が細かくなっていることが分かります
(というより指定サイトを翻訳して、要約してる感じなので当たり前な気もしますが)

この状態から、下記のように指示するとさらに詳しく解説してくれます。

タイミングと同期について詳しく教えてください

詳しく要素を解説

課題もご丁寧にまとめてくれるが、当たり障りない

ここまでは、"重要です"や"異なる場合がある"など、ざっくりまとめられているので、

より具体的に聞いてみます。特に、最後の"特定のフレーム構造が定義されている"はどこか違和感があります。そんなの定義されてたっけ。

特定のフレーム構造について詳しく教えてください

逆に一般的になってしまった

なんということでしょう。
情報が少ないからという理由で一般的な要点ではぐらかされてしまいました。しかも、フレーム長やサブフレーム長が調整されるという、本文に記載のない回答も増えています。この後、本文に記載されていないことは回答禁止 とプロンプトを足しましたが、回答に変化はありませんでした…

AskYourPDF

こちらはWebPilotと異なり、PDFのURLを指定することで分析可能なプラグインです。
3GPP関連はほとんどがWord(.docx)なので、PDFは少ないですが、
ETSI版のTS38.300(v17.0.0)を読み込ませ、同じ指示を実行してみました。

https://www.etsi.org/deliver/etsi_ts/138300_138399/138300/17.00.00_60/ts_138300v170000p.pdf

ちょっと文面違うけどざっくり感は同じ

変わらずざっくりしているので、詳しく聞いてみます。

ユーザプレーンの側面について詳しく教えてください

なんかイマイチ・・・

さらにイマイチになってしまいました。WebPilotはtech-inviteのNTNのセクションだけを対象にしていたのに対して、こちらはTS38.300全体から分析しているせいもあるかもしれません。このあと、いろんなプロンプトを試してみましたが、下記のように分量オーバー的な回答が返ってきて、思ったような回答は得られませんでした。

一度にすべてを読み込むことはできませんでした。以下は、読み込んだ部分から得られた~

ちなみに、「16.14.2 User Plane aspects  について詳しく教えてください」というようにセクションを指定しても、若干回答は変化しますが、あまり多きな改善は得られませんでした。

したがって、TS/TRのように文章量が膨大だと、現状だと文章を細かく分割するなどの1手間を加えないと、そもそもChatGPTで読み込むことが難しそうです。

Advanced data analysis

最後に、最近登場した新機能 Advanced data analysisを試してみました。

こちらは、プロンプトをもとに、ChatGPT上でPythonコードが生成され、実行される機能で、様々なファイル形式の読込・生成に対応しています。

今度はTS38.300の3GPP公式ワードファイルを読み込んで、同じ指示を実施ししてみましたが、やはり読み込みがうまくいかず、まともな回答が得られませんでした。

ということで、TS/TRは諦めて、寄書やChair notesを試すことにしました。


Chair notesでお試し

下記のRAN2#123bisの議事録を読み込ませることにしました。

https://www.3gpp.org/ftp/tsg_ran/WG2_RL2/TSGR2_123bis/Inbox/Chair_Notes/RAN2-123bis%20-%20NR-NTN-IoT-NTN%20(Sergio)_2023-10-12-1800.docx

毎度ながら、議事録はなかなか見づらくて合意事項や議論状況がパッと見ではわからないので、これをまとめてくれるとかなり嬉しいはずです。

 

また、指示するプロンプトも今までの反省を活かし、下記のようにしてみました。

あなたは3GPP仕様のエキスパートです。 下記手順で議事録の要約を作成してください

1.文章全体を読み込み、目次を作成する(英語)。省略しないこと。

2.目次の中からこのあと指定した章(サブセクションも含む)について、内容を要約する

3.内容の要約には合意事項を含め、詳しく述べること

4.1度にすべて読み込めないときは、何回かに分けて読み込むこと

最初の配役設定みたいなフレーズは、あっても無くても変わらなかったので、雰囲気です。

手順1の結果がこちらです。

目次読込は成功!

試しに、7.7.2 Coverage Enhancements を要約してもらいます。

結構それっぽいぞ!

今まで試してきた中では、一番具体的かつ、いい感じの出力が得られました。

合意事項については恐らく本文の下記文面を用いたと思われ、大きな乖離はなさそうです。

本文のAgreements

主な討論点は、???なチョイスな気もしますが、まったく関係のないキーワードではなく、頻繁に出てくるキーワードから選択されている感じがします。


寄書要約でお試し

NTN関連のRel-18のWI寄書である下記でお試ししてみました。
RP-220953 NR NTN (Non-Terrestrial Networks) enhancements

単に要約してくれ、といった指示だけだとこれまた上手くいかなかったので、

もう少し具体的に指示しました。

あなたは3GPP仕様の専門家です。

読み込んだ寄書の提案について、

・背景(Justificationのセクション)

・目的(Objectiveのセクション)

・リードWG(Work item leadershipのセクション)

・関連WG(Aspects that involve other WGsのセクション)

を日本語で解説してください。

いずれも内容は省略せず、記載されていない内容は含めていはいけません

Objectiveが省かれちゃった

目的以外は大体良い感じに見えます。Objectiveの文章が多すぎて、例のごとくザックリ省かれてしまったようです。対して、同様に"Objectiveについて詳しく教えてください"と指示しましたが、やはり上手く本文をトレースできていないようでした。

なので、セクションの見出しを再度読み込ませつつ、解説をさせるようにしました。

目的(Objectiveのセクション)のセクション見出しを列挙し、解説してください。

Objectiveの解説

一部怪しいですが、パッと流し見する程度の要約にはなっている感じがします。

まとめ

ということで、ChatGPTに3GPP仕様を解説してもらう試みですが、現状ではTS/TRを読み込ませて分析は分量的に厳しいものの、Advanced data analysis を用いてChair notesのdocxを放り込んで要約させる程度には有用な気がします。
また、寄書についても、文章量が多くなると一工夫というか分けて指示を行う必要がありますが、ある程度有用と思われます。