| Tweet | |
| 王, 柗本真佑, 楠本真二, "LLMを用いた協調的メタプログラミング手法に対するコード生成能力の再評価 ~MetaGPTを対象として~," 電子情報通信学会技術研究報告, 124(429), pp. 140-145, 2025年3月. | |
| ID | 855 |
| 分類 | 研究会・全国大会等 |
| タグ | |
| 表題 (title) |
LLMを用いた協調的メタプログラミング手法に対するコード生成能力の再評価 ~MetaGPTを対象として~ |
| 表題 (英文) |
|
| 著者名 (author) |
王 天豪,柗本真佑,楠本真二 |
| 英文著者名 (author) |
WANG TIANHAO,Shinsuke Matsumoto,Shinji Kusumoto |
| 編者名 (editor) |
|
| 編者名 (英文) |
|
| キー (key) |
WANG TIANHAO,Shinsuke Matsumoto,Shinji Kusumoto |
| 書籍・会議録表題 (booktitle) |
電子情報通信学会技術研究報告 |
| 書籍・会議録表題(英文) |
|
| 巻数 (volume) |
124 |
| 号数 (number) |
429 |
| ページ範囲 (pages) |
140-145 |
| 組織名 (organization) |
|
| 出版元 (publisher) |
|
| 出版元 (英文) |
|
| 出版社住所 (address) |
|
| 刊行月 (month) |
3 |
| 出版年 (year) |
2025 |
| 採択率 (acceptance) |
|
| URL |
|
| 付加情報 (note) |
|
| 注釈 (annote) |
|
| 内容梗概 (abstract) |
ChatGPTなどの対話的LLMを用いたメタプログラミングフレームワーク，MetaGPTが着目を浴びている．MetaGPTは複数のLLMエージェントの協調作業によって，与えられた自然言語の仕様からソースコードを自動的に生成する．MetaGPTの提案論文では，プログラミングコンテストのような簡単な問題に対しては約8割の成功率を達成したと報告している．MetaGPT研究の課題の一つとして，性能評価が十分でないという点が挙げられる．第一に生成結果の妥当性を評価するためのテストが不十分であり，性能を過大評価している可能性がある．さらに同一問題に対するソースコードの生成試行回数が一度ずつのみであるため，LLMの持つランダムさを考慮できていない．本研究ではMetaGPTの性能を再評価するために，妥当性評価のテストが追加されたコード生成データセットを用いた再実験を行う．また同一タスクに対して複数回の実験を行うことで，LLMのランダムさを考慮した性能評価を行う． |
| 論文電子ファイル | t-ou_sigss202503.pdf (application/pdf) [一般閲覧可] |
| BiBTeXエントリ |
@inproceedings{id855,
title = {{LLMを用いた協調的メタプログラミング手法に対するコード生成能力の再評価 ~MetaGPTを対象として~}},
author = {王 天豪 and 柗本真佑 and 楠本真二},
booktitle = {電子情報通信学会技術研究報告},
volume = {124},
number = {429},
pages = {140-145},
month = {3},
year = {2025},
}
|