| Tweet | |
| 王, "メタプログラミングフレームワークMetaGPTに対するコード生成能力の再評価," 修士学位論文, 大阪大学, 2025年. | |
| ID | 846 |
| 分類 | 学位論文 |
| タグ | |
| 表題 (title) |
メタプログラミングフレームワークMetaGPTに対するコード生成能力の再評価 |
| 表題 (英文) |
|
| 著者名 (author) |
王 天豪 |
| 英文著者名 (author) |
WANG TIANHAO |
| キー (key) |
WANG TIANHAO |
| 学校名 (school) |
大阪大学 |
| 出版社住所 (address) |
|
| 刊行月 (month) |
2 |
| 出版年 (year) |
2025 |
| URL |
|
| 付加情報 (note) |
|
| 注釈 (annote) |
|
| 内容梗概 (abstract) |
ChatGPTなどの対話的LLMを用いたメタプログラミングフレームワーク，MetaGPTが着目を浴びている．MetaGPTは複数のLLMエージェントの協調作業によって，与えられた自然言語の仕様からソースコードを自動的に生成する．MetaGPTの提案論文では，プログラミングコンテストのような簡単な問題に対しては約8割の成功率を達成したと報告している．MetaGPT研究の課題の一つとして，性能評価が十分でないという点が挙げられる．第一に生成結果の妥当性を評価するためのテストが不十分であり，性能を過大評価している可能性がある．
さらに同一問題に対するソースコードの生成試行回数が一度ずつのみであるため，LLMの持つランダムさを考慮できていない．本研究ではMetaGPTの性能を再評価するために，妥当性評価のテストが追加されたコード生成データセットを用いた再実験を行う．また同一タスクに対して複数回の実験を行うことで，LLMのランダムさを考慮した性能評価を行う． |
| 論文電子ファイル | draft.pdf (application/pdf) [一般閲覧可] |
| BiBTeXエントリ |
@masterthesis{id846,
title = {メタプログラミングフレームワークMetaGPTに対するコード生成能力の再評価},
author = {王 天豪},
school = {大阪大学},
month = {2},
year = {2025},
}
|