Keito Kudo (工藤慧音)
Table of Contents
1. About me
- 東北大学 情報科学研究科 システム情報科学専攻 博士2年 / Doctor 2, Department of System Information Sciences, Graduate School of Information Sciences, Tohoku University
- Tohoku NLP Group (坂口・乾・徳久研)所属 / Tohoku NLP Group (Sakaguchi, Inui, Tokuhisa Lab.)
- 日本学術振興会 特別研究員 (DC2) / JSPS Research Fellow (DC2)
- 理研AIPパートタイマー / RIKEN AIP Part-timer
- Github
- Research: https://github.com/keitokudo
- Private: https://github.com/shirayukikun
- X: https://twitter.com/k8kudo
2. Research interests
- 自然言語処理 / Natural Language Processing
- 算術推論 / Arithmetic Reasoning
- 解釈性 / Interpretability
- 機械翻訳 / Machine Translation
- マルチモーダル / Multimodal Machine Learning (Video × Text)
3. Education
- 2018年4月 ~ 2022年3月: 東北大学工学部 電気情報物理工学科
- 2022年4月 ~ : 東北大学 大学院情報科学研究科 システム情報科学専攻
4. Publications
4.1. International Conference
- Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Shusaku Sone, Masaya Taniguchi, Ana Brassard, Keisuke Sakaguchi and Kentaro Inui. LLMs Faithfully and Iteratively Compute Answers During CoT: A Systematic Analysis With Multi-step Arithmetics. pp.-, EACL2026 (Findings).
- Preprint: Think-to-Talk or Talk-to-Think? When LLMs Come Up with an Answer in Multi-Step Reasoning. arXiv:2412.01113, 2024.
- Koichi Iwakawa, Keito Kudo, Subaru Kimura, Takumi Ito, Jun Suzuki. KIKIS at WMT 2025 General Translation Task. p.705–722, WMT2025.
- Go Kamoda, Benjamin Heinzerling, Tatsuro Inaba, Keito Kudo, Keisuke Sakaguchi, Kentaro Inui. Weight-based Analysis of Detokenization in Language Models: Understanding the First Stage of Inference Without Inference. p.6324–6343, NAACL2025 (Findings).
- Keito Kudo, Hiroyuki Deguchi, Makoto Morishita, Ryo Fujii, Takumi Ito, Shintaro Ozaki, Koki Natsumi, Kai Sato, Kazuki Yano, Ryosuke Takahashi, Subaru Kimura, Tomomasa Hara, Yusuke Sakai, Jun Suzuki. Document-level Translation with LLM Reranking: Team-J at WMT 2024 General Translation Task. pp.210–226, WMT2024 (General Translation Task).
- Ranked first in the Ja-Zh direction in the human evaluation
- Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Shusaku Sone, Masaya Taniguchi, Keisuke Sakaguchi, Kentaro Inui. First Heuristic Then Rational: Dynamic Use of Heuristics in Language Model Reasoning. pp.14255–14271, EMNLP2024 (Main conference).
- Ana Brassard, Benjamin Heinzerling, Keito Kudo, Keisuke Sakaguchi, Kentaro Inui. ACORN: Aspect-wise Commonsense Reasoning Explanation Evaluation. COLM2024.
- Keito Kudo, Haruki Nagasawa, Jun Suzuki, Nobuyuki Shimizu. A Challenging Multimodal Video Summary: Simultaneously Extracting and Generating Keyframe-Caption Pairs from Video. pp.7380–7402,EMNLP2023 (Main).
- Keito Kudo, Takumi Ito, Makoto Morishita and Jun Suzuki. SKIM at WMT 2023 General Translation Task. pp.128–136, WMT2023.
- Ranked first in the En-Ja and Ja-En directions in the human evaluation
- Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi and Kentaro Inui. Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning?. pp.1351–1362, EACL2023 (Main).
- Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi and Kentaro Inui. Empirical Investigation of Neural Symbolic Reasoning Strategies. pp.1154–1162, EACL2023 (Findings).
- Makoto Morishita* , Keito Kudo * , Yui Oka * , Katsuki Chousa * , Shun Kiyono, Sho Takase, Jun Suzuki. NT5 at WMT 2022 General Translation Task. (* means equal contributions), pp.318-325, WMT2022.
- Tied for first place in human evaluation for En-Ja and Ja-En directions.
- Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui. Empirical Investigation of Neural Symbolic Reasoning Strategies. AACL-SRW-2022 (Non-arxival), Best Paper Award.
4.2. Domestic Conference
- 工藤慧音, 鴨田豪, 塩野大輝, 鈴木潤. 日本語バイト符号化マスク言語モデルの開発と分析. 言語処理学会第31回年次大会, pp.3356-3361, March 2025.
- 鴨田豪, Benjamin Heinzerling, 稲葉達郎, 工藤慧音, 坂口慶祐, 乾健太郎. 言語モデルのパラメータから探るDetokenizationメカニズム. 言語処理学会第31回年次大会, pp.634-639, March 2025.
- 塩野大輝, 田中涼太, 宮脇峻平, 工藤慧音, 鈴木潤. Padding vs. Packing: 大規模言語モデルのファインチューニングにおける学習効果の検証. 言語処理学会第31回年次大会, pp.-, March 2025.
- 吉田遥音, 工藤慧音, 青木洋一, 田中涼太, 斉藤いつみ, 坂口慶祐, 乾健太郎. ダイアグラム理解に向けた大規模視覚言語モデルの内部表現の分析. 言語処理学会第31回年次大会, pp.1698-1703, March 2025.
- 工藤慧音, 青木洋一, 栗林樹生, 谷口雅弥, 曾根周作, 坂口慶祐, 乾健太郎. 算術推論問題における自己回帰型言語モデルの内部機序. 言語処理学会第30回年次大会, pp.2647-2652, March 2024.
- 言語処理学会第30回年次大会 若手奨励賞 受賞 (18/427 件), 工藤慧音 .
- 青木洋一, 工藤慧音 , 栗林樹生, 谷口雅弥, 曾根周作, 坂口慶祐, 乾健太郎. 言語モデルの思考連鎖的推論における探索戦略の動的変化. 言語処理学会第30回年次大会, pp.3032-3037, March 2024.
- 言語処理学会第30回年次大会 若手奨励賞 受賞 (18/427 件), 青木洋一.
- 吉田遥音, 工藤慧音, 青木洋一, 田中涼太, 斉藤いつみ, 坂口慶祐, 乾健太郎. 自然画像で学習された画像埋め込みにダイアグラムを特徴づける情報は含まれているか？. 言語処理学会第30回年次大会, pp.1952-1957, March 2024.
- 工藤慧音, 青木洋一, Ana Brassard, 栗林樹生, 吉川将司, 坂口慶祐, 乾健太郎. 算術問題におけるニューラルモデルの構成的推論能力. 言語処理学会第29回年次大会, pp.2082-2087,March 2023.
- 仲村祐希*, 工藤慧音 *, 鈴木潤, 清水伸幸, 事前学習モデルを活用したEnd-to-end型動画キーフレーム物語生成法. 言語処理学会第29回年次大会, pp.448-453,March 2023. (*貢献は同じ)
- 青木洋一, 工藤慧音 , Ana Brassard, 栗林樹生, 吉川将司, 坂口慶祐, 乾健太郎. ニューラル記号推論における推論過程の教示方法. 言語処理学会第29回年次大会, pp.1140-1145,March 2023.
- 木村昴, 工藤慧音, 赤間怜奈, 鈴木潤, 指示文からの画像生成における配置指定能力の調査. 言語処理学会第29回年次大会, pp.1839-1844,March 2023.
- 工藤慧音 , 青木洋一, Ana Brassard, 栗林樹生, 吉川将司, 乾健太郎. 深層学習モデルの数量推論能力の評価とメタ学習活用の試み. 人工知能学会全国大会(第36回), pp.3C4GS601-3C4GS601, 2022.
- 青木洋一, 工藤慧音, Ana Brassard, 栗林樹生, 吉川将司, 乾健太郎. 多段の数量推論タスクに対する適応的なモデルの振る舞いの検証. 言語処理学会第28回年次大会, pp.168-172, March 2022.
- 長澤春希*, 工藤慧音 *, 宮脇峻平, 有山知希, 成田風香, 岸波洋介, 佐藤志貴, 乾健太郎. aobav2 bot: 多様な応答生成モジュールを統合した雑談対話システム. 第93回 人工知能学会 言語・音声理解と対話処理研究会（SLUD）第12回対話システムシンポジウム, November 2021. (*貢献は同じ)
4.3. Symposium
- 朱灏丞, 李宰成, 岩川光一, 内藤悠, 吉田倖, 矢野一樹, 工藤慧音, 木村昴, 葉夢宇, 塩野大輝, 佐々木翔大, 斉藤いつみ, 赤間怜奈, 鈴木潤．大規模言語モデルの継続事前学習における学習率設定の検討, 第19回 NLP若手の会 シンポジウム (YANS), September 2024.
- 岩川光一, 内藤悠, 朱灏丞, 李宰成, 吉田倖, 矢野一樹, 工藤慧音, 葉夢宇, 木村昴, 塩野大輝, 佐々木翔大, 斉藤いつみ, 赤間怜奈, 鈴木潤．大規模言語モデルにおけるチェックポイント平均法の有効性, 第19回 NLP若手の会 シンポジウム (YANS), September 2024.
- 李宰成, 吉田倖, 朱灏丞, 内藤悠, 岩川光一, 工藤慧音, 塩野大輝, 葉夢宇, 木村昴, 矢野一樹, 佐々木翔大, 斉藤いつみ, 赤間怜奈, 鈴木潤．語彙拡張を適用する継続事前学習における初期値学習法, 第19回 NLP若手の会 シンポジウム (YANS), September 2024.
- 内藤悠, 岩川光一, 朱灏丞, 吉田倖, 李宰成, 木村昴, 塩野大輝, 葉夢宇, 工藤慧音, 矢野一樹, 佐々木翔大, 斉藤いつみ, 赤間怜奈, 鈴木潤．大規模言語モデルにおけるラベル平滑化の有効性, 第19回 NLP若手の会 シンポジウム (YANS), September 2024.
- 吉田倖, 木村昴, 塩野大輝, 葉夢宇, 工藤慧音, 矢野一樹, 李宰成, 朱灏丞, 佐々木翔大, 斉藤いつみ, 赤間怜奈, 鈴木潤．高品質なデータを用いた追加事前学習が大規模言語モデルに与える影響, 第19回 NLP若手の会 シンポジウム (YANS), September 2024.
- 吉田遥音, 工藤慧音, 青木洋一, 坂口慶祐．テキストに基づくダイアグラム生成タスクの提案, 第18回 NLP若手の会 シンポジウム (YANS), 奨励賞, August 2023.
- 青木洋一, 工藤慧音 , 栗林樹生, Ana Brassard, 吉川将司, 乾健太郎．推論過程の性質がニューラルネットの多段推論能力に与える影響, 第17回 NLP若手の会 シンポジウム (YANS), August 2023.
- 工藤慧音, 青木洋一, 吉川将司, 乾健太郎. 数量推論モデルに対する人工データを活用した表層的な手がかりに頑健な評価法の検討. 第16回NLP若手の会 シンポジウム (YANS), August 2021.
5. Graduation thesis
- 工藤慧音. 深層学習モデルの数量推論能力の評価とメタ学習活用の試み, 東北大学工学部電気情報物理工学科, March 2022
- 工藤慧音. Compositional Generalization of Language Models in Numerical Reasoning, 東北大学 大学院情報科学研究科修士, March 2024
6. Awards
- 第33回博士後期課程学生発表会 ベストプレゼンテーション賞
- 東北大学 情報科学研究科 研究科長賞 (2 / 152 人)
- 言語処理学会第30回年次大会 若手奨励賞 (18/427 件)
- 工藤慧音, 算術推論問題における自己回帰型言語モデルの内部機序.
- 第93回 人工知能学会 言語・音声理解と対話処理研究会（SLUD）第12回対話システムシンポジウム 対話システムライブコンペティション4 優秀賞(第3位), 2021年11月30日
- 長澤春希*, 工藤慧音 *, 宮脇峻平, 有山知希, 成田風香, 岸波洋介, 佐藤志貴, 乾健太郎 (*貢献は同じ)
- aobav2 bot: 多様な応答生成モジュールを統合した雑談対話システム
- 東北大学 工学部長賞 (26/962 人)
7. 共同研究
- Lineヤフー株式会社 (2022年5月~) / LY Corporation (May 2022~)
8. 技術指導
- 東ソー株式会社 (2023年5月~2024年3月) / TOSOH (May 2023~March 2024)
- 技術指導 / Technical Advisor
- 住信ＳＢＩネット銀行 株式会社 (2025年4月~) / SBI Sumishin Net Bank, Ltd. (April 2025~)
- 技術指導 (研究/論文紹介) / Technical Advisor (Research/Paper Introduction)
9. Experience
9.1. プロジェクト / Project
- チューニングコンペティション (FT-LLM 2026) (2025年11月~2026年2月)
- 日本語の算数問題に解答する大規模言語モデルベースのシステムの構築 / Development of large language model-based system for solving Japanese arithmetic problems
- Joint Development Program (JDP, 2025) between TSMC and Tohoku University (2025年4月~)
- LLM-jp (2023年11月~12月)
- 日本語大規模言語モデルの構築 / Development of Japanese large language model
- LLM-jpモデルのコンバータ，アーキテクチャの実装 / Implementation of model converter and architecture
9.2. イベント / Event
- Workshop on ExploreCSR @Tohoku Universityスタッフ / Staff
9.3. インターンシップ / Internship
- 日本経済新聞 (2022年8月) / Nikkei Inc. (August 2022)
- ヤフー株式会社 (2022年8月~9月) / Yahoo Japan Corporation (August 2022~September 2022)
9.4. 公開モデル（オープンリソース） / Open Models & Resources
- 日本語byte単位言語モデルの公開 / Public release of Japanese byte-level language model
- 日本語画像生成モデルの公開 / Public release of Japanese image generation model
9.5. 奨学金
- 一般財団法人電気通信工学振興会奨学生 (2024年4月~)
- 岩井久雄記念宮城奨学育英基金 (2022年4月~2024年3月)
10. Skills
- プログラミング / Programming
- Python
11. Qualifications
- 英語 / English
- 日本英語検定 準1級
- TOEIC (score 850)
12. Contact
- keito.kudo.q4 [at] dc.tohoku.ac.jp