Keito Kudo (工藤慧音)
Table of Contents
1 About me
- 工藤慧音 / Kudo Keito
- 東北大学 情報科学研究科 システム情報科学専攻 博士1年 / Doctor 1, Department of System Information Sciences, Graduate School of Information Sciences, Tohoku University
- Tohoku NLP Group (坂口・乾・徳久研)所属 / Tohoku NLP Group (Sakaguchi, Inui, Tokuhisa Lab.)
- 理研AIPパートタイマー / RIKEN AIP Part-timer
- Git hub:
- Research: https://github.com/keitokudo
- Private: https://github.com/shirayukikun
- X: https://twitter.com/k8kudo
2 Research interests
- 自然言語処理 / Natural Language Processing
- 深層学習 / Deep Learning
- 記号推論 / Symbolic Reasoning
- 数量推論 / Numeical Reasoning
- 機械翻訳 / Machine Translation
- マルチモーダル / Multi modal Machine Learning (Video × Text)
3 Education
- 2018年4月 ~ 2022年3月: 東北大学工学部 電気情報物理工学科
- 2022年4月 ~ : 東北大学 情報科学研究科 システム情報科学専攻
4 Publications
4.1 International Conference
- Go Kamoda, Benjamin Heinzerling, Tatsuro Inaba, Keito Kudo, Keisuke Sakaguchi, Kentaro Inui. Weight-based Analysis of Detokenization in Language Models: Understanding the First Stage of Inference Without Inference. p.-, NAACL2025.
- Keito Kudo, Hiroyuki Deguchi, Makoto Morishita, Ryo Fujii, Takumi Ito, Shintaro Ozaki, Koki Natsumi, Kai Sato, Kazuki Yano, Ryosuke Takahashi, Subaru Kimura, Tomomasa Hara, Yusuke Sakai, Jun Suzuki. Document-level Translation with LLM Reranking: Team-J at WMT 2024 General Translation Task. pp.210–226, WMT2024 (General Translation Task).
- Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Shusaku Sone, Masaya Taniguchi, Keisuke Sakaguchi, Kentaro Inui. First Heuristic Then Rational: Dynamic Use of Heuristics in Language Model Reasoning. pp.14255–14271, EMNLP2024 (Main conference).
- Ana Brassard, Benjamin Heinzerling, Keito Kudo, Keisuke Sakaguchi, Kentaro Inui. ACORN: Aspect-wise Commonsense Reasoning Explanation Evaluation. COLM2024.
- Keito Kudo, Haruki Nagasawa, Jun Suzuki, Nobuyuki Shimizu. A Challenging Multimodal Video Summary: Simultaneously Extracting and Generating Keyframe-Caption Pairs from Video. pp.7380–7402,EMNLP2023 (Main conference).
- Keito Kudo, Takumi Ito, Makoto Morishita and Jun Suzuki. SKIM at WMT 2023 General Translation Task. pp.128–136, WMT2023.
- Ranked first in the En-Ja and Ja-En directions in the human evaluation
- Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi and Kentaro Inui. Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning?. pp.1351–1362, EACL2023 (Main conference).
- Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi and Kentaro Inui. Empirical Investigation of Neural Symbolic Reasoning Strategies. pp.1154–1162, EACL2023 (Findings).
- Makoto Morishita* , Keito Kudo * , Yui Oka * , Katsuki Chousa * , Shun Kiyono, Sho Takase, Jun Suzuki. NT5 at WMT 2022 General Translation Task. (* means equal contributions), pp.318-325, WMT2022.
- Tied for first place in human evaluation for En-Ja and Ja-En directions.
- Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui. Empirical Investigation of Neural Symbolic Reasoning Strategies. AACL-SRW-2022 (Non-arxival), Best Paper Award.
4.2 Domestic Conference and Symposium
- 工藤慧音, 鴨田豪, 塩野大輝, 鈴木潤. 日本語バイト符号化マスク言語モデルの開発と分析. 言語処理学会第31回年次大会, pp.-, March 2025.
- 鴨田豪, Benjamin Heinzerling, 稲葉達郎, 工藤慧音, 坂口慶祐, 乾健太郎. 言語モデルのパラメータから探るDetokenizationメカニズム. 言語処理学会第31回年次大会, pp.-, March 2025.
- 塩野大輝, 田中涼太, 宮脇峻平, 工藤慧音, 鈴木潤. Padding vs. Packing: 大規模言語モデルのファインチューニングにおける学習効果の検証. 言語処理学会第31回年次大会, pp.-, March 2025.
- 吉田遥音, 工藤慧音, 青木洋一, 田中涼太, 斉藤いつみ, 坂口慶祐, 乾健太郎. ダイアグラム理解に向けた大規模視覚言語モデルの内部表現の分析. 言語処理学会第31回年次大会, pp.-, March 2025.
- 工藤慧音, 青木洋一, 栗林樹生, 谷口雅弥, 曾根周作, 坂口慶祐, 乾健太郎. 算術推論問題における自己回帰型言語モデルの内部機序. 言語処理学会第30回年次大会, pp.2647-2652, March 2024.
- 言語処理学会第30回年次大会 若手奨励賞 受賞 (18/427 件), 工藤慧音 .
- 青木洋一, 工藤慧音 , 栗林樹生, 谷口雅弥, 曾根周作, 坂口慶祐, 乾健太郎. 言語モデルの思考連鎖的推論における探索戦略の動的変化. 言語処理学会第30回年次大会, pp.3032-3037, March 2024.
- 言語処理学会第30回年次大会 若手奨励賞 受賞 (18/427 件), 青木洋一.
- 吉田遥音, 工藤慧音, 青木洋一, 田中涼太, 斉藤いつみ, 坂口慶祐, 乾健太郎. 自然画像で学習された画像埋め込みにダイアグラムを特徴づける情報は含まれているか？. 言語処理学会第30回年次大会, pp.1952-1957, March 2024.
- 吉田遥音, 工藤慧音, 青木洋一, 坂口慶介．テキストに基づくダイアグラム生成タスクの提案, 第18回 NLP若手の会 シンポジウム (YANS), 奨励賞, August 2023.
- 工藤慧音, 青木洋一, Ana Brassard, 栗林樹生, 吉川将司, 坂口慶祐, 乾健太郎. 算術問題におけるニューラルモデルの構成的推論能力. 言語処理学会第29回年次大会, pp.2082-2087,March 2023.
- 仲村祐希*, 工藤慧音 *, 鈴木潤, 清水伸幸, 事前学習モデルを活用したEnd-to-end型動画キーフレーム物語生成法. 言語処理学会第29回年次大会, pp.448-453,March 2023. (*貢献は同じ)
- 青木洋一, 工藤慧音 , Ana Brassard, 栗林樹生, 吉川将司, 坂口慶祐, 乾健太郎. ニューラル記号推論における推論過程の教示方法. 言語処理学会第29回年次大会, pp.1140-1145,March 2023.
- 木村昴, 工藤慧音, 赤間怜奈, 鈴木潤, 指示文からの画像生成における配置指定能力の調査. 言語処理学会第29回年次大会, pp.1839-1844,March 2023.
- 青木洋一, 工藤慧音 , 栗林樹生, Ana Brassard, 吉川将司, 乾健太郎．推論過程の性質がニューラルネットの多段推論能力に与える影響, 第17回 NLP若手の会 シンポジウム (YANS), August 2023.
- 工藤慧音 , 青木洋一, Ana Brassard, 栗林樹生, 吉川将司, 乾健太郎. 深層学習モデルの数量推論能力の評価とメタ学習活用の試み. 人工知能学会全国大会(第36回), pp.3C4GS601-3C4GS601, 2022.
- 青木洋一, 工藤慧音, Ana Brassard, 栗林樹生, 吉川将司, 乾健太郎. 多段の数量推論タスクに対する適応的なモデルの振る舞いの検証. 言語処理学会第28回年次大会, pp.168-172, March 2022.
- 長澤春希*, 工藤慧音 *, 宮脇峻平, 有山知希, 成田風香, 岸波洋介, 佐藤志貴, 乾健太郎. aobav2 bot: 多様な応答生成モジュールを統合した雑談対話システム. 第93回 人工知能学会 言語・音声理解と対話処理研究会（SLUD）第12回対話システムシンポジウム, November 2021. (*貢献は同じ)
- 工藤慧音, 青木洋一, 吉川将司, 乾健太郎. 数量推論モデルに対する人工データを活用した表層的な手がかりに頑健な評価法の検討. 第16回NLP若手の会 シンポジウム (YANS), August 2021.
4.3 Preprint
- Ana Brassard, Benjamin Heinzerling, Keito Kudo, Keisuke Sakaguchi, Kentaro Inui. ACORN: Aspect-wise Commonsense Reasoning Explanation Evaluation. CoRR, Vol. arXiv preprint, cs.CL/arXiv:2405.04818, 2024.
5 Graduation thesis
- 工藤慧音. 深層学習モデルの数量推論能力の評価とメタ学習活用の試み, 東北大学工学部電気情報物理工学科, March 2022
6 Awards
- 東北大学 情報科学研究科 研究科長賞
- 言語処理学会第30回年次大会 若手奨励賞 (18/427 件)
- 工藤慧音, 算術推論問題における自己回帰型言語モデルの内部機序.
- 第93回 人工知能学会 言語・音声理解と対話処理研究会（SLUD）第12回対話システムシンポジウム 対話システムライブコンペティション4 優秀賞(第3位), 2021年11月30日
- 長澤春希*, 工藤慧音 *, 宮脇峻平, 有山知希, 成田風香, 岸波洋介, 佐藤志貴, 乾健太郎 (*貢献は同じ)
- aobav2 bot: 多様な応答生成モジュールを統合した雑談対話システム
- 東北大学 工学部長賞
7 共同研究
- Lineヤフー株式会社 (2022年5月~) / LY Corporation (May 2022~)
8 Experience
8.1 プロジェクト / Project
- LLM-jp (2023年12月~)
- 日本語大規模言語モデルの構築 / Development of Japanese large language model
- モデルのコンバータ，アーキテクチャの実装 / Implementation of model converter and architecture
8.2 イベント / Event
- Workshop on ExploreCSR @Tohoku Universityスタッフ / Staff
8.3 インターンシップ / Internship
- 日本経済新聞 (2022年8月) / Nikkei Inc. (August 2022)
- ヤフー株式会社 (2022年8月~9月) / Yahoo Japan Corporation (August 2022~September 2022)
8.4 その他 / Others
- 日本語画像生成モデルの公開 / Public release of Japanese image generation model
9 Skills
- プログラミング / Programing
- Python
10 Qualifications
- 英語 / English
- 日本英語検定 準1級
- TOEIC (score 850)
11 Contact
- keito.kudo.q4 [at] dc.tohoku.ac.jp