Sho Yokoi (横井 祥)
 |
Sho Yokoi |
Contact
yokoi [at] ninjal.ac.jp
Research Interest
{geometric, statistical} structure of {language, intelligence}
{visual, tangible} understanding of {language, intelligence}
Publications
[Google Scholar] [dblp] [Semantic Scholar] [ACL Anthology] [OpenReview] [Scopus] [ORCiD] [researchmap]
Preprint
Masataka Yoneda, Yusuke Matsushita, Go Kamoda, Kohei Suenaga, Takuya Akiba, Masaki Waga, Sho Yokoi.
SoftMatcha 2: A Fast and Soft Pattern Matcher for Trillion-Scale Corpora.
[Project Page] [arXiv] [Demo] [GitHub]
[ITmedia AI+ (ja)]Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui.
Linear Representations of Hierarchical Concepts in Language Models .
[arXiv]
2026
Tomomasa Hara, Hiroto Kurita, Masaaki Imaizumi, Kentaro Inui, Sho Yokoi.
Why Mean Pooling Works: Quantifying Second-Order Collapse in Text Embeddings.
In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL), pp.**–**, 2026.
Yuji Yamamoto, Shinnosuke Isono, Yoshinobu Kawahara, Sho Yokoi.
Timesteps of Mamba Align with Human Reading Times.
In Findings of the Association for Computational Linguistics: ACL 2026, pp.**–**, 2026.
2025
Ryo Kishino, Hiroaki Yamagiwa, Ryo Nagata, Sho Yokoi, Hidetoshi Shimodaira.
Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport.
In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL), pp.15913–15933, 2025.
[arXiv] [ACL Anthology] [Underline (video)]
[Article (ja)]Masaki Sakata, Benjamin Heinzerling, Sho Yokoi, Takumi Ito, Kentaro Inui.
On Entity Identification in Language Models.
In Findings of the Association for Computational Linguistics: ACL 2025, pp.16717–16741, 2025.
Earlier version is accepted at ACL 2023 Student Research Workshop.
[arXiv] [ACL Anthology] [Underline (poster)]Hiroyuki Deguchi, Go Kamoda, Yusuke Matsushita, Chihiro Taguchi, Kohei Suenaga, Masaki Waga, Sho Yokoi.
SoftMatcha: A Soft and Fast Pattern Matcher for Billion-Scale Corpus Searches.
In The Thirteenth International Conference on Learning Representations (ICLR), 26 pages, 2025.
[arXiv] [OpenReview] [ICLR] [Project Page & Demo] [GitHub]
[Slides (ja)]Makoto Shing, Kou Misaki, Han Bao, Sho Yokoi, Takuya Akiba.
TAID: Temporally Adaptive Interpolated Distillation for Efficient Knowledge Transfer in Language Models.
In The Thirteenth International Conference on Learning Representations (ICLR), Spotlight, 24 pages, 2025.
Earlier version is accepted at Machine Learning and Compression Workshop at NeurIPS 2024.
[arXiv] [OpenReview] [ICLR] [GitHub] [Blog]
[Blog (ja)] [Demo (ja)]
2024
Sho Yokoi, Han Bao, Hiroto Kurita, Hidetoshi Shimodaira.
Zipfian Whitening.
In Advances in Neural Information Processing Systems 37 (NeurIPS), pp.122259–122291, 2024.
[arXiv] [OpenReview] [NeurIPS Proceedings] [NeurIPS Virtual Conference] [GitHub] [ YouTube]
[Slides (ja)] [ YouTube (ja)]Yoichi Ishibashi, Sho Yokoi, Katsuhito Sudoh, Satoshi Nakamura.
Subspace Representations for Soft Set Operations and Sentence Similarities.
In Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp.3512–3524, 2024.
[arXiv] [ACL Anthology] [GitHub] [Underline (slides)]Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui.
Analyzing Feed-Forward Blocks in Transformers through the Lens of Attention Maps.
In The Twelfth International Conference on Learning Representations (ICLR), Spotlight, 37 pages, 2024.
[arXiv] [OpenReview] [GitHub]
2023
Momose Oyama, Sho Yokoi, Hidetoshi Shimodaira.
Norm of Word Embedding Encodes Information Gain.
In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.2108–2130, 2023.
[arXiv] [paper] [OpenReveiw]Hiroaki Yamagiwa, Sho Yokoi, Hidetoshi Shimodaira.
Improving word mover's distance by leveraging self-attention matrix.
In Findings of the Association for Computational Linguistics: EMNLP 2023, pp.11160–11183, 2023.
[arXiv] [paper] [OpenReview] [code] [Underline (poster)]Hiroto Kurita, Goro Kobayashi, Sho Yokoi, Kentaro Inui.
Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words.
In Findings of the Association for Computational Linguistics: EMNLP 2023, pp.10932–10947, 2023.
[arXiv] [paper] [OpenReview] [code] [Underline (poster)] [Underline (video)]Yuki Arase, Han Bao, Sho Yokoi.
Unbalanced Optimal Transport for Unbalanced Word Alignment.
In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL), pp.3966–3986, 2023.
[arXiv] [paper] [code] [Underline (video)]Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui.
Transformer Language Models Handle Word Frequency in Prediction Head.
In Findings of the Association for Computational Linguistics: ACL 2023, pp.4523–4535, 2023.
[arXiv] [paper] [code]
2022
Kaori Abe, Sho Yokoi, Tomoyuki Kajiwara, Kentaro Inui.
Why sentence similarity benchmark is not predictive of application-oriented task performance?
In Proceedings of the 3rd Workshop on Evaluation and Comparison of NLP Systems, pp.70–87, 2022.
[paper]
2021
Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Masashi Yoshikawa, Kentaro Inui.
Instance-Based Neural Dependency Parsing.
Transactions of the Association for Computational Linguistics (TACL), Vol. 9, pp.1493–1507, 2021.
[arXiv] [paper]Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui.
Incorporating Residual and Normalization Layers into Analysis of Masked Language Models.
In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.4547–4568, 2021.
[arXiv] [paper] [Underline (poster)] [Underline (video)]
Masahiro Naito, Sho Yokoi, Geewook Kim, Hidetoshi Shimodaira.
Revisiting Additive Compositionality: AND, OR and NOT Operations with Word Embeddings.
The ACL-IJCNLP 2021 Student Research Workshop, 11 pages, 2021.
[arXiv] [Underline (video)]
Ayato Toyokuni, Sho Yokoi, Hisashi Kashima, Makoto Yamada.
Computationally Efficient Wasserstein Loss for Structured Labels.
In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Student Research Workshop, pp.1–7, 2021.
[arXiv] [paper]
Kazuaki Hanawa, Sho Yokoi, Satoshi Hara, Kentaro Inui.
Evaluation of Similarity-based Explanations.
In The Ninth International Conference on Learning Representations (ICLR), 26 pages, 2021.
[arXiv] [paper] [code]
2020
Takaki Otake, Sho Yokoi, Naoya Inoue, Ryo Takahashi, Tatsuki Kuribayashi, Kentaro Inui.
Modeling Event Salience in Narratives via Barthes’ Cardinal Functions.
In Proceedings of the 28th International Conference on Computational Linguistics (COLING), pp.1784–1794, 2020.
[arXiv] [paper] [code] [Underline (video)]Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, Kentaro Inui.
Word Rotator's Distance.
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.2944–2960, 2020.
[arXiv] [paper] [code]Reina Akama, Sho Yokoi, Jun Suzuki, Kentaro Inui.
Filtering Noisy Dialogue Corpora by Connectivity and Content Relatedness.
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.941–958, 2020.
[arXiv] [paper]Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui.
Attention is Not Only a Weight: Analyzing Transformers with Vector Norms.
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.7057–7075, 2020.
Earlier version is accepted at ACL 2020 Student Research Workshop.
[arXiv] [paper] [code]Sosuke Kobayashi, Sho Yokoi, Jun Suzuki, Kentaro Inui.
Efficient Estimation of Influence of a Training Instance.
In Proceedings of First Workshop on Simple and Efficient Natural Language Processing (SustaiNLP), pp.41–47, 2020.
[arXiv] [paper]Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Ryuto Konno, Kentaro Inui.
Instance-based Learning of Span Representations: A Case Study through Named Entity Recognition.
In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp.6452–6459, 2020.
[arXiv] [paper] [bib] [code]
2018
Sho Yokoi, Sosuke Kobayashi, Kenji Fukumizu, Jun Suzuki, Kentaro Inui.
Pointwise HSIC: A Linear-Time Kernelized Co-occurrence Norm for Sparse Linguistic Expressions.
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.1763–1775, 2018.
[arXiv] [paper] [bib] [slide] [poster] [code]Reina Akama, Kento Watanabe, Sho Yokoi, Sosuke Kobayashi, Kentaro Inui.
Unsupervised Learning of Style-sensitive Word Vectors.
In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), pp.572–578, 2018.
[arXiv] [paper] [bib] [poster] [code]
2017
Sho Yokoi, Daichi Mochihashi, Ryo Takahashi, Naoaki Okazaki, Kentaro Inui.
Learning Co-Substructures by Kernel Dependence Maximization.
In Proceedings of the 26th International Joint Conference on Artificial Intelligence (IJCAI), pp.3329–3335, 2017.
[paper] [bib]
[Slides (ja)]Sho Yokoi, Hiroshi Kajino, Hisashi Kashima.
Link Prediction in Sparse Networks by Incidence Matrix Factorization.
Journal of Information Processing, Vol. 25, pp.477–485. 2017.
[paper] [bib]
2016
Sho Yokoi, Hiroshi Kajino, Hisashi Kashima.
Link Prediction by Incidence Matrix Factorization.
In Proceedings of the 22nd European Conference on Artificial Intelligence (ECAI), pp.1730–1731, 2016.
[paper]
Publications (Domestic)
小林 颯介, 横井 祥, 鈴木 潤, 乾 健太郎.
訓練事例の影響の軽量な推定.
📄 自然言語処理, Vol. 28, No. 2, pp.573–597. 2021. [paper]
🏆 2021年度論文賞.
Non-refereed publications, Talks
Workshops
Sho Yokoi, Hidetoshi Shimodaira. Zipfian Whitening for Isotropic Word Embedding Space. The Machine Learning Summer School in Okinawa 2024 (MLSS), Okinawa, March 2024.
Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, Kentaro Inui. Decomposing Sentence Vectors Twice Gives Better and More Interpretable Representaons. Third International Workshop on Symbolic-Neural Learning (SNL), Tokyo, July 2019.
Domestic Conferences
中石 海, 岡 佑依, 山本 悠士, 西田 京介, 横井 祥
言語モデルの長文処理能力の統計物理学的特徴づけ.
🗣️ 人工知能学会全国大会 (第40回) (JSAI), 群馬, June 2026.米田 優峻, 鴨田 豪, 松下 祐介, 末永 幸平, 秋葉 拓哉, 和賀 正樹, 横井 祥.
SoftMatcha 2: 1兆語規模コーパスの超高速かつ柔らかい検索.
🗣️ 言語処理学会第32回年次大会 (NLP), 宇都宮, March 2026.
山本 悠士, 磯野, 真之介, 河原 吉伸, 横井 祥.
Mambaの‘‘処理時間’’はヒトの読み時間と符号する.
🗣️ 言語処理学会第32回年次大会 (NLP), 宇都宮, March 2026.
石峯 拓海, 日野 英逸, 横井 祥.
単体複体を用いた次単語予測分布の幾何的解釈.
🗣️ 言語処理学会第32回年次大会 (NLP), 宇都宮, March 2026.
坂田 将樹, Benjamin Heinzerling, 伊藤 拓海, 横井 祥, 乾 健太郎.
言語モデルに線形に内在する階層的概念.
🗣️ 言語処理学会第32回年次大会 (NLP), 宇都宮, March 2026.
原 知正, 栗田 宙人, 今泉 允聡, 乾 健太郎, 横井 祥.
なぜ平均プーリングはうまく動くのか？テキスト埋め込みの二次統計量の崩壊の定量化.李 宰成, 中石 海, 横井 祥.
タスク算術の誤差項とその解釈.
🗣️ 言語処理学会第32回年次大会 (NLP), 宇都宮, March 2026.
米田 優峻, 鴨田 豪, 松下 祐介, 末永 幸平, 秋葉 拓哉, 和賀 正樹, 横井 祥.
SoftMatcha 2: 意味的な曖昧性を許容し超大規模コーパスでも高速に動く新しいコンコーダンサ.
🗣️ 言語学フェス2026, online, February 2026.
石峯 拓海, 日野 英逸, 横井 祥.
言語モデルの最終隠れ状態のソフト分割可能な単体複体としての分析.
🗣️ 第28回情報論的学習理論ワークショップ (IBIS), 那覇, November 2025.原 知正, 栗田 宙人, 今泉 允聡, 乾 健太郎, 横井 祥.
なぜ一次モーメント情報のみ残したテキスト埋め込みはうまく動くのか？：単語埋め込み集合における二次モーメント情報の崩壊の分析.
🗣️ 第28回情報論的学習理論ワークショップ (IBIS), 那覇, November 2025.三原 朋樹, 石川 勲, 横井 祥.
p進数を用いた単語埋め込みについて.
🗣️ 第28回情報論的学習理論ワークショップ (IBIS), 那覇, November 2025.原 知正, 栗田 宙人, 横井 祥, 今泉 允聡, 乾 健太郎.
文長による内容語率の変化が引き起こす文ベクトルの品質低下.
📄 人工知能学会全国大会論文集, Vol. JSAI2025, 2025. [paper]
🗣️ 人工知能学会全国大会 (第39回) (JSAI), 大阪, May 2025.小林 春斗, 原 知正, 鴨田 豪, 横井 祥.
層の冗⻑性と層同⼠の独⽴性に基づく⾔語モデルの層交換の成否の特徴づけ.
📄 言語処理学会第31回年次大会発表論文集 (2025年3月). [paper]
🗣️ 言語処理学会第31回年次大会 (NLP), 長崎, March 2025.
🏆 言語処理学会第31回年次大会 若手奨励賞 (35/765).出口 祥之, 鴨田 豪, 松下 祐介, 田口 智大, 末永 幸平, 和賀 正樹, 横井 祥.
SoftMatcha: 大規模コーパス検索のための柔らかくも高速なパターンマッチャー.
📄 言語処理学会第31回年次大会発表論文集 (2025年3月). [paper]
🗣️ 言語処理学会第31回年次大会 (NLP), 長崎, March 2025.岸野 稜, 山際 宏明, 永田 亮, 横井 祥, 下平 英寿.
不均衡最適輸送を用いた意味変化検出.
📄 言語処理学会第31回年次大会発表論文集 (2025年3月). [paper]
🗣️ 言語処理学会第31回年次大会 (NLP), 長崎, March 2025.
🏆 言語処理学会第31回年次大会 委員特別賞 (67/765).横井 祥, 包 含, 栗田 宙人, 下平 英寿.
Zipf 白色化.
🗣️ 第27回情報論的学習理論ワークショップ (IBIS), 大宮, November 2024.
🏆 最優秀プレゼンテーション賞 (1/258).*鴨田 豪, *伊藤 郁海, 熊谷 雄介, 横井 祥 (* equally contributed).
文脈内学習設定における言語モデルの出力較正.
🗣️ 第27回情報論的学習理論ワークショップ (IBIS), 大宮, November 2024.都地 悠馬, 高橋 惇, 横井 祥, Vwani Roychowdhury, 宮原 英之.
長距離相互作用する文脈依存言語における相転移現象 — 言語モデルの創発現象を統計力学の視点で理解する — .
🗣️ 第27回情報論的学習理論ワークショップ (IBIS), 大宮, November 2024.都地 悠馬, 高橋 惇, 横井 祥, Vwani Roychowdhury, 宮原 英之.
長距離相互作用する文脈依存言語における相転移現象.
🗣️ 日本物理学会第79回年次大会, 札幌, September 2024.小林 春斗, 原 知正, 鴨田 豪, 横井 祥.
層同士の接続可能性と各層が影響を与える部分空間の重なり度合いの関係性.
🗣️ 第19回YANSシンポジウム (YANS), 大阪, September 2024.
🏆 奨励賞 (23/187).*伊藤 郁海, *鴨田 豪, 熊谷 雄介, 横井 祥 (* equally contributed).
事前学習–文脈内学習パラダイムで生じる頻度バイアスの較正.
🗣️ 第19回YANSシンポジウム (YANS), 大阪, September 2024.出口 祥之, 鴨田 豪, 松下 祐介, 慶田 開, 和賀 正樹, 横井 祥.
柔らかいgrep/KWICに向けて：高速単語列マッチングの埋め込み表現による連続化.
🗣️ 第19回YANSシンポジウム (YANS), 大阪, September 2024.
🏆 デモ賞 (1/15).
🏆 株式会社リクルート賞.山本 悠士, 上田 亮, 唐木田 亮, 横井 祥.
人の言語を模倣するのに必要十分な言語モデルの大きさはどれだけか.
🗣️ 第19回YANSシンポジウム (YANS), 大阪, September 2024.
🏆 奨励賞 (23/187).
🏆 株式会社マネーフォワード賞.岸野 稜, 山際 宏明, 永田 亮, 横井 祥, 下平 英寿.
不均衡最適輸送を用いた意味変化検出.
🗣️ 第19回YANSシンポジウム (YANS), 大阪, September 2024.
🏆 奨励賞 (23/187).志子田 直輝, 横井 祥, 渡辺 太郎.
画像とテキストの共通構造はV&Lモデルにいかなる形で埋め込まれているか.
🗣️ 第19回YANSシンポジウム (YANS), 大阪, September 2024.西林 孝, 横井 祥.
大規模言語モデルによって医療テキストの固有表現処理はどこまで簡単になったか.
🗣️ 第19回YANSシンポジウム (YANS), 大阪, September 2024.熊谷 雄介, *伊藤 郁海, *鴨田 豪, 横井 祥 (* equally contributed).
大規模言語モデルの情報推薦バイアスの較正.
📄 人工知能学会全国大会論文集, Vol. JSAI2024, 2024. [paper]
🗣️ 人工知能学会全国大会 (第38回) (JSAI), 浜松, May 2024.牛久 雅崇, 熊谷 雄介, 横井 祥.
ごく少数の共通情報を活用するデータフュージョン.
📄 人工知能学会全国大会論文集, Vol. JSAI2024, 2024. [paper]
🗣️ 人工知能学会全国大会 (第38回) (JSAI), 浜松, May 2024.守屋 彰二, 佐藤 志貴, 徳久 良子, 赤間 怜奈, 横井 祥, 乾 健太郎.
選択性を考慮した語彙エントレインメント尺度.
📄 言語処理学会第30回年次大会発表論文集 (2024年).
🗣️ 言語処理学会第30回年次大会 (NLP), 神戸, March 2024.原 知正, 栗田 宙人, 横井 祥, 乾 健太郎.
平均プーリングによる文埋め込みの再検討：平均は点群の要約として十分か？
📄 言語処理学会第30回年次大会発表論文集 (2024年).
🗣️ 言語処理学会第30回年次大会 (NLP), 神戸, March 2024.上田 亮, 横井 祥.
言語の固有次元を測る.
📄 言語処理学会第30回年次大会発表論文集 (2024年).
🗣️ 言語処理学会第30回年次大会 (NLP), 神戸, March 2024.
🏆 言語処理学会第30回年次大会 委員特別賞 (57/599).
[paper]都地 悠馬, 高橋 惇, 横井 祥, 栗林 樹生, 上田 亮, 宮原 英之.
長距離相互作用する文脈依存言語における相転移現象 — 言語モデルの創発現象を統計力学の視点で理解する — .
📄 言語処理学会第30回年次大会発表論文集 (2024年).
🗣️ 言語処理学会第30回年次大会 (NLP), 神戸, March 2024.
🏆 言語処理学会第30回年次大会 委員特別賞 (57/599).
[paper]栗田 宙人, 小林 悟郎, 横井 祥, 乾 健太郎.
対照損失に基づく文エンコーダーは各単語をその情報利得で重み付ける.
🗣️ 第26回情報論的学習理論ワークショップ (IBIS), 北九州, October–November 2023.
熊谷 雄介, 横井 祥.
言語モデルによる few-shot 推薦におけるバイアスとその除去.
🗣️ 第26回情報論的学習理論ワークショップ (IBIS), 北九州, October–November 2023.
栗田 宙人, 小林 悟郎, 横井 祥, 乾 健太郎.
対照学習に基づく文埋込は各単語をその情報利得で重み付ける.
🗣️ NLP若手の会 第18回シンポジウム (YANS), 東京, August 2023.
上田 亮, 横井 祥.
ものの集まりを伝達する言語創発ゲーム.
🗣️ NLP若手の会 第18回シンポジウム (YANS), 東京, August 2023.
熊谷 雄介, 横井 祥.
言語モデルによる情報推薦が巻き込まれる各種バイアス.
🗣️ NLP若手の会 第18回シンポジウム (YANS), 東京, August 2023.
熊谷 雄介, 野沢 悠哉, 牛久 雅崇, 横井 祥.
Gromov–Wasserstein 距離を用いたクロスドメイン推薦.
📄 人工知能学会全国大会論文集, Vol. JSAI2023, 4 pages, 2023.
🗣️ 人工知能学会全国大会 (第37回) (JSAI), 熊本/Online, June 2023.小林 悟郎, 栗林 樹生, 横井 祥, 乾 健太郎. Transformer⾔語モデルの予測ヘッド内バイアスによる頻度補正効果. 言語処理学会第29回年次大会 (NLP), 沖縄/Online, March 2023.
栗田 宙人, 小林 悟郎, 横井 祥, 乾 健太郎. BERTを用いた文埋め込みモデルの単語の暗黙的な重み付け. 言語処理学会第29回年次大会 (NLP), 沖縄/Online, March 2023.
坂田 将樹, 横井 祥, Benjamin Heinzerling, 乾 健太郎. 事前学習済み言語モデルによるエンティティの概念化. 言語処理学会第29回年次大会 (NLP), 沖縄/Online, March 2023.
亀井 遼平, 横井 祥, 仲村 祐希, 渡辺 太郎, 乾 健太郎. 柔らかいジャンプ付き編集距離に向けて. 言語処理学会第29回年次大会 (NLP), 沖縄/Online, March 2023.
石橋 陽一, 横井 祥, 須藤 克仁, 中村 哲. 正準角および部分空間に基づくBERTScoreの拡張. 言語処理学会第29回年次大会 (NLP), 沖縄/Online, March 2023.
大山 百々勢, 横井 祥, 下平 英寿. 単語ベクトルの長さはKL情報量で解釈可能な意味の強さを表す. 第25回情報論的学習理論ワークショップ (IBIS), 筑波, November 2022.
🏆 優秀プレゼンテーション賞ファイナリスト.山際 宏明, 横井 祥, 下平 英寿. Self-Attention 行列を用いた最適輸送距離に基づく言い換え識別. 2022年度統計関連学会連合大会, 東京/Online, September 2022.
大山 百々勢, 横井 祥, 下平 英寿. 単語分散表現のノルムと意味の強さの情報理論的解釈. 2022年度統計関連学会連合大会, 東京/Online, September 2022.
小林 悟郎, 栗林 樹生, 横井 祥, 乾 健太郎. Transformerにおけるフィードフォワードネットの混ぜ合わせ作用. NLP若手の会 第17回シンポジウム (YANS), Online, August 2022.
🏆 奨励賞 (10/68).栗田 宙人, 小林 悟郎, 横井 祥, 乾 健太郎. BERTを用いた文埋め込みモデルによる単語の暗黙的な重み付け. NLP若手の会 第17回シンポジウム (YANS), Online, August 2022.
🏆 奨励賞 (10/68).
🏆 PKSHA Technology 賞.阿部 香央莉, 横井 祥, 梶原 智之, 乾 健太郎. 文間意味的類似度のベンチマークタスクと実応用タスクの乖離. 人工知能学会全国大会 (第36回) (JSAI), 京都/Online, June 2022.
石橋 陽一, 横井 祥, 須藤 克仁, 中村 哲. 学習済み埋め込み空間の線型部分空間を用いた集合演算. 人工知能学会全国大会 (第36回) (JSAI), 京都/Online, June 2022.
小林 悟郎, 栗林 樹生, 横井 祥, 乾 健太郎.
Transformerにおけるフィードフォワードネットの作用.
📄 言語処理学会第28回年次大会発表論文集 (2022年).
🗣️ 言語処理学会第28回年次大会 (NLP), Online, March 2022.
🏆 委員特別賞.
[paper]*大山 百々勢, *横井 祥, *下平 英寿 (* equally contributed).
単語ベクトルの長さは意味の強さを表す.
📄 言語処理学会第28回年次大会発表論文集 (2022年).
🗣️ 言語処理学会第28回年次大会 (NLP), Online, March 2022.
🏆 若手奨励賞 (12/280).
[paper]石橋 陽一, 横井 祥, 須藤 克仁, 中村 哲.
線型部分空間に基づく学習済み単語埋込空間上の集合演算.
📄 言語処理学会第28回年次大会発表論文集 (2022年).
🗣️ 言語処理学会第28回年次大会 (NLP), Online, March 2022.
🏆 若手奨励賞 (12/280).
[paper]熊谷 雄介, 野沢 悠哉, 横井 祥, 道本 龍.
対訳辞書構築技術に基づく教師なしデータフュージョン.
📄 言語処理学会第28回年次大会発表論文集 (2022年).
🗣️ 言語処理学会第28回年次大会 (NLP), Online, March 2022.山際 宏明, 横井 祥, 下平 英寿. BERTのパラメータを用いた最適輸送距離に基づく言い換え識別の性能評価. 第24回情報論的学習理論ワークショップ (IBIS), Online, November 2021.
大山 百々勢, 横井 祥, 下平 英寿. 単語の頻度情報と分散表現のノルムの関係性. 第24回情報論的学習理論ワークショップ (IBIS), Online, November 2021.
石橋 陽一, 横井 祥, 須藤 克仁, 中村 哲. 学習済み埋め込み空間における集合演算. 第24回情報論的学習理論ワークショップ (IBIS), Online, November 2021.
内藤 雅博, 横井 祥, 下平 英寿. 単語埋め込みの加法構成性の精緻化と論理演算. 2021年度統計関連学会連合大会, Online, September 2021.
横井 祥, 下平 英寿. 単語頻度を考慮した埋込空間の白色化の効能. NLP若手の会 第16回シンポジウム (YANS), Online, August 2021.
小林 悟郎, 栗林 樹生, 横井 祥, 乾 健太郎. 非線形モジュールの加法分解に基づくTransformerレイヤーの解析. NLP若手の会 第16回シンポジウム (YANS), Online, August 2021.
山際 宏明, 横井 祥, 下平 英寿. Self-AttentionとFused Gromov–Wasserstein距離に基づく文類似度計算. NLP若手の会 第16回シンポジウム (YANS), Online, August 2021.
大山 百々勢, 横井 祥, 下平 英寿. 指数型分布族による単語分散表現の特徴付け. NLP若手の会 第16回シンポジウム (YANS), Online, August 2021.
石橋 陽一, 横井 祥, 須藤 克仁, 中村 哲. 量子論理に基づく単語埋込集合間の論理演算. NLP若手の会 第16回シンポジウム (YANS), Online, August 2021.
神戸 隆志, 横井 祥, 吉川 将司. 複単語表現の意味計算を要する文類似度評価データの構築. 人工知能学会全国大会（第35回） (JSAI), Online, June 2021.
横井 祥, 下平 英寿.
単語埋め込みの確率的等方化.
📄 言語処理学会第27回年次大会発表論文集 (2021年), pp.1218–1223, 2021. [paper]
🗣️ 言語処理学会第27回年次大会 (NLP), Online, March 2021.
🏆 言語処理学会第27回年次大会 優秀賞 (8/361).大内 啓樹, 鈴木 潤, 小林 颯介, 横井 祥, 栗林 樹生, 吉川 将司, 乾 健太郎.
事例ベース依存構造解析のための依存関係表現学習.
📄 言語処理学会第27回年次大会発表論文集 (2021年).
🗣️ 言語処理学会第27回年次大会 (NLP), Online, March 2021.大竹 孝樹, 横井 祥, 井之上 直也, 高橋 諒, 栗林 樹生, 乾 健太郎.
物語におけるイベントの顕現性推定と物語類似性計算への応用.
📄 言語処理学会第27回年次大会発表論文集 (2021年).
🗣️ 言語処理学会第27回年次大会 (NLP), Online, March 2021.小林 悟郎, 栗林 樹生, 横井 祥, 乾 健太郎.
Transformerの文脈を混ぜる作用と混ぜない作用.
📄 言語処理学会第27回年次大会発表論文集 (2021年). [paper]
🗣️ 言語処理学会第27回年次大会 (NLP), Online, March 2021.
🏆 若手奨励賞 (11/247).内藤 雅博, 横井 祥, 下平 英寿.
単語埋め込みによる論理演算.
📄 言語処理学会第27回年次大会発表論文集 (2021年). [paper]
🗣️ 言語処理学会第27回年次大会 (NLP), Online, March 2021.
🏆 委員特別賞.塙 一晃, 横井 祥, 原 聡, 鈴木 潤, 乾 健太郎. モデルの予測の類似事例による説明の妥当性評価. 第23回情報論的学習理論ワークショップ (IBIS), Online, November 2020.
小林 悟郎, 栗林 樹生, 横井 祥, 乾 健太郎. ベクトル長に基づく注意機構と残差結合の包括的な分析. NLP若手の会 第15回シンポジウム (YANS), Online, September 2020.
神戸 隆志, 横井 祥, 吉川 将司. スパン埋め込みと最適輸送に基づく非構成的な句に頑健な文類似性尺度. NLP若手の会 第15回シンポジウム (YANS), Online, September 2020.
横井 祥, 高橋 諒, 赤間 怜奈, 鈴木 潤, 乾 健太郎.
単語埋め込みのノルムと方向ベクトルを区別した文間最適輸送コスト.
📄 人工知能学会全国大会論文集, Vol. JSAI2020. [paper]
🗣️ 2020年度 人工知能学会全国大会（第34回） (JSAI), Online, June 2020.
🏆 全国大会優秀賞(一般セッション口頭発表部門).塙 一晃, 横井 祥, 原 聡, 乾 健太郎.
訓練事例が予測に与える影響の測り方の妥当性検証.
📄 人工知能学会全国大会論文集, Vol. JSAI2020.
🗣️ 2020年度 人工知能学会全国大会（第34回） (JSAI), Online, June 2020.赤間 怜奈, 鈴木 潤, 横井 祥, 乾 健太郎.
ニューラル対話応答生成のための言語非依存な低品質対話データフィルタリング法の提案と分析.
📄 人工知能学会全国大会論文集, Vol. JSAI2020. [paper]
🗣️ 2020年度 人工知能学会全国大会（第34回） (JSAI), Online, June 2020.
🏆 全国大会学生奨励賞.豊國 郁人, 横井 祥, 鹿島 久嗣, 山田 誠.
構造を持つラベルに対する計算効率の高いワッサーシュタイン損失.
📄 人工知能学会全国大会論文集, Vol. JSAI2020. [paper]
🗣️ 2020年度 人工知能学会全国大会（第34回） (JSAI), Online, June 2020.
🏆 全国大会学生奨励賞.横井 祥, 高橋 諒, 赤間 怜奈, 鈴木 潤, 乾 健太郎.
超球面上での最適輸送コストに基づく文類似性尺度.
📄 言語処理学会第26回年次大会発表論文集 (2020年). [paper]
🗣️ 言語処理学会第26回年次大会 (NLP), Online, March 2020.
🏆 最優秀賞 (2/396).大内 啓樹, 鈴木 潤, 小林 颯介, 横井 祥, 栗林 樹生, 乾 健太郎.
スパン間の類似性に基づく事例ベース構造予測.
📄 言語処理学会第26回年次大会発表論文集 (2020年).
🗣️ 言語処理学会第26回年次大会 (NLP), Online, March 2020.赤間 怜奈, 鈴木 潤, 横井 祥, 乾 健太郎.
句の呼応と話題の一貫性に着目した低品質対話データの教師なしフィルタリング.
📄 言語処理学会第26回年次大会発表論文集 (2020年).
🗣️ 言語処理学会第26回年次大会 (NLP), Online, March 2020.大竹 孝樹, 横井 祥, 井之上 直也, 高橋 諒, 栗林 樹生, 乾 健太郎.
言語モデルによる物語中のイベントの顕現性推定.
📄 言語処理学会第26回年次大会発表論文集 (2020年).
🗣️ 言語処理学会第26回年次大会 (NLP), Online, March 2020.小林 悟郎, 栗林 樹生, 横井 祥, 鈴木 潤, 乾 健太郎.
ベクトル長に基づく自己注意機構の解析.
📄 言語処理学会第26回年次大会発表論文集 (2020年). [paper]
🗣️ 言語処理学会第26回年次大会 (NLP), Online, March 2020.
🏆 最優秀賞 (2/396).Geewook Kim, 横井 祥, 下平 英寿.
単語埋め込みの二種類の加法構成性.
🗣️ 言語処理学会第26回年次大会 (NLP), Online, March 2020.塙 一晃, 横井 祥, 原 聡, 鈴木 潤, 乾 健太郎. 訓練事例が機械学習モデルの予測に与える影響の測り方. 第22回情報論的学習理論ワークショップ (IBIS), 名古屋, November 2019.
横井 祥, 高橋 諒, 赤間 怜奈, 鈴木 潤, 乾 健太郎. 文ベクトルの最適輸送に基づく類似性尺度. NLP若手の会 第14回シンポジウム (YANS), 札幌, August 2019.
🏆 奨励賞 (4/82).大竹 孝樹, 横井 祥, 井之上 直也, 高橋 諒, 乾 健太郎. イベントの出現順序を考慮した物語の類似性尺度. NLP若手の会 第14回シンポジウム (YANS), 札幌, August 2019.
小林 悟郎, 栗林 樹生, 横井 祥, 鈴木 潤, 乾 健太郎. 文脈を考慮する言語モデルが捉える品詞情報とその軌跡. NLP若手の会 第14回シンポジウム (YANS), 札幌, August 2019.
吉成 未菜里, 横井 祥, 進藤 裕之, 乾 健太郎. 確率⽊置換⽂法と分散表現に基づくレシピ構造⽊の⽣成モデルの学習. 言語処理学会第25回年次大会 (NLP), 名古屋, March 2019.
大竹 孝樹, 横井 祥, 井之上 直也, 乾 健太郎. 顕現的要素の出現順序に基づく物語の類似性尺度. 言語処理学会第25回年次大会 (NLP), 名古屋, March 2019. [paper]
横井 祥, 小林 颯介, 福水 健次, 乾 健太郎.
カーネル法に基づく疎な言語表現のための高速計算可能な共起尺度.
📄 人工知能学会全国大会論文集, Vol. JSAI2018. [paper]
🗣️ 2018年度 人工知能学会全国大会（第32回） (JSAI), 鹿児島, June 2018.
🏆 2018年度人工知能学会全国大会 全国大会優秀賞 (一般セッション口頭部門) (21/753).赤間 怜奈, 渡邉 研斗, 横井 祥, 小林 颯介, 乾 健太郎.
スタイルの類似性を捉えた単語ベクトルの教師なし学習.
📄 人工知能学会全国大会論文集, Vol. JSAI2018. [paper]
🗣️ 2018年度 人工知能学会全国大会（第32回） (JSAI), 鹿児島, June 2018.
🏆 2018年度人工知能学会全国大会 全国大会優秀賞 (一般セッション口頭部門) (21/753).横井 祥, 小林 颯介, 福水 健次, 乾 健太郎. カーネル法に基づく疎な言語表現のための共起尺度. 言語処理学会第24回年次大会 (NLP), 筑波, March 2018. 言語処理学会 第24回年次大会 発表論文集 (2018年3月), pp.1268-1271, 2018. [paper]
赤間 怜奈, 横井 祥, 渡邉 研斗, 小林 颯介, 田 然, 乾 健太郎. サンプリング戦略に基づく単語ベクトルの意味成分とスタイル成分の分離. 言語処理学会第24回年次大会 (NLP), 筑波, March 2018. [paper]
渡邉 研斗, 赤間 怜奈, 横井 祥, 田 然, 乾 健太郎. 話題と言葉遣いの違いを考慮した潜在トピックモデル. 言語処理学会第24回年次大会 (NLP), 筑波, March 2018. [paper]
吉成 未菜里, 横井 祥, 乾 健太郎. 確率木置換文法と分散表現に基づくレシピ構造木の生成モデルの学習. 言語処理学会第24回年次大会 (NLP), 筑波, March 2018. [paper]
吉成 未菜里, 横井 祥, 乾 健太郎.
雛形化による手続き的知識の汎化.
📄 電子情報通信学会技術研究報告, Vol. 117, No. 374. [paper]
🗣️ 電子情報通信学会 第166回DBS研究会・DE/CEA合同研究会 (CEA), 東京, December 2017.
🏆 学生奨励賞.横井 祥, 福水 健次, 小林 颯介, 乾 健太郎. カーネル法に基づく共起尺度. 第20回情報論的学習理論ワークショップ (IBIS), 東京, November 2017. [poster]
赤間 怜奈, 横井 祥, 渡邉 研斗, 乾 健太郎.
発話の語の文体ベクトルの半教師あり学習.
📄 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 81. [paper]
🗣️ 人工知能学会 音声・言語理解と対話処理研究会 第81回研究会 (SLUD), 東京, October 2017.
🏆 若手奨励賞.横井 祥, 乾 健太郎. カーネル密度推定に基づく関係予測. NLP若手の会 第12回シンポジウム (YANS), 那覇, September 2017. [poster]
奨励賞 (5/49).赤間 怜奈, 渡邉 研斗, 横井 祥, 乾 健太郎. 発話スタイル空間の教師なし学習およびスタイル制御可能な対話システムの実現. NLP若手の会 第12回シンポジウム (YANS), 那覇, September 2017. [poster]
奨励賞 (5/49).横井 祥, 持橋 大地, 高橋 諒, 岡崎 直観, 乾 健太郎.
独立性尺度に基づく知識の粒度の教師なし推定.
📄 人工知能学会全国大会論文集, Vol. JSAI2017. [paper]
🗣️ 2017年度 人工知能学会全国大会（第31回） (JSAI), 名古屋, May 2017.
🏆 2017年度人工知能学会全国大会 全国大会優秀賞 (インタラクティブ発表部門) (22/約750).
🏆 2017年度人工知能学会全国大会 全国大会優秀賞 (オーガナイズドセッション口頭発表部門) (22/約750).横井 祥, 持橋 大地, 岡崎 直観, 乾 健太郎.
従属性に基づく事態間関係知識の粒度調整.
言語処理学会第23回年次大会 (NLP), 筑波, March 2017.
📄 言語処理学会第23回年次大会発表論文集 (2017年3月), pp.326–329, 2017. [paper]横井 祥, 持橋 大地, 岡崎 直観, 乾 健太郎. カーネル法を用いた従属性の高い部分木ペアの教師なし推定. 第19回情報論的学習理論ワークショップ (IBIS), 京都, November 2016. [poster]
横井 祥, 持橋 大地, 岡崎 直観, 乾 健太郎. 独立性判定基準に基づく知識の汎化. NLP若手の会 第11回シンポジウム (YANS), 白浜, August 2016. [poster]
横井 祥, 梶野 洸, 鹿島 久嗣. 接続行列分解による関係予測. 2015年度 人工知能学会全国大会（第29回） (JSAI), 函館, May–July 2015. [paper] [slide]
Education
Ph.D. in Information Sciences, April 2017 – March 2020. Tohoku University. Supervisor: Prof. Kentaro Inui.
M.S. in Information Sciences, April 2015 – March 2017. Tohoku University. Supervisor: Prof. Kentaro Inui.
B.S. in Engineering, April 2011 – March 2015. Kyoto University. Supervisor: Prof. Hisashi Kashima.
Professional Activities
International Conference (reviewer, chair)
Annual Meeting of the Association for Computational Linguistics (ACL): 2019, 2020, 2021, 2023 (Area Chair), 2024 (Area Chair), 2026 (Area Chair).
Conference on Empirical Methods in Natural Language Processing (EMNLP): 2019, 2020, 2021, 2022, 2023 (Area Chair), 2024.
ACL Rolling Review (ARR): 2021, 2022, 2023, 2026.
Conference on Neural Information Processing Systems (NeurIPS): 2021, 2022.
International Conference on Learning Representations (ICLR): 2022, 2023, 2024, 2025.
Annual AAAI Conference on Artificial Intelligence (AAAI): 2021.
International Joint Conference on Artificial Intelligence (IJCAI): 2021 (Senior Program Chair).
Member
The Association for Computational Linguistics, Faculty Member.