Sho Yokoi (横井 祥)
 |
Sho Yokoi |
Research Interest
Machine leanring for natural language processing, especially optimal transport and kernel methods
Increasing the resolution of metrics used in NLP
Publications (Refereed)
2021
Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Masashi Yoshikawa, Kentaro Inui.
Instance-Based Neural Dependency Parsing.
Transactions of the Association for Computational Linguistics (TACL), Vol. 9, pp.1493–1507, 2021.
[arXiv] [paper]Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui.
Incorporating Residual and Normalization Layers into Analysis of Masked Language Models.
In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.4547–4568, 2021.
[arXiv] [paper]
Masahiro Naito, Sho Yokoi, Geewook Kim, Hidetoshi Shimodaira.
Revisiting Additive Compositionality: AND, OR and NOT Operations with Word Embeddings.
The ACL-IJCNLP 2021 Student Research Workshop, 2021.
[arXiv]
Ayato Toyokuni, Sho Yokoi, Hisashi Kashima, Makoto Yamada.
Computationally Efficient Wasserstein Loss for Structured Labels.
In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Student Research Workshop, pp.1–7, 2021.
[arXiv] [paper]
Kazuaki Hanawa, Sho Yokoi, Satoshi Hara, Kentaro Inui.
Evaluation of Similarity-based Explanations.
The Ninth International Conference on Learning Representations (ICLR), 2021.
[arXiv] [OpenReview] [code]
2020
Takaki Otake, Sho Yokoi, Naoya Inoue, Ryo Takahashi, Tatsuki Kuribayashi, Kentaro Inui.
Modeling Event Salience in Narratives via Barthes’ Cardinal Functions.
In Proceedings of the 28th International Conference on Computational Linguistics (COLING), pp.1784–1794, 2020.
[arXiv] [paper] [code]Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, Kentaro Inui.
Word Rotator's Distance.
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.2944–2960, 2020.
[arXiv] [paper] [code]Reina Akama, Sho Yokoi, Jun Suzuki, Kentaro Inui.
Utterance Pair Scoring for Noisy Dialogue Data Filtering.
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.941–958, 2020.
[arXiv] [paper]Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui.
Attention Module is Not Only a Weight: Analyzing Transformers with Vector Norms.
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.7057–7075, 2020.
Earlier version is accepted by ACL 2020 Student Research Workshop.
[arXiv] [paper] [code]Sosuke Kobayashi, Sho Yokoi, Jun Suzuki, Kentaro Inui.
Efficient Estimation of Influence of a Training Instance.
In Proceedings of First Workshop on Simple and Efficient Natural Language Processing (SustaiNLP), pp.41–47, 2020.
[arXiv] [paper]Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Ryuto Konno, Kentaro Inui.
Instance-based Learning of Span Representations: A Case Study through Named Entity Recognition.
In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp.6452–6459, 2020.
[arXiv] [paper] [bib] [code]
2018
Sho Yokoi, Sosuke Kobayashi, Kenji Fukumizu, Jun Suzuki, Kentaro Inui.
Pointwise HSIC: A Linear-Time Kernelized Co-occurrence Norm for Sparse Linguistic Expressions.
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.1763–1775 , 2018.
[arXiv] [paper] [bib] [slide] [poster] [code]Reina Akama, Kento Watanabe, Sho Yokoi, Sosuke Kobayashi, Kentaro Inui.
Unsupervised Learning of Style-sensitive Word Vectors.
In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), pp.572–578, 2018.
[arXiv] [paper] [bib] [poster] [code]
2017
Sho Yokoi, Daichi Mochihashi, Ryo Takahashi, Naoaki Okazaki, Kentaro Inui.
Learning Co-Substructures by Kernel Dependence Maximization.
In Proceedings of the 26th International Joint Conference on Artificial Intelligence (IJCAI), pp.3329–3335, 2017.
[paper] [bib]Sho Yokoi, Hiroshi Kajino, Hisashi Kashima.
Link Prediction in Sparse Networks by Incidence Matrix Factorization.
Journal of Information Processing, Vol. 25, pp.477–485. 2017.
[paper] [bib]
2016
Sho Yokoi, Hiroshi Kajino, Hisashi Kashima.
Link Prediction by Incidence Matrix Factorization.
In Proceedings of the 22nd European Conference on Artificial Intelligence (ECAI), pp.1730–1731, 2016.
[paper]
Publications (Domestic)
小林 颯介, 横井 祥, 鈴木 潤, 乾 健太郎.
訓練事例の影響の軽量な推定.
自然言語処理, Vol. 28, No. 2, pp.573–597. 2021.
Non-refereed publications, Talks
Domestic Conferences, Workshops
山際 宏明, 横井 祥, 下平 英寿. BERTのパラメータを用いた最適輸送距離に基づく言い換え識別の性能評価. 第24回情報論的学習理論ワークショップ (IBIS), Online, November 2021.
大山 百々勢, 横井 祥, 下平 英寿. 単語の頻度情報と分散表現のノルムの関係性. 第24回情報論的学習理論ワークショップ (IBIS), Online, November 2021.
石橋 陽一, 横井 祥, 須藤 克仁, 中村 哲. 学習済み埋め込み空間における集合演算. 第24回情報論的学習理論ワークショップ (IBIS), Online, November 2021.
内藤 雅博, 横井 祥, 下平 英寿. 単語埋め込みの加法構成性の精緻化と論理演算. 2021年度統計関連学会連合大会, Online, September 2021.
横井 祥, 下平 英寿. 単語頻度を考慮した埋込空間の白色化の効能. NLP若手の会 第16回シンポジウム (YANS), Online, August 2021.
小林 悟郎, 栗林 樹生, 横井 祥, 乾 健太郎. 非線形モジュールの加法分解に基づくTransformerレイヤーの解析. NLP若手の会 第16回シンポジウム (YANS), Online, August 2021.
山際 宏明, 横井 祥, 下平 英寿. Self-AttentionとFused Gromov–Wasserstein距離に基づく文類似度計算. NLP若手の会 第16回シンポジウム (YANS), Online, August 2021.
大山 百々勢, 横井 祥, 下平 英寿. 指数型分布族による単語分散表現の特徴付け. NLP若手の会 第16回シンポジウム (YANS), Online, August 2021.
石橋 陽一, 横井 祥, 須藤 克仁, 中村 哲. 量子論理に基づく単語埋込集合間の論理演算. NLP若手の会 第16回シンポジウム (YANS), Online, August 2021.
神戸 隆志, 横井 祥, 吉川 将司. 複単語表現の意味計算を要する文類似度評価データの構築. 人工知能学会全国大会（第35回） (JSAI), Online, June 2021.
横井 祥, 下平 英寿. 単語埋め込みの確率的等方化. 言語処理学会第26回年次大会 (NLP), Online, March 2021.
[paper]
優秀賞 (8/361).大内 啓樹, 鈴木 潤, 小林 颯介, 横井 祥, 栗林 樹生, 吉川 将司, 乾 健太郎. 事例ベース依存構造解析のための依存関係表現学習. 言語処理学会第26回年次大会 (NLP), Online, March 2021.
大竹 孝樹, 横井 祥, 井之上 直也, 高橋 諒, 栗林 樹生, 乾 健太郎. 物語におけるイベントの顕現性推定と物語類似性計算への応用. 言語処理学会第26回年次大会 (NLP), Online, March 2021.
小林 悟郎, 栗林 樹生, 横井 祥, 乾 健太郎. Transformer の文脈を混ぜる作用と混ぜない作用. 言語処理学会第26回年次大会 (NLP), Online, March 2021.
若手奨励賞 (11/247).内藤 雅博, 横井 祥, 下平 英寿. 単語埋め込みによる論理演算. 言語処理学会第26回年次大会 (NLP), Online, March 2021.
委員特別賞.塙 一晃, 横井 祥, 原 聡, 鈴木 潤, 乾 健太郎. モデルの予測の類似事例による説明の妥当性評価. 第23回情報論的学習理論ワークショップ (IBIS), Online, November 2020.
小林 悟郎, 栗林 樹生, 横井 祥, 乾 健太郎. ベクトル長に基づく注意機構と残差結合の包括的な分析. NLP若手の会 第15回シンポジウム (YANS), Online, September 2020.
神戸 隆志, 横井 祥, 吉川 将司. スパン埋め込みと最適輸送に基づく非構成的な句に頑健な文類似性尺度. NLP若手の会 第15回シンポジウム (YANS), Online, September 2020.
横井 祥, 高橋 諒, 赤間 怜奈, 鈴木 潤, 乾 健太郎. 単語埋め込みのノルムと方向ベクトルを区別した文間最適輸送コスト. 2020年度 人工知能学会全国大会（第34回） (JSAI), Online, June 2020.
[paper]
全国大会優秀賞(一般セッション口頭発表部門).塙 一晃, 横井 祥, 原 聡, 乾 健太郎. 訓練事例が予測に与える影響の測り方の妥当性検証. 2020年度 人工知能学会全国大会（第34回） (JSAI), Online, June 2020.
赤間 怜奈, 鈴木 潤, 横井 祥, 乾 健太郎. ニューラル対話応答生成のための言語非依存な低品質対話データフィルタリング法の提案と分析. 2020年度 人工知能学会全国大会（第34回） (JSAI), Online, June 2020.
全国大会学生奨励賞.豊國 郁人, 横井 祥, 鹿島 久嗣, 山田 誠. 構造を持つラベルに対する計算効率の高いワッサーシュタイン損失. 2020年度 人工知能学会全国大会（第34回） (JSAI), Online, June 2020.
全国大会学生奨励賞.横井 祥, 高橋 諒, 赤間 怜奈, 鈴木 潤, 乾 健太郎. 超球面上での最適輸送コストに基づく文類似性尺度. 言語処理学会第26回年次大会 (NLP), Online, March 2020.
[paper]
最優秀賞 (2/396).大内 啓樹, 鈴木 潤, 小林 颯介, 横井 祥, 栗林 樹生, 乾 健太郎. スパン間の類似性に基づく事例ベース構造予測. 言語処理学会第26回年次大会 (NLP), Online, March 2020.
赤間 怜奈, 鈴木 潤, 横井 祥, 乾 健太郎. 句の呼応と話題の一貫性に着目した低品質対話データの教師なしフィルタリング. 言語処理学会第26回年次大会 (NLP), Online, March 2020.
大竹 孝樹, 横井 祥, 井之上 直也, 高橋 諒, 栗林 樹生, 乾 健太郎. 言語モデルによる物語中のイベントの顕現性推定. 言語処理学会第26回年次大会 (NLP), Online, March 2020.
小林 悟郎, 栗林 樹生, 横井 祥, 鈴木 潤, 乾 健太郎. ベクトル長に基づく自己注意機構の解析. 言語処理学会第26回年次大会 (NLP), Online, March 2020.
最優秀賞 (2/396).Geewook Kim, 横井 祥, 下平 英寿. 単語埋め込みの二種類の加法構成性. 言語処理学会第26回年次大会 (NLP), Online, March 2020.
塙 一晃, 横井 祥, 原 聡, 鈴木 潤, 乾 健太郎. 訓練事例が機械学習モデルの予測に与える影響の測り方. 第22回情報論的学習理論ワークショップ (IBIS), 名古屋, November 2019.
横井 祥, 高橋 諒, 赤間 怜奈, 鈴木 潤, 乾 健太郎. 文ベクトルの最適輸送に基づく類似性尺度. NLP若手の会 第14回シンポジウム (YANS), 札幌, August 2019.
奨励賞 (4/82).大竹 孝樹, 横井 祥, 井之上 直也, 高橋 諒, 乾 健太郎. イベントの出現順序を考慮した物語の類似性尺度. NLP若手の会 第14回シンポジウム (YANS), 札幌, August 2019.
小林 悟郎, 栗林 樹生, 横井 祥, 鈴木 潤, 乾 健太郎. 文脈を考慮する言語モデルが捉える品詞情報とその軌跡. NLP若手の会 第14回シンポジウム (YANS), 札幌, August 2019.
Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, Kentaro Inui. Decomposing Sentence Vectors Twice Gives Better and More Interpretable Representaons. Third International Workshop on Symbolic-Neural Learning (SNL), Tokyo, July 2019.
吉成 未菜里, 横井 祥, 進藤 裕之, 乾 健太郎. 確率⽊置換⽂法と分散表現に基づくレシピ構造⽊の⽣成モデルの学習. 言語処理学会第25回年次大会 (NLP), 名古屋, March 2019.
大竹 孝樹, 横井 祥, 井之上 直也, 乾 健太郎. 顕現的要素の出現順序に基づく物語の類似性尺度. 言語処理学会第25回年次大会 (NLP), 名古屋, March 2019. [paper]
横井 祥, 小林 颯介, 福水 健次, 乾 健太郎. カーネル法に基づく疎な言語表現のための高速計算可能な共起尺度. 2018年度 人工知能学会全国大会（第32回） (JSAI), 鹿児島, June 2018. 人工知能学会全国大会論文集, vol. JSAI2018, 4 pages, 2018. [paper]
全国大会優秀賞(一般セッション口頭部門).赤間 怜奈, 渡邉 研斗, 横井 祥, 小林 颯介, 乾 健太郎. スタイルの類似性を捉えた単語ベクトルの教師なし学習. 2018年度 人工知能学会全国大会（第32回） (JSAI), 鹿児島, June 2018. [paper]
全国大会優秀賞(一般セッション口頭部門).横井 祥, 小林 颯介, 福水 健次, 乾 健太郎. カーネル法に基づく疎な言語表現のための共起尺度. 言語処理学会第24回年次大会 (NLP), 筑波, March 2018. 言語処理学会 第24回年次大会 発表論文集 (2018年3月), pp.1268-1271, 2018. [paper]
赤間 怜奈, 横井 祥, 渡邉 研斗, 小林 颯介, 田 然, 乾 健太郎. サンプリング戦略に基づく単語ベクトルの意味成分とスタイル成分の分離. 言語処理学会第24回年次大会 (NLP), 筑波, March 2018. [paper]
渡邉 研斗, 赤間 怜奈, 横井 祥, 田 然, 乾 健太郎. 話題と言葉遣いの違いを考慮した潜在トピックモデル. 言語処理学会第24回年次大会 (NLP), 筑波, March 2018. [paper]
吉成 未菜里, 横井 祥, 乾 健太郎. 確率木置換文法と分散表現に基づくレシピ構造木の生成モデルの学習. 言語処理学会第24回年次大会 (NLP), 筑波, March 2018. [paper]
吉成 未菜里, 横井 祥, 乾 健太郎. 雛形化による手続き的知識の汎化. 電子情報通信学会 第166回DBS研究会・DE/CEA合同研究会 (CEA), 東京, December 2017. [paper]
学生奨励賞.横井 祥, 福水 健次, 小林 颯介, 乾 健太郎. カーネル法に基づく共起尺度. 第20回情報論的学習理論ワークショップ (IBIS), 東京, November 2017. [poster]
赤間 怜奈, 横井 祥, 渡邉 研斗, 乾 健太郎. 発話の語の文体ベクトルの半教師あり学習. 人工知能学会 音声・言語理解と対話処理研究会 第81回研究会 (SLUD), 東京, October 2017. [paper] [poster]
若手奨励賞.横井 祥, 乾 健太郎. カーネル密度推定に基づく関係予測. NLP若手の会 第12回シンポジウム (YANS), 那覇, September 2017. [poster]
奨励賞 (5/49).赤間 怜奈, 渡邉 研斗, 横井 祥, 乾 健太郎. 発話スタイル空間の教師なし学習およびスタイル制御可能な対話システムの実現. NLP若手の会 第12回シンポジウム (YANS), 那覇, September 2017. [poster]
奨励賞 (5/49).横井 祥, 持橋 大地, 高橋 諒, 岡崎 直観, 乾 健太郎. 独立性尺度に基づく知識の粒度の教師なし推定. 2017年度 人工知能学会全国大会（第31回） (JSAI), 名古屋, May 2017. [slide] [poster] 人工知能学会全国大会論文集, vol. JSAI2017, 4 pages. [paper]
全国大会優秀賞(2部門).横井 祥, 持橋 大地, 岡崎 直観, 乾 健太郎. 従属性に基づく事態間関係知識の粒度調整. 言語処理学会第23回年次大会 (NLP), 筑波, March 2017. [slide] 言語処理学会 第23回年次大会 発表論文集 (2017年3月), pp.326–329, 2017. [paper]
横井 祥, 持橋 大地, 岡崎 直観, 乾 健太郎. カーネル法を用いた従属性の高い部分木ペアの教師なし推定. 第19回情報論的学習理論ワークショップ (IBIS), 京都, November 2016. [poster]
横井 祥, 持橋 大地, 岡崎 直観, 乾 健太郎. 独立性判定基準に基づく知識の汎化. NLP若手の会 第11回シンポジウム (YANS), 白浜, August 2016. [poster]
横井 祥, 梶野 洸, 鹿島 久嗣. 接続行列分解による関係予測. 2015年度 人工知能学会全国大会（第29回） (JSAI), 函館, May–July 2015. [paper] [slide]
Invited Talks
最適輸送と自然言語処理.
言語処理学会第28回年次大会 (NLP 2022), March 2021.TBA.
TBA, March 2021.最適輸送の使い方.
第3回0xセミナー 最適輸送の情報科学における進展, June 2021.Optimal Transport for Sentence Similarity and Geometry of Word Embedding Space.
NLPコロキウム, March, 2021.超球面上での最適輸送コストに基づく文類似性尺度.
情報系 WINTER FESTA Episode 5, December 2019.文ベクトルと最適輸送を繋ぐ.
京都大学 下平研究室, June 2019.文ベクトルと最適輸送を繋ぐ.
京都大学 黒橋・河原研究室, June 2019.加法構成性と最適輸送を繋ぐ.
第16回 NLP東京Dの会, March 2019.Pointwise HSIC: A Linear-Time Kernelized Co-occurrence Norm for Sparse Linguistic Expressions.
情報系 WINTER FESTA Episode 4, December 2018.
[slide (abstract)] [poster]単語を埋め込む，文を埋め込む.
名古屋工業大学 竹内・烏山研究室 セミナー, November 2018.共起から類似を測る，類似から共起を測る.
第3回 統計・機械学習若手シンポジウム, August 2018. [slide]類似度から共起を測る.
第12回 NLP東京Dの会, March 2018. [slide]カーネル法に基づく疎な言語表現のための共起尺度.
基盤(S)離散構造処理系プロジェクト セミナー, February 2018. [slide]Learning Co-Substructures by Kernel Dependence Maximization.
ERATO感謝祭 Season IV, August 2017. [slide] [video]関係知識とセグメンテーション.
第9回 NLP東京Dの会, April 2017. [slide]
Education
Doctor of Information Science, April 2017 – March 2020.
Graduate School of Information Sciences, Tohoku University, Japan
Major: Natural Language Processing
Supervisor: Prof. Kentaro Inui
Master of Information Science, April 2015 – March 2017.
Graduate School of Information Sciences, Tohoku University, Japan
Major: Natural Language Processing
Supervisor: Prof. Kentaro Inui
Bachelor of Engineering, April 2011 – March 2015.
Undergraduate School of Informatics and Mathematical Science, Faculty of Engineering, Kyoto University, Japan
Major: Computer Science, Machine Learning
Supervisor: Prof. Hisashi Kashima
Work Experience
Research Assistant
RIKEN Center for Advanced Intelligence Project (AIP), Natural Language Understanding Team (ja), June 2017 – Present.
JST, CREST, 構造理解に基づく大規模文献情報からの知識発見 (日本の研究.com), December 2015 – March 2017.
Teaching
Programming Practice A (C language), Tohoku University, Spring 2020.
Teaching Assistant
Programming Practice A (C language), Tohoku University, Spring 2017.
Information Communication Theory (Python), Tohoku University, Autumn 2016.
Web Computing (Python), Tohoku University, Spring 2016.
Programming Practice A (C language), Tohoku University, Spring 2016.
Basic Seminar for Competitive Programming and AI Programming (C language, C++), Tohoku University, Spring 2015.
Programming Practice A (C language), Tohoku University, Spring 2015.
Professional Activities
Research Grant
JST ACT-X, 数理・情報のフロンティア, 言葉が埋め込まれた空間の形と言葉の意味の接続, November 2020–March 2023.
AIPチャレンジプログラム, August 2019–March 2020.
Google AI for Japan, 2019–2020. (分担者)
日本学術振興会 特別研究員 (DC2) (内定・辞退)
Program Committee
AAAI, Reviewer, 2021.
NLPコロキウム, オーガナイザー, 2021–.
情報論的学習理論ワークショップ (IBIS), プログラム委員, 2020.
NLP若手の会 (YANS), 運営委員, 2017–2019.
最先端NLP勉強会, 運営委員長, 2016–2019.
Member
The Association for Computational Linguistics, Faculty Member.