Sho Yokoi (横井 祥)

東北大学 大学院情報科学研究科 助教（乾研究室） 東北大学 工学部電気情報物理工学科 兼担 理化学研究所 革新知能統合研究センター 客員研究員 兼任（下平研究室）

連絡先

• yokoi [at] tohoku.ac.jp

• 〒980-8579
  宮城県仙台市青葉区荒巻字青葉6-6-05
  東北大学工学研究科 電子情報システム・応物系1号館6階

トーク・招待講演

[Speaker Deck]

• TBD.
  第26回情報論的学習理論ワークショップ (IBIS), パネルディスカッション1「君たちはどう研究するか」, 2023年10月.

• 大規模言語モデル.
  学術変革領域(A) 学習物理学の創成 領域会議, チュートリアル講演, 2023年9月.
  

• 機械はヒトの言葉をどこまで操れるようになったか.
  第25回HISFワークショップ, 2023年7月.
  

• 機械はヒトの言葉をどこまで操れるようになったか.
  京都大学 下平・本多研究室, 2023年7月.
  

• 機械はヒトの言葉をどこまで操れるようになったか.
  京都大学白眉センター2022年度年次報告会, 特別招待講演, 2023年7月.
  

• 言葉の意味の計算と最適輸送.
  Optimal Transport Meets Data, 2023年5月.
  [YouTube]

• ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送.
  Workshop OT 2023 (最適輸送とその周辺 - 機械学習から熱力学的最適化まで), 招待講演, 2023年3月.
  [スライド]

• Isotropy of word embedding space.
  第4回理研AIP数学系合同セミナー, 2023年2月.
  

• 構造を持った言語データと最適輸送—二種類の「アラインメントに基づく類似度」.
  NAIST DSC NLP Seminar 2022 Summer, 2022年9月.
  [スライド]

• 最適輸送と自然言語処理.
  言語処理学会第28回年次大会 (NLP 2022), チュートリアル講演, 2022年3月.
  [スライド] [YouTube]

• 言葉の形を教えてくれる自然言語処理.
  IPSJ-ONE 2022, 2022年3月.
  [スライド] [YouTube]

• 自分を知る，遊び場を作る.
  第6回 統計・機械学習若手シンポジウム, 企画セッション「日本の博士課程〜十人十色の選択肢〜」, 2022年2月.
  [スライド]

• 言葉が埋め込まれた空間の形.
  京都大学 平岡研究室, 2021年12月.

• 自然言語処理入門.
  株式会社講談社 社内セミナー, 2021年10月.

• 単語埋込勉強会.
  株式会社博報堂DYホールディングス 社内セミナー, 2021年10月.

• 最適輸送の使い方.
  第3回0xセミナー 最適輸送の情報科学における進展, 2021年6月.
  [スライド]

• Optimal Transport for Sentence Similarity and Geometry of Word Embedding Space.
  NLPコロキウム, 2021年3月.

• 超球面上での最適輸送コストに基づく文類似性尺度.
  情報系 WINTER FESTA Episode 5, 2019年12月.

• 文ベクトルと最適輸送を繋ぐ.
  京都大学 下平研究室, 2019年6月.

• 文ベクトルと最適輸送を繋ぐ.
  京都大学 黒橋・河原研究室, 2019年6月.

• 加法構成性と最適輸送を繋ぐ.
  第16回 NLP東京Dの会, 2019年3月.
  

• Pointwise HSIC: A Linear-Time Kernelized Co-occurrence Norm for Sparse Linguistic Expressions.
  情報系 WINTER FESTA Episode 4, 2018年12月.
  [スライド (概要)] [ポスター]

• 単語を埋め込む，文を埋め込む.
  名古屋工業大学 竹内・烏山研究室 セミナー, 2018年11月.

• 共起から類似を測る，類似から共起を測る.
  第3回 統計・機械学習若手シンポジウム, 2018年8月.

• 類似度から共起を測る.
  第12回 NLP東京Dの会, 2018年3月.

• カーネル法に基づく疎な言語表現のための共起尺度.
  基盤(S)離散構造処理系プロジェクト セミナー, 2018年2月.

• Learning Co-Substructures by Kernel Dependence Maximization.
  ERATO感謝祭 Season IV, 2017年8月.
  [スライド]

• 関係知識とセグメンテーション.
  第9回 NLP東京Dの会, 2017年4月.

略歴

• 2020年5月–現在：理化学研究所 革新知能統合研究センター 客員研究員 兼任

• 2020年4月–現在：東北大学 工学部電気情報物理工学科 助教 兼担

• 2020年4月–現在：東北大学 大学院情報科学研究科 システム情報科学専攻 助教

• 2020年3月25日：博士(情報科学) 取得

  • 博士論文：Computing Co-occurrence with Kernels (カーネル法に基づく共起の計算)

• 2020年3月：東北大学大学院情報科学研究科システム情報科学専攻 博士課程後期3年の課程 修了

  • 指導教員：乾健太郎教授

• 2017年3月：東北大学大学院情報科学研究科システム情報科学専攻 博士課程前期2年の課程 修了

  • 指導教員：乾健太郎教授

• 2015年3月：京都大学工学部情報学科 卒業

  • 指導教員：鹿島久嗣教授

紹介文

東北大学大学院情報科学研究科助教．2020年東北大学大学院情報科学研究科博士課程修了，のち現職．理化学研究所AIPセンター客員研究員兼任．自然言語処理，機械学習に関する研究に従事．

受賞

• 第25回情報論的学習理論ワークショップ 優秀プレゼンテーション賞ファイナリスト.
  大山 百々勢, 横井 祥, 下平 英寿. 単語ベクトルの長さはKL情報量で解釈可能な意味の強さを表す.
  2022年11月22日.

• 言語処理学会第28回年次大会 委員特別賞.
  小林 悟郎, 栗林 樹生, 横井 祥, 乾 健太郎. Transformerにおけるフィードフォワードネットの作用.
  2022年3月17日.

• 言語処理学会 2021年度論文賞.
  小林 颯介, 横井 祥, 鈴木 潤, 乾 健太郎. 訓練事例の影響の軽量な推定.
  2022年3月11日.

• 言語処理学会第27回年次大会 優秀賞 (8/361).
  横井 祥, 下平 英寿. 単語埋め込みの確率的等方化.
  2021年3月15日.

• 言語処理学会第27回年次大会 委員特別賞.
  内藤 雅博, 横井 祥, 下平 英寿. 単語埋め込みによる論理演算.
  2021年3月15日.

• 2020年度 人工知能学会全国大会 全国大会優秀賞 (一般セッション口頭発表部門) (28/915).
  横井 祥, 高橋 諒, 赤間 怜奈, 鈴木 潤, 乾 健太郎. 単語埋め込みのノルムと方向ベクトルを区別した文間最適輸送コスト.
  2020年7月22日.

• 情報処理学会 2019年度 研究会推薦博士論文.
  横井 祥. Computing Co-occurrence with Kernels (カーネル法に基づく共起の計算).
  2020年7月13日.

• 言語処理学会第26回年次大会 最優秀賞 (2/396).
  横井 祥, 高橋 諒, 赤間 怜奈, 鈴木 潤, 乾 健太郎. 超球面上での最適輸送コストに基づく文類似性尺度.
  2020年3月16日.

• 言語処理学会第26回年次大会 最優秀賞 (2/396).
  小林 悟郎, 栗林 樹生, 横井 祥, 鈴木 潤, 乾 健太郎. ベクトル長に基づく自己注意機構の解析.
  2020年3月16日.

• NLP若手の会第14回シンポジウム 奨励賞 (4/82).
  横井 祥, 高橋 諒, 赤間 怜奈, 鈴木 潤, 乾 健太郎. 文ベクトルの最適輸送に基づく類似性尺度.
  2019年8月28日.

• 2018年度人工知能学会全国大会 全国大会優秀賞 (一般セッション口頭部門) (21/753).
  横井 祥, 乾 健太郎. カーネル法に基づく疎な言語表現のための高速計算可能な共起尺度.
  2018年7月26日.

• 2018年度人工知能学会全国大会 全国大会優秀賞 (一般セッション口頭部門) (21/753).
  赤間 怜奈, 横井 祥, 乾 健太郎. スタイルの類似性を捉えた単語ベクトルの教師なし学習.
  2018年7月26日.

• NLP若手の会第12回シンポジウム 奨励賞 (5/49).
  横井 祥, 乾 健太郎. カーネル密度推定に基づく関係予測.
  2017年9月6日.

• NLP若手の会第12回シンポジウム 奨励賞 (5/49).
  赤間 怜奈, 渡邉 研斗, 横井 祥, 乾 健太郎. 発話スタイル空間の教師なし学習およびスタイル制御可能な対話システムの実現.
  2017年9月6日.

• 2017年度人工知能学会全国大会 全国大会優秀賞 (インタラクティブ発表部門) (22/約750).
  横井 祥. 独立性尺度に基づく知識の粒度の教師なし推定.
  2017年7月18日.

• 2017年度人工知能学会全国大会 全国大会優秀賞 (オーガナイズドセッション口頭発表部門) (22/約750).
  横井 祥. 独立性尺度に基づく知識の粒度の教師なし推定.
  2017年7月18日.

指導学生・共著研究の受賞

• NLP若手の会第17回シンポジウム 奨励賞 (10/68).
  小林 悟郎. Transformerにおけるフィードフォワードネットの混ぜ合わせ作用.
  2022年8月30日.

• NLP若手の会第17回シンポジウム 奨励賞 (10/68).
  栗田 宙人. BERTを用いた文埋め込みモデルによる単語の暗黙的な重み付け.
  2022年8月30日.

• NLP若手の会第17回シンポジウム PKSHA Technology 賞.
  栗田 宙人. BERTを用いた文埋め込みモデルによる単語の暗黙的な重み付け.
  2022年8月30日.

• 言語処理学会第28回年次大会 若手奨励賞 (12/280).
  大山 百々勢. 単語ベクトルの長さは意味の強さを表す.
  2022年3月11日.

• 言語処理学会第28回年次大会 若手奨励賞 (12/280).
  石橋 陽一. 線型部分空間に基づく学習済み単語埋込空間上の集合演算.
  2022年3月11日.

• 言語処理学会第27回年次大会 若手奨励賞 (11/247).
  小林 悟郎. Transformer の文脈を混ぜる作用と混ぜない作用.
  2021年3月15日.

• 2020年度 人工知能学会全国大会 全国大会学生奨励賞.
  赤間 怜奈. ニューラル対話応答生成のための言語非依存な低品質対話データフィルタリング法の提案と分析.
  2020年7月22日.

• 2020年度 人工知能学会全国大会 全国大会学生奨励賞.
  豊國 郁人. 構造を持つラベルに対する計算効率の高いワッサーシュタイン損失.
  2020年7月22日.

• 情報処理学会第166回データベースシステム研究会ならびに電気情報通信学会データ工学研究会（食メディア研究会協賛） 学生奨励賞.
  吉成 未菜里. 雛形化による手続き的知識の汎化.
  2017年12月23日.

• 第8回対話シンポジウム 若手奨励賞.
  赤間 怜奈. 発話の語の文体ベクトルの半教師あり学習.
  2017年10月13日.

競争的資金

• 日本学術振興会 (JSPS), 科学研究費助成事業 (科研費) 補助金, 学術変革領域研究(A), データ記述科学の創出と諸分野への横断的展開 (データ記述科学) 領域 (HP).
  「ダイナミクスの確率的記述と推論により拓く新しいデータ科学」 (データ科学班), 2022年度–2026年度, 分担.
  直接経費 – 2022年度: 1,450千円, 2023年度: 1,560千円, 2024年度: 1,592千円 (予定), 2025年度: 1,598千円 (予定), 2026年度: 1,294千円 (予定).

• 日本学術振興会 (JSPS), 科学研究費助成事業 (科研費) 補助金, 基盤研究(B).
  「言語で記述された常識と実世界の観察を統合するロボットのための知識推論システム」, 2022年度–2025年度, 分担.
  直接経費 – 2022年度: 700千円, 2023年度: 900千円, 2024年度: 700千円 (予定), 2025年度 700千円 (予定).

• 科学技術振興機構 (JST), ACT-X, 数理・情報のフロンティア (数理・情報) 領域.
  「言葉が埋め込まれた空間の形と言葉の意味の接続」, 2020年度–2022年度, 代表.
  直接経費 – 2020年度: 1,500千円, 2021年度: 1,500千円, 2022年度: 1,500千円.

• 科学技術振興機構 (JST), AIPチャレンジプログラム.
  「離散分布表現に基づく可読的で高精度なテキスト類義性計算機構」, 2019年度, 代表.
  直接経費 – 2019年度: 1,000千円.

• 日本学術振興会 (JSPS), 特別研究員 (DC2).
  「グラフ解析とカーネル法の融合による事態間関係知識の大規模自動獲得」, 2018年度–2019年度, 代表. (内定・辞退)

論文紹介

• Hahn and Goyal, A Theory of Emergent In-Context Learning as Implicit Structure Induction (arXiv 2023).
  第15回最先端NLP勉強会, 2023年8月.
  [スライド]

• Shi et al., Revisiting Over-smoothing in BERT from the Perspective of Graph (ICLR 2022).
  第14回最先端NLP勉強会, 2022年9月.
  [スライド]

• Wang and Isola, Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere (ICML 2020).
  ステート・オブ・AI ガイド, 2022年3月.
  [解説記事]

• Levine et al., PMI-Masking: Principled masking of correlated spans (ICLR 2021).
  ステート・オブ・AI ガイド, 2022年1月.
  [解説記事]

• Menon et al, Long-tail learning via logit adjustment (ICLR 2021).
  第13回最先端NLP勉強会, 2021年9月.
  [スライド]

• Amigo et al., An Effectiveness Metric for Ordinal Classification: Formal Properties and Experimental Results (ACL 2020).
  第12回最先端NLP勉強会, 2020年9月.
  [スライド]

• Zhelezniak et al., Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors (ICLR 2019).
  第11回最先端NLP勉強会, 2019年9月.
  [スライド]

• Nickel and Kiela, Poincaré Embeddings for Learning Hierarchical Representations (NIPS 2017).
  第9回最先端NLP勉強会, 2017年9月.
  [スライド]

研究Tips

• 知らない用語の調べ方 〜「Googleの外側」を活用するための3つのTips〜, 2017年10月.

雑記

• 自分を知る，遊び場を作る, 2022年2月.

• なぜなぜ期が終わらない人への学部教育という救い, 2021年10月.

• 勉強をやり直したい大人のための大学受験のすすめ, 2011年5月.