Sho Yokoi (横井 祥)
 |
|
連絡先
yokoi [at] ninjal.ac.jp
〒190-8561 東京都立川市緑町10-2 国立国語研究所
0570-08-8595（代表）
トーク・招待講演
2025
TBA.
TBA, 2025年6月.高次元空間上の点群としての自然言語.
統計物理学懇談会 (第12回), 2025年3月.
Benjamin Heinzerling, 横井 祥, 小林 悟郎.
言語モデルの内部機序：解析と解釈.
言語処理学会第31回年次大会 (NLP 2025), チュートリアル講演, 2025年3月.
[スライド] [YouTube]「確率的なオウム」にできること，またそれがなぜできるのかについて.
ヒューマニティーズ+ 第3回研究会「ベクトル・言葉・意味」, 2025年3月.
[スライド]コーパスを丸呑みしたモデルから言語の何がわかるか.
国立国語研究所 次世代言語科学研究センター開所式及び第1回研究会, 2025年3月.
[スライド]
2024
大塚 淳, 竹内 孝, 横井 祥, 包 含.
AIから考える言語・知性・科学 — 言語の表現学習が問う「理解の理解」.
日本科学哲学会第57回(2024年度)大会, 2024年12月.言語の表現学習が問う「理解の理解」.
日本神経回路学会 オータムスクール (ASCONE) , 2024年11月.
Zipf 白色化：タイプとトークンの区別がもたらす良質な埋め込み空間と損失関数.
NLPコロキウム, 2024年11月.
[スライド] [YouTube]形を通して意味を知る.
第19回YANSシンポジウム (YANS), 招待セッション, 2024年9月.
[ポスター]「確率的なオウム」にできること、またそれがなぜできるのかについて.
九州大学大学院 人文情報連係学府（仮称・設置認可 申請中）学際シンポジウムシリーズ「接続する人文学：テクストを計算する」, 2024年7月.
[スライド]言葉が埋め込まれた空間の形と言葉の意味の接続.
ACT-X 数理・情報のフロンティア 第2回成果報告会, 2024年4月.Isotropy of word embedding space (replay).
第5回理研AIP数学系合同セミナー, 2024年2月.
「確率的なオウム」にできること，またそれがなぜできるのかについて.
京都大学大学院文学研究科 応用哲学・倫理学教育研究センター, CAPEレクチャー, 2024年1月.
2023
TBA.
第26回情報論的学習理論ワークショップ (IBIS), パネルディスカッション1「君たちはどう研究するか」, 2023年10月.大規模言語モデル.
学術変革領域(A) 学習物理学の創成 領域会議, チュートリアル講演, 2023年9月.
機械はヒトの言葉をどこまで操れるようになったか.
第25回HISFワークショップ, 2023年7月.
機械はヒトの言葉をどこまで操れるようになったか.
京都大学 下平・本多研究室, 2023年7月.
機械はヒトの言葉をどこまで操れるようになったか.
京都大学白眉センター2022年度年次報告会, 特別招待講演, 2023年7月.
言葉の意味の計算と最適輸送.
Optimal Transport Meets Data, 2023年5月.
[YouTube]ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送.
Workshop OT 2023 (最適輸送とその周辺 - 機械学習から熱力学的最適化まで), 招待講演, 2023年3月.
[スライド]Isotropy of word embedding space.
第4回理研AIP数学系合同セミナー, 2023年2月.
2022
構造を持った言語データと最適輸送—二種類の「アラインメントに基づく類似度」.
NAIST DSC NLP Seminar 2022 Summer, 2022年9月.
[スライド]最適輸送と自然言語処理.
言語処理学会第28回年次大会 (NLP 2022), チュートリアル講演, 2022年3月.
[スライド] [YouTube]言葉の形を教えてくれる自然言語処理.
IPSJ-ONE 2022, 2022年3月.
[スライド] [YouTube]自分を知る，遊び場を作る.
第6回 統計・機械学習若手シンポジウム, 企画セッション「日本の博士課程〜十人十色の選択肢〜」, 2022年2月.
[スライド]
2021
言葉が埋め込まれた空間の形.
京都大学 平岡研究室, 2021年12月.自然言語処理入門.
株式会社講談社 社内セミナー, 2021年10月.単語埋込勉強会.
株式会社博報堂DYホールディングス 社内セミナー, 2021年10月.最適輸送の使い方.
第3回0xセミナー 最適輸送の情報科学における進展, 2021年6月.
[スライド]Optimal Transport for Sentence Similarity and Geometry of Word Embedding Space.
NLPコロキウム, 2021年3月.
2019
超球面上での最適輸送コストに基づく文類似性尺度.
情報系 WINTER FESTA Episode 5, 2019年12月.文ベクトルと最適輸送を繋ぐ.
京都大学 下平研究室, 2019年6月.文ベクトルと最適輸送を繋ぐ.
京都大学 黒橋・河原研究室, 2019年6月.加法構成性と最適輸送を繋ぐ.
第16回 NLP東京Dの会, 2019年3月.
2018
Pointwise HSIC: A Linear-Time Kernelized Co-occurrence Norm for Sparse Linguistic Expressions.
情報系 WINTER FESTA Episode 4, 2018年12月.
[スライド (概要)] [ポスター]単語を埋め込む，文を埋め込む.
名古屋工業大学 竹内・烏山研究室 セミナー, 2018年11月.共起から類似を測る，類似から共起を測る.
第3回 統計・機械学習若手シンポジウム, 2018年8月.類似度から共起を測る.
第12回 NLP東京Dの会, 2018年3月.カーネル法に基づく疎な言語表現のための共起尺度.
基盤(S)離散構造処理系プロジェクト セミナー, 2018年2月.
2017
Learning Co-Substructures by Kernel Dependence Maximization.
ERATO感謝祭 Season IV, 2017年8月.
[スライド]関係知識とセグメンテーション.
第9回 NLP東京Dの会, 2017年4月.
略歴
2025年1月–現在：国立国語研究所 次世代言語科学研究センター 准教授
2025年1月–現在：総合研究大学院大学 日本語言語科学コース 准教授（兼務）
2025年1月–現在：東北大学 言語AI研究センター 准教授 クロスアポイントメント
2020年5月–2024年12月, 2025年2月–現在：理化学研究所 革新知能統合研究センター 客員研究員 兼任
2020年4月–2024年12月：東北大学 大学院情報科学研究科 システム情報科学専攻 助教
2020年3月25日：博士(情報科学) 取得
博士論文：Computing Co-occurrence with Kernels (カーネル法に基づく共起の計算)
2020年3月：東北大学大学院情報科学研究科システム情報科学専攻 博士課程後期3年の課程 修了
指導教員：乾健太郎教授
2017年3月：東北大学大学院情報科学研究科システム情報科学専攻 博士課程前期2年の課程 修了
指導教員：乾健太郎教授
2015年3月：京都大学工学部情報学科 卒業
指導教員：鹿島久嗣教授
紹介文
国立国語研究所准教授。2020年に東北大学大学院情報科学研究科博士課程修了、のち同助教。2025年より現職。東北大学准教授、理化学研究所客員研究員を兼任。自然言語処理と表現学習、とくに、コーパスが持つ統計的特徴とモデルの表現空間が持つ幾何的特徴に基づいて言葉の意味の計算を考える研究に従事。
受賞
言語処理学会第31回年次大会 (NLP), 委員特別賞 (67/765).
岸野 稜, 山際 宏明, 永田 亮, 横井 祥, 下平 英寿. 不均衡最適輸送を用いた意味変化検出.
2025年3月.第27回情報論的学習理論ワークショップ (IBIS), 最優秀プレゼンテーション賞 (1/258).
横井 祥, 包 含, 栗田 宙人, 下平 英寿. Zipf 白色化.
2024年11月7日.言語処理学会第30回年次大会 (NLP), 委員特別賞 (57/599).
上田 亮, 横井 祥. 言語の固有次元を測る.
2024年3月14日.言語処理学会第30回年次大会 (NLP), 委員特別賞 (57/599).
都地 悠馬, 高橋 惇, 横井 祥, 栗林 樹生, 上田 亮, 宮原 英之. 長距離相互作用する文脈依存言語における相転移現象 — 言語モデルの創発現象を統計力学の視点で理解する — .
2024年3月14日.第25回情報論的学習理論ワークショップ (IBIS), 優秀プレゼンテーション賞ファイナリスト.
大山 百々勢, 横井 祥, 下平 英寿. 単語ベクトルの長さはKL情報量で解釈可能な意味の強さを表す.
2022年11月22日.言語処理学会第28回年次大会 (NLP), 委員特別賞.
小林 悟郎, 栗林 樹生, 横井 祥, 乾 健太郎. Transformerにおけるフィードフォワードネットの作用.
2022年3月17日.言語処理学会 2021年度論文賞.
小林 颯介, 横井 祥, 鈴木 潤, 乾 健太郎. 訓練事例の影響の軽量な推定.
2022年3月11日.言語処理学会第27回年次大会 (NLP), 優秀賞 (8/361).
横井 祥, 下平 英寿. 単語埋め込みの確率的等方化.
2021年3月15日.言語処理学会第27回年次大会 (NLP), 委員特別賞.
内藤 雅博, 横井 祥, 下平 英寿. 単語埋め込みによる論理演算.
2021年3月15日.2020年度 人工知能学会全国大会 (JSAI), 全国大会優秀賞 (一般セッション口頭発表部門) (28/915).
横井 祥, 高橋 諒, 赤間 怜奈, 鈴木 潤, 乾 健太郎. 単語埋め込みのノルムと方向ベクトルを区別した文間最適輸送コスト.
2020年7月22日.情報処理学会 2019年度 研究会推薦博士論文.
横井 祥. Computing Co-occurrence with Kernels (カーネル法に基づく共起の計算).
2020年7月13日.言語処理学会第26回年次大会 (NLP), 最優秀賞 (2/396).
横井 祥, 高橋 諒, 赤間 怜奈, 鈴木 潤, 乾 健太郎. 超球面上での最適輸送コストに基づく文類似性尺度.
2020年3月16日.言語処理学会第26回年次大会 (NLP), 最優秀賞 (2/396).
小林 悟郎, 栗林 樹生, 横井 祥, 鈴木 潤, 乾 健太郎. ベクトル長に基づく自己注意機構の解析.
2020年3月16日.NLP若手の会第14回シンポジウム (YANS), 奨励賞 (4/82).
横井 祥, 高橋 諒, 赤間 怜奈, 鈴木 潤, 乾 健太郎. 文ベクトルの最適輸送に基づく類似性尺度.
2019年8月28日.2018年度人工知能学会全国大会 (JSAI), 全国大会優秀賞 (一般セッション口頭部門) (21/753).
横井 祥, 乾 健太郎. カーネル法に基づく疎な言語表現のための高速計算可能な共起尺度.
2018年7月26日.2018年度人工知能学会全国大会 (JSAI), 全国大会優秀賞 (一般セッション口頭部門) (21/753).
赤間 怜奈, 横井 祥, 乾 健太郎. スタイルの類似性を捉えた単語ベクトルの教師なし学習.
2018年7月26日.NLP若手の会第12回シンポジウム (YANS), 奨励賞 (5/49).
横井 祥, 乾 健太郎. カーネル密度推定に基づく関係予測.
2017年9月6日.NLP若手の会第12回シンポジウム (YANS), 奨励賞 (5/49).
赤間 怜奈, 渡邉 研斗, 横井 祥, 乾 健太郎. 発話スタイル空間の教師なし学習およびスタイル制御可能な対話システムの実現.
2017年9月6日.2017年度人工知能学会全国大会 (JSAI), 全国大会優秀賞 (インタラクティブ発表部門) (22/約750).
横井 祥. 独立性尺度に基づく知識の粒度の教師なし推定.
2017年7月18日.2017年度人工知能学会全国大会 (JSAI), 全国大会優秀賞 (オーガナイズドセッション口頭発表部門) (22/約750).
横井 祥. 独立性尺度に基づく知識の粒度の教師なし推定.
2017年7月18日.
指導学生・共著研究の受賞
言語処理学会第31回年次大会 (NLP), 若手奨励賞 (35/765).
小林 春斗. 層の冗⻑性と層同⼠の独⽴性に基づく⾔語モデルの層交換の成否の特徴づけ.
2025年3月.第15回 日本学術振興会 育志賞 (19/大学・学術団体推薦177).
小林 悟郎. トランスフォーマー言語モデルの内部機序の解明.
2025年1月30日.第19回YANSシンポジウム (YANS), デモ賞 (1/15).
出口 祥之. 柔らかいgrep/KWICに向けて：高速単語列マッチングの埋め込み表現による連続化.
2024年9月6日.第19回YANSシンポジウム (YANS), 奨励賞 (23/187).
小林 春斗. 層同士の接続可能性と各層が影響を与える部分空間の重なり度合いの関係性.
2024年9月6日.第19回YANSシンポジウム (YANS), 奨励賞 (23/187).
岸野 稜. 不均衡最適輸送を用いた意味変化検出.
2024年9月6日.第19回YANSシンポジウム (YANS), 奨励賞 (23/187).
山本 悠士. 人の言語を模倣するのに必要十分な言語モデルの大きさはどれだけか.
2024年9月6日.第19回YANSシンポジウム (YANS), 株式会社リクルート賞.
出口 祥之. 柔らかいgrep/KWICに向けて：高速単語列マッチングの埋め込み表現による連続化.
2024年9月6日.第19回YANSシンポジウム (YANS), 株式会社マネーフォワード賞.
山本 悠士. 人の言語を模倣するのに必要十分な言語モデルの大きさはどれだけか.
2024年9月6日.NLP若手の会第17回シンポジウム (YANS), 奨励賞 (10/68).
小林 悟郎. Transformerにおけるフィードフォワードネットの混ぜ合わせ作用.
2022年8月30日.NLP若手の会第17回シンポジウム (YANS), 奨励賞 (10/68).
栗田 宙人. BERTを用いた文埋め込みモデルによる単語の暗黙的な重み付け.
2022年8月30日.NLP若手の会第17回シンポジウム (YANS), PKSHA Technology 賞.
栗田 宙人. BERTを用いた文埋め込みモデルによる単語の暗黙的な重み付け.
2022年8月30日.言語処理学会第28回年次大会 (NLP), 若手奨励賞 (12/280).
大山 百々勢. 単語ベクトルの長さは意味の強さを表す.
2022年3月11日.言語処理学会第28回年次大会 (NLP), 若手奨励賞 (12/280).
石橋 陽一. 線型部分空間に基づく学習済み単語埋込空間上の集合演算.
2022年3月11日.言語処理学会第27回年次大会 (NLP), 若手奨励賞 (11/247).
小林 悟郎. Transformer の文脈を混ぜる作用と混ぜない作用.
2021年3月15日.2020年度 人工知能学会全国大会 (JSAI), 全国大会学生奨励賞.
赤間 怜奈. ニューラル対話応答生成のための言語非依存な低品質対話データフィルタリング法の提案と分析.
2020年7月22日.2020年度 人工知能学会全国大会 (JSAI), 全国大会学生奨励賞.
豊國 郁人. 構造を持つラベルに対する計算効率の高いワッサーシュタイン損失.
2020年7月22日.情報処理学会第166回データベースシステム研究会ならびに電気情報通信学会データ工学研究会（食メディア研究会協賛） 学生奨励賞.
吉成 未菜里. 雛形化による手続き的知識の汎化.
2017年12月23日.第8回対話シンポジウム (SLUD), 若手奨励賞.
赤間 怜奈. 発話の語の文体ベクトルの半教師あり学習.
2017年10月13日.
競争的資金
研究者番号 (e-Rad): 60888949 [GRANTS] [JST] [KAKEN]
科学技術振興機構 (JST), 創発的研究支援事業.
後藤パネル.
「意味とデータとモデルを繋ぐ言語幾何学の創出」, 2024年度–2031年度 (仮), 代表. 課題番号: JPMJFR2331.
直接経費 – 2024年度: 4,000千円, 2025年度: 6,000千円 (予定), 2026年度: 6,000千円 (予定), 2027年度: 4,000千円 (予定); 2027年度まで合計: 20,000千円 (予定).日本学術振興会 (JSPS), 科学研究費助成事業 (科研費), 科学研究費補助金 (補助金), 学術変革領域研究(A).
データ記述科学の創出と諸分野への横断的展開 (データ記述科学) 領域 (HP).
「ダイナミクスの確率的記述と推論により拓く新しいデータ科学」 (データ科学班), 2022年度–2026年度, 分担. 課題番号: 22H05106.
直接経費 – 2022年度: 1,450千円, 2023年度: 1,560千円, 2024年度: 1,595千円, 2025年度: 1,980千円 (予定), 2026年度: 1,294千円 (予定); 合計: 7,879千円 (予定).日本学術振興会 (JSPS), 科学研究費助成事業 (科研費), 学術研究助成基金 (基金), 基盤研究(B).
「言語で記述された常識と実世界の観察を統合するロボットのための知識推論システム」 (旧課題番号), 2022年度–2025年度, 分担. 課題番号: 22H03654 (補助金) → 23K24910 (基金).
直接経費 – 2022年度: 700千円, 2023年度: 900千円, 2024年度: 700千円, 2025年度 700千円 (予定); 合計: 3,000千円 (予定).科学技術振興機構 (JST), 戦略的創造研究推進事業, ACT-X.
数理・情報のフロンティア (数理・情報) 領域.
「言葉が埋め込まれた空間の形と言葉の意味の接続」, 2020年度–2022年度, 代表. 課題番号: JPMJAX200S.
直接経費 – 2020年度: 1,500千円, 2021年度: 1,500千円, 2022年度: 1,500千円; 合計: 4,500千円.科学技術振興機構 (JST), 戦略的創造研究推進事業, AIPチャレンジプログラム.
「離散分布表現に基づく可読的で高精度なテキスト類義性計算機構」, 2019年度, 代表.
直接経費 – 2019年度: 1,000千円.日本学術振興会 (JSPS), 特別研究員 (DC2).
「グラフ解析とカーネル法の融合による事態間関係知識の大規模自動獲得」, 2018年度–2019年度, 代表. (内定・辞退)
コミュニティ活動
国内会議運営
電子情報通信学会, 第27回情報論的学習理論ワークショップ (IBIS2024), プログラム委員, 2024.
パネルディスカッション「社会が求める機械学習」, モデレーター.
言語処理学会, 30周年記念事業, 実行委員会, 2023–2024.
言語処理学会, 言語処理学会第29回年次大会 (NLP2023), 大会実行委員会, 2023.
電子情報通信学会, 第23回情報論的学習理論ワークショップ (IBIS2020), プログラム委員, 2020.
NLP若手の会 (YANS), 運営委員, 2017–2019.
他コミュニティ運営
寄稿
丹羽 彩奈, 横井 祥, 高山 隼矢, 斉藤 いつみ.
🚀NLPコロキウム.
自然言語処理, Vol. 31, No. 1, pp.300–309. 2024.
[J-STAGE]岡崎 直観, 清野 舜, 高橋 諒, 横井 祥.
言語処理100本ノック.
自然言語処理, Vol. 27, No. 3, pp.703–710. 2020.
[J-STAGE]
論文紹介
McCoy et al., Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve (arXiv 2023).
第16回最先端NLP勉強会, 2024年8月.
[スライド]Hahn and Goyal, A Theory of Emergent In-Context Learning as Implicit Structure Induction (arXiv 2023).
第15回最先端NLP勉強会, 2023年8月.
[スライド]Shi et al., Revisiting Over-smoothing in BERT from the Perspective of Graph (ICLR 2022).
第14回最先端NLP勉強会, 2022年9月.
[スライド]Wang and Isola, Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere (ICML 2020).
ステート・オブ・AI ガイド, 2022年3月.
[解説記事]Levine et al., PMI-Masking: Principled masking of correlated spans (ICLR 2021).
ステート・オブ・AI ガイド, 2022年1月.
[解説記事]Menon et al, Long-tail learning via logit adjustment (ICLR 2021).
第13回最先端NLP勉強会, 2021年9月.
[スライド]Amigo et al., An Effectiveness Metric for Ordinal Classification: Formal Properties and Experimental Results (ACL 2020).
第12回最先端NLP勉強会, 2020年9月.
[スライド]Zhelezniak et al., Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors (ICLR 2019).
第11回最先端NLP勉強会, 2019年9月.
[スライド]Nickel and Kiela, Poincaré Embeddings for Learning Hierarchical Representations (NIPS 2017).
第9回最先端NLP勉強会, 2017年9月.
[スライド]
講義
自然言語と表現学習, 言語研究基礎論IIIA, SOKENDAI/NINJAL, Spring 2025.
Experiment C (Neural NLP), Tohoku University, Fall 2024 (6th Semester).
Experiment C (Neural NLP), Tohoku University, Fall 2023 (6th Semester).
Programming Practice A (Algorithm), Tohoku University, Spring 2024 (3rd Semester).
Programming Practice A (Algorithm), Tohoku University, Spring 2023 (3rd Semester).
Programming Practice A (Algorithm), Tohoku University, Spring 2022 (3rd Semester).
Programming Practice A (Algorithm), Tohoku University, Spring 2021 (3rd Semester).
Programming Practice A (Algorithm), Tohoku University, Spring 2020 (3rd Semester).
研究Tips
知らない用語の調べ方 〜「Googleの外側」を活用するための3つのTips〜, 2017年10月.
雑記
自分を知る，遊び場を作る, 2022年2月.
なぜなぜ期が終わらない人への学部教育という救い, 2021年10月.
勉強をやり直したい大人のための大学受験のすすめ, 2011年5月.