https://arxiv.org/pdf/1905.12265.pdf
読んだ。大抵のGNNのタスクはnode classificationだけど、化学や生物の分野だとlocal similarityやgraph全体の特徴が重要になることが多い。 この論文では、自然言語処理で行われるような、Context PredictionやMasking, Negative SamplingなどをGNNに持ち込んで、pre-trainingに成功したとのこと。
Context Prediction
node embeddingsを用いて、近傍のstructureを推定する
Masking
node, edge attributesをmaskして、GNNにそれを予測させる
BERTは同様の方法でめっちゃpre-trainしてるみたい。
Graph-level
Domain-specificな他taskで学習するか、graph edit distance / graph structure similarityなどについてself-trainingするか
