教科書の前後でどういう記述があったのかわからないので何ともいえないのですが、
遺伝子によって自家不和合性というと、
配偶体型自家不和合性とかいうのがあるようでして、
ぱっとはこれが思いつきます。
簡単にいうと、特定の遺伝子を共有する花粉と柱頭が接触した時に、
花粉管が伸びるのを阻害することで受精させない仕組みです（この仕組みも最近解明が進んでいて超面白いので、ぜひ調べてみてください！）。
ただこういう話のときには、
自家不和合性を制御する遺伝子をSで表現するのがほとんどです。
その教科書の文言と一致しないため、何か違うことなのかもしれません。
（高校生物の関係で「Aは自家不和合性の遺伝子であるときAB×ACの組み合わせで生じる種子の遺伝子はB×Cになる」という法則に合致しそうな情報を探してみたのですが、やはりこの配偶体型自家不和合性や胞子体型自家不和合性の話ばかりで、ぴたりと当てはまる情報が見つかりませんでした……）
お話にあったAとかBとかCというのは、
種のことではなく、遺伝子座に嵌められる個々の対立遺伝子のことかと思います。
なので、万象であれピグマエアミュータントであれ、
これは種の話です。遺伝子の話とはちょっと違いますね。
通例、自家不和合性としてよく言われるのは、ピグマエアミュータント×ピグマエアミュータントのように、遺伝子的な同一個体同士の花粉と柱頭が接触したときに起こることかと思います。
（ピグマエアミュータント×●●）と（ピグマエアミュータント×■■）は遺伝子において全く別の個体ですので、また違う話になるのではないかと思います。
教科書の当該文の前後にどういう説明があるのか教えていただけますと、
もうちょっと調べてくることができると思いますが……いかがでしょう？(´-﹏-`；