Bio Technical フォーラム

  • バイオ関連の実験をする上での、試薬、機器、プロトコールなどの情報交換の場です。
  • 新しいテーマで話を始める場合、質問をする場合は「新しいトピックを作る」から書き込みをしてください。
  • 質問に対して解答できる方は是非、書き込んで下さい。
  • このフォーラムにふさわしくないと管理人が判断した投稿は予告なく削除します。

新しいトピックを作る | トピック一覧 | 研究留学ネットに戻る

ひとつ前のフォーラム(readのみ)

このスレッドをはてなブックマークに追加このスレッドをはてなブックマークに追加

【統計解析】多重検定の補正について トピック削除
No.11906-TOPIC - 2023/11/09 (木) 09:03:23 - nak
ある疾患の患者血清が、ある細胞の生存率を悪化させるかどうかを調べるため、In vitroの実験を行いました。細胞を96ウェルプレートに撒き、各ウェルの培地に患者または健常人の血清(各群n=15)を加えて培養し、Live cell imagingを行って3時間おき、3日間観察いたしました。アプリを用いて各タイムポイントで撮影された画像中の細胞の死亡率をカウントし、グラフにしました。イメージしていただきやすいように例を挙げると、下記の文献にあるFigure 1Aのようなグラフです。

PMID: 11864613

グラフ上は患者群と健常人群の2群の違いは明確で、各タイムポイントでt検定を用いて統計解析を行うと30時間目以降のすべてのタイムポイントで有意差がありました。

それをもって「患者血清は細胞Xの生存率を悪化させる」という結論を導いて論文投稿したのですが、Reviewerから「多重検定の補正が必要である」という指摘を受けました。私の認識では、各タイムポイントでの死亡率に多重検定の補正は不要かと思っていたため、混乱してしまいました。また、お手本にしようと思って同様の解析をしている文献をいくつか見てみましたが、多重検定の補正をしているものは(現時点では)見つけられていません。

そこで統計に詳しい方に以下をおうかがいしたく存じます。

1.こうした解析の際、多重検定は本当に必要なのかどうか
2.必要ならば何を用いるのが良いか
3.逆に不要ならReviewerに反論するときに引用できる良い文献はないか
4.あるいはそもそも各タイムポイントでt検定をするべきではなく、別に適切な解析手法があるのか

どうかよろしくお願いいたします。
 
- このトピックにメッセージを投稿する -



7件 ( 1 〜 7 )  前 | 次  1/ 1. /1


ありがとうございます 削除/引用
No.11906-7 - 2023/11/17 (金) 03:54:21 - nak
おおさま、重ね重ねありがとうございます。

確かに有意差至上主義については最近警鐘を鳴らす文献をよく見かけますね。なかなか、上司には響かないため有意差が出るまで実験に用いるマウスを増やすように求められたり、ということが現実にはよく起こってしまいますが。

何はともあれ、大変勉強になりました!本当にありがとうございました。

(無題) 削除/引用
No.11906-6 - 2023/11/11 (土) 15:47:42 - おお
>多重検定の補正が必要なのですね。補正のない論文は多数見ますが、よくあることではありますが、

あまり気にしない人もいるようです。統計の本質的なものが必要というより、データーの科学的意義が問われているので。

>そもそもt検定のような1対1の検定をタイムポイントでかけるというやり方自体が間違っているということから来ていたのですね。

私は間違えているとまでは思いませんし、とにかく統計的に複雑になったり比べる手段が一般的にはこれといったものがない様な場合はt検定(場合によってはU検定)Bonferroni補正でやってしまうことが多いです。間違えという発想は何を問題視するのかということに基づくものと思えるし、有意差がつく=絶対に差があるでもないし、有意差がつかない=絶対に差がないでもありませんから。

有意差がつく=絶対に差があるという風にするには、まずパワーアナリシスをして、n何個で差があればp値の閾値以下になるであろうというデザインをまずして、実験なりをする場合です(これが本来の統計といえるかもしれません)。臨床試験ではこのようにしていますので、そうするとNo.11906-3でG25さんが示しているようなURLの議論にもなるのだと思います。

(無題) 削除/引用
No.11906-5 - 2023/11/10 (金) 11:01:57 - おお
>つまり、例えばその細胞がX時間ぐらいでアポトーシスを起こすということがすでに分かっていたとして、X時間後の生存率を評価するのは妥当だと思います。しかしそれ以外のタイムポイントをチョイスした場合、それこそ多重検定して偶然有意差が出るタイムポイントを選んだ可能性もあり得るわけで、やはりデータの見せ方として時間経過とともに傾向に差があることを見せた方が「正直で誠実なFigure」になるかなと思いました。

ちょっと考えすぎかなと。グラフはタイムコース(折れ線グラフ?)で示しておいて、最後のタイムポイントだけ検定をしてその結果をグラフに付け加えるということです。グラフで傾向が示せて、最終的には有意差がある差になっているっていうこと。探索的な研究ではたいていの実験がX時間ということがわかってないわけだから、実験のデザインできる範囲で、最終的に何が言いたいかで検定方法も決めればいいです。

ありがとうございます! 削除/引用
No.11906-4 - 2023/11/10 (金) 09:22:48 - nak
おお様、G25様ありがとうございます。

そうですか、多重検定の補正が必要なのですね。補正のない論文は多数見ますが、よくあることではありますが、多くの論文で誤用されてそのままPublishされているということなのですね。

そしてG25様がご紹介くださいましたページの記載、とても合点がいきました。
GWASで各SNPのアレルを見たり、Multiplexで多数のサイトカインの量を見たりするときのように「互いに独立なもの」についてp値を補正するというのは理解できるのですが、今回のような場合は各タイムポイントが独立した因子とは言えないし、明確に時間経過とともに「傾向」があるものに対して多重検定の補正をかけるというのは違和感があるなと思っていた次第です。その違和感の正体は、「傾向」の違いを評価するために、そもそもt検定のような1対1の検定をタイムポイントでかけるというやり方自体が間違っているということから来ていたのですね。

というかそもそも、素人考えなのですが、単純に各タイムポイントを別個のデータとしてBonferoniにせよなんにせよ多重検定の補正をかけてしまうと、検出力が著しく低下してしまうような気がします。

おお様がおっしゃったようなエンドポイントだけに限ってのt検定でも有意差は出せるのですが(というよりそういうFigureにしておけばReviewerの藪をつついて蛇を出すことも無かったと言えますが)、その場合は「生物学的理由からそのタイムポイントの選択が妥当である」と言えねばならないですよね。つまり、例えばその細胞がX時間ぐらいでアポトーシスを起こすということがすでに分かっていたとして、X時間後の生存率を評価するのは妥当だと思います。しかしそれ以外のタイムポイントをチョイスした場合、それこそ多重検定して偶然有意差が出るタイムポイントを選んだ可能性もあり得るわけで、やはりデータの見せ方として時間経過とともに傾向に差があることを見せた方が「正直で誠実なFigure」になるかなと思いました。

というわけで、いただいたヒントをもとに少し勉強してみたのですが、おおさんのお示しくださったRepeated measures two-way ANOVAで2群間の比較を行うのが最も良さそうに思いましたので、これでリバイスしてみようと思います。

とてもいいヒントをいただいたおかげで、大変良い学びの機会になりました。おお様、G25様に心より御礼申し上げます。ありがとうございました。

(無題) 削除/引用
No.11906-3 - 2023/11/09 (木) 12:30:27 - G25
私自身は詳しいことは知りませんが
「経時データ 多重比較」なんかで検索すれば、まさにそのことを論じたものが多数みつかります。

例えば
http://scienceandtechnology.jp/archives/32814


それらを見ると
問1, 2, 4はyes、3はnoと言えそうでです。

当掲示板の過去トピもヒットしましたが、あまりinformativeではないように思いました。
http://www.kenkyuu2.net/cgi-biotech2012/biotechforum.cgi?mode=view;Code=9291

(無題) 削除/引用
No.11906-2 - 2023/11/09 (木) 10:39:53 - おお
1.こうした解析の際、多重検定は本当に必要なのかどうか
Yes.
2. 必要ならば何を用いるのが良いか
手計算でできるBonferroniかHolms step-down統計ソフトとか(Rは知らんけど)総当たりで比べる必要もないものも比べるので、手計算で比べる必要のあるもののp値から補正できる方法がやりやすい。

4.あるいはそもそも各タイムポイントでt検定をするべきではなく、別に適切な解析手法があるのか

t検定は否定しませんが、
Repeated measures two-way ANOVA
https://www.graphpad.com/guides/prism/latest/statistics/stat_checklist_2wayanova_rm.htm


徐々に増えてくる(差がついてくる)ような場合、すべてのTime pointで統計処理する必要もないかもしれません。エンドポイントだけt検定でもいいようにも思えます。

【統計解析】多重検定の補正について 削除/引用
No.11906-1 - 2023/11/09 (木) 09:03:23 - nak
ある疾患の患者血清が、ある細胞の生存率を悪化させるかどうかを調べるため、In vitroの実験を行いました。細胞を96ウェルプレートに撒き、各ウェルの培地に患者または健常人の血清(各群n=15)を加えて培養し、Live cell imagingを行って3時間おき、3日間観察いたしました。アプリを用いて各タイムポイントで撮影された画像中の細胞の死亡率をカウントし、グラフにしました。イメージしていただきやすいように例を挙げると、下記の文献にあるFigure 1Aのようなグラフです。

PMID: 11864613

グラフ上は患者群と健常人群の2群の違いは明確で、各タイムポイントでt検定を用いて統計解析を行うと30時間目以降のすべてのタイムポイントで有意差がありました。

それをもって「患者血清は細胞Xの生存率を悪化させる」という結論を導いて論文投稿したのですが、Reviewerから「多重検定の補正が必要である」という指摘を受けました。私の認識では、各タイムポイントでの死亡率に多重検定の補正は不要かと思っていたため、混乱してしまいました。また、お手本にしようと思って同様の解析をしている文献をいくつか見てみましたが、多重検定の補正をしているものは(現時点では)見つけられていません。

そこで統計に詳しい方に以下をおうかがいしたく存じます。

1.こうした解析の際、多重検定は本当に必要なのかどうか
2.必要ならば何を用いるのが良いか
3.逆に不要ならReviewerに反論するときに引用できる良い文献はないか
4.あるいはそもそも各タイムポイントでt検定をするべきではなく、別に適切な解析手法があるのか

どうかよろしくお願いいたします。

7件 ( 1 〜 7 )  前 | 次  1/ 1. /1


パスワードを入力してチェックした記事を チェックした記事を

このトピックにメッセージを投稿する
名前 
メール   アドレス非公開
   タイトル 
本文      
設定  クッキーを保存(次回の入力の手間を省けます)
上に上げない(トピックの一覧で一番上に移動させません)
解決(問題が解決した際にチェックしてください)
暗証  半角英数字8-12文字の暗証番号を入れると、あとで削除、修正ができます。
送信 

〔使い方〕
  • 「アドレス非公開」をチェックすれば、自分のメールアドレスを公開しないで他の方からメールを受け取れます。
  • 問題が解決した際には、解決ボタンをチェックして解決した旨のコメントをつけてください。これは、初めにトピックを作った人と管理人のみが可能です。
  • 半角カタカナ、機種依存文字(全角ローマ数字、○の中の数字等)は文字化けの原因となりますので使わないでください。