セキュリティツールの評価は難しい - knqyf263's blog
2022/03/15 07:37
k1LoW
タフだなあ…いつもありがとうございます
2022/03/15 09:42
ya--mada
cpeなどの管理されたパッケージマネージャー配下等の既知の脆弱性をスキャンするツールの老婆駄菓子、言ってることは汎用的で誰でもスイッチポンで正確に使える代物ではないという話か…
2022/03/15 10:24
uunfo
Cookieをウイルスのように報告して仕事してますよ感出すウイルス対策ソフト、あったよね。今もそうなのかな
2022/03/15 10:45
gfx
（スキャンツールの比較に際して）"結果が違うのであればどちらが正しいのかを考えるべきなのですが、検知している方が正しく見えてしまうという罠です"
2022/03/15 10:46
sezemi
“日々「お前のツールバグってるぞ！」と言われ続け「いえ正しいです」と返すのは結構精神的に来る” これはツラい
2022/03/15 11:06
KQwYB1pi
「関わらず」❌ 「かかわらず」「拘わらず」⭕️
2022/03/15 12:22
hiroomi
検出しやすい静的解析ツールを見てると、保守料金もよい金額なのであきらめてやめるか、それも飲んで、サプライヤーの納品ツールとして使ってる会社さんとかがあるね。
2022/03/15 12:35
heppokopg2013
人間には厳しい方が正しく見えるバグがあると思うんだよな。社内ルールがだんだん厳しくなるのも同じ理屈。
2022/03/15 13:03
Helfard
反論消えてないか？
2022/03/15 13:06
poko78
やっぱり難しいよな
2022/03/15 13:07
urandom
"「あれ、これバグかな？」となったらIssueを起票してバグであることを確かめてから発信" 初手でSNSとかに書いちゃうのは大変よろしくない。気にするあまり完全に確信できるまで報告できないのもよくないけど（自戒）
2022/03/15 13:11
shidho
これは実世界でもそうで「雷になる静電気を散らすことで落雷そのものを減らす避雷針」(実際に売ってる)の評価が、実際に落雷が起きるまでできないと言うね。(実は落ちても評価できない)
2022/03/15 13:52
kaakaa_hoe
厳しい方がよく見えるけど、厳格にしたところでどうせ放置されるんでしょと言う感じも / あと、脆弱性情報は共有知であるべきというNVDと、独自の脆弱性DBを競争力としてしまうセキュリティ企業のカルマもモヤモヤ
2022/03/15 15:54
natu3kan
リスクが低い事にもアラートがなるとアラートが狼少年みたいなノイズになるのはあるよな。
2022/03/15 16:02
circled
まぁフレームワークとかでもファイルアップロード時に脆弱性があるとかいう報告が出てきて、再現手順見るとそいつのコードの書き方に問題があって、ドキュメント読めとか総ツッコミにあってるパターンとかあるので。
2022/03/15 16:44
JULY
よくあるのは、バージョン番号見て報告するやつ。Linux のディストリビューション側が、バージョン番号を変えずに、バックポートしたパッケージを配布することが多いから、False Positive になりがち。
2022/03/15 18:43
tkysktmt
“こっちのツールでは検知したけどこれってどっちが正しいの？」みたいなスタンスのほうが嬉しい”
2022/03/15 18:44
pqw
RHEL修正版～CentOS修正版の間にラグもあるし条件合わせないと比較なんかできないよね。「パッチがなければactionableではないため非表示にしたいという組織が多いです。本当は非表示をデフォルトにしたかったのですが」
2022/03/15 18:57
kazokmr
以前、False Negativeが一つでも出るなら、使ってるライブラリとバージョンをスプレッドシートに書き出して一つずつ調べた方が信頼性があるって言われたことがあったなぁ。
2022/03/15 19:24
ssssschang
大企業のセキュリティチームはそのへんあんま気にせずに、ただチェックリストを縦に伸ばしていく。彼らの職責が「セキュリティインシデントをゼロにする」ことであるうちは、この傾向は変わらないんだろうな
2022/03/15 21:03
umisora2
アラート出す方が売れる説わかるなー
2022/03/15 22:03
hirorpt1
そもそも素人に評価ができるジャンルのほうが珍しい。詳しい人から見ると自明に見えることでも平気で間違えるし、そもそも原理的に消費者サイドでは判断できないこともしばしば
2022/03/15 22:11
SigmaG2
これは大変だ…
2022/03/15 22:37
kasahannra
IPSの運用も難しい、プロに任せるべき
2022/03/15 22:39
xKxAxKx
“検知している方が正しいように見えがち”
2022/03/15 23:19
eru01
いっぱい出したら出したで対処されないからな
2022/03/15 23:31
mano-junki
大人の事情が多分にあり悩ましい話題だった
2022/03/15 23:37
rideonshooting
昔ウイルスバスターの誤検出と戦い続けた人の話もあったねえ…
2022/03/15 23:39
rti7743
鳴かない番犬は役立たずだし、誤報が多くて鳴りすぎる警報器はスイッチを切られて無視される。ならオプションで・・デフォルトしか使われない
2022/03/16 01:10
maruware
わかりみが深くて自省する部分ある
2022/03/16 08:05
ledsun
運用に入るとfalse positiveもactionableでない脆弱性も困るんだよね。でも、運用に入る前は運用のつらみは想像できなくて…。緩めのルールから徐々に固くしてくのがいいけど、専門外のことほど一発で終わらしてほしくなる
2022/03/16 09:17
jgoamakf
Pythonプログラムの脆弱性をチェックするツールをいくつか試したけど「これはウチのアプリではどうでもいいんだよな……」という項目が結構出てきたことがあった（関係あるような無いようなコメント）
2022/03/16 16:27
mas-higa
"本当は非表示をデフォルトにしたかった" 表示してた方がユーザにやさしい気がする。よく分かってない人が使うなら尚更。/ "やがて誰も信じなくなります" それは確かに。
2022/03/16 16:29
nilab
セキュリティツールの評価は難しい - knqyf263's blog
2022/03/16 23:28
diveintounlimit
わかりみが深かった
2022/03/19 22:06
tmatsuu
セキュリティ界隈のマサカリはプログラミング界隈よりも尖ってる印象がある。