動画の雑音をほぼ消す技術、米国などのチームが開発 声のみが強調されすぎてアフレコみたいな結果に
2022/06/15 08:19
Seamless
背景ノイズ除去だけでなく合計55種類のゆがみを修正し声のみが強調させる。まるで人の声だけを切り取ったかのようなアフレコみたいな出力になる。記事内で雑音有無の比較動画あり。
2022/06/15 09:08
kkobayashi
そんなにすごいのか
2022/06/15 09:11
nakex1
リアルタイムでできるようになれば自宅からの配信やweb会議に便利そう。聞きやすいし,バックグラウンドの音から家の場所を推定されることも防げる。
2022/06/15 09:18
prozorec
音声がくっきりしている。特に料理番組は、バックグラウンドのミュージックや料理をしている音もなくなって、声だけが強調されている
2022/06/15 09:35
punychan
面白い。どのサンプルも臨場感がまったくなくなって、反響のないちゃんとしたスタジオで録音したみたいになる。
2022/06/15 09:35
exciteB
はやくオーディションに実装しよう(何年後かな)
2022/06/15 09:37
yP0hKHY1zj
スポンジタイプの耳栓をした時の強化版って感じなのかな。
2022/06/15 09:37
amd64x64
わー聞きやすい。電話に搭載してください。
2022/06/15 10:02
makou
摩擦音がちゃんと残るんだなあ。比率で見てるんだろうか。
2022/06/15 10:03
junglejungle
片耳難聴だと、カクテルパーティー効果が効かずに雑踏で聞き取りづらいので、この技術を補聴器に使ってほしい。
2022/06/15 10:11
naratas
iZotopeのRXとか既存技術が山ほどあるのに対してどこが優位性あるのか謎だ。 「人に聴かせてテストしたら他よりイイ感じだった」みたいなこと書いてあるけど定量的な結果じゃないので…
2022/06/15 10:11
lavandin
英語だからよくわからないけど、反響がなくなってて面白い。たしかにちょっと浮いた感じ?
2022/06/15 10:11
politru
izotopeのrxシリーズと何が違うんだろう?誰か比較してくれないか
2022/06/15 10:15
hapilaki
その技術も重要だけど、まったく逆の人の声を消す技術の方を開発してくれ。それをノイズキャンセリングイヤホンに導入すれば売れると思うんやけどな。
2022/06/15 10:17
pero_pero
めっちゃ強力だけど元の声質がちょっと変わっちゃってるのが残念だな。
2022/06/15 10:19
sukekyo
勝新太郎氏がやってた警視Kでしたっけ?完全同録でノイズとかすごすぎて演者が何喋ってるのかまったくわからないドラマがあったのですが、この技術が当時あったらねえ。
2022/06/15 10:25
greenbow
古い映画の音声が明瞭すぎて笑ってしまった。これはすごい。
2022/06/15 10:27
kuroaka1871
それを雑音と捉えるか、臨場感と捉えるか。
2022/06/15 10:39
mazmot
ちょっと声質が硬くなるのが気になった。聞き取りやすいのは間違いない。
2022/06/15 10:43
rgfx
うわめっちゃ聞きやすい
2022/06/15 10:44
udongerge
YouTubeで、カメラで一発取りした動画など部屋の残響音が入りすぎて聞き取りづらい場合が多いから配信者は別で指向性マイクを買ったり工夫しているわけだが、そういう費用の節約にはなるだろうね。
2022/06/15 10:48
typex2
コレはすごい。機械学習の効果なのかな? これからのCPUはニューラルエンジンとかNPUを載せてないと勝負にならないかも。MicrosoftがM1同様、SQシリーズでNPUの搭載に躍起になるわけだ。
2022/06/15 10:51
tk_musik
リアルタイムはまだ難しいか。
2022/06/15 11:01
kobito19
リラルタイムのはNVIDIAがやってるやん
2022/06/15 11:12
camellow
すごい
2022/06/15 11:23
punkgame
これすご。
2022/06/15 11:24
stealthinu
すごく強力なノイズ抑制。手法はディープラーニングではないらしい。
2022/06/15 11:33
mapk0y
iPhone の場合、「声を分離」でリアルタイムにこれに近いことができるのでは
2022/06/15 11:46
chikoshoot
後ろでアカペラ集団が歌ってたらどうなるんだろう。
2022/06/15 12:28
bobcoffee
リモート収録の精度が上がっていくのかな。
2022/06/15 12:31
havanap
鉄板のRX8とかにかてるんやろか
2022/06/15 12:35
uotocs
リアルタイムでできるのかそうでないなら処理にどれくらいかかるのかってところだ
2022/06/15 12:39
guru_guru
BGMとかも除去できるのだろうか
2022/06/15 12:41
washable-mikan
リバーヴ、ローパスハイパス、音声がブツブツ切れてるデータも処理できるのか
2022/06/15 12:41
akatuki_sato
すげー やっと宇宙世紀に追いつけるじゃん(そこじゃない)
2022/06/15 12:53
pribetch
AVから救急車の音を消す技術ないかな
2022/06/15 12:58
sekirei-9
こりゃすごい
2022/06/15 13:01
q0a
古い映画のこれじゃない感が凄い。
2022/06/15 13:03
zettaimuri
自宅でアフレコするならこういうのあると便利だな
2022/06/15 13:04
otihateten3510
イヤホンに入れて欲しい
2022/06/15 13:07
gxg
録音ミスの大半は反響成分取れば活かせるもんね。ノイキャン並みにオン/オフで済むなら、EQもコンプも要らないって便利。
2022/06/15 13:18
buhoho
AMラジオに乗っけてくれ〜
2022/06/15 13:24
kakimaru-san
これ逆に自分の声だけ消す技術できるよね 普通に動画撮ってる時に自分の驚いた声とか消したいんだけどw 他の音は残したい
2022/06/15 13:39
h5dhn9k
これで万が一、自分の声そのものが消えたり、良い声になったりしたら微妙やな……。
2022/06/15 13:39
chaz_21
おお、すごい! と思ったけど環境音が意外と好きな自分は使わないだろうなーと思った。静かすぎるより何となくさわさわしてるの結構好き
2022/06/15 13:41
hemon
流石にリアルタイムで処理するのは難しいのでは。あくまでも既存の動画を編集して実現しているし。今後仮にリアルタイム処理ができるようになっても、ネットワークに繋がらない補聴器では難しいかと。
2022/06/15 13:46
dot
料理番組だとBGMまでサクッと消えてるの凄いね。ノイズなくて明瞭に声だけ浮き彫りになって違和感感じるのは日常的にノイズに慣れ親しんでるからかな。
2022/06/15 13:49
kuippa
やっぱりちょっとシャリシャリしちゃうのね。最近のDAWはボーカルだけ抜き出すフィルターとか乗ってて音の変化はこんな感じ。ツーパスで上下切って綺麗にしたうえでノイズフィルター掛けてるんだろうなぁ
2022/06/15 13:50
buzztaiki
歌が後ろで流れてる場合とか、他の人の話し声があった場合でも、特定の人の話し声だけ抽出できたりするのかな。
2022/06/15 13:59
gnoname
NVIDIA Broadcast、Clarity Vxは iZotopeのRXより良いって話はちょこちょこ聞くからRXシリーズは昔ほどの優位性は薄れたな
2022/06/15 14:02
keren71
ボイスレコーダーに欲しい
2022/06/15 14:03
kinushu
こりゃすごい。
2022/06/15 14:05
terencow
自動字幕起こしに処理済みの音声食わせたら字幕の精度上がったりもしそう
2022/06/15 14:09
hanbey64
黒沢映画が音声が不明瞭なので有名。この技術で復活してもらいたい。
2022/06/15 14:12
Nean
“この手法は、スコアベース拡散を用いた生成モデルと、混合密度ネットワークを用いて強調を行う多重解像度解析の調整ネットワークから構成される”、さっぱりイミフ。
2022/06/15 14:16
keshitai
カセットテープ時代の┃】【┃[DOLBY NR]の進化版じゃないか
2022/06/15 14:43
strawberryhunter
ノイズを除去した後にリバーブなどをかけて残響を再現すればさらにそれっぽくなりそう。
2022/06/15 14:43
mohri
リンク先に比較動画がめっちゃあっておもしろい
2022/06/15 14:51
Byucky
デモとしてはこの見せ方でいいけど、実際にこのテクノロジーが有用なのはこれじゃないよね。紹介してる側もわかってるだろうけど
2022/06/15 15:04
secseek
テレビ会議に便利そうですね。もうかなり導入されてるんでしょうけど
2022/06/15 15:07
restroom
特撮のアフレコのような感じ。最近は特撮でももう少し自然ですけれど。
2022/06/15 15:16
kei_1010
違和感が半端ないな。でも雑音が酷過ぎる動画で弱めて使えば便利そう。あとは皆言ってるけど電話で使って欲しい。
2022/06/15 15:16
animist
マジでアフレコみたいになっててスゴい…なんだコレ…
2022/06/15 15:17
spark7
DeNoiseにDeReverbにDeClippingにReEqualizeと、いろいろ組み合わせてるのね。めちゃデッドになる。 serrjoa.github.io
2022/06/15 15:34
prdxa
このプラグイン早く売ってほしい。
2022/06/15 15:49
dgwingtong
周りの空気感が消えてしまう悪い例しか感じられない。昔わざわざ外国の音楽スタジオまでいって録音して空気感が違うとか言っていた頃から40年
2022/06/15 15:50
ogawaogawaogawapm
すげーS/N比が上がって聴き取りやすい。これ電話とかに組み込んで聴覚情報処理障害者持ちとか困ってる人間に提供してくれないか、有料でも。この技術で救われるやついっぱい居るだろ。
2022/06/15 15:52
dzod
すごいけど、これ完全に別人だろ。確かに電話に欲しいと思ったが、電話の相手に対してお前本当に〇〇か?って疑いそうになるわ
2022/06/15 16:02
c-matt
めっちゃ頑張って後から音を入れてるMAミキサーさん涙目の技術だ
2022/06/15 16:03
kusigahama
すげー
2022/06/15 16:11
xxxnobodyxxx
電話機の場合はマイクがリボンからコンデンサーになって性能が用途にミスマッチなんだろうけどな
2022/06/15 16:18
urtz
オンライン会議等で安いマイク使ってすごく聞き取りにくい人よくいるけど、これで何とかして欲しい
2022/06/15 16:35
chocomintice660
外撮りの環境音消すのは人によって好みが別れそうだけど、古い映画のノイズが消えるのは良いな。古いスピーチとかラジオの録音とかにも適用したい
2022/06/15 16:40
retore
すげえ.Zoomとかにもこういう技術が当たり前に載るようになるのかなあ
2022/06/15 16:49
toraha
リアルタイムを希望されてるから、NVIDIA Broadcast アプリを入れると、通話時に雑音が入らなくなるので、個々人で入れるのを超おススメします。(相手にも入れてもらいたいから布教する)
2022/06/15 16:51
sds-page
古い映画だと古い時代特有のアレがなくなって残念な感じに。良かれと思って苔を掃除された石像みたいな
2022/06/15 16:57
meganedreamer
周りの雑音どころか声の反響も消せてて驚いた
2022/06/15 17:04
allthefielders
すごい、全く違う音源を聴いてるみたいだ
2022/06/15 17:07
gcyn
わ。これが標準になると勝手に発言内容を入れ替えられても気がつくきっかけを得られづらいままになりやすいかもですね…。
2022/06/15 17:12
gryphon
国会やデモ現場のヤジや暴言調査に効果あるのでは
2022/06/15 17:28
rissack
さすがのドルビー。
2022/06/15 18:15
yoshisp
“ だが音声強調の観点ではノイズ除去だけが全てではなく、クリッピング、コーデックのアーチファクト、リバーブ、スペクトル操作、過度の圧縮、最適でないイコライゼーション、帯域制限、ラウドネスの不整合など考
2022/06/15 18:22
SATTON
これ歌はどうなるの?アカペラに出来るんかな?
2022/06/15 18:22
cpw
すごいなー。リアルタイムにやってほしい。コールセンターとか嬉しいでしょう
2022/06/15 18:30
algot
ソノシートの音声がHD化できるかも?
2022/06/15 18:37
bml
NFLやMLBなんかは選手以外はぼやけてるような映像あったりするな。肖像権対策っぽいけど街ブラロケに使いたそうな技術だった。
2022/06/15 19:02
Malan
すごいなあ
2022/06/15 19:11
world24
アメリカの映画も現場撮りのボソボソ台詞になったりして
2022/06/15 19:26
uva
すげぇ
2022/06/15 19:30
magictreex
すごいな。人間が聞くために使うのもあるかもしれないが、音声認識する際の精度をあげるのにも使えそうだ。
2022/06/15 19:51
star_123
必要な音だけ抽出、未来のTWSに搭載されて欲しい機能
2022/06/15 20:06
n-styles
古い映像にクリアな音声を載せると、映像の世紀みたいなドキュメンタリー番組のナレーションのように聞こえる。
2022/06/15 20:16
akiat
動画編集ソフトのPremiere Proとかにもあるけど、声がこもるんだよね。音撮りたいなら、雑音がないところでとるのがいい。
2022/06/15 20:28
hiromo2
これ、最近あちこちでやってるよね。流行の技術。
2022/06/15 21:04
electrolite
おおお、開発者らしきインド系の人の発音も聞きやすくなっている。これはリモート会議でデフォルトにして欲しい。
2022/06/15 21:45
harumomo2006
元々の雑音が聞こえない。もっとザワザワしてる動画で試して欲しい
2022/06/15 21:57
domimimisoso
料理番組のイタリア語の意味わからんけど、言葉が明瞭になって一語一語がスッと耳に入ってくる
2022/06/16 00:10
yamadar
krisp使ってるけどこっちも試してみたい
2022/06/16 00:12
to4yuki
そもそも元動画の収録音声が良すぎるので、もっと劣悪な動画に使った効果が見たい。
2022/06/16 00:31
sqrt
声質が結構変わってしまってるように聞こえるけど、実際変わってるのか耳の錯覚なのか分からん
2022/06/16 02:00
iiko_1115
早くイヤマフとかで実装してくれ…
2022/06/16 05:06
vanillayeti
黒澤明の映画で使ってほしい
2022/06/16 05:54
madooka
聞き取ろうとするストレスがスッと軽くなって、いつも本当にしんどいんだなと実感。実用化頼む…!
2022/06/16 09:47
knok
score-based diffusionベースとのこと。となると重そうな気がする
2022/06/16 14:32
misshiki
事例
2022/06/17 11:43
Seiji-Amasawa
“Seamless”