تبدیل بسته چیپس به ابزار شنود+تصاویر

[saamaaneh]

تیمی از دانشمندان دانشگاه ام‌ای‌تی با همکاری مهندسانی از مایکروسافت و Adobe میکروفون دیداری ابداع کرده‌اند که از نوعی الگوریتم رایانه‌ای برای تحلیل و باز‌سازی سیگنال‌های شنیداری از اشیای موجود در یک تصویر ویدیویی استفاده می‌کند.

این میکروفون دیداری قادر به شناسایی و بازسازی کلام قابل‌ استراق‌ سمع با تحلیل ارتعاشاتی از اقلامی مانند بسته چیپس و شیشه ضدصوتی است که 4.5 متر از دوربین فاصله دارد.

علاوه بر بسته‌بندی غذایی، دانشمندان دریافتند این الگوریتم می‌تواند سیگنال‌های شنیداری را از تصاویر ویدیویی کاغذ بسته‌بندی فویل آلومینیوم، سطح یک لیوان آب و برگ‌های گیاه بازسازی کند.الگوریتم ابداعی با اندازه‌گیری ارتعاشات شیئی عمل می‌کند که در ویدیو ضبط شده است.

درست همان طور که ویدیو می‌تواند چگونگی حرکت شخص یا شی را در داخل فریم ذخیره و بازسازی کند، تیم دانشگاه ام‌آی‌تی دریافت یک ویدیوی با پهنای باند کافی و فریم می‌تواند ارتعاشات تولیدشده توسط صدا را ضبط کند و الگوریتم نیز آن‌ها را بازسازی می‌کند.

زمانی که صدا به شیئی می‌خورد، موجب مرتعش‌شدن آن می‌شود و حرکت این ارتعاش سیگنال دیداری بسیار ظریفی ایجاد می‌کند که معمولا برای چشم غیرمسلح نامرئی است.

توانایی تبدیل اشیا به میکروفون‌های دیداری دارای کارکردهای زیادی در حوزه اطلاعات، علم اعمال قانون و عملیات نظامی است . تیم علمی معتقد است این فناوری می‌تواند دارای کاربردهای پزشکی مانند اندازه‌گیری نبض یک نوزاد تازه‌متولدشده با استفاده از اسکن ویدیویی از مچش باشد.

یافته‌های تیم علمی طی نشست سنگاپور در سال جاری میلادی ارائه خواهد شد.

چگونگی کارکرد میکروفون دیداری جدید



بازسازی صدا از تصویر ویدیویی یک برگ



شناسایی صدا از خلال شیشه ضدصدا با میکروفون دیداری



بازسازی صدا از فویل آلومینیوم