기획특집 / 스마트폰 카메라

카메라 기능이 없는 휴대전화를 상상해 본 적이 있나요? 휴대전화에서 터치 한 번으로 카메라를 실행하고, 초고화질의 사진을 담아내는 요즘! 좋은 휴대전화를 고르는 것이, 얼마나 좋은 카메라를 내장하고 있느냐에 따라 결정되기도 한다고 하는데요. 그런데 이토록 우리 생활에 밀접하게 다가와 있는 휴대전화 카메라의 역사가 고작 20년밖에 되지 않았다는 사실을 알고 계시나요? 이번 기획특집에서는 이러한 휴대전화 카메라의 역사부터 그 발전, 그리고 휴대전화 카메라 응용기술까지. 스마트폰 카메라에 대해 심층 분석해보도록 하겠습니다.

<기획특집 Ⅰ>

휴대전화 카메라, 화소에서 차별점을 만들다!

카메라의 성능을 비교할 때, 흔히 ‘화소’라는 단위를 이야기합니다. 그건 휴대전화 카메라도 마찬가지겠죠? 초창기 휴대전화 카메라들의 화소 수는 수십 화소에 불과했다고 해요. 그러나 약 15년 만에 2000만 화소를 넘어서는 제품도 등장했다고 하니, 기업들이 얼마나 화소를 높이는 데 주력했는지 알 것 같죠? 하지만 카메라의 화소 수가 높다고 해서 무조건 카메라의 성능도 좋은 것은 아니라는데, 이건 또 무슨 소리일까요? 한번 자세히 알아봅시다. 

15년 만에 디카 급으로!
휴대전화 카메라의 발전

카메라 기능이 처음으로 적용된 휴대전화는 1999년, 일본 교세라의 VP-210 기종입니다. 2001년, 삼성에서는 최초로 실시간 영상 스트리밍 화상통화가 가능한 HSDPA 기종을 출시했습니다. 2002년에 16%에 불과했던 휴대전화 중 카메라폰이 차지하는 비율은 연당 30%에 육박하는 성장률을 보이며 휴대전화 시장을 채워 나갔습니다.

최초에 11만 화소에 불과했던 휴대전화 카메라의 성능은 불과 4년 만에 약 10배인 백만, 즉 메가픽셀 수준에 다다릅니다. 최초의 메가픽셀 휴대전화 카메라는 팬택엔큐리텔의 PG-S5000 기종에 적용되었죠. 그로부터 3년도 안 되어서 삼성전자에서 1,000만 화소급 카메라폰인 SCH-B600 기종을 출시했습니다. 외견을 보면 일반적인 콤팩트 디지털카메라 같죠? 콤팩트 디지털카메라에 휴대전화 카메라의 최대 장점인 기동성이 더해졌다고 생각하면, 휴대전화 카메라는 어쩌면 디지털카메라보다 확연히 뛰어난 기능을 갖추었다고 이야기할 수 있었습니다.

이렇게 휴대전화 카메라의 기능이 금세 1,000만 화소를 돌파하는 사이에, 3G 시장이 열리게 되었고 스마트폰 열풍이 불기 시작했습니다. 이로 인해 사람들은 영상통화를 낯설어하지 않게 되었고, 사소한 일상을 찍어 SNS에 공유하기 시작합니다. 매 순간의 소통에도 영상, 사진 정보를 활용하기 시작하면서, 매일 들고 다니는 스마트폰 카메라의 중요성은 점점 더 주목받았습니다. 그리고 눈에 가까운, 더 높은 화소 수를 가진 카메라 기능에 대한 수요가 늘어나고 기업은 수요에 맞게 개발과 공급을 시작합니다.

Figure 1. (위)삼성전자의 애니콜 SCH-B600(사진 = LG유플러스 공식블로그)
이미지 출처 : https://blog.uplus.co.kr/2141
Figure 2. (아래)삼성전자 플래그십 제품의 카메라 화소 수 변화 추이 및 전망 (자료: 삼성전자,  KDB대우증권 리서치센터)
이미지 출처 : https://docsplayer.org/20114581-4d6963726f736f667420576f72 64202d203136303431385fc5ebbdc5c0e5baf12cc0fcc0dabacec7b05fc4abb8 deb6f320b8f0b5e22e646f6378.html

화소 수만 높으면 다인 줄 알았지?!

앞에서 휴대전화 카메라의 성능을 비교하는 데 화소 수를 활용했습니다. 그런데 화소 수가 과연 절대적인 성능 비교의 지표일까요? 사실 영상기술의 성능을 가장 잘 나타내는 지표는 화질입니다. 흐리게 보이는 영상이나 사진을 보면 ‘화질 왜 이래?’와 같은 말을 하는 것에서 쉽게 확인할 수 있죠. 카메라가 나타내는 화질을 결정하는 중요한 요소는 화소와 센서입니다.

센서(이미지 센서)는 집적회로화 된 광전변환소자라고 할 수 있는데, 쉽게 말하면 센서는 광(물리적인) 자극을 전기로 변환시켜 주는 역할을 합니다. 이미지를 그대로 디지털화해 저장하는 카메라에서는 필수적이겠죠? 화소(畵素)의 정확한 뜻은 화상을 구성하는 최소 단위의 점입니다. 컴퓨터나 스마트폰 화면 같은 디스플레이로 사진이나 그림을 보거나, 카메라를 이용해서 사진을 찍을 때 화면을 구성하는 기본이 되는 단위지요. 영어로는 픽셀(Pixel)이라고 부릅니다. 화소 수가 증가한다는 말은, 화면에서 사진을 더 자세하게 볼 수 있다는 말입니다.

카메라는 센서로 빛을 받아들여 화소만큼 나누어 사진을 분석하고, 소프트웨어 프로세싱 과정을 거쳐 화면으로 내보냅니다. 앞에서 언급했듯이 사람들은 흔히 화면을 더 자세하게 표시할 수 있는 화소 수로 카메라의 성능을 비교합니다. 하지만 무조건 화소 수만 높다고 해서 카메라의 화질이 좋은 것은 아닙니다.

빛을 받아들이는 센서의 크기는 그대로인데, 화소 수가 늘어나 이미지를 더 작은 단위로 쪼개게 되면, 각 화소 하나마다 받아들이는 전체 빛의 양이 줄어들어, 그 중 노이즈(잡광)의 비율이 증가하게 됩니다. 노이즈 비율의 증가는 사진이 깨끗하게 보이는 것을 방해합니다. 어두운 곳에서 사진을 찍으면 이미지가 깨끗하지 않은 것도, 전체적인 광량이 줄어들어 노이즈의 비율이 상대적으로 높기 때문이에요.

하지만 센서의 크기를 키우는 데는 한계가 있습니다. 실제로 점점 얇아지고 있는 스마트폰 속에서 카메라의 성능을 유지하기 위해, 다른 곳은 얇지만, 카메라만 튀어나온 디자인을 채택하는 예도 종종 있었죠. 하지만 휴대전화 카메라의 성능을 높이기 위해 카메라의 크기를 키우는 것은 디자인과 안정성 측면에서 좋은 방안이 아니었습니다. 센서의 종류를 바꾸거나, 실체가 이미지로 만들어지는 소프트웨어 프로세싱 방식의 발전을 통해 개선할 수는 있었습니다. 하지만 카메라에서 가장 중요한, 빛을 받아들이는 센서의 성능은 크기에 많이 좌우되었고, 고만고만하게 작은 센서들이 적용되었던 휴대전화 카메라는 성능적으로 큰 발전을 할 수 없었죠.

Figure 3. 카메라 부분이 튀어나온 아이폰 6 사진 
이미지 출처 : https://wallpaperscraft.com/download/iphone_6_hi_tech_apple_phone_97505/960×544

1999년에 처음 등장해 ‘화소 경쟁 시대’를 만들어왔던 휴대전화 카메라! 시시각각 발전하는 기술을 토대로 디지털카메라에 거의 근접할 정도가 되었는데요, 이대로 승승장구 할 줄 알았건만, 하드웨어의 벽에 가로막히게 되었습니다. 하지만 여기서 끝이 아니에요! 스마트폰 회사들은 획기적인 방법으로 카메라의 성능을 발전시킵니다.

알리미 24기 무은재학부 18학번 박수빈

<기획특집 Ⅱ>
카메라 렌즈 개수, 어떤 렌즈가 왜 늘어났을까?

카메라 화소로 경쟁을 하던 시대는 안녕! 이제는 카메라 렌즈 개수 전쟁이다!!  앞서 살펴봤듯이, 기업들은 한창 카메라 화소로 경쟁을 하다가 카메라 렌즈의 개수로 눈을 돌리기 시작했어요! LG는 작년 말, 카메라 렌즈가 무려 16개인 스마트폰 특허를 냈다고 하니 기업 간의 카메라 렌즈 개수 경쟁이 얼마나 치열했는지 느껴지는데요, 기업들은 도대체 왜 렌즈의 개수를 늘리려 했을까요? 카메라 렌즈 개수의 변화와 그에 따라 추가된 스마트폰 카메라의 기능에 대해 함께 알아볼까요?  

렌즈 1개에서 16개까지?! 
카메라 렌즈 개수의 변화

여러분은 지난해 여러 매체를 통해 스마트폰 기업 내에서 ‘카메라 렌즈 개수’ 경쟁이 치열해졌다는 소식을 들어본 적이 있나요? 삼중 렌즈에서 사중 렌즈, 그리고 나중에는 렌즈가 16개나 달린 스마트폰이 출시되기도 했습니다. 작년 3월, 최초의 삼중 렌즈 스마트폰인 화웨이 사의 ‘P20 프로’ 출시를 시작으로 기업들은 렌즈의 개수와 그 기능에 초점을 맞춘 새로운 스마트폰을 출시하기 시작했습니다.

기업들이 카메라 렌즈의 개수에 집중하게 된 이유는 무엇일까요? SNS 이용률이 증가함에 따라 현대인들은 사진으로 본인과 일상을 남들과 공유하는 문화를 즐기게 되었습니다. 이에 따라 ‘이미지’가 갖는 의미가 중요해 졌습니다. 이전까지는 이미지가 얼마나 뚜렷한가, 즉 ‘화질’에만 집중을 했지만,  지금은 이미지가 얼마나 생생한지, 색감을 얼마만큼 잘 드러내는지 등 여러 요소가 요구되고 있습니다.

기존의 휴대전화 카메라는 단일 렌즈로 구성되어 있으므로 구현할 수 있는 이미지에 한계가 있었습니다. 전문 카메라는 카메라 내부에서 렌즈를 교체하거나 침동식 렌즈 방식을 사용하여 다양한 기능을 수행하는 것이 가능하지만, 휴대전화 카메라는 두께가 얇아 렌즈를 여러 개 겹쳐 넣을 수가 없고 렌즈가 교체될 수 있는 구조도 아닙니다.

그래서 기업들은 렌즈의 개수를 늘리는 방법을 선택했습니다. 여러 개의 렌즈를 교체하는 방식이 아닌, 한 면에 부착하는 방식을 택하여 각자 그 기능을 수행하게 하는 것이죠. 기업들이 왜 렌즈의 개수를 늘리게 됐는지, 이제 아시겠나요?

 

Figure 1. LG의 16개 카메라 렌즈가 달린 스마트폰 특허 
이미지 출처 : https://nl.letsgodigital.org/smartphones/lg-smartphone-camera

다양한 렌즈와
그 기능들

앞서 기업들이 왜 렌즈의 개수를 늘리게 되었는지 소개했습니다. 그렇다면 기업들은 어떤 렌즈를 추가했고 그 렌즈로 인해 어떤 기능이 추가된 것일까요? 일반적으로 많이 사용되는 렌즈와 그 기능들에 대해 살펴보도록 하겠습니다.

먼저 기본적으로 가장 많은 기업이 선택하는 광각렌즈는 기존에 약 80도 화각만을 제공하는 일반 렌즈와는 다르게 최대 135도의 넓은 화각을 제공하는 렌즈입니다. 일반 렌즈는 피사체로부터 더 멀리 떨어져야만 더 넓은 화각의 이미지를 찍을 수 있었다면, 광각렌즈는 가까운 거리에서 더욱 넓은 화각의 이미지를 찍을 수 있습니다. 광각렌즈가 전면에 탑재되어 있다면 셀카봉을 사용하지 않아도 더 많은 친구와 사진을 함께 찍을 수 있겠죠? 광각렌즈는 멀리 있는 피사체는 더 멀어 보이게 하고 가까이에 있는 것은 더 크게 보이는, 원근감이 과장된 효과를 줍니다.

광각렌즈와 정반대의 기능을 수행하는 망원렌즈는 멀리 있는 피사체를 가까이 촬영할 수 있는 렌즈입니다. 화각이 좁고 초점거리가 길어 멀리 있는 피사체를 촬영할 때 용이한데, 배경이 압축된 것처럼 표현되어 피사체의 거리에 상관없이 비슷한 크기로 촬영할 수 있습니다. 쉽게 말해 광각렌즈와는 다르게 망원렌즈는 원근감을 압축시켜 피사체와 배경 사이의 거리가 실제보다 더 가까워 보인다는 것이죠. 초점거리가 멀어질수록 심도가 더 얕아지는데, 망원렌즈로는 심도가 얕은 사진도 쉽게 찍을 수 있다는 장점이 있습니다.

다음으로 많이 사용되는 렌즈의 종류는, 피사체의 화면상 크기를 조절할 수 있는 줌렌즈가 있습니다.  줌렌즈는 직접 이동하지 않고도 피사체를 원하는 크기로 촬영할 수 있습니다. 즉 멀리 있는 피사체를 크게 촬영하거나 보다 넓은 화각으로 피사체나 배경을 촬영할 수 있는 것이죠. 기존에 화면을 줌아웃시켜 조절하는 방식은 소프트웨어 방식으로 이미지의 화질이 저하되는 반면, 줌렌즈는 광학적 방식으로 화질 저하를 최소화 할 수 있다는 장점이 있습니다. 이러한 렌즈들을 조합하여 각 렌즈가 가지는 고유한 기능뿐만 아니라 다양한 기능 또한 수행할 수 있게 되었습니다. 아웃포커싱 효과가 그 대표적인 예인데, 광각렌즈와 줌렌즈의 조합 또는 표준 화각렌즈와 광각렌즈의 조합으로 아웃포커싱 효과를 낼 수 있습니다. 아웃포커싱 효과란 초점을 잡은 기준 피사체를 제외한 나머지 배경을 흐릿하게 보이게 하는 효과로 주로 인물이나 사물의 사진을 찍을 때 많이 사용됩니다. 아이폰의 ‘인물 사진 모드’ 효과와 갤럭시의 ‘아웃포커스’ 효과가 이를 활용한 기능이라고 할 수 있습니다.

Figure 2. 아웃포커싱 효과   이미지 출처 : LG blog

지금까지 카메라 렌즈 개수의 변화와 렌즈, 그리고 그 렌즈의 다양한 기능들에 대해 살펴 보았는데요. 카메라 렌즈의 개수 변화에 따라 우리는 더욱더 실감 나고 선명한 사진을 찍을 수 있게 되었습니다. 이제 사람들은 전문 카메라를 사지 않아도 스마트폰 하나만 있으면 전문 카메라로 찍은 것과 비슷한 효과를 낼 수 있게 되었답니다. 나날이 발전하는 휴대전화 카메라의 기능, 다음 장에서 더 자세히 알아 볼까요?

 
알리미 24기 무은재학부 18학번 정세빈

<기획특집 Ⅲ>
고성능 카메라를 이용하는 응용기술

이렇듯 고성능 휴대전화 카메라 개발을 향한 기술경쟁은 날이 갈수록 점점 더 치열해져 가는데요. 상향된 고성능의 휴대전화 카메라를 200% 활용할 수 있는 여러 가지 카메라 기반 기술들도 활발히 연구되고 있습니다. 카메라를 들고 360도 돌기만 하면 3D 지도를 만들어 주는 기술부터 CCTV 카메라로 범인의 신원을 즉시 파악하는 컴퓨터 비전(Computer Vision)기술까지! 21세기 4차 산업혁명의 튼튼한 기반이 되어줄 고성능 카메라 응용 기술들에 대해 알아볼까요? 

카메라로 찍으면 3D 실내 지도가 뚝딱!
3D Sensing 기술

여러분, 아이폰X 카메라 기술의 정수라고 불리는 3D Sensing 기술에 대해서 들어보셨나요? 3D Sensing 기술은 다른 일반적인 카메라와는 다르게 객체의 심도 정보(Depth Information)를 포착할 수 있는 카메라입니다. 이 3D Sensing 기술을 구현할 수 있는 카메라 기술에는 SL(Structured Light) 기술과 TOF(Time of Flight) 기술이 있는데요. 이 두 가지 기술이 어떻게 사진 속 3D 입체를 인식하는지 알아볼까요?

애플이 FACE ID 기능을 추가한 아이폰X의 전면 카메라에 장착시켰던 기술은 바로 SL 카메라 기술이었습니다. 애플의 SL 카메라에는 700만 화소 카메라, 적외선 카메라, 근접센서, 플러드 일루미네이터, 앰비언트 라이트 주변 광센서, 도트 프로젝터 등이 내장되어 있습니다. 카메라를 켜면, 도트 프로젝터에서 약 30,000개에 달하는 적외선 도트를 발사합니다. 그러면 적외선 카메라가 30,000개의 도트들을 입체적으로 스캔합니다. 그 후, 적외선 카메라로 인식한 사물의 깊이와 일반 카메라로 촬영한 화면을 합쳐(Overlap) 입체적인 사물을 인지하고 사진을 찍을 수 있는 것입니다.

하지만 이 기술은 객체 표면에 적외선을 발사한 뒤, 객체 표면의 적외선을 다시 적외선 카메라로 인지해야 한다는 점 때문에 먼 거리에 있는 상의 심도(Depth)를 파악하기에는 한계가 있습니다. 이러한 한계를 보완하기 위한 기술이 바로 TOF 기술입니다.

30,000개의 도트를 객체 표현에 발사해 그 깊이를 측정하는 방식이 SL 방식이라면, TOF방식은 빛의 반사 현상을 이용합니다. TOF 카메라는 카메라에서 레이저가 발사되고, 이것이 피사체에 반사되어 되돌아오는 시간을 측정하여 그 심도를 계산합니다. 그 후, SL 카메라와 마찬가지로 일반 카메라로 촬영한 화면과 이를 합쳐 입체적인 사물을 만들어 내는 것이지요. 이렇듯 스마트폰의 3D Sensing 기술의 발전이 가속화되면서, 세밀화 된 증강현실(Augmented Reality) 앱뿐만 아니라 카메라로 실내를 촬영하기만 하면 3D 실내 지도를 만들어 주는 기술도 현재 상용화 단계에 이르렀습니다.

Figure 1. 아이폰X 트루뎁스 카메라의 구조  
이미지 출처 : https://www.bloter.net/archives/295187

CCTV 카메라로 범인의 신원 즉시 파악!
컴퓨터 비전 기술

21세기를 사는 여러분들은 살면서 인공지능(Artificial Intelligence)이라는 기술에 대해서 한 번쯤은 들어보셨을 것 같습니다. 컴퓨터 비전(Computer Vision)기술이란 인공지능의 한 분야로, 카메라로 촬영한 영상에서, 우리가 원하는 장면이나 특징들을 이해할 수 있도록 하는 것이 목적입니다. 카메라로 손글씨를 찍으면 그 글씨를 컴퓨터 텍스트로 인식하는 프로그램이 있다는 사실을 아시나요? 이번 학기에 제가 듣고 있는 ‘마이크로프로세서 구조 및 응용’ 수업의 최종 프로젝트가 바로 그 손글씨 인식 카메라를 만드는 것인데요. 그렇다면 이러한 컴퓨터 비전 기술은 어떤 원리로 작동하는 것일까요? 이 기술은 고양이가 사물을 인지하는 방법에 대해 연구하면서 처음 출발했습니다. 고양이가 어떠한 패턴을 보이는 그림을 보도록 한 후, 시신경과 연결된 여러 가지 뉴런을 관찰했습니다. 그 결과, 그림에 따라 수많은 뉴런 중 몇 개만이 활성화되고, 활성화된 뉴런과 비활성화된 뉴런들이 합쳐져 뇌에서 시각을 인지하게 만드는 것을 발견했습니다. 이것을 컴퓨터 동작 네트워크로 구현해 낸 것이 바로 합성곱 신경망(Convolution Neural Network)인데요. 작년에 큰 화제를 모았던 알파고 또한 이러한 네트워크를 사용합니다.

우선 흰 배경에 검은 글씨로 적힌 ‘손글씨’를 컴퓨터가 인식하기 위한 과정을 생각해 봅시다. 가장 먼저, 검사하려는 객체인 ‘손글씨’와 배경을 분리해야 할 것입니다. 이 과정이 컴퓨터 비전 기술의 가장 중요한 목표이자, 기술의 성능을 결정짓는 요소입니다. 따라서, 한 화면을 수없이 많은 격자로 나누어 관찰합니다. 그렇다면 그 격자 하나에는 검은색, 혹은 흰색 두 가지 색깔 중 하나의 정보가 들어 있겠죠?  그 정보를 다시 종합(Convolution)하여 사진에 찍힌 객체가 어떤 패턴을 보이는지 분석해 냅니다. 사전에 입력된 문자 중 카메라에 인식된 글씨의 패턴과 일치하는 문자가 있다면 촬영한 손글씨가 그 문자라는 것을 확인할 수 있는 것입니다. 이러한 컴퓨터 비전 기술은 네트워크 크기, 학습 시간 등 아직 발전되어야 할 부분이 많습니다. 하지만 이 기술이 고성능 카메라와 접목되어 계속해서 발전한다면 CCTV 카메라로 범인의 신원을 즉시 파악하는 기술부터 종이책을 읽어주는 로봇까지, 그 활용가능성이 무궁무진합니다.

Figure 2. 합성곱 신경망(Convolution Neural Network)
이미지 출처 : https://medium.com/@RaghavPrabhu/understanding-of-convolutional-neural-network-cnn-deep-learning-99760835f148

이미 스마트폰 카메라 모듈 기술은 4차 산업혁명의 기반 기술로 떠오르고 있습니다. 카메라에 내장된 렌즈를 통해서 사물인터넷(IoT), 송수신 응용기술, 증강현실, 자율 주행 기능 등과 같은 응용 기술들이 더욱 성장하게 될 것입니다. 각종 첨단산업의 기반으로서 무궁무진한 발전 가능성이 있는 스마트폰 카메라 기술. 앞으로 이러한 응용기술들의 개발에 힘입어 더욱 다양한 성능의 스마트폰 카메라를 사용하는 날이 오길 기대하겠습니다.

알리미 23기 전자전기공학과 17학번 서재민