Hitachi 오브젝트 스토리지와 함께 하는 클라우드 파일 데이터 서비스

지속적인 컴퓨팅 플랫폼 및 IT 기술 변화에 따라 폭발적인 데이터 증가로 인해 모든 기업에서의 데이터 관리 중요성은 아무리 강조해도 지나치지 않습니다. 또한 4차 산업혁명 및 디지털트렌스포메이션 가속화에 따라 최근 데이터의 관리 영역은 데이터베이스에 저장되는 정형 데이터뿐 아니라 파일로 대변되는 비정형 데이터들까지 관리 범위가 점차 더 커지고가치도 중요해지고 있습니다.

그래서 오늘은 Hitachi 오브젝트 스토리지와 함께 하는 클라우드 파일 데이터 서비스에 대해 한번 알아보고, 각 기업들이 비정형 데이터 관리를 어떻게 하면 보다 효율적으로 수행할 수 있는지 말씀드리겠습니다. 

 

l  회사의 데이터는 어떤 것들이 있나요?

기업 내 데이터는 크게 세 가지로 구분해 볼 수 있습니다. 

먼저, 첫 번째는 각종 운영 기기나 IT 시스템들을 통해 자동으로 생성되는 데이터이고, 

두 번째는 사람들이 IT 시스템을 이용해 만들어 내는 데이터입니다. 

그리고 마지막으로 사람들이 생산해 내지만 시스템에는 등록하지 않는 데이터가 있습니다.

첫 번째 데이터들은 해당 시스템에서만 필요한 경우가 대부분이라 시스템에서만 접속할 수 있는 저장장치에 보관됩니다. 통상 로그나 측정값, 이미지, 동영상 등의 파일 형태이며 매우 빠른 속도로 만들어지고 데이터량도 많지만 일정 기간 유지하다 기간이 지나면 삭제합니다. 

두 번째와 세 번째는 사람이 직접 생산해 내는 데이터입니다. IT 시스템에서 제공하는 사용자 인터페이스(UI)를 통해 시스템에 등록된 데이터는 1차로 데이터베이스에 저장되고, 문서/ 이미지/ 동영상 등과 같은 파일은 BLOB(Binary large object) 형태로 데이터베이스에 보관하거나 일반 파일 시스템에 저장 후 해당 데이터베이스에 파일 경로 정보를 등록하게 됩니다.
그리고 IT 시스템에 등록되지 않은 세번째 유형의 문서나 파일들은 개인의 작업 PC 안에 그대로 남아있게 됩니다.

 

l  귀하의 데이터는 안녕하십니까?

많은 IT 관리자들은 디지털 자산들, 즉 데이터를 관리하는 데 점점 더 어려움을 느끼고 있습니다. 데이터가 계속 증가하고 있고 데이터의 중요도가 높아질수록 이에 대한 관리 부담도 점점 커지고 있기 때문입니다. 

특히 계속 증가하는 데이터 관리를 위한 비용이 제일 큰 문제입니다. 데이터는 계속적으로 증가하고 있고 그만큼 저장장치를 구입해야 합니다. 저장장치가 늘어나면 이를 놓아두기 위한 공간 비용과 전기 요금도 함께 늘어납니다. 여기에 더해 데이터를 보호하는 기술과 안전하게 보관하는 기술, 데이터를 적정 시간 내에 빠르게 사용할 수 있도록 서비스하는 기술의 도입과 운영에도 추가 비용이 발생하게 됩니다.

개인들이 자신의 작업 영역에 보관하고 있는 데이터들은 회사의 자산이지만 관리되지 않는 경우가 많습니다. 개인이 관리하므로 데이터 손상 가능성이 더 높지만, 가장 최근의 자료들이기 때문에 훼손 시 더 큰 무형의 손실이 발생하기도 합니다. 때문에 이런 데이터들을 관리하기 위한 솔루션도 고려되고 있으며 이 또한 비용 발생 요인이 됩니다.

“데이터가 빠르게 증가한다” 라는 내용은 분명 식상한 이야기 입니다만 데이터 관리가 점점 더 어려워지는 3가지 주된 이유에 대해 한번 짚어 보도록 하겠습니다.

 

① 데이터가 늘어나는 첫 번째 이유 – “디스크 가격이 관리비용보다 더 싸다”
디스크 가격이 초기와 같이 계속 고가였다면 사람들은 데이터의 증가에 맞춰 전체 양을 줄이고 관리해 보려고 계속 노력했을 것입니다. 그러나 하드웨어 기술의 발전으로 디스크 가격은 지속적으로 하락하였고 IT 관리자들은 데이터를 분류하고 삭제하고 용량을 줄이는데 들어가는 관리 비용보다 디스크를 구매하는데 들어가는 비용이 더 적게 들어간다는 것을 알게 되었습니다. 

데이터의 증가와 하드웨어 기술의 발전이 결합해 더 많은 데이터의 증가를 불러오고 있는 것이죠. 이런 의사결정을 통해 기업 내 데이터는 사람의 손으로 관리가 불가능한 수준을 넘어 지속적으로 더 많이 증가하고 있습니다. 그리고 이 관리 불가 영역에 들어가고 있는 것들은 정형 데이터보다는 대부분 비정형데이터, 즉 파일 데이터입니다. 

② 데이터가 늘어나는 두 번째 이유 – “쓰레기 데이터라도 버릴 수 없는 데이터 저장 강박증”
미니멀리즘이라는 용어가 있습니다. 삶을 유지하는 데 꼭 필요한 물건들만 남기고 비움으로써 여유로운 삶을 추구하자는 것인데, 이에 반대되는 용어로 “저장 강박증”이라는 것이 있습니다. 
최근의 데이터 센터들은 데이터 저장 강박증에 시달리고 있습니다. 언젠가 필요할 것 같아 지우지 못하고 다 저장해 두는 것이죠. 

데이터는 점점 많아지는데 빅데이터니 뭐니 해서 데이터 활용에 대한 강조가 점점 부각되어 더더욱 데이터를 버릴 수 없습니다. 이렇게 계속 쌓아 두다 보니 내가 필요한 데이터가 어디에 있는지 모르게 됩니다. 한마디로 데이터 쓰레기가 계속 쌓이지만 누구도 쉽게 지울 수는 없습니다. 

(이 글을 읽으시는 분의 PC에도 OO제안서.2021.0901_v1.pptx, OO제안서.2021.0905_v2.pptx, …. OO제안서.2021.1214(최종)pptx와 같은 문서나 메일이 이미 수십 개씩 저장되어 있을 겁니다.)

마찬가지로 로그나 시스템들이 생산해 내는 정보들도 웬만해서는 지우지 않습니다. 빅데이터도 한다는데 데이터를 지웠다가 문제가 생기는 것보다는 그냥 두고 디스크 증설 요청을 하는게 더 나으니까요. 용도가 지난 데이터를 폐기해야 하는데, 삭제 대상을 추출하는데 시간이 너무 오래 걸려 데이터를 지우는 걸 포기하거나 실패해 계속 남아 있는 데이터들도 꽤 있습니다. 언제나 그렇듯 관리 문제를 언급하는 것 보다는 증설 요청을 하는 것이 더 낫습니다. 

③ 데이터가 늘어나는 세 번째 이유 – “파일 공유를 해야 하다 보니… 어쩔 수가 없어요”
데이터는 사용을 해야 의미가 있습니다. 또한 데이터들은 하나의 시스템이 아니라 여러 시스템에 공유되어 사용되고 있는 추세입니다.

기업 내 관리되는 데이터들은 특정 시스템에서 생산되어 해당 시스템에 연결된 저장장치에 존재합니다. 이 데이터를 다른 시스템에서 사용하기 위해서는 해당 시스템에서 제공하는 인터페이스를 통해야 가져가야 합니다. 파일 데이터도 마찬가지입니다.

만약 회사에 10개의 시스템이 있고  “○○시스템”에 있는 “파일A” 를 나머지 9개 시스템에서 필요로 하는 경우, 9개 시스템에서는 ○○시스템과 각각 연결 인터페이스를 만들고 이를 통해 파일을 보내고 다른 시스템들은 각각 파일을 수신합니다. 즉, 자신을 제외한 나머지 9개 시스템과의 파일 교환 인터페이스를 만들고 이를 통해 데이터를 주고받는 방식은 서버당 9개, 모두 90(10*9)개의 연결 프로그램이 동작해야 하므로 매우 비효율적입니다. 
따라서 중앙에 하나의 파일 전송/공유 시스템을 두고 이를 통해 파일을 사용하고자 하는 10개의 시스템들이 중앙 시스템에 연결해 데이터를 올리고 가져가는 체계를 구축하는 것이 좋습니다.  

그러나 파일 데이터 용량을 관리하는 입장에서 보면 좀 더 전반적인 개선이 필요해 보입니다. 위의 사례에서 “○시스템”에  연결된 9개 시스템들은 파일을 받아 사용하기 위해 다시 자신의 저장장치에 보관하게 되므로 “파일B”는 회사 내에 10개의 사본이 존재하게 됩니다. 중앙에 하나의 파일 공유 시스템을 두고 이를 통해 10개의 시스템들이 중앙 시스템에 연결해 자신의 데이터를 올리고 가져가는 체제를 가져가도록 구성한다면 회사 내 시스템 숫자가 추가(+1) 되어 11개가 되고 “파일B” 도 하나 더 추가(+1) 될 것이므로 총 11개의 사본이 존재하게 될 것입니다. 

 

l  효율적인 파일 공유를 위한 Hitachi 클라우드 오브젝트 스토리지

그렇다면 각 기업에서는 업무상 필요한 파일 공유 및 지속적으로 증식되는 사본들은 어떻게 관리하는 것이 효율적일까요? 

최근 기업에서는 시스템마다 저장장치를 주는 것이 아니라 공유 파일이 저장된 스토리지에서 직접 사용하도록 한다면 불필요한 사본 증식을 막을 수 있을 것이기 때문에 하나의 저장 장치에서 단일 인터페이스로 서비스하는 할 수 있는 통합 스토리지 시스템의 필요성이 부각되고 있습니다.
하지만 기존 스토리지 시스템들은 직접 장비에 연결된 시스템에서만 제한적인 파일시스템 공유만이 가능했고, NAS 파일 공유 스토리지를 사용하더라도 보안상 마운트할 수 없거나 네트워크 지연 때문에 서비스를 적용할 수 있는 범위에 한계가 있습니다. 

이러한 고민/이슈에 대해 Hitachi Content Platform(HCP)는 네트워크가 연결된 곳이라면 어디서나 접속할 수 있는 클라우드 환경을 지원하는 오브젝트 스토리지로써, 효율적인 파일 공유 서비스는 물론 데이터 수명주기 관리와 안정적인 스토리지 운영을 모두 가능하도록 지원합니다.

즉, 모든 데이터는 하나의 스토리지 시스템에 모아 보관되며 웹 환경에 적합한 REST API 형태로 서비스됩니다. 하나의 시스템에서 다른 시스템에 파일을 전송할 때도 파일이 아니라 해당 파일에 대한 경로 정보만을 전달합니다. 더 이상 여러 시스템에 분산되어 있는 사본들을 관리하지 않아도 되며 파일을 전송하기 위한 프로그램들을 개발하고 관리할 필요가 없으며 스토리지 시스템의 용량도 효율적으로 사용할 수 있습니다.

또한 클라우드 환경을 지원하는 오브젝트 스토리지는 기본적으로 멀티 테넌트 운영환경을 제공하기 때문에 공유 영역 외에도 각각의 운영 시스템에 필요한 공간을 할당해 줄 수 있습니다. 기존에 각 운영 시스템에 할당된 스토리지 공간이 차게 되면 다른 시스템들의 공간에 여유가 있더라도 무조건 증설을 해야만 했지만 다른 시스템에 할당된 용량을 일부 회수하여 추가 용량을 필요로 하는 시스템에 즉시 할당해 줄 수도 있습니다.

결정적으로 IT 시스템 및 스토리지 관리자는 하나의 시스템에서  파일 데이터에 대한 서비스 정책과 보호 정책을 통합하여 정의하고 운영, 관리할 수 있어 보다 효율적인 스토리지 관리가 가능해집니다. 

 

l  Hitachi 클라우드 오브젝트 스토리지의 차별성 및 제공가치

2006년 HCAP(Hitachi Content Archive Platform)이라는 이름으로 출시된 HCP(Hitachi Content Platform)은 엔터프라이즈 환경에서 명실상부하게 가장 먼저 출시되어 현재 가장 많은 고객사에서 사용되고 있고, 16년 이상 지속적인 신제품 개발과 기술지원 연속성을 보장하는 “분산 파일 시스템 기반의 클라우드 오브젝트 스토리지”입니다. 

HCP는 Hitachi Vantara가 가지고 있는 고가용성 엔터프라이즈 스토리지 시스템의 설계 사상, 노하우 및 경험을 기반으로 설계되었으며, 엔터프라이즈 고객들이 요구하는 멀티 테넌트 가상화 기능/ 멀티 프로토콜 파일 서비스 기능은 물론 높은 수준의 데이터 보안, 데이터 라이프 사이클 관리(보존주기, 자동삭제, 버저닝) 및 용량 효율화 기능(티어링, 압축, 중복제거) 등 매우 다양한 기능들이 탑재되어 있습니다. 

특히 HCP는 신규 클라우드 오브젝트 스토리지 도입을 검토하는 고객에게 “3 by 3 기본 및 옵션 구성”을 통해 초기 투자 비용 부담을 줄여주고, Small Start로 시작하여 필요시 언제라도 Scale-Up&-Out이 가능한 아키텍처를 통해 최적의 고객 인프라 구성&운영이 가능하도록 지원합니다.

 

 

l  마치며..

최근 많은 기업들에서 많은 업무 시스템 환경을 HCI 기반의 프라이빗 클라우드 환경으로 전환하고 있습니다. 마찬가지로 스토리지 시스템도 클라우드 환경의 장점과 Value를 좀 더 많이 활용할 수 있는 클라우드 오브젝트 스토리지로 빠르게 전환하게 될 것입니다.

 

귀하께서 클라우드 기반의 파일 데이터 서비스와 안정적이며 효율적인 데이터 관리를 원하신다면 우선 업계 최고의 클라우드 오브젝트 스토리지 포트폴리오를 보유하고 있는 Hitachi를 통해 데이터센터 현대화 및 디지털트렌스포메이션의 첫 번째 주춧돌인 HCP 클라우드 오브젝트 스토리지와 함께 시작해 보시기를 권고 드립니다.

 

 

글｜LG히다찌 ICT TS팀 윤명한 팀장, 나성은 책임

문의하기 >

 

* 해당 콘텐츠는 LG히다찌에 저작권이 있으므로 무단 전재 및 배포를 금지합니다.

 

 

 

 

제품정보 바로가기

Hitachi Content Platform : LG히다찌 주식회사