Терадата погружается в воды озера, но не все в этом убеждены

Важные новости

Teradata погружается в воды озера, но не все в этом убеждены

Благодаря своему видению единого корпоративного хранилища данных Teradata привлекла доминирующих во всем мире клиентов, включая HSBC, Unilever и Walmart. Но ранее в этом месяце компания подтвердила поддержку концепции Lakehouse, которая сочетает в себе как беспорядочные озера данных, так и структурированные хранилища данных, а также идею аналитики в любом месте, поддерживаемую объектным хранилищем и форматами открытых таблиц.

Хотя это Возможно, рука была вынуждена, наблюдатели отметили, что все еще есть место для основной высокопроизводительной аналитики на основе блочных хранилищ Teradata.

45-летняя компания ранее объявила о поддержке форматов открытых таблиц (OTF) Apache Iceberg и Linux Foundation Delta Lake. При этом компания воспользовалась отраслевой тенденцией к проведению анализа данных на месте, а не переносу их в одно хранилище для бизнес-аналитики и другого анализа.

Teradata также впервые одобрительно высказалась об архитектуре Lakehouse — термине, введенном конкурирующей компанией Databricks для описания среды как для машинного обучения, так и для исследования данных, а также традиционного бизнес-аналитики и аналитики, обычно выполняемых в более регламентированной среде корпоративного хранилища данных.

Внедрение ИИ, как утверждала Teradata, привело к консолидации хранилищ данных, аналитики и рабочих нагрузок обработки данных в единые «озерные дома». «Поддержка OTF еще больше расширяет возможности Teradata Lakehouse, обеспечивая уровень абстракции хранилища, который спроектирован так, чтобы быть гибким, экономичным и простым в использовании», — говорится в корпоративном сообщении.

Разговор с РеестрЛуис Лэндри, научный сотрудник Teradata, сказал, что поддержка OTF не означает, что компания больше не верит в корпоративные хранилища данных.

«Это дополняет друг друга», — сказал он нам. «Мы считаем, что нам нужна возможность воспроизводить данные там, где они лежат. Во многих случаях это будет означать высокоэффективное блочное хранилище с низкой задержкой и все такое хорошее. Но во многих случаях это не так. как будут располагаться данные. У разных клиентов разные потребности. Наша цель всегда состоит в том, чтобы они извлекали максимальную выгоду из интегрированных данных».

Он сказал, что хранилище данных и Lakehouse. идеи были архитектурой, а не просто технологиями, и клиенты могли выбирать, какой подход им подходит.

«Это означает, что мы продолжаем предлагать тот же уровень обслуживания, который мы предоставляем для работы с высокой пропускной способностью, которую действительно можно обслуживать только из блочного хранилища. Но нам также необходимо иметь возможность обращаться к данным, которые находятся в объектном хранилище или каком-то внешнем хранилище. , чтобы мы предоставили целостное, единое представление о том, что доступно и что доступно, а также о безопасности и обо всем, что люди ожидают от системы Teradata».

Teradata выполняет анализ данных, внешних по отношению к своему основному хранилищу данных, с 2020 года, когда она обновила Teradata QueryGrid и стала партнером Starburst Data для интеграции коннектора Presto, чтобы пользователи аналитической платформы Teradata Vantage могли получать доступ и запрашивать широкий спектр облачных и онлайн-сред. источники данных о помещениях.

Но компания была непреклонна в том, что не поддержит концепцию домика у озера. В интервью The Register в 2022 году тогдашний технический директор Стивен Бробст сказал, что озера данных и хранилища данных являются частью единой архитектуры, но отдельными концепциями. «Существует разница между необработанными данными, которые на самом деле представляют собой озеро данных, и продуктом данных, которым является корпоративное хранилище данных», — сказал он.

Хотя Teradata запустила собственное озеро данных в августе 2022 года, Бробст сказал, что существует важное различие между тем, где предприятия размещают свои необработанные данные, и хранилищем данных, которое оптимизирует производительность запросов и контролирует управление. Создание гибридного домика у озера «на самом деле было не очень полезно, потому что вы не хотите иметь больше копий данных, чем необходимо».

Лэндри сказал, что он и Бробст, покинувший Teradata в январе этого года, «имели у меня были веселые отношения, и я обсуждал различные идеи в течение моего десятилетнего пребывания здесь.»

«Я не думаю, что мы изменили свое мнение относительно этого подхода. Технологическая отрасль развивается, и наша цель — предоставить нашим клиентам наилучшее решение для интегрированных данных. Это не ново, мы не только начали над этим работать. за последние пару месяцев».

Однако один опытный инженер службы поддержки Teradata, пожелавший остаться неназванным, рассказал The Register, что опасается, что компания сбилась с пути.< /p>

«Терадата должен поддержать эту лошадь, нравится им это или нет, имеют ли они это в виду или нет», — сказал он.

Источник указал на прецедент, когда Teradata сначала сопротивлялась, а затем приняла тенденцию использования Hadoop во время бума больших данных более десяти лет назад.

Тем временем, поставщики облачных систем с системами хранилищ данных и озер данных – в частности, Google и Microsoft — выписывали «пустые чеки», пытаясь привлечь крупнейших клиентов Teradata к своим системам.

Хотя у Teradata может быть превосходный продукт для хранения данных с точки зрения параллельной работы пользователей и оптимизации запросов, клиенты все больше удовлетворялись упрощенным решением, пока оно переносило их в облако, сказал он.

На В то же время переход к объектному хранилищу и OTF, возможно, не повысит эффективность, но поставит пользователей на место руля, сказал он.

«Люди в основном говорят: «Мне все равно, называете ли вы это домом у озера или как-то еще». Они говорят, что мы просто хотим сбросить наши данные в объектное хранилище, а затем мы хотим обработать их там, где они есть. Затем они хотят, чтобы каждый мог использовать оверлей, чтобы это не был проприетарным форматом объектного хранилища. Я думаю, что это создает серьезные проблемы для всех поставщиков. Давайте просто выберем Iceberg в качестве победителя… это означает, что ваши данные теперь находятся в открытом формате в самом дешевом хранилище, которое вы можете получить. Это победитель с точки зрения конечного пользователя. .»

Хён Пак, генеральный директор и главный аналитик Amalgam Insights, согласился с тем, что Teradata была вынуждена принять концепцию Lakehouse и OTF, но сказал, что клиенты по-прежнему ценят высокопроизводительные системы хранения данных.

«Teradata была вынуждены принять концепцию озера данных из-за важности озер данных и неструктурированных данных в искусственном интеллекте и машинном обучении. Teradata по-прежнему остается лучшим выбором для хранилища данных, хотя, конечно, им приходится иметь дело с агрессивностью Snowflake. Но на самом деле никто. сомневается, что Teradata сможет поддерживать высококачественное хранилище корпоративных данных».

Пак сказал, что корпоративное хранилище данных по-прежнему является «превосходной концепцией», но проблема заключалась в том, что количество приложений для обработки данных/аналитики, которые должны были поддерживать предприятия, быстро росло.

«Всегда будет место для хранилище данных, которое поддерживает 50 лучших приложений на предприятии, потому что вам понадобится высокопроизводительное хранилище данных, которое будет поддерживать аналитику как можно быстрее, и хранилище данных — лучший способ сделать это.

«Однако проблема заключается в том, что нынешнее предприятие с доходом в миллиард долларов обычно имеет более 1000 приложений. вы хотите использовать его для чего угодно, от аналитики до искусственного интеллекта, и именно здесь на помощь приходит озеро данных. Это требует двухуровневого подхода».

Расширение приложений, зависящих от данных, таких как машинное обучение и ИИ – вместе с внедрением облачных вычислений и объектных хранилищ объединились, чтобы преобразовать корпоративные среды управления данными и аналитики.

В то время как Snowflake изменила ситуацию, разделив хранилище и вычисления, Databricks присоединила к ним рабочие нагрузки бизнес-аналитики в стиле SQL. среды машинного обучения озера данных.

Компания Cloudera, занимающаяся озером данных, и Tabular, поставщик «безголовых» хранилищ данных, имеют разные взгляды на рынок, как и мощные поставщики облачных платформ, которые аналогичным образом заявляют, что предлагают комплексный пакет продуктов для обработки всех данных. Сможет ли Teradata процветать на этом сложном и меняющемся рынке, пока неясно. ®

Новости сегодня

Последние новости