Panoramica
Il leader della tecnologia climatica BlocPower voleva costruire una pipeline di elaborazione dati potente ed economica in modo da poter elaborare oltre 100 milioni di profili energetici di edifici e comprendere meglio come ottimizzare l’efficienza energetica negli Stati Uniti. L’azienda ricava i suoi profili energetici utilizzando EnergyPlus, il motore di modellazione open source per l’intero edificio del Dipartimento dell’Energia degli Stati Uniti. BlocPower doveva adottare una serie di soluzioni HPC (High Performance Computing) compatibili con il suo kit di sviluppo software C++.
BlocPower si è rivolto ad Amazon Web Services (AWS) e ha adottato diverse soluzioni di elaborazione dati altamente efficienti basate su cloud che bilanciano prestazioni e costi. Entro 3 mesi, l’azienda ha completato la costruzione dell’intera pipeline di dati nel cloud, che le ha consentito di implementare BlocMaps, una soluzione SaaS (Software-as-a-Service) che fornisce informazioni utili per la decarbonizzazione degli edifici a proprietari di immobili, società di servizi pubblici, comuni , stati e altri gruppi. Lavorando su AWS, BlocPower ha elaborato oltre 30 TB di dati a velocità 16.000 volte maggiori rispetto a prima, aiutandolo a utilizzare approfondimenti basati sui dati per promuovere la giustizia ambientale e alloggi equi nelle comunità svantaggiate.
opportunità | Alla ricerca di un HPC conveniente
BlocPower mira a rendere gli edifici in America più intelligenti, più verdi e più sani. L’azienda si impegna a promuovere la diversità, l’equità e l’inclusione e la sua forza lavoro è composta per il 60% da minoranze e per il 30% da donne. BlocPower ha aiutato migliaia di proprietari, inquilini e gestori di edifici a reddito basso e moderato in 24 città dello Stato di New York, della California, del Wisconsin e del Massachusetts a comprendere le possibilità dell’efficienza energetica e dell’adeguamento delle energie rinnovabili dei loro edifici. Inoltre, BlocPower ha implementato con successo misure di elettrificazione, solare e altre misure di efficienza energetica in oltre 1.200 edifici a partire dal 2022.
BlocPower ritiene che gli Stati Uniti debbano elettrificare per ridurre i rischi del cambiamento climatico. Per accelerare i progetti di elettrificazione e progettare soluzioni energetiche pratiche, BlocPower raccoglie dati da oltre 100 milioni di edifici da fonti esterne, come i Laboratori Nazionali del Dipartimento dell’Energia. Questi laboratori archiviano i propri dati utilizzando file di formato dati intermedi, che richiedono a BlocPower di utilizzare EnergyPlus per elaborare e renderizzare simulazioni di singoli edifici. “Ci sono oltre 130 milioni di edifici negli Stati Uniti che rappresentano circa il 30 percento delle nostre emissioni di carbonio”, afferma Ankur Garg, direttore dell’architettura e dell’analisi dei dati presso BlocPower. “Tuttavia, la maggior parte dei dati di questi edifici non è compilata in modo pulito in modo da poter eseguire analisi su di essa”.
BlocPower ha cercato di creare una pipeline di elaborazione dati che utilizza HPC per eseguire file di formato dati intermedi tramite EnergyPlus, estrarre i dati necessari e scalare per supportare l’elaborazione parallela di massa. Poiché l’azienda è nativa per il cloud in AWS dal 2016, si è rivolta ad AWS per trovare soluzioni di elaborazione dati ed elaborazione scalabili che funzionassero insieme al kit di sviluppo software C++. BlocPower ha appreso di AWS Batch, che fornisce un’elaborazione batch completamente gestita praticamente su qualsiasi scala. “Elaborare i dati in locale ci costerebbe potenzialmente milioni di dollari”, afferma Garg. “Possiamo scalare per elaborare i nostri dati utilizzando AWS Batch per poche centinaia di dollari ogni mese”.
Il nostro trattamento dei dati avrebbe richiesto migliaia di ore in sede. Utilizzando AWS Batch, possiamo elaborare quei dati in meno di 1 ora”.
Ankur Garg
Direttore dell’architettura e dell’analisi dei dati, BlocPower
Soluzione | Creazione di una pipeline di elaborazione dati scalabile su AWS
BlocPower containerizza i propri carichi di lavoro utilizzando Amazon Elastic Container Service (Amazon ECS), che semplifica l’esecuzione di container altamente sicuri, affidabili e scalabili. Utilizzando questo servizio, l’azienda ha creato rapidamente 500 container che ospitano 32 CPU virtuali ciascuno, tutti orchestrati da AWS Batch. BlocPower ha accelerato la velocità di elaborazione dei dati di 16.000 volte e ha elaborato oltre 30 TB di dati. “Il nostro trattamento dei dati avrebbe richiesto migliaia di ore in locale”, afferma Garg. “Utilizzando AWS Batch, possiamo elaborare quei dati in meno di 1 ora.”
L’ambiente di elaborazione HPC di BlocPower utilizza Amazon Elastic Compute Cloud (Amazon EC2), che fornisce capacità di elaborazione sicura e scalabile per praticamente qualsiasi carico di lavoro. E per ottimizzare i costi di elaborazione, BlocPower ha adottato istanze Spot Amazon EC2 diversificate, che aiutano le aziende a eseguire carichi di lavoro a tolleranza d’errore fino al 90% di sconto. “L’utilizzo delle istanze Spot ha reso la nostra elaborazione dei dati molto conveniente”, afferma Garg. BlocPower esegue anche i propri carichi di lavoro utilizzando le istanze C6g di Amazon EC2, che offrono un miglior rapporto prezzo/prestazioni per carichi di lavoro ad alta intensità di calcolo.
L’azienda ospita il suo data lake grezzo e raffinato utilizzando Amazon Simple Storage Service (Amazon S3), un servizio di storage di oggetti creato per recuperare praticamente qualsiasi quantità di dati da qualsiasi luogo. Da quando ha adottato questa soluzione, BlocPower è cresciuto fino a importare oltre 100 milioni di file nei bucket Amazon S3. BlocPower si affida anche ad Amazon Redshift, che utilizza SQL per analizzare dati strutturati e semistrutturati in data warehouse, database operativi e data lake. Per massimizzare i risparmi sui costi, BlocPower esegue i suoi cluster a raffica utilizzando Amazon Redshift Serverless, che semplifica l’esecuzione e la scalabilità delle analisi senza dover gestire l’infrastruttura del data warehouse. Utilizzando queste soluzioni, l’azienda ha semplificato la gestione dei dati, migliorato le prestazioni dei processi di query e può eseguire analisi avanzate che consentono di ottenere informazioni dettagliate sul miglioramento dell’efficienza energetica degli edifici. Per visualizzare i propri dati, l’azienda utilizza Amazon QuickSight, un servizio di business intelligence serverless cloud-native.
Dopo che BlocPower ha completato la sua pipeline di elaborazione dei dati, ha implementato rapidamente BlocMaps, una soluzione SaaS che fornisce agli utenti dati sulla giustizia climatica e gli strumenti per creare un programma di elettrificazione sostenibile e affrontare le disuguaglianze nelle loro comunità. L’azienda ha ricevuto la formazione DevOps dal team AWS, che l’ha aiutata a completare lo sviluppo di questa soluzione SaaS in 3 mesi. “AWS ha fornito corsi di formazione gratuiti”, afferma Garg. “Il team AWS è molto disponibile e si prende tempo per aiutarci.” Sul back-end della sua offerta SaaS, BlocPower utilizza l’apprendimento automatico per fornire informazioni rilevanti agli utenti. Per eseguire i suoi modelli, l’azienda utilizza Amazon SageMaker, che aiuta gli utenti a creare, addestrare e distribuire modelli di machine learning praticamente per qualsiasi caso d’uso con infrastruttura, strumenti e flussi di lavoro completamente gestiti.
Promemoria: leggi il case study completo per saperne di più. Puoi imparare molto dagli ingegneri di AWS HPC iscrivendoti al canale YouTube HPC Tech Short e seguendo il canale Blog di AWS HPC.