Análise de Custo de Data Transfer com Athena

Esta consulta SQL foi projetada para fornecer insights detalhados sobre os custos associados à data transfer em um ambiente AWS. Ao executar esta consulta, os usuários poderão identificar:

1. O custo total de transferência de dados.
2. O tráfego que está sendo transferido para a internet, por exemplo, através de serviços como EC2, CloudFront e outros.
3. Os principais “ofensores” ou serviços que estão gerando os maiores custos.
4. Se as conexões estão se comunicando entre diferentes regiões da AWS.

SELECT 
      line_item_product_code,
      line_item_usage_account_id  ,
      DATE_FORMAT(line_item_usage_start_date,'%Y-%m-%d') AS date_line_item_usage_start_date, 
      line_item_usage_type, 
      product_from_location, 
      product_to_location, 
      product_product_family, 
      line_item_resource_id, 
      SUM(CAST(line_item_usage_amount AS DOUBLE)) AS sum_line_item_usage_amount,
      SUM(CAST(line_item_unblended_cost AS DECIMAL(16,8))) AS sum_line_item_unblended_cost
  FROM  <<tabela>>
    WHERE 
  year='2023'
  AND month='10'
      AND product_product_family = 'Data Transfer'
      AND line_item_line_item_type  IN ('DiscountedUsage', 'Usage', 'SavingsPlanCoveredUsage')
      -- AND product_to_location = 'External'
    GROUP BY 
      line_item_product_code,
      line_item_usage_account_id,
      DATE_FORMAT(line_item_usage_start_date, '%Y-%m-%d'),
      line_item_resource_id,
      line_item_usage_type,
      product_from_location,
      product_to_location,
      product_product_family
    ORDER BY 
      sum_line_item_unblended_cost DESC;

Instruções:

1. Substitua <<tabela>> pelo nome da tabela Athena que contém seus dados de custo e uso.
2. Execute a consulta no Athena.
3. Analise os resultados para identificar os principais ofensores de custo e entender seus padrões de transferência de dados.

Observações:

• A cláusula WHERE está filtrando os dados especificamente para transferências de dados no mês de outubro de 2023.
• A consulta está atualmente configurada para mostrar todos os tipos de transferências de dados, mas você pode descomentar a linha -- AND product_to_location = 'External' para filtrar apenas os dados que estão sendo transferidos para locais externos.

Ao utilizar essa consulta, as organizações podem tomar decisões informadas sobre otimização de custos e entender melhor como os dados estão sendo transferidos dentro de sua infraestrutura AWS.

Agradecimentos:

Um agradecimento especial a Antonio de Abreu e Rodrigo Ferradas pela valiosa contribuição e insights compartilhados. Seus conhecimentos têm sido essenciais para guiar a comunidade nas melhores práticas e estratégias.