Общие сведения об ограничениях и влиянии мер

  • 10 мин

Хотя GitHub Copilot предлагает значительные преимущества, важно понимать его ограничения и точно измерять его влияние на процессы разработки. В этом уроке рассматриваются ограничения программирования с помощью искусственного интеллекта и представлены методы для количественной оценки влияния GitHub Copilot на производительность.

Определение ограничений GitHub Copilot

Хотя GitHub Copilot является мощным инструментом, он имеет ограничения, которые разработчики должны учитывать:

Качество кода и правильность

  • Потенциал для ошибок: GitHub Copilot иногда может предложить код, содержащий ошибки или не полностью соответствует требованиям.
  • Проблемы безопасности: созданный код может не всегда соответствовать рекомендациям по обеспечению безопасности, требуя тщательного рассмотрения.
  • Неправильное понимание контекста: GitHub Copilot может неправильно понять более широкий контекст, что приводит к неуместным предложениям.

Особенности языка и платформы

  • Различная производительность: эффективность GitHub Copilot может различаться на разных языках программирования и платформах.
  • Нишевые технологии: для менее распространенных или новых технологий предложения могут быть менее точными или актуальными.

Зависимость от обучающих данных

  • Смещение в предложениях: предложения GitHub Copilot отражают шаблоны в своих обучающих данных, которые могут включать предвзятые или устаревшие методики.
  • Проблемы с авторскими правами: в настоящее время обсуждаются последствия авторского права кода, созданного на основе обученных моделей.

Комплексное решение проблем

  • Ограничение в высокоуровневом дизайне: GitHub Copilot преуспевает в задачах уровня кода, но не может принимать сложные архитектурные решения.
  • Ограничения творчества: в то время как полезно, GitHub Copilot не может заменить человеческое творчество в решении новых проблем.

Измерение повышения производительности

Понимание повышения производительности, предоставляемого GitHub Copilot, важно для максимизации своих преимуществ. REST API для метрик использования GitHub Copilot и GitHub Copilot Developer Survey предлагает эффективный способ измерения и анализа влияния GitHub Copilot на рабочий процесс разработки. В этом разделе представлены методы оценки влияния GitHub Copilot с помощью этих средств и связанных метрик.

Использование конечных точек REST API для метрик использования GitHub Copilot

GitHub предоставляет REST API для доступа к метрикам использования GitHub Copilot для корпоративных участников, команд и участников организации. Эти метрики предоставляют аналитические сведения о ежедневном использовании GitHub Copilot, включая завершение, взаимодействие чата и взаимодействие пользователей в разных редакторах и языках.

Получение сводки по использованию GitHub Copilot для участников предприятия

Конечная точка:GET /enterprises/{enterprise}/GitHub Copilot/usage

Эта конечная точка предоставляет ежедневное распределение статистических метрик использования для завершения GitHub Copilot и GitHub Copilot Chat для всех пользователей в организации. В ней содержатся сведения о предложениях, принятии и активных пользователях, а также о более подробном разделе по редактору и языку.

Пример запроса:

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/enterprises/ENTERPRISE/GitHub Copilot/usage

Ответ.

  • Код состояния:200 OK
  • Текст: массив JSON с ежедневными метриками, включая предложения, принятие, активные пользователи и разбивку по редактору и языку.

Получение сводки по использованию GitHub Copilot для корпоративной команды

Конечная точка:GET /enterprises/{enterprise}/team/{team_slug}/GitHub Copilot/usage

Эта конечная точка предоставляет ежедневный анализ статистических метрик использования для завершения GitHub Copilot и GitHub Copilot Chat в рамках определенной корпоративной команды.

Пример запроса:

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/enterprises/ENTERPRISE/team/TEAM_SLUG/GitHub Copilot/usage

Ответ.

  • Код состояния:200 OK
  • Текст: массив JSON с ежедневными метриками для команды, включая предложения, принятие, активные пользователи и разбивку по редактору и языку.

Получение сводки об использовании GitHub Copilot для участников организации

Конечная точка:GET /orgs/{org}/GitHub Copilot/usage

Эта конечная точка предоставляет ежедневное распределение статистических метрик использования для завершения GitHub Copilot и GitHub Copilot Chat в организации.

Пример запроса:

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/orgs/ORG/GitHub Copilot/usage

Ответ.

  • Код состояния:200 OK
  • Текст: массив JSON с ежедневными метриками для организации, включая предложения, принятие, активные пользователи и разбивку по редактору и языку.

Реализация платформы измерений

Чтобы систематически оценить влияние GitHub Copilot, рассмотрим следующую платформу, используя API метрик использования GitHub Copilot на каждом этапе:

  1. Оценка. На начальном этапе внедрения GitHub Copilot сосредоточьтесь на ведущих показателях, таких как удовлетворенность разработчиков и показатели завершения задач. Используйте API для сбора метрик, таких как средние ежедневные активные пользователи, общая частота принятия и строки принятого кода.

  2. Внедрение: так как GitHub Copilot становится более интегрированным в рабочий процесс вашей команды, продолжайте отслеживать метрики производительности и индикаторы включения. API может предоставить аналитические сведения о взаимодействии пользователей и определить области, в которых может потребоваться дальнейшее обучение.

  3. Оптимизация. После полного внедрения GitHub Copilot используйте REST API для метрик использования GitHub Copilot для точной настройки влияния на более широкие цели организации, такие как сокращение времени на рынок или улучшение качества кода в команде.

  4. Устойчивая эффективность: непрерывно оценивает эффективность GitHub Copilot по мере развития вашей организации. API позволяет осуществлять постоянный мониторинг и корректировку, чтобы обеспечить долгосрочный рост производительности.

Использование опроса разработчиков GitHub Copilot

Опрос разработчиков GitHub Copilot — это ценный инструмент, предназначенный для сбора аналитических сведений от команд, помогая понять, как используется GitHub Copilot, его преимущества и любые проблемы, с которыми сталкиваются разработчики. Этот опрос делится на два формата: короткая форма и длинная форма, каждая из которых служит различными целями на этапах оценки и внедрения GitHub Copilot.

1. Частота опроса и время

При развертывании опроса разработчиков GitHub Copilot важно установить регулярный курс, чтобы избежать усталости опросов при сборе значимых данных.

  • Короткий опрос: можно проводить каждые две недели, если требуется частый отзыв, особенно при сочетании с другими каналами обратной связи, такими как онлайн или обсуждения в человеке.
  • Длинный опрос: рекомендуется проводить не более одного раза каждые четыре недели, особенно в конце этапов оценки и внедрения, чтобы получить исчерпывающую обратную связь.

2. Структурирование опроса

Вопросы опроса должны быть адаптированы для удовлетворения конкретных потребностей вашей организации, гарантируя, что собранные данные являются актуальными и действенными. Ниже показано, как структурировать краткие и длинные опросы:

  • Краткоформенный опрос: фокусируется на немедленном отзыве, захвате общей удовлетворенности разработчиков GitHub Copilot, конкретных проблем, с которыми сталкиваются, и время, сохраненное или потраченное.

    • Примеры вопросов:
      • "Как бы вы чувствовали, если вы больше не могли использовать GitHub Copilot?"
      • "При использовании GitHub Copilot я люблю писать код большего качества и выполнять задачи быстрее".
      • "Какие проблемы вы столкнулись с использованием GitHub Copilot с момента последнего опроса?"

  • Длинный опрос: предлагает более глубокий анализ влияния GitHub Copilot, сбор подробных сведений об использовании и преимуществах, а также о том, как он влияет на динамику команды.

    • Примеры вопросов:
      • "Я использую GitHub Copilot для написания кода на знакомом языке/ изучения нового языка или написания повторяющегося кода".
      • "При использовании GitHub Copilot моя команда предоставляет лучшие проверки кода и объединяет код в рабочую среду быстрее".
      • "Какие проблемы вы столкнулись с использованием GitHub Copilot с момента последнего опроса?"

3. Анализ результатов опроса

После завершения опросов важно систематически анализировать результаты:

  • Рекомендации по конфиденциальности. Убедитесь, что ответы на опросы анонимизированы и не могут быть отследить отдельные разработчики, отвечая на обязательства по конфиденциальности.
  • Отслеживание данных. Сортирование ответов на опросы в существующих средствах бизнес-аналитики (BI) или электронных таблицах для упрощения анализа. Со временем отслеживайте результаты для выявления тенденций и принятия обоснованных решений о реализации GitHub Copilot.

4. Непрерывное улучшение

Используйте аналитические сведения, собранные из опросов, чтобы принять обоснованные решения о развертывании GitHub Copilot в вашей организации. Сосредоточьтесь на решении выявленных проблем, использовании преимуществ, сообщаемых разработчиками, и настройке использования средства для повышения производительности.

Опрос разработчиков GitHub Copilot является важным компонентом в понимании и повышении использования GitHub Copilot в вашей команде.

Используя REST API и опрос для метрик использования GitHub Copilot, вы можете перейти за рамки анекдотических доказательств и получить конкретные сведения о том, как GitHub Copilot влияет на процесс программирования. Этот подход на основе данных позволяет принимать обоснованные решения и непрерывно улучшать роль GitHub Copilot в рабочем процессе разработки и помогает определить области, где его использование можно оптимизировать для максимальной выгоды.